羣聯地端AI管理 成本少90％

羣聯電子技術長林緯（中）主講「加速生成式人工智慧快速普及的關鍵技術」，民衆反應熱烈。（陳俊吉攝）

新光醫院日前邀請羣聯電子公司技術長林緯蒞臨醫療科技展，分享aiDAPTIV+技術。過去羣聯曾與NASA合作，在月球上建立全球首座資料中心。在生成式AI問世前，羣聯與AI無關，但隨着越來越多企業基於安全、自主性考量將AI大腦建置在地端，羣聯則透過管理程式，幫助擴充記憶體，因應運算需求，也讓成本降至10分之1。

企業導入AI時，都會思考要把資料放在雲端還是地端？曾有云端公司的人找上林緯，告訴他不必花大錢，林緯問對方：「我把技術放入雲端，請你幫我算的時候，你會不會監控我的資料？」，對方表示不會。林緯再問：「假如我辭職加入真主黨，把攻擊白宮的計劃放上雲端，請問你是保護白宮，還是保護我？」，對方答不出來。

林緯舉例，有投信業者工作是將各大銀行CEO對企業的分析製成投資報告，用雲端分析時，無法得出理想的報告，想更改邏輯，告訴AI如何分析時，就猶豫了，原因是那關乎商業機密。對企業來說，最重要的是安全、自主性、可控性。

今年開始，越來越多企業將AI大腦建置在地端。傳統的GPU系統將充當記憶體的HBM綁在一起，好處是存儲資料很快，但生成式AI的模型比過去的影像、聲音模型大了1000～10萬倍不等，過去企業買GPU是爲了更快的算力，現在則是因爲記憶體不足。

有鑑於此，羣聯電子發明了一個架構，透過管理程式擴充記憶體，任何GPU配上此方案，就能運算超級大模型。以90G的模型訓練來說，純用GPU湊齊記憶體需3000萬臺幣，且隨着模型成長，錢也持續成長，透過羣聯的解決方案，則可將成本降至10分之1。