新創擁獨門壓縮術 從輝達H100缺貨挖商機 大減成本75% 滿拓攻生成式AI訓練
潘健成受到過去DIY組裝電腦的啟發,轉念一想,不如加大不足的記憶體容量。群聯在輝達工作站等級繪圖卡RTX 4000上,嫁接客製化控制IC、中介軟體,將資料轉換到客製化SSD暫存,讓工作站等級繪圖卡同樣具備運算大語言模型的能力,而訓練過程中,搭配滿拓的微型化軟體做資料傳輸。
潘健成舉例,過去一次需要十八張H100才能跑的大語言模型Llama 2,現在改用加上SSD的幾片輝達工作站等級繪圖卡就可以勝任;雖然SSD資料寫入、輸出的時間比HBM長很多,導致訓練模型需要的時間比用H100多出四到五倍,但能大幅降低對H100的需求。
瞄準資料敏感企業
今年營收上看億元
根據滿拓估算,相對於全部以H100打造大語言模型的訓練叢集,群聯的解決方案最少能節省七五%的建置成本,也不會遇到缺貨買不到的問題。潘健成表示,群聯將生成式AI訓練機推廣到合作的供應鏈,已經接到南茂、華泰、矽成的訂單。
而滿拓除了提供群聯微型化軟體技術,目前也是群聯SSD方案的台灣獨家合作推廣廠商。滿拓委由華碩代工,將輝達工作站等級繪圖卡與SSD整合成「生成式AI訓練機」,鎖定金融保險、IC設計、零售業等不適合將資料傳上雲端處理、必須在內部訓練大語言模型的企業。
這也讓沉潛五年練功的滿拓,在今年收穫甜美的果實。吳昕益表示,滿拓已接到包括記憶體模組廠宇瞻在內的八到十家客戶,預計在三月底開始陸續出貨生成式AI訓練機,看好今年營收可以達到破億元水準。
除了業界,學術界也是群聯的目標市場。陽明交大智能系統研究所教授廖元甫正在進行的台語、客語大語言模型研究,已導入群聯、滿拓的方案。他指出,過去需要購買大量的輝達H100、DGX伺服器才能訓練大語言模型,價格動輒千萬元起跳,遠超過學校財力,現在只需利用四張輝達高階電競級繪圖卡4090,加上SSD,就能跑得動Llama 2,他欣慰地說:「原本是完全沒辦法得到結果,現在只是慢一點得到結果。」
伺服器業者表示,群聯是SSD供應商,自然會想要推廣這個方案,不過客戶在商言商,一切還是看CP值夠不夠高。野村投顧則在報告中分析,相信群聯瞄準的是一個分散且長尾的市場,長期可推動群聯在企業級SSD營收成長,讓公司有更好的獲利能力。
從使用者需求出發,滿拓與群聯利用自身技術,填補生成式AI訓練的空缺,滿拓也成功從競爭激烈的NPU IP轉進全新市場。潘健成期許,雙方的合作,不僅能夠在生成式AI訓練市場重現三十年前PC DIY榮景,更將引領另一波產業革命。
資料來源:https://www.businesstoday.com.tw/article/category/183015/post/202403060027/