新創擁獨門壓縮術 從輝達H100缺貨挖商機 大減成本75% 滿拓攻生成式AI訓練


滿拓科技獨家壓縮技術,搭上群聯的SSD解決方案,竟然打造出比輝達H100建置成本便宜七五%的生成式AI訓練機,他們是如何辦到的?

隨著生成式AI需求暴增,用以訓練大語言模型的輝達繪圖卡(GPU)H100因而全球大缺貨,也讓台灣半導體廠商看到商機。NAND Flash控制IC設計業者群聯,以輝達工作站等級繪圖卡RTX 4000整合SSD(固態硬碟),就不需使用輝達H100,且更比僅用H100的建置成本節省七五%以上。而這個解決方案中,少不了僅成立五年的新創——滿拓科技的協助。

 

讓工作站級繪圖卡跑得動

它的微型化軟體是關鍵

 

滿拓執行長吳昕益過去在網通IC大廠瑞昱任職,他表示,二○一六年回清華大學就讀博士時,眼見AI即將成為趨勢,促使他在一八年成立滿拓,投入AI晶片設計。公司研發的微型化IP(矽智財)、軟體技術,能將資料傳輸量壓縮九成,誤差卻可小於一%,不僅能大幅提升資料傳送效率,後來更發現,「我們當時就是在做AI模型中的推論晶片,我們已經把基礎準備好了。」

 

此外,以滿拓的技術壓縮模型進行低精度運算,可以大幅降低GPU算力以及功耗需求。

 

當時,滿拓成功打入幾家台灣客戶、進行概念化驗證(PoC),導入的產業包括智慧工廠、智慧交通等。不過受限於AI應用過於廣泛、整體需求量不大,滿拓年營收沒有太大的成長,始終徘徊在一、兩千萬元上下。

 

不過機會也在二三年找上門,投資滿拓的群聯執行長潘健成表示,群聯原本計畫將滿拓開發的 NPU IP(神經網路處理單元)導入群聯NAND控制器IC,然而,NPU被整合進CPU已是現在進行式,群聯與滿拓討論過後決定轉型,搶攻生成式AI訓練機這個全新的市場。

 

不過,生成式AI訓練機跟滿拓,有什麼關係?潘健成觀察,訓練大語言模型需要占用大量記憶體空間,但輝達H100內建的HBM(高頻寬記憶體)容量有限,需要多買幾張繪圖卡,才有足夠記憶體空間跑模型,「比如Meta的大語言模型Llama 2有七百億個參數,光是訓練就至少需要用到十八張 H100。」

 

 

潘健成受到過去DIY組裝電腦的啟發,轉念一想,不如加大不足的記憶體容量。群聯在輝達工作站等級繪圖卡RTX 4000上,嫁接客製化控制IC、中介軟體,將資料轉換到客製化SSD暫存,讓工作站等級繪圖卡同樣具備運算大語言模型的能力,而訓練過程中,搭配滿拓的微型化軟體做資料傳輸。

 

潘健成舉例,過去一次需要十八張H100才能跑的大語言模型Llama 2,現在改用加上SSD的幾片輝達工作站等級繪圖卡就可以勝任;雖然SSD資料寫入、輸出的時間比HBM長很多,導致訓練模型需要的時間比用H100多出四到五倍,但能大幅降低對H100的需求。

 

瞄準資料敏感企業

今年營收上看億元

 

根據滿拓估算,相對於全部以H100打造大語言模型的訓練叢集,群聯的解決方案最少能節省七五%的建置成本,也不會遇到缺貨買不到的問題。潘健成表示,群聯將生成式AI訓練機推廣到合作的供應鏈,已經接到南茂、華泰、矽成的訂單。

 

而滿拓除了提供群聯微型化軟體技術,目前也是群聯SSD方案的台灣獨家合作推廣廠商。滿拓委由華碩代工,將輝達工作站等級繪圖卡與SSD整合成「生成式AI訓練機」,鎖定金融保險、IC設計、零售業等不適合將資料傳上雲端處理、必須在內部訓練大語言模型的企業。

 

這也讓沉潛五年練功的滿拓,在今年收穫甜美的果實。吳昕益表示,滿拓已接到包括記憶體模組廠宇瞻在內的八到十家客戶,預計在三月底開始陸續出貨生成式AI訓練機,看好今年營收可以達到破億元水準。

 

除了業界,學術界也是群聯的目標市場。陽明交大智能系統研究所教授廖元甫正在進行的台語、客語大語言模型研究,已導入群聯、滿拓的方案。他指出,過去需要購買大量的輝達H100、DGX伺服器才能訓練大語言模型,價格動輒千萬元起跳,遠超過學校財力,現在只需利用四張輝達高階電競級繪圖卡4090,加上SSD,就能跑得動Llama 2,他欣慰地說:「原本是完全沒辦法得到結果,現在只是慢一點得到結果。」

 

伺服器業者表示,群聯是SSD供應商,自然會想要推廣這個方案,不過客戶在商言商,一切還是看CP值夠不夠高。野村投顧則在報告中分析,相信群聯瞄準的是一個分散且長尾的市場,長期可推動群聯在企業級SSD營收成長,讓公司有更好的獲利能力。

 

從使用者需求出發,滿拓與群聯利用自身技術,填補生成式AI訓練的空缺,滿拓也成功從競爭激烈的NPU IP轉進全新市場。潘健成期許,雙方的合作,不僅能夠在生成式AI訓練市場重現三十年前PC DIY榮景,更將引領另一波產業革命。

資料來源:https://www.businesstoday.com.tw/article/category/183015/post/202403060027/

#FITI

#FITI學長團

#滿拓科技

#新創100大