AI大模型時代:多元算力如何打破碎片化困局?
21世紀經濟報道記者白楊 北京報道
2024年,當大模型邁入新的發展階段,AI全領域迎來更爲迅猛的量變積累。
一方面,模型已突破模態的隔離,文本、語音、視覺等多種形式得以豐富結合,極大地增強了模態的多樣性;另一方面,大模型的應用落地領域得到廣泛拓展,企業對算力的需求持續增加,對算力的依賴性顯著提升。
目前,業內的共識是,大模型的Scaling Law依舊有效,因此產業界對大模型能力的追求必將導致對大算力需求的持續增加。更重要的是,隨着AI大模型在企業應用中的深度嵌入,算力不僅僅是技術基礎設施,更成爲影響企業競爭力的重要因素。
從算力層面看,行業目前仍呈現出“需求大、能耗高、效率低”的發展態勢。以2020年發佈的GPT-3與最新發布的LLaMA3-405B進行對比爲例,儘管模型規模僅增大2.3倍,但所需算力卻增長了116倍。
這種指數級的算力消耗增長,使得傳統的單一算力架構已經難以爲繼,行業亟需更加高效、多元的算力解決方案。
因此,算法的創新將驅動算力需求的持續高增長,同時,算法結構的創新也帶來了MoE(混合專家模型)、模型量化、定製算子等更加複雜的計算需求。這不僅對企業的技術積累提出了更高的要求,也對整個算力生態的協同發展形成了巨大挑戰。
在此背景下,構建一個多元化的算力系統生態顯得尤爲重要。
12月25日下午,浪潮信息與智源研究院達成戰略合作協議,雙方將共建大模型多元算力開源創新生態,提升大模型創新研發的算力效率,降低大模型應用開發的算力門檻。
這次合作不僅是技術層面的互補,更是產業生態的一次重要整合。目前,智源的開源大模型通用算子庫FlagGems已接入浪潮信息的元腦企智EPAI企業大模型開發平臺,可幫助企業實現多元算力的適配與使用。
事實上,許多企業都已意識到多元多模的重要性,但是,由於不同硬件架構、指令集的差異以及算子庫的獨立實現,整個生態系統往往處於碎片化狀態,難以形成合力,這種割裂的生態現狀不僅擡高了大模型應用的技術門檻,也讓企業在實際部署中面臨重重困難。
尤其對於那些技術力量薄弱的傳統企業用戶來說,不僅在多元的芯片、模型中難以選擇,而且即使部署成功,也存在軟件框架多、易用性差等問題。這種局面導致企業在後期開發和使用中舉步維艱。
而此次合作,通過將智源的開源大模型通用算子庫FlagGems與浪潮信息的元腦企智EPAI企業大模型開發平臺進行深度融合,讓大模型應用開發能夠使用跨硬件、多框架兼容的算子集合,進而滿足了企業多種開發框架的需求,真正實現了大模型在跨算力平臺上的無縫開發與遷移。
資料顯示,FlagGems於今年6月推出,截至12月,已提供超過130個大模型算子,是目前提供算子數量最多、覆蓋廣度最大的開源算子庫。現在,藉助元腦企智EPAI大模型開發平臺,企業不僅能夠在多種算力平臺上進行高效的AI算法開發,還能夠靈活應對不同硬件架構帶來的技術差異。
浪潮信息高級副總裁劉軍向21世紀經濟報道記者表示,“在多元多模的產業格局下,AI的產業化落地本質上就是推動人工智能與百行千業的深度融合。過去,硬件架構、指令集的差異及算子庫的獨立實現,讓算力產業形成了生態藩籬,這次合作的目的就是要化解這些高門檻問題,爲AI應用創新注入更強大、多元的算力支持”。
此外,開源開放是創新活力的源泉。未來,隨着更多企業與開發者的加入,大模型多元算力生態有望逐漸成熟,併成爲推動AI技術全面落地的關鍵引擎。