“真正的推理端剛剛開始” 訓練算力成本仍佔至少七成 大模型下半場何時爆發？

財聯社9月21日訊（記者 付靜）“關於AI是否到達瓶頸以及進展是否會放緩的爭論，其實已經持續了一段時間。AI發展不僅沒有放緩，而且我們對未來幾年已經勝券在握。”OpenAI創始人兼首席執行官Sam Altman在近日的訪談中表示。

持續引領業界技術發展方向的OpenAI最新發布的o1系列大模型着重強調推理能力，引發模型推理端算力的關注度攀升。財聯社記者日前多方採訪業內人士獲悉，o1的發佈將帶動推理算力的需求進一步提升，隨着大模型廣泛落地，推理算力有望高增。推理被視作大模型“下半場”，不過現階段來看，AI算力需求主要的增長動力仍來自於訓練，模型廠商算力成本中訓練端佔比至少七成左右，真正的推理端或剛剛開始。

“真正的推理端剛剛開始”

“o1系列的數學推理能力、物理推理能力相比上一代的GPT-4o有非常明顯的進步和提升空間。OpenAI引領着整個行業的發展趨勢，國內AI大模型勢必也會跟進這種推理能力提升趨勢。“小北學AI”主理人張亮在接受財聯社記者採訪時表示。

據OpenAI官方說法，與之前的模型相比，o1系列可推理更復雜的任務。據悉，新模型採用強化學習方法，對於複雜的推理任務逐步思考和細化步驟從而產生思維鏈，最後提供過程+答案的回覆。

國盛通信近日研報顯示，o1大模型的推出是對推理側需求的跨時代更新，在進入規模化時代後，“大力出奇跡”原則下對芯片數量、交換機數量、連接器數量等核心硬件數量的需求都有望指數級提升，新一輪的軍備競賽或將開啓，在強化學習對芯片的龐大需求下“萬卡”或僅是個入門選擇。

IDC中國分析師杜昀龍告訴財聯社記者，推理在未來幾年會佔有大部分市場，與訓練共存。

不過根據當前大模型的發展進度，一位服務器從業者態度相對較謹慎，他告訴財聯社記者，“其實從去年到現在，大部分時間是在解決訓練的問題，解決有和無的問題。其實GPT的推理能力本來不是很好，隨着它（指OpenAI）訓練路徑走通了，開始對推理進行優化。我覺得真正的推理端剛剛開始，國內推理端沒有爆發起來，是因爲從模型算法到應用場景整體都沒有系統性地有效結合起來。”

從產業用於模型訓練和推理的具體算力成本比例看，本月初騰訊雲副總裁沙開波曾在接受財聯社在內的媒體採訪時表示，“現在總體上應該超過80%都還是以訓練爲主，隨着後面整個應用的落地，推理的比重會逐漸去增加。”

一位市場分析人士亦告訴財聯社記者，“國內訓練和推理算力比例大概是4到5比1。”

據IDC此前預測數據，雲端推理佔算力的比重將逐步提升，預計到2026年推理佔62.2%，訓練佔37.8%。

不過杜昀龍告訴財聯社記者，“這是之前的預測數據，最終以官方最新發布爲主。”根據其實際瞭解到的產業當下狀況：“從金額看，訓練在70%以上，而推理不到30%。”

而今年上半年英偉達在其財報電話會議上曾披露，大模型推理場景已經佔了數據中心業務40%的營收比例。

對此前述市場分析人士坦言，“可能海外走得比較快，國內實際應用起來的不是很明顯，推理算力需求提升其實也沒有很明顯。”

推理成本下探 賽道持續升溫

財聯社記者在採訪中亦獲悉，今年AI推理成本逐步下探，推理效率也得到了提升。

“從目前推理的硬件來看，其成本是相對比較低廉的，而且效率並不低，功耗也不大。但是從大模型的應用來說，推理面臨的挑戰是成本高。”杜昀龍告訴記者。

“推理成本在持續下降。今年相比於去年，在推理階段產生單位智能的成本基本上降了一個數量級，明年估計還會再有一個數量級的下降。”月之暗面創始人楊植麟在近日的一次分享中公開稱。

不過張亮也告訴財聯社記者，“國內AI大模型廠商爲了跑馬圈地，爲了圈定AI開發者完成生態搭建，所以把價格打下來了。如果不去調用各個大模型平臺的API，而是自己訓練，其實還會面臨GPU硬件成本高昂的問題。”

在推理側，“一些業務場景的複雜和落地鏈路的延長，數據樣本量不足或缺乏標準化輸出等，都是客觀存在的問題。”張亮同時向記者表示。

財聯社記者注意到，大模型應用雖尚待落地，各算力硬件廠商已然瞄準了推理這一賽道。

華爲昇騰計算整機業務人士在近日的華爲全聯接大會上稱：“AI應用的爆發式增長，可能帶動AI推理算力需求激增至訓練算力的百倍。未來，推理將成爲AI產業的主戰場。”基於推理需求趨勢，神州數碼（000034.SZ）子公司神州鯤泰亦最新宣佈，將基於與華爲昇騰的合作打造昇騰能力中心。

“國產算力現在其實主要在做推理，在訓練方面可能還在嘗試。”前述市場分析人士稱。近期，獨角獸燧原科技、壁仞科技先後啓動IPO，據媒體報道，騰訊此前推出的推理芯片“紫霄”正是由燧原科技合作開發。

與此同時，海外玩家中，AMD、美國獨角獸Cerebras Systems、韓國FuriosaAI紛紛加入AI推理競賽。而爲降低對英偉達等外部芯片供應商的依賴，Meta也下場自研推理芯片，其MTIA v2上半年已正式發佈。“像微軟、OpenAI等都有親自去做AI算力芯片的想法，在供給側一定是有一個逐步提升增強的過程。”張亮稱。