英偉達H100海外租金大降,但說“算力泡沫破裂”爲時過早
近日,一篇題爲“英偉達H100 GPU海外租金價格降至2美元/小時”的文章迅速在國內傳播開來,市場也紛紛圍繞“算力泡沫是否開始破裂”“H100算力不香了”等話題進行討論。
此前美國一家AI推理服務供應商Featherless.AI的聯合創始人Eugene Cheah撰文表示,最近頻繁收到算力租賃商的廣告郵件,稱單張英偉達H100 GPU的租賃價格降至大約2美元/小時,甚至更低,相比2023年5美元/小時左右的市場均價幾近腰斬。
去年時,英偉達曾預測,4美元/小時的GPU價格會在4年內保持不變,但不到1年半就走向了降價。
Eugene Cheah在文中稱,像AWS、Meta、谷歌這樣的大型與中型AI模型公司,已通過長期租賃榨取了算力價值。眼下,除非是要建立大型智算集羣的公司,否則不要購買全新的H100,“租算力”是更經濟適用的選擇。
市場普遍認同H100海外降價的趨勢,但認爲“2美元/小時”,甚至“1美元/小時”,主要是Lambda Labs等個別初創算力租賃公司爲吸引客戶搞促銷,不能反映市場平均價格水平。
界面新聞記者瀏覽亞馬遜AWS雲服務平臺官網時發現,按照短租和長租不同條件,以一臺服務器8張GPU換算下來,H100的最新價格有12美元/小時(按一年長租簽約)、5美元/小時(按三年長租簽約)兩種不同的檔位。另一家雲廠商谷歌雲類似產品的價格也在10美元上下。
國內一位從事AI算力租賃業務的行業人士告訴界面新聞記者,海外H100降價的邏輯很容易理解——隨着英偉達的GPU新品H200、B200今年陸續開始上市,新品性能更強,平均算下來H100算力成本相對更低,原來的舊產品自然需要降價,差別只在於降價幅度和速度。據他了解,5到8美元/小時,更能代表目前海外主流平臺的價格水平,符合英偉達此前預測的產品價格走勢。
英偉達的新品近期開始上市供貨後,市場反響依然熱烈。
該公司CEO黃仁勳本月在參加一場研討會時透露,B200 GPU近期開始量產交貨後備受客戶青睞,未來12個月的Blackwell架構GPU訂單已全部售罄,任何新客戶需要等到2025年才能收到產品。
“國內的情況與海外不同,因爲英偉達高端顯卡禁售,很難拿新品,走的是另一條不同的路。”上述人士認爲,海外降價對國內幾乎沒有影響,現階段,國內算力租賃市場最大的問題仍在於供需失衡,“國內算力資源極度分散,大多時候都是賣家找不到買家,買家也找不到賣家。”
之所以如此,是因爲國內目前算力資源總供給有限,無法做到按需分配。
據界面新聞記者瞭解,國內用於訓練AI模型的算力資源,除了AI GPU H100、A100之外,還有英偉達的消費GPU產品4090,以及不同廠商的國產AI算力。
同時,國內從事算力租賃的公司混雜,產品服務與價格缺乏統一標準,少有像海外的AWS、谷歌雲那樣,可以向客戶提供標準化租賃服務的公司。
另有多位市場人士向界面新聞記者表示,國內算力資源租賃的服務器價格今年確有波動。一臺H100服務器,年初的市場報價在12萬元/年左右,現在的市價大概在7萬元。
一家曾參與國內某地方政府建設智算中心的科技公司CEO提到,由於字節跳動、阿里、騰訊這些互聯網巨頭掌握的算力資源主要供自家大模型使用,很少能面向公開市場提供租賃服務。現在市場上絕大多數從事算力租賃的廠商都是在賣服務器硬件,無法做到像過去的雲計算廠商一樣,提供標準服務、統一定價。
“這些算力租賃服務商大多數是因去年算力需求暴漲囤了一定量的AI服務器現貨,然後把算力硬件當作‘期貨’炒。爲了保證硬件回本,他們極少有能真正按小時計價來靈活地提供服務,許多訂單都要按1年甚至更長時間起租,折算下來是一筆不小的成本。”這位CEO認爲,國內市場降價主要影響的是這批“投機客”,他們手中的硬件資產在貶值。
另據兩位AI服務器的銷售人員透露,目前國內非公開渠道流通的少量H100服務器,現貨每臺價格在240萬元-250萬元上下,相比去年近300萬元的售價有所下跌。
在上述科技公司CEO看來,僅通過H100的價格浮動就預言“算力泡沫破裂”爲時尚早。
就供給而言,與Meta、微軟、特斯拉這樣已擁有數十萬張H100 GPU,且仍繼續加大采購的海外算力巨頭相比,國內算力總量有限,各地仍在加緊投入建設智算中心。政府今年對算力建設的投入方向仍是主張“適度超前”來增加供給。
而從需求角度看,無論是AI大模型訓練還是推理,以及支持傳統企業通過AI探索業務轉型,先進的算力資源始終是市場上的“搶手貨”。
“市場上真正有資源、有實力建設算力中心的客戶還是極少數,今年接觸的大量客戶對於平價、穩定且按需調用的算力還是極度渴求。”該CEO說道。