打通異構算力之間的高速網絡通道是構建多元智算體系的關鍵
通信世界網消息(CWW)大模型時代對算力的需求永無止境,大規模智算中心建設如火如荼。人工智能技術在各領域應用的快速發展,以及Sora、Gemini1.5 Pro的面世,將進一步提高算力基礎設施的建設要求,激活算力技術的不斷創新和迭代升級。如今,算力市場已形成龐大的生態系統,涵蓋CPU、GPU、DPU、FPGA等專用芯片,各種形態的交換機、光模塊/線纜等連接介質,以及各服務提供商交付的算力運營、算力調度、算法交易平臺等。對企業而言,如何博各家之所長,構建出多元融合的智算體系,是贏得未來競爭、享受智算紅利的關鍵所在。
異構算力網絡成爲“必選項”
隨着智算熱度持續提升,以AI爲核心的算力需求激增。爲實現計算效力最大化,多元異構算力將成爲必然趨勢。異構算力體系可以充分發揮各種計算設備的優勢,爲客戶提高智算效率、降低採購成本、提升系統安全性。但在實際應用中,大多數客戶對於智算場景都是初次接觸,並不像傳統ICT基礎設施建設那樣可以輕車熟路地進行規劃、採購、部署。因此,解決異構組件間的互聯問題,是打通整體方案的重要前提,那麼網絡是否做好了承擔重任的技術儲備?
用網絡打通異構算力的關鍵能力要求
通過數十年信息技術的發展,以太網具備拉通和兼容多種不同終端的能力,這一點已經被充分驗證。面對智算的異構需求,以太網一方面需在網絡側解決端口密度、設備形態、通道標準、傳輸介質的擴展性和兼容性;另一方面需在計算側篩選AI服務器網卡規格,爲智算業務提供高性能算力,這種“多元可靠聯接”的能力正是打通異構算力所需要的。
在高性能網絡領域,無損以太網(RoCE)是一個快速普及且被大衆認可的技術,其在成本、未來演進和生態豐富度上具備天然優勢。當RoCE發展到智算網絡時代,連接非智能網卡、智能網卡、可編程智能網卡等不同能力的網卡時,以“場景化網絡調優”的模式解決Hash極化問題,降低網絡擁堵風險,成爲構建智算網絡無損能力的關鍵。
此外,智算網絡如果脫離了與算力的聯動,那就是孤立、被動的,爲確保智算業務平穩有序地發展,網絡必須與算力調度平臺聯動起來。而國內大多數算力廠商沒有配套的網絡設備和平臺,因此,想用網絡打通異構算力,則必須具備與多家廠商的CCL(集合通信庫)的兼容對接能力,將算力需求轉譯爲網絡配置,也就是所謂的“異構算網聯動”。
綜上所述,要打通異構算力之間的高速網絡通道,必須具備“多元可靠聯接、場景化網絡調優、異構算網聯動”三大關鍵能力,這也是算力產業實現創新發展的重中之重。
聚焦異構算力組網痛點,新華三持續賦能智算新時代
作爲數字化解決方案領導者,新華三集團始終致力於成爲客戶業務創新、數字化轉型值得信賴的合作伙伴。面對網算之間互相協同推進的發展態勢,新華三在“多元可靠聯接、場景化網絡調優、異構算網聯動”等方面加速突破,積極探索打通異構算力的開放網絡。
●多元可靠聯接
新華三集團進行了豐富的智算產品佈局,提供了開放性、兼容性、擴展性、穩定性極強的網絡環境和端到端異構連接保障,全方位滿足了客戶需求。
新華三長期致力於推動國內高速網絡技術的發展,在100G/400G/800G產品的面世時間上都處於國內乃至業界領先地位。在智算場景下,新華三的產品佈局也是業內最豐富的。從產品形態上看,新華三可提供從100G到800G多種形態的框式、盒式產品,端口密度覆蓋完善,能夠滿足不同規模智算客戶的組網需求。從1K GPU到512K GPU的場景下,客戶可以平滑地選用新華三的單框、盒盒、框盒、三層盒盒等不同的組網架構,實現成本與規模的最優匹配。
從綠色節能角度來看,新華三產品可同時支持LPO和液冷技術,LPO技術是指通過設備內部的信號穩定器件和設計,替代光模塊中的DSP芯片,降低DSP帶來的功耗和時延,亦可規避DSP芯片的供應風險。而液冷技術可將關鍵芯片產生的大量熱量通過液冷帶出設備,配套的風扇僅用於其他非關鍵器件的散熱,轉速和耗電都將大幅降低。
此外,新華三擁有業界最開放的生態合作環境,各條產品線都採用了多家合作伙伴的交付件,包括GPU、網卡、光模塊、交換芯片,由此也爲新華三帶來了天然優勢——能夠代替客戶驗證異構算力環境的兼容性。對客戶而言,選擇異構方案最大的阻力來源於實施效果,能否互聯互通,以及互通後的性能、可靠性是否能支撐業務需求,這是實際存在的風險。而新華三的能力就是利用自身的生態優勢,爲客戶提供端到端的異構連接保障,確保客戶從新華三驗證過的交付件庫中選擇GPU、網卡、模塊、交換機,即可在實際場景中放心互聯。
爲此,新華三還設計了一套《智算網絡異構連通專項測試》標準,專門用於驗證不同智算組件之間的互通性,豐富的測試例覆蓋瞭如下驗證能力(如圖1所示)。
圖1測試例覆蓋的驗證能力
●場景化網絡調優
在“場景化網絡調優”方面,新華三集團通過端口對稱Hash技術LBN、動態負載均衡技術DLB(如圖2所示)、鏈路噴灑技術SprayLink、全局負載均衡技術FGLB等滿足了客戶不同智算場景的技術需求,實現了數據中心超高帶寬利用率的無阻塞轉發。
圖2動態負載均衡技術DLB示意
以“端口對稱Hash技術LBN”爲例,對於智算網絡中的每一臺設備而言,網絡調優的最終目標,就是下行端口接收的流量,能夠確保通過上行帶寬資源轉發出去。實現這個目標最簡單的方式是爲每一個下行口指定一個同速率的上行口,其他下行口的流量不能從該上行口轉發,形成獨佔的上行資源,這項技術即爲LBN(如圖3所示)。
圖3 LBN技術示意
當網絡和業務規模超出LBN可覆蓋的能力時,需要通過“引入新變量”和“分割單一流”解決Hash極化問題。所謂“引入新變量”,即爲在Hash過程中引入出端口負載情況(隊列長度),提升隊列更短的出端口優先級,就可以將流量更多地分攤到空閒端口上;所謂“分割單一流”,即爲在出端口Hash時,針對子流做Hash,引入當前出端口的負載,便可以將不同時間段到達的子流Hash到當前最空閒的端口發送。
當一條大流連續到達交換機的時候,“鏈路噴灑技術SprayLink”(如圖4所示)的價值便得到了彰顯。SprayLink通過實時監控LACP/ECMP中各物理鏈路的帶寬利用率、出口隊列、緩存佔用、傳輸時延等精細化數據,對大流做到基於Per-Packet(逐包)方式的動態負載均衡,將每個數據包分配到當時資源最優的鏈路上。通過實測,採用SprayLink可以使多條鏈路的總帶寬利用率達到95%以上,比傳統H a s h方法提升明顯。但是SprayLink存在流量到達接收端的亂序問題,需要接收端的網卡支持亂序重排技術才能匹配。
圖4鏈路噴灑技術SprayLink示意
上述幾種負載均衡技術,看似已完整覆蓋了所有場景,但其只能根據設備本地的負載情況進行選擇,對於發出的數據在剩餘路徑上的傳輸質量,則沒有判斷依據。而新華三的全局負載均衡技術FGLB(如圖5所示),能夠讓每臺設備都擁有全局視角,瞭解自己接口的下一跳,乃至下一跳到再下一跳的鏈路負載情況,來輔助決策本地的負載結果。
圖5全局負載均衡技術FGLB示意
衆所周知,實現全場景網絡調優是企業提升鏈路效能的關鍵,新華三依託其領先的負載均衡技術,通過豐富的現網實踐,總結出了以下場景化匹配應用建議(如圖6所示)。
圖6場景化匹配應用
●異構算網聯動
在“異構算網聯動”方面,新華三在“調整網卡QP能力與網絡聯動”“算網主動選路與路徑仿真技術”兩大方面進行了實踐探索。
關於“調整網卡QP能力與網絡聯動”(如圖7所示),新華三通過識別不同網卡的樣本能力(QP規格),結合當前網絡可用路徑數量和帶寬的資源,以及自研的算法,提供了一種端到端的負載優化機制。當訓練任務開始時,兩張網卡之間建立數據連接,在AI服務器內部的agent就將報文特徵等信息傳遞到控制器,同時控制器根據當前網絡的資源,設置網卡的QP規格,爲一對Peer建立多對QP,解決路徑中設備Hash不均問題。
圖7調整網卡QP能力與網絡聯動示意
關於“算網主動選路與路徑仿真技術”(如圖8所示),新華三通過算網協同機制,實現了一種主動選路的功能。當一個CCL發起新的互通請求時,新華三的網絡分析器會收集當前所有鏈路流量負載情況,並根據自研的智能選路算法,選出對於該互通連接最高效的路徑,將配置下發到交換機,實現按策略的轉發,避免傳統路由協議選路條件粗放的問題。同時新華三還提供路徑仿真能力,對於主動選路效果,可以在分析器內部通過NFV的形式進行真實流量模擬,來驗證策略下發效果,驗證後再下發到真實設備上。
圖8算網主動選路與路徑仿真技術示意
面向未來,在算力爆發的時代,新華三集團將始終秉承開放共贏的理念,通過多元可靠聯接、場景化網絡調優、異構算網聯動三大核心能力,解決客戶在異構算力組網過程中遇到的各種問題,與生態合作伙伴、行業客戶一起,打造繁榮、開放的智算生態體系。