高通錢堃:將AI工作負載轉移到邊緣計算設備將解決電力消耗難題
新京報貝殼財經訊(記者 覃澈)11月21日,2024年世界互聯網大會烏鎮峰會數字化綠色化協同轉型發展論壇於浙江烏鎮舉行。高通公司全球高級副總裁錢堃表示,面對氣候變化帶來的挑戰,前沿技術在提高效率、降低計算功耗等方面都將起到積極的重要作用。
錢堃表示,隨着生成式AI應用的激增,數據中心的電力消耗也隨之增加,尤其是使用生成式AI進行搜索推理的電力消耗是傳統網絡搜索的十倍。爲了解決這一問題,除了在數據中心部署節能芯片外,將AI工作負載轉移到邊緣計算設備上也是一個有效的策略。採用混合AI架構可以靈活地結合雲和邊緣計算的優勢,“邊緣側終端設備,如智能手機、PC以及車輛等,完全有能力使用較小的模型來處理相應的工作負載,而無需依賴雲端資源。”
“將更多的AI工作負載轉移到邊緣,並實現雲端與邊緣側終端的協同處理,這將比以往任何時候都更加需要可靠、低時延且端到雲的連接。”錢堃稱,“高通攜手合作夥伴積極推動5G技術向5G Advanced演進。5G Advanced重點關注面向終端和網絡的專屬節能特性,並持續探索端到端的節能技術機遇,助力構建更加綠色節能的網絡。”
校對 楊許麗