大模型賽點：場景與成本
前幾天，OpenAI舉行首次開發者大會。一系列的更新發布使得現場高潮不斷，最令人驚豔的可能莫過於：OpenAI爲創業者開放了支持自定義模型的GPTs。也就是說，創業者可以針對專業場景進行定製化的模型研發。
場景，其實一直是大模型創新最主要的難題之一。
GPTs
現場另一個重磅發佈則是降價。和原版GPT-4相比，新版GPT-4 Turbo價格降低了2.75倍多。OpenAI的舉動頗具代表性。場景與成本，正是當下大模型都在全力攻克的兩座大山。
另一個風口
當下，相比於創造全新的場景，利用大模型改造現存場景，實現生產力提升，或許是一個更好的思路。
一個典型案例是營銷場景：複雜的營銷模式和供應鏈環節，爲AI提供了絕佳的應用場景。當下，行業已經開始思考，如何把大模型應用在品牌營銷，尤其是營銷標配的電商直播中，以領先技術實現成本的極致壓縮。
電商直播的優勢已無需贅述，大到奢侈品牌，小到莆田廠家都試圖通過這一方式尋求新增長。但對品牌商家而言，做直播需要耗費人力、資源、時間等高成本投入，並且對人員專業能力有較高要求。因此不免會出現主播在直播時閒聊、產品介紹不到位、主播不招人喜歡、回答不夠專業等問題，讓不少品牌商望而卻步。
而這一類場景則恰恰適合大模型一展拳腳。京東雲以言犀大模型加持的言犀虛擬主播，用不及真人主播1/10的低成本、2小時即可開播的高效率，以及24h拉滿直播時長，給出了高度適配這一場景的降本增效方案。
言犀虛擬主播
同仁堂是第一批吃螃蟹的品牌。如今，專業度極高的京東雲言犀虛擬主播，已成爲同仁堂京東自營旗艦店的“正式員工”，實現了24小時不間斷直播。特別是在深夜無人值守時段，虛擬主播帶貨了燕窩、阿膠等100餘款熱門產品，成交轉化率超10%。
除同仁堂外，京東雲言犀虛擬主播已經入駐青蛙王子、六神、百雀羚等4000多個品牌直播間，累計帶動超10億元GMV，佔真人直播40%。今年11.11期間，更以全棧自研技術支撐，幫助品牌實現提升業績增量、客服溫度、營銷效率等多維度的價值創造。
評估一項技術的價值，不應該只看發了多少篇論文，更要看給社會生產力帶來了多少提升，大模型也不例外，而這正是京東的目標。
事實上，除數字人主播之外，京東針對營銷的各個環節都提供了對應的AI工具。
例如在金融營銷上，京東科技的AI增長營銷平臺，可以快速生成創意營銷方案，僅需1人即可完成過去涉及及產品、研發等5類以上職能才能完成的流程。同時，一個入口的全新交互模式，讓人機交互次數從2000次降低至少於50次，將操作效率提升了超過40倍。
加持大模型能力的AI專家，如今正成爲營銷場景中必不可少的一員。
從通用到產業
10月23日晚上8點，今年的雙11大戰正式開幕。同往年一樣，社交平臺上立馬充斥着關於大促期間，物流快到令人咂舌的段子。
31日晚8剛過10分鐘，全國已於有超1000個縣區市的消費者收到了小時達訂單，這背後其實是平臺運營效率的提升。今年在大量商家和消費者服務上，京東雲的產業AI技術代替真人分擔了相當一部分工作：
自10月23日京東11.11開啓以來，京東雲智能客服已經完成了超10億次消費者的應答。作爲京東官方的服務與營銷一體化平臺，京小智至今服務商家數量超36萬，其中，中小商家較去年11.11增加102%，較今年618增加62%。
零售讓大模型找到了一個可以深入落地的場景，但想解決產業場景中的實際問題，其實並不容易。
大模型內部是一個黑箱，輸出存在不可控的問題。但在更加嚴肅的商業場景，品牌商及消費者肯定不能接受大模型胡說八道。得益於長期以來對專業場景語料訓練的京東言犀大模型，京東雲已經找到了一套解決方案。
京東雲將零售、物流、健康等專業領域知識在預訓練階段就注入到言犀大模型中，對電商商品屬性、價格、品類知識等進行重點強化，使基礎大模型一開始就對關鍵性信息進行抓取和表徵。在應用的時候，在客服，導購，直播帶貨，對於非常敏感的信息點就會有更高的保證度和專業性。
通過信息抽取，京東雲將類似信息問答的準確率從80%+正確率提升到96%的準確率。而在此基礎上，京東雲又通過運營審覈對信息準確性進行兜底，使得最終準確率達到近乎100%，真正實現可用。
不過，解決胡說八道只是第一步，消費者不會因爲AI專家回答準確而激情下單。
另一項考驗是：如何讓虛擬主播擁有真人主播的情緒，感染到消費者？京東雲在爲國臺提供數字人服務時就曾遇到過這個問題，開發出的第一版聲音溫柔且咬字清晰，顯得過於一板一眼。收到商家反饋後，技術團隊迅速迭代出第二版：充滿激情的人聲。
在這個過程中，京東雲打造了一條“聲音供應鏈”：
從聲音最基礎的元素上進行規範、制定標準，再通過技術進行適配以打磨聲音表現力，並且結合真實的直播數據，持續迭代有感染力的聲音，如今言犀虛擬主播的音色庫已擴充至超過40個。
除了感染消費者，如何能“體會”消費者的情緒，也是智能客服的難點所在。基於言犀大模型，京東雲AI技術能識別“買貴了”等價格敏感型對話意圖，主動推送“一鍵價保”服務，提高成單率。同時也有能力將“能刷公交卡的手機”理解爲“支持NFC功能”等商品屬性，抓取相關商品直接推薦給消費者，提高準確應答率。
憑藉這一系列技術方案，虛擬主播的帶貨轉化率最高可達到40%。
相似的方法正同樣被京東雲應用於視覺形象的迭代。超過70個數字人形象，讓京東平臺商家在選取符合自家商品調性的AI形象時，擁有了更多、更合適的選擇。
然 而 ，一個工具畢竟很難100%覆蓋所有的細分需求。 隨着品牌商家不斷深入，難免會希望擁有一個定製化的品牌大模型，以高度匹配自家產品和服務。 可大模型定製化高昂的投入成本和高門檻的技術要求，是擋在絕大部分品牌面前的兩座大山。
京東雲的思路是MaaS（model as service），向客戶提供言犀 AI 開發計算平臺。
這個平臺覆蓋了數據準備、模型開發、模型訓練及模型部署的 AI 開發全流程能力，預置了主流開源大模型以及部分商業化大模型，以及一百多種推理工具和框架，能夠有效降低大模型開發門檻和成本。
尤其在開發者關注的性能方面，言犀 AI 開發計算平臺在算力和存儲上做了許多技術突破，包括平臺對 GPU 算力進行整體調度和統籌，提高對平臺的底層資源使用的調度效率；而云海分佈式存儲能夠支持大模型海量數據高併發集羣要求，可以做到千萬級 IOPS，延遲低至百微秒。
從用戶視角來看，從真人轉到數字人或許只是視覺效果上的切換；但在這背後，其實是京東多年技術佈局的厚積薄發。
成本攻堅戰
電商爲大模型提供了一個合適的場景，相比之下，算力成本問題則沒那麼好解決。大模型前期需要訓練，應用階段需要推理，這些都會消耗巨大的算力。不解決大模型的成本難題，商業盈利就遙遙無期。
京東雲的經驗是，先從模型層面進行優化，即大模型的蒸餾和量化。
原來的大模型參數應用的32位或64位的浮點數作爲參數，但浮點數佔用空間大且運算較慢。京東雲可以通過4位或8位的數字來模擬浮點數參數，保證精度的同時再通過流式計算的方式提高模型的運行速度。這樣大模型平均生成每個Token的運行成本大大降低。
其次，優化大模型推理階段的算力損耗。不同於需要大量並行計算的訓練階段，推理需要的數據量相對較少。此外京東平臺商家調用大模型應用的時間會呈現波峰波谷，這意味着對計算資源的調度十分關鍵。
京東雲在計算資源調度上久經沙場了。通過混合多雲操作系統雲艦，京東雲可對超1500萬核容器秒級調度則可以解決推理階段的算力能力。
這套能力源於常年支持618和11.11。所以藉助計算調度能力，京東雲在11.11期間可以爲幾十萬需要大模型應用的商家部署獨立的容器完成計算支持，應用完成後再快速釋放，既靈活高效，又節省成本。
想要實現算力降本，還有個不容忽視的部分，即數據中心的運行電力成本。
數據中心是大模型的訓練與應用的數字設施基礎，24小時連續運行，電力成本佔運營總成本的60%-70%；隨着大模型帶動AI 服務器需求快速提升，因AI 服務器中大量使用高功率 CPU、GPU芯片，使得服務器整機功耗以至機櫃功耗急劇走高，帶動數據中心用電規模迅速增長。
且隨着電力市場化改革深入，市場交易電價上下浮動範圍不斷擴大，數據中心運行電力成本不斷攀升，因此如何降低數據中心的電力消耗，已然成爲算力降本道路上不可避免的最大挑戰。
面對這個挑戰，京東雲基於多年來對研發大模型的能力積累和大模型對數字基礎設施需求的深切理解，創新推出了“阿爾法”智能算力模塊高功率密度解決方案，可根據數據中心基礎條件及服務器配置需求，定製化提供相應的產品解決方案。
這其中包括風冷型及液冷型兩個系列模塊產品解決方案：
風冷型算力模塊配套採用風牆型空調，風牆型空調功耗較傳統機房空調可降低30%，並可靈活匹配冷凍水、相變自然冷卻空調冷源系統；液冷型算力模塊配套採用冷板式液冷系統，空調系統全年平均運行能效可將PUE製冷因子低於0.07，從而大幅降低數據中心運行能耗及運行電力成本，最終實現算力成本的下降。
在面對AI浪潮時，京東的步伐其實跟OpenAI的成長過程有很多不約而同之處。OpenAI的班底是幾個硅谷極客，堅信人工智能可以改變世界。而京東同樣以技術爲起點，以爲產業賦能爲最終目標，交出了一份值得業界參考的答卷。
這份始終圍繞產業思考的誠心其實更加可貴。
而京東的故事也證明了，能夠在技術風口期內，迅速把握方向，從學術理論走向產業，其實並不簡單。這既需要對前沿技術的高瞻遠矚，又需要對當下終端需求的敏感和精準捕捉。這對一個企業組織的溝通效率、軟硬件融合能力、以及投研實力都是巨大的考驗。
在科技企業的商業戰爭中，最終獲勝的通常不是那個技術開創者，而是真正將技術推廣出去，通過工程上的點滴進步，最終爲產業帶來紅利的企業。
而這方面，其實一直是京東等中國科技企業的長項。
作者：葉子凌
編輯：陳彬
視覺設計：疏睿
責任編輯：陳彬