百度李濤：汽車智能化和大模型浪潮重疊是歷史必然
版權聲明：本文版權爲本站汽車所有，轉載請註明出處。
本站汽車9月29日報道 9月29日，全球智能汽車產業大會（GIV2024）在合肥召開。會議圍繞 “人工智能時代的智能汽車發展” 主題，共同探討人工智能加速迭代下，我國智能汽車高質量發展的路徑。
當天，百度智艙業務部總經理李濤發表演講。他表示，汽車智能化的大浪潮和大模型浪潮重疊是歷史的必然，如果要實現AI汽車終極感知形態，就需要用到強大的邏輯推理、記憶、生成等能力，而這些能力恰是大模型最擅長的領域。“在這樣的時代背景下，我們把百度的智能座艙做了整體品牌升級，我們升級爲Apollo超級座艙。升級爲超級座艙的主要原因是我們推出了新系列新產品：智能體產品。我們的駕駛主張是它具有全感融合、全局規劃和全域執行能力，能給用戶帶來舒適、安全、好玩、環保的全新體驗。”
在全局感知之下，百度要構建整體智能化場景，通過深度洞悉需求、專家模型，藉助端雲融合的一體化架構，做端到端的事，雲做雲的事，端上解決性能和隱私合規問題，雲上提供超級智能，做複雜場景和任務的推理與計算，進而下發到車端，驅動整個聲像味觸感全方位體驗。“這不單可以給用戶帶來提升，另外也可以大大降低主機廠在在場景化定製方面的持續投入。”
李濤透露到，蘿蔔快跑第六代無人車即將搭載百度的超級座艙智能體，“在這臺車上大家可以看到整個在大模型驅動下的自動化迎賓、自動化車控，對不同人羣的照顧和關照的全新體驗。”
百度智艙業務部總經理 李濤
以下是演講實錄：
各位領導、各位來賓，大家上午好，很高興有機會來到合肥跟大家一起分享我們在大模型上車過程中的一些思考和實踐。
今天前續的演講非常精彩，張主任從戰略宏觀給我們指出了方向；曹老師把座艙體驗用可量化的方法表達出來，並通過函數進行優化，這個方法在過去主要應用在機器學習、深度學習訓練裡用到；唐總從主機廠的角度整體講了系統的提升智能化。
今天我更多是從智能座艙供應商的角度看『基於大模型技術對智能座艙的正向設計』。過去我們說很多功能是直接接入到座艙裡的，比如，有可能接入一個聊天，接入一個畫圖，但把這些能力並不是基於座艙內用戶的需求所設計的，直接塞到座艙裡真的是好的方式嗎？我覺得不是，不管是過去的計算機語言、還是雲計算，都是從新技術起點出發，從Thinking In Cloud到Thinking In AI才產生更多所謂新時代的應用。
接下來我與大家一起分享一下對於智能座艙這些年的發展的思考。語音交互是智能座艙裡使用頻率最高的應用，它替代了最早的機械按鍵，幫助人做Hands Free的交互，今年出廠的新車裡70%都搭載了語音交互功能。
從最早在傳統的汽車上通過物理按鍵進行交互，之後到數字虛擬的觸屏，再往後通過固定化的語指令音，說A就是A，說B就是B的指令，這樣機械化的執行。隨着AI技術、自然語言理解的進步，今天我們能夠泛化的理解用戶更加自然口語化的表達。這個過程中人們對座艙的使用頻次從最早每天3-5次的個位數到今天不僅飆到兩位數，在一些語音交互技術領先的車型上甚至已經達到了接近三位數。
最近我們也在思考語音交互次數是不是越多越好？其實不一定，首先，如果一個功能頻繁被用戶使用，一方面可以說明這個功能非常實用，用戶對它產生了依賴；另一方面也有可能是因爲我們整體車輛設計的智能化程度比較低，系統無法深度的理解用戶當前所需，用戶只能不停發原子化的操作指令才，系統才能按照指令一步一步的完成他的需求。比如要把車內溫度調整到舒適的狀態，要告訴它打開空調，調節溫度，調整風向，這樣這個動作才能完成。
今天我們看到很多座艙設計是把Pad安到了車上，然後把移動APP直接遷移到車機上去。現在行業裡統計單臺車上搭載APP最多的有189個。大家可以想象一下，在駕駛過程中需要從189個APP裡翻你想要的應用是多麼困難，一方面這會佔用寶貴的車機算力及內存資源，更重要的是造成用戶在駕駛體驗過程中的心智和認知負擔，甚至造成事故風險。
根據帕累託定律，軟件的使用也符合二八原則，80%甚至更高比例的應用其實不會被使用到，這不但會造成應用端資源的浪費，爲了把這些應該搬上車主機廠還需要大量投入，無形中造成了整個社會財富的浪費。今天還是要靠我們不停發出指令調動車輛的能力，那未來我們是不是可以做得更加智能一點，讓車能主動感知用戶的需求；最早整個座艙裡圍繞的是艙內感知和操作，現在“艙-駕-雲-圖”的趨勢變得非常明顯，我們明顯感受到艙裡用的攝像頭、毫米波雷達傳感器同樣可以賦能到智艙提升用戶的體驗。
張主任講的AI汽車的概念我非常認同，我們也覺得未來需要一個能夠知道用戶上下文、瞭解你此時此刻所想所需，並且自動生成全局化執行方案的新時代座艙，這也是智能座艙整體的演進的一個終極方向。
汽車智能化、大模型兩大浪潮的碰撞和融合具備歷史必然性，AI汽車這樣座艙智能終極形態的實現，有賴於強大的理解、記憶、邏輯和生成能力，這恰恰是大模型最擅長的領域。Apollo超級座艙在兩大浪潮的交融之處應運而生，具有全感融合、全局規劃和全域執行能力，能給用戶帶來舒適、安全、好玩、環保的全新體驗。這個車端智能體由三個部分組成：
1、全方位的感知融合。
感知融合分爲三個維度：人、車、世界。
首先是感知『人』，AI定義汽車，高階認知最終體現爲對於用戶的個性化服務，而識『人』是個性化的起點，如果我們整個智能終端設備連識人都做不到，那就談不上所謂個性化的服務了。
我們講第一步對『人』的感知，是對於一臺車輛而言，除了車主本人，他的朋友、家人、同事也都會或多或少的參與到與車輛的互動之中。我們設想一個場景，同樣的風量和溫度，對於男性和女性，大家的感受有很大不同，再代入一下，如果一位老人在車上，由於對科技產品的陌生感和畏懼感，以及我們父母這一輩含蓄的交流風格，他很難把車上的不良體驗直接表達出來。還有小孩，假使年輕父母帶小嬰兒出行，小嬰兒並不會表達需求，如果小嬰兒在後座安全座椅上睡着了，很可能會着涼。因此，一個自動化的、能夠感知艙內人員狀態，並且自動提供個性化、場景化輔助服務的智能體就呼之欲出。
再來看車輛本身，我們想象一下，在東部沿海和西部高海拔地區，在沙漠、在草原、在森林，在這些不同的地域、經緯度、地形地貌之下，對於車輛本身，不管是能源、駕駛狀態還是艙內調節都完全不一樣，我們不太可能寄希望於每個人都成爲車輛專家，讀懂幾百頁車輛使用說明書並且及時使用。現在也有一些新的功能，包括我們使用大模型和RAG的技術，通過問答給用戶提供信息，但我們覺得還是不夠，用戶需要的是我們通過場景化理解，幫助用戶驅動整個車輛，達成能源狀態、物理設施感知的動態調節。
另外，現階段我們在車上搭載的大量應用需要人通過語音或者手指觸發，更進一步的是通過所見即所說的能力，對當前界面語意化的進行語音表達，比如確定、取消、返回、下一步，但這樣其實還遠遠不夠。今天的大模型時代，我們有機會對應用本身整體的工作路徑做全面的感知和理解，當用戶發出一條指令“今天會議後去一家徽菜館”，系統可以幫助計算出相應的抵達時間，並調動所有相關應用，包括幫你把停車、訂座等，從而形成一個可以深度理解用戶需求和應用功能，並全局化的把他們很好的匹配起來滿足用戶需求的車端智能體。
車輛是在開放世界中行駛的，開放世界非常複雜，但人的能力有天然的侷限性，比如人只有一雙眼睛，我們能同時感知到的信息非常有限，所以會出現比較多的遺憾和事故，比如所謂“開門殺”、“倒車殺”，還有一些盲區，很多時候都是因爲看不見、來不及而引發的事故，現在我們把艙駕傳感器融合，使用戶可以獲得超出視野範圍的及時提醒。比如，最新上線的百度地圖V20版本中的『大車靠近提醒』功能就非常的實用，可以避免很多因駕駛員觀察不周情況下貿然操作造成的惡性事故。
車輛在行駛過程中能夠感知的範圍是比較有限的，基本就是在我們的視距範圍，如果大家感興趣，看看自己的車，基本在你的直行方向上只能看到前面第一輛車，後面的車都遮擋了。今年是極端天氣頻發的一年，造成了很多事故，給車主造成了非常嚴重的生命財產損失。其實我們也在思考和探討，在自然災害發生的那一剎那，到輛車出事故之前，這段時間是否有一個科技手段能夠幫助車主打開一面生命之窗？今天看來這個事情完全可能，現在整個高速上的信息監控、邊坡監控信息可以通過車路雲的協同一體化得到感知和提醒，過去的提示信息非常弱，今天我們可以聯動艙內的座椅、安全帶、聲像能力做全面提醒，預警前面危險、建議靠邊停車或者選擇繞行。
在全局的感知之下，我們要構建整體智能化場景，決策是非常重要的一個環節，我們基於文心大模型實現智能化場景構建和理解，利用我們的專家模型和端雲融合，實現端做端的事，雲做雲的事，端上解決性能和隱私合規問題，雲上提供超級智能，做我們複雜場景和任務的推理與計算，之後再下發到車端，驅動整個聲、像、味、觸、感全方位的執行，這不僅可以給用戶帶來體驗提升，還可以大幅降低主機廠在在場景化定製方面的持續投入。
在全域執行方面，除了前面提到的諸多場景之外，我還要推薦一下我們由大模型驅動到頭髮絲的超擬真數字人，大家可以下載『文小言』APP體驗這樣的數字人是怎樣被驅動的，包括口形、面容、頭髮和衣着，有這樣的一個智能體在我們整個駕乘過程中提供全程陪伴和服務，將是一個非常好的體驗。全域的執行離不開開放的電子電信架構和客戶的深度協同，這樣才能做出一體化整合、正向設計的效果，所以也需要OEM同仁們的大力支持。
接下來看一下車輛在使用了超級座艙、大模型和智能體之後可以帶來什麼樣的體驗。
（視頻）
除了剛纔所說的諸多智能化產品之外，我們在極越07上全新搭載了升級後的百度智能語音，通過圖像&語音雙模識別技術，可以在車速90km/h開窗場景下仍具備很高的識別率，甚至可以高於很多車型在關窗靜態場景下的識別準確率，這就是大模型和多模融合的力量。
我們百度Apollo合作伙伴的車型，別克GL8全新陸尊PHEV也即將搭載Apollo的智艙大模型。
最後，給大家做一個小小的預告，很快『蘿蔔快跑第六代無人車』也即將搭載我們的超級座艙智能體，在這臺車上大家可以看到整個在大模型驅動下的自動化迎賓、自動化車控，對不同人羣的照顧和關照的全新體驗，歡迎大家有機會到武漢“打無人車，逛大武漢，快樂加倍”。