端到端下的智駕人：曾經年入百萬，如今焦慮失業

文丨李安琪

編輯丨李勤

“要麼擁抱端到端，要麼幾年後離開智駕行業。”

進入智駕行業數年，智駕工程師秦風（化名）原本已經適應智駕行業激烈的內卷節奏。但當新技術“端到端大模型”來臨時，他覺得首先被衝擊的可能不是人類司機，而是作爲工程師的自己。

這種焦慮並非秦風獨有。不少智駕工程師告訴36氪，爲了學習新技術，他們在工作加班的間隙看起了行業最新論文、去B站聽課，有的甚至從研究生課本開始學起。

“端到端大模型”是今年智能駕駛行業的最新技術炸彈。

今年1月，特斯拉麪向普通用戶正式推送了 FSD（自動駕駛軟件包） v12 的測試版本。該版本採用了端到端網絡方案，不少用戶稱效果經驗，比之前的v11版本要擬人得多。

馬斯克曾介紹端到端的能力，稱之爲“圖像端輸入，控制端輸出”。儘管多位行業人士向36氪表達，他們不相信特斯拉端到端方案在實操層面如此激進與神乎其技，但端到端依然如蜜般驅策着國內同行。國內玩家逐漸相信，在大模型、大算力、海量數據的驅動下，AI系統會像人類一樣開車。

嗅到新的技術風潮，國內的車企與頭部智駕公司已經付諸行動。華爲、蔚小理、比亞迪等頭部玩家都投入了團隊與資源推進端到端方案；理想與蔚來兩家車企，還成立了專門的端到端大模型部門，以更快推進技術落地。

高端人才的爭奪也在明暗處涌動。在第一款車推向市場之際，爲追上智駕進度，小米汽車挖來了前圖森中國CTO王乃巖加盟。還有智駕行業人士告訴36氪，華爲智駕甚至通過相關專利來錨定人才，做定點挖掘。

新方案的確在引燃國內市場。但這枚硬幣另一面是，端到端強依賴於數據驅動，而非大量工程師的人力堆疊實現。特斯拉300人左右的團隊規模，被當成範本在頭部玩家之間傳播。

然而行業現實是，當下頭部玩家的智駕團隊，人才規模幾乎都是千人級。追趕智駕中的老牌車企比亞迪，有達3000人的軟件團隊，華爲智駕團隊人數也不遑多讓。行情好的時候，工程師們普遍能拿到年薪百萬的薪資包。

但不少智駕工程師都相信，如果端到端方案效果被進一步驗證，車企智駕團隊裁員將是大概率事件。

“200-300人都用不上。”一位前新勢力車企智駕骨幹堅定地對36氪說道。甚至深度學習背景的應屆生，可能都比一些智駕工程師進入端到端項目更有優勢。

一些智駕獵頭也明顯感受到了行業的人才滿溢：車企智駕團隊不再放出新崗位，人員開始要精簡，“很多掛着的HC都是殭屍崗。”在一位獵頭的最新動態中，他已經切換賽道，轉而替機器人公司招攬人才。

被堵在門外的工程師

智駕工程師田煒（化名）告訴36氪，這場新技術變革中，比起感知模塊、預測模塊，規劃控制模塊的工程師受到的衝擊會更大。

這主要因爲端到端方案與傳統智駕方案有明顯差異。傳統方案分爲感知、定位、地圖、預測、規劃控制等多個模塊，模塊功能實現基本由工程師的代碼驅動。感知、規劃控制兩大個部門的人員，往往佔智駕團隊人數大頭。

但端到端方案的特點是，從工程師的代碼驅動，變成了數據驅動。最理想的方式是，給系統輸入圖像，系統可以直接輸出車輛的控制，中間的環節都由AI神經網絡來完成。

從國內頭部玩家的進度來看，引入端到端方案後，傳統方案的多個模塊通過AI神經網絡改造，正在被整合成2個大網：感知大模型、預測決策大模型。“當下很多的方案都是在感知大模型的基礎之上，接入一個預測規劃大模型。”

更進一步的方案，會將感知預測決策規劃集於一體，行業稱之爲“One Model”（一個模型）。

而新的技術路線，也對車企智駕團隊有了全新的人才畫像。

有智駕人士告訴36氪，端到端團隊需要的人數變少，但人才門檻要求變得更高了。大模型本身要求團隊有很強的深度學習背景，“搭建方案階段，更需要很強的infra（基礎架構）人才，對感知、規劃控制每個模塊都有深刻認知，瞭解不同芯片算力平臺的支持力度、不同AI推理框架等。”

但負責模型搭建與訓練人只佔很小一部分。“可能團隊90%的人都是在爲端到端提供數據，以及數據閉環工具鏈支持等。”

“大模型本身就是一個很精幹的團隊。”有智駕人士說道。這也是OpenAI等AI科技公司早期僅有200-300人，但也能推出大語言模型ChatGPT，改變全球AI進程的原因。

對工程師而言，端到端技術帶來的衝擊也深淺不一。

有智駕人士告訴36氪，感知、規控兩大模塊中，感知大模型原本就依賴深度學習技術。儘管視覺檢測路線從過去的CNN卷積神經網轉向了基於Transformer的BEV，但工程師們的受到的影響並不大。

但對規控工程師而言，如果要加入端到端，幾乎是重新切換賽道。有智駕人士告訴36氪，傳統的規控工程師主要有幾個方向：路徑預測、路徑優化、規則後處理，以及車輛控制。“都是蠻細分的學科，基本不相關。除了路徑預測模塊之外，其他方向的工程師基本沒有深度學習背景。”

智駕工程師田煒告訴36氪，規控的人如果想轉端到端，一個方向是模型訓練本身，但需要很強的深度學習背景。“有可能研究深度學習的應屆生，對模型的理解都比你好。”

其次，是數據挖掘和處理，爲端到端提供數據養分。“但如果工具鏈的基建搭建完成，模型大概結構穩定之後，也可能不會再需要人。”最後是模型後處理，端到端大模型輸出的軌跡不可信，仍需要一小部分工程師要寫規則兜底。

工程師們的焦慮也來於此。“一方面是，端到端大模型本身不需要這麼多人。另一方面是，大家都想做端到端，但公司的量產業務需要有人運轉。”

一位智駕員工也因爲公司當前的量產項目，錯過了進入端到端項目組的時機而懊惱。但他也很糾結：即便進入端到端方案中，也是爲新的方案兜底，但這不是核心的大模型本身崗位；

而如果留在現在的量產項目崗位，可以積累一段完整的智駕量產項目經驗，未來幾年也還能流向傳統車企。

但另一種險境也會到來，一旦端到端方案向全行業普及，那麼他積累多年的技術棧在幾年後也會面臨淘汰的風險。“可能就要離開智駕行業。”

技術分野、資源遊戲

爲了轉入端到端項目組，工程師田煒直接從深度學習的研究生課程開始看起。

他找來深度學習的經典課程，以及一張顯卡，對着課本上的實戰課程，去實現一些簡單的圖像識別算法。“至少先把知識點吃透了，才能知道模型本身是怎麼運轉的。”

看書、實踐訓練兩個月後，田煒才稍微感覺自己能看懂一些端到端大模型開源代碼。 他已經向公司申請，調入端到端項目組。

事實上，不只田煒焦慮，田煒所在智駕公司比他更焦慮。他告訴36氪，其公司與一家車企合作開發智駕量產方案，但車企內部也有團隊在推進端到端，“整個公司就很焦慮，也早就啓動了端到端計劃。”

田煒表示，據公司瞭解，只要2000個小時的視頻數據，就可以訓出來一個端到端demo，而這個量級的數據用50輛車，跑一兩個月也能搞定。

但田煒很清楚，以公司現有的資源，最多也只能支撐訓練出來一個端到端demo，證明方案可行。從demo到量產，中間還有相當大差距。

而這場新技術的分野遊戲，會最先體現在資源分野上。

特斯拉CEO馬斯克就曾強調過數據對端到端的重要性：“用100萬個視頻case訓練，勉強夠用；200萬個，稍好一些；300萬個，就會感到Wow（驚歎）；到了1000萬個，就變得難以置信了。”

另一方面是算力資源，馬斯克還大肆採購了英偉達的顯卡訓練，稱到年底其人工智能訓練算力將是9萬張英偉達H100的等效算力。算力的儲備與需求驚人。

這個門檻相當高。對於至今仍然賺錢艱難的智駕公司而言，一方面是不與車企合作，智駕公司的訓練數據很難光靠自身採集得到；另一方面，雲端的訓練芯片在國內一卡難求，不少車企都在高價收購。“量產項目與融資都還不明朗，很難長期投入端到端。”

而另一位智駕工程師也感受到了無奈。在開發端到端項目小半年後，他接到了公司的通知，暫停端到端項目。原因是公司要集中精力與資源去開發當前的城市無圖智駕方案，“端到端要消耗的資源太多了”。

該工程師感到可惜的是，他所在團隊做的端到端demo已經可以上路了。團隊最初還是奔着對標特斯拉的FSD而去，甚至還花了大力氣去搭建工具鏈等基礎設施建設。但隨着公司端到端戰略的暫停，團隊的研發重心已經轉向了機器人領域。

端到端新技術未在國內真正落地，但對智駕行業的人才結構重塑、生態格局的衝擊都已經開始顯現。

儘管如此，頭部玩家還是會想盡辦法擠上這趟具有顛覆性意義的快車，而掌握數據資源、芯片資源、人才資源的巨頭時代會到來。

（文中秦風、田煒均爲化名。）