危險,你的AI agent正在「無人駕駛」!

最近流行用智能體點咖啡,不同大廠紛紛拿出了絕活兒。比如,榮耀CEO趙明就在一次直播中當場展示了自己用一句話就通過智能體yoyo在美團點了三杯咖啡的片段,畫面顯示,手機自動完成了尋找門店、自動選定咖啡品類最後到自動完成付款的全流程。

操作十分流暢,彷彿有一根看不見的手指在幫用戶點按屏幕,用戶只需當甩手掌櫃,這些操作都非常像L2級別的自動駕駛,用戶只需旁觀,必要時才接管,如果再成熟一些,無感地自動化,甚至無需用戶目視和接管,L4級別的agent指日可待。

不過,在上述場景裡,坐在一旁目睹全過程的周鴻禕直呼:這太危險了。

智能體只會點咖啡嗎?非也。在不久前的智譜Agent Openday上,智譜CEO張鵬掏出手機同樣也在臺上炫技了一把:「幫我在智譜開放日羣聊裡發兩萬元紅包,數量一百個,名字爲‘AI給你發的第一個紅包’。」根據張鵬的自然語言,智能體AutoGLM調用微信支付,打開紅包功能,順利發出紅包。

01 智能體開始顯露「另一面」

其實,周鴻禕的驚呼並非毫無緣由。有業內人士直指行業裡的秘密:由於還沒有實現APP的互聯互通,當前很多智能體在進行着L2乃至L4級別「無人駕駛」時,實際上比較主流地用到了一種作弊方案:

智能體在執行用戶需求時採用的是機器模擬點擊,其實現方式與黑灰產作弊實現原理相同,智能體可以根據自己能獲取的用戶授權高低選擇不同的實現方式。對於三方應用層的智能體,權限最低,很難有效區分當前的機器模擬點擊到底是來自智能體用戶的真實操作意圖,還是黑灰產作弊行爲,就會造成風控結果的誤判。

儘管關於智能體的定義和分類各有不同,但形成共識的還是有以下幾個方面:1. 每個智能體都要扮演某種社會角色,參與社會化分工、完成任務並有產出;2. 能進行對話交流和理解用戶的行爲偏好;依據反饋進行強化學習和重新規劃;3 與外部其他的業務系統、其他智能體、工具應用進行協同。

通俗來說,可以是管家、行政秘書和前臺、客服、司機,智能體相比信息分發時代的產品,要更加主動且自動,更加靠近用戶,成爲貼身助理,代替用戶發號施令,掌握用戶的隱私數據會更多,擔當着用戶的心腹。

但是,如果心腹的實現,靠的是沿用上述「作弊」機制,會洞開安全的後門。智能體之間的自主交互如果缺乏嚴格的身份認證和授權機制,將使系統容易受到惡意攻擊和不正當訪問。惡意智能體可以僞裝成合法的智能體,惡意用戶可以僞裝成合法的用戶,從而獲得不該有的服務權限。

例如,輕則是財務轉賬給黑灰產團隊,重則危及生命,比如惡意智能體可以假冒成合法智能體發起請求,訪問用戶的健康敏感數據、交易敏感數據;惡意用戶可以僞裝成機主,向醫療智能體發送虛假健康數據,可能導致錯誤的醫療決策,危及患者生命安全。

「心腹成爲大患」的安全難題已經迫在眉睫。

02 安全互聯互通,刻不容緩

繞開APP生態和應用層的作弊機制是簡單的方案,但不是好的方案和唯一方案。

而且,部分手機廠商主導的作弊方案,還會帶來一個顛覆產業的激進結果。

入口的收斂,從圖形界面收斂到一個語音助手的界面,從信息流變成任務流,對於當前生態顛覆性太大也太快,過於激進。掌握入口的主動權,最終可能造成惡性商業競爭。智能體AI原生的特點使其有機會在中短期內成爲現有軟件層之前新的入口,在長期甚至有可能替代現有的軟件層。

硬件廠商就取代了互聯網入口,擠到了用戶最跟前,影石創始人劉靖康最近就公開表示,手機廠會是比互聯網廠商更大的「BOSS」,因爲他們同時掌握了更個人向的數據,以及執行具體操作的「位置」優勢。

對用戶來說,入口如果未來是極度單一的,用戶的自主性和主動權也就喪失掉了。

如果既要安全,又要行業長遠健康發展,有沒有其他可能?目前業內的另一個思路,是不顛覆當前的應用層,致力於在應用層APP之間建立統一的安全協作標準,從而實現跨APP的流暢操作。其中,IIFAA在12月19日成立的「IIFAA智能體可信互連工作組」,就在主張這一思路。

這一工作組的成員包括了華爲榮耀Oppo字節螞蟻等頭部企業,希望聯合通過制定跨智能體交互的安全技術規範,爲整個智能體行業提供一個更加健康規範的協作環境。

IIFAA這個組織我們聽起來有點陌生,實際上是早在2015年由中國信通院、華爲、中興、螞蟻集團、阿里巴巴等聯合發起的可信身份認證聯盟。目前,其可信數字身份技術規範在全球有超過16億臺手機設備、43個手機品牌商得到應用。

IIFAA互聯網可信認證聯盟技術負責人萬小飛說,不管是系統級、廠商級還是 APP級,都在往端側個人助理方向發展,如果沒有相關的規則和標準的制定,有點像早高峰時沒有紅綠燈的狀態,屬於百舸爭流,會帶來非常混亂的狀態,最終影響的是整個生態的健康發展,包括用戶權益的損失,這些趨勢和背景,是成立智能體可信互聯工作組最主要的目的。

工作組的目標是確保智能體和智能體之間能有一套相互的協同和通信的機制。IIFAA專家張璇談到,「服務可信調用方面,任務非常長,一個服務的鏈路或許有幾十個步驟,我們希望再複雜的服務調用鏈路,我們希望是全鏈路可信。經過層層的調用之後,用戶的真實意圖仍然可以得到最終正確的執行。」

而由於智能體的快速發展,這一工作目前已經有了緊迫性。萬小飛感嘆,整個智能體的發展是超乎預期,包括蘋果的發佈會,以及國內手機廠商在自己開發者大會上密集宣佈了廠商的智能體,很多的APP廠商也在做自己的智能化助理,都在加速中。

其實,硅谷頭部公司和企業家們早已行動起來,均表態要發起統一標準的行業框架,Elon Musk就認爲,快速發展的AI可能超出管理其風險的能力,倡導建立監管框架和行業標準以確保負責任的AI發展。

谷歌也發佈了Secure AI Framework (SAIF),強調了在創新同時,需要有明確的行業安全標準來負責任地構建AI這項技術。SAIF包括六個核心元素,涉及擴展安全基礎、擴展檢測和響應、自動化防禦、協調平臺級控制、適應控制以調整緩解措施,並在周圍的業務流程中情境化AI系統風險。

回到中國智能體來看,萬小飛認爲,當前第一階段工作主要聚焦在比較急迫的4個維度:

1. 智能體可信身份鑑權。「APP都有身份鑑權體系,智能體沒有,它的身份到底是屬於APP還是設備?要去做定義」

2. 數據的可信流通問題。互聯網的前半段,各個APP廠商花很大精力保護數據,一定程度上滿足數據屬於用戶。APP的孤島被打破以後,數據的流轉不在一家APP廠商,是在多家。這時數據的隱私保護職責方是誰?數據的所有權屬於誰,要確保數據在端上有一個可信流通通道和機制;

3. 業務的系統風控問題。A智能體在按照B智能體分發的意圖做任務時要「聽命於」B,因此必須要建立跨APP防護體系,避免智能體被惡意意圖操控,出現類似自殺、欺詐、黃賭毒等情況。

萬小飛舉了個例子,如果在同一個APP內,買了酒和頭孢,可能就會觸發風控機制,識別出用戶意圖裡有一定程度的自殺傾向,平臺就會介入阻止。但如果是智能體來負責執行指令,如果恰好這兩個行爲分別是孤立發生的,不在一個APP裡發生,就無法喚醒風控機制。

4. 智能體的主權保護問題。要允許小的智能體、小型APP也能獨立生存,不能繞開主頁,直接侵入到系統後臺調取小智能體的服務,使其喪失商業價值。

如何在總體上理解可信協同?打個通俗的比方,這就類似於民航、高鐵和地鐵的「安檢互認」,讓用戶無需二次安檢。

相信很多人都有過類似出機場、高鐵站進地鐵被要求二次安檢的經歷,我曾經詢問過天府機場安檢員,爲什麼出了飛機進地鐵還要再次安檢,安檢員說標準是不一樣的,責任主體不一樣,最後萬一出了事,算誰的?

的確如此。因此,不管是交通運輸還是智能體協同,要讓用戶需求高效地流轉,就需要安檢互認,在機制上統一安全的標準,並堵住可能的漏洞,並且當用戶需求在不同體系內流轉時,要明確用戶保護的責任方。

03 保護小智能體,做大行業蛋糕

此外,特別值得注意的是上述第4點,入口單一化就是移動互聯網時代的一個弊端,PC時代是一個無限鏈接的時代,但移動時代就變成了一個個孤島,中間沒法自由跳轉,APP下載加了一道流程,中間轉換效率就差多了,這帶來的結果一定會是大的越大,小的越小,巨頭壟斷會越發厲害,時代行至倒退的邊緣。而到了智能體時代,不能再繼續強化入口單一化的這種弊端了。

一旦一句自然語言就可以完全自動實現後端的滴滴下單、微信支付發紅包這種能力,入口就會統一到手機,原有互聯網主流的「通過A業務引流、再靠B業務變現」的商業模式會被快速摧毀。

以滴滴和美團爲例,線下運力是巨大的成本單元,本身盈利能力較弱,因而滴滴美團需要通過流量合作和廣告來提升利潤率,一旦語音喚起,通過智能體的直接操作,劫持了操作流程,用戶閉眼操作,美團和滴滴的盈利端就可能被繞開。

如果巨頭尚且受到威脅,更小應用的處境可想而知,產業生態不宜面臨如此過激的改變。

在早期,如果沒有整體的互信安全框架,根據萬小飛的判斷,只有大廠和大廠之間纔會可能自己談成一個專有的機制,大公司不太可能找非常小的創業公司單獨談協議。今天IIFAA要建立的機制,就是爲整個生態更開放和更公正,給所有小的智能體提供快速發展的可能性。

智能體的兩條路徑已經清晰。一條是走捷徑,不直面可信互聯的問題,但會帶來安全隱患,另一條是做更難的事情,構建一個整體的安全互信框架,避免單點與單點的重複談判,來形成規模效應,加速智能體的快速互聯。

「雲端的點對點的這種協同模式基本上是定製化,不可持續,沒有辦法規模化的方式。在整個基礎設施的維度,在整個行業標準的維度有兩個好處,一是可以規模化,二是可以給更多的人更公平的機會。」萬小飛如是說。

整體地可信協作,實際上是做大智能體的整體蛋糕。

這就類似《集裝箱改變世界》裡的故事,無論船隻大小,集裝箱尺寸卻是統一的,不僅把運輸成本降低了,還避免了二次裝卸過程,減少了貨物轉運時的效率流失,也提升了貨物安全。被譽爲20世紀人類的百大偉大發明,從集裝箱發明之後,人類的全球貿易取得了極大發展。

大家過去都在卷模型生成能力,從目前看,已經越來越不構成差異化了,模型能力總會拉平,業內目前已經有局部能力超過OpenAI的選手。最終是context(上下文背景信息)的採集能力,而不是模型能力,關乎到最終的任務成功率。誰能跨系統、跨平臺、跨軟硬件採集更多context,誰的智能水平就更高。就像再好的醫生,拿不到病人的體檢報告,也無處施展。

在這場產業的大變革中,科技巨頭的使命會從信息分發(門戶陳列模式、搜索引擎、推薦引擎)轉向任務引擎,商業模式也極有可能發生鉅變:從按點擊或交易來收費,變成按照任務完成率來收費。

而提升任務成功率才能做大agent的行業蛋糕,前提就是儘快進行安全的可信互通,讓context充分流淌在智能體之間,這理應成爲全行業一起用力的方向。

期待智能體「集裝箱時刻」的到來。