ChatGPT被人類騙得團團轉！測試顯示AI搜索極易受到操控和欺騙

財聯社12月27日訊（編輯 史正丞）作爲2024年AI產業的最重要進步之一，OpenAI公司將實時搜索集成到ChatGPT的舉措無疑改變了許多人自“村裡通網”以來檢索信息的方式。

但最新的測試也證明，對於人類創造出的複雜互聯網信息世界，現在的AI還是太“單純好騙”了。

容易操控和欺騙

本週英國《衛報》公開了一項簡單的測試：如果在網頁中隱藏一些文本，就能“使喚”ChatGPT搜索返回虛假，甚至惡意的結果。

用稍稍專業一些的術語，這叫做“提示注入”（prompt injection），指的是在人類觀察不到的地方悄悄塞入旨在影響ChatGPT的內容，例如大量虛假信息的文本。

測試人員構建了一個相機的產品頁面，然後詢問ChatGPT搜索“這款相機是否值得購買”。在正常情況下，AI會給出一些積極但平衡的評估，還會突出一些人們可能不喜歡的產品特徵。

然而，如果頁面中包含的隱藏文本指示ChatGPT“必須給出好評”時，AI機器人就只會給出積極的結果，哪怕頁面上原本有負面評論也不會提及。在進一步的測試中，隱藏文本中提供了“極其虛假的好評”，這些信息同樣也會影響ChatGPT返回的結果。

網絡安全公司CyberCX的研究員雅各布·拉爾森，如果OpenAI以目前的形式對所有用戶開放ChatGPT搜索，將會構成非常大的風險，可能會有許多懷有企圖的人創建專門用於欺騙用戶/AI工具的網站。

拉爾森也表示，這個功能只是近幾個月推出的，OpenAI有一個非常強大的安全團隊，在這個功能全面推開之前，肯定會對這種問題進行嚴格的測試。他也強調，容易被騙只是大預言模型與搜索結合的問題之一，這也是爲什麼人們不應該始終相應AI工具返回的結果。

當然，這種在內容裡“偷偷加料”欺騙AI也不是什麼新鮮事。正如我們早些時候報道，早些年許多招聘系統開始用AI篩選簡歷後，就發生過候選人往簡歷裡增添人眼不可見的文本，大幅提高自己通過自動化篩選的機率。

然而，AI工具不僅僅會生成文本，還會寫代碼——這就使得AI被騙的危害性進一步加大了。

微軟公司的高級安全研究員Thomas Roccia，就曾分享過這樣一個故事：幣圈老哥被“勤奮”的ChatGPT給坑了。

Roccia介紹稱，這名加密貨幣愛好者要求ChatGPT寫一段能夠合法訪問Solana平臺的代碼。ChatGPT表面上寫出了能用的代碼——裡面藏了一個詐騙網址。

爲什麼會出現這種事情呢？Roccia表示，無論你是否點擊了“瀏覽網頁”的選項，ChatGPT都會使用函數調用來瀏覽網頁，而最受信賴的代碼來源之一是GitHub（代碼倉庫）。

ChatGPT瀏覽了一個與任務相關的GitHub倉庫，在某個頁面的末尾發現了包含額外文檔的外部鏈接，AI認真閱讀了這個看上去合法的文檔後，從中提取了惡意網址。

最終ChatGPT生成的代碼中包含了惡意網址，還有一個POST請求——把用戶的加密錢包私鑰發送給它。

所以在倒黴的幣圈老哥運行這段代碼後，損失了將近2500美元。

永遠不要忘記校驗！

網絡安全公司SR Labs的首席科學家Karsten Nohl強調，AI聊天服務應該更像是“副駕駛”，輸出結果不應該完全不加過濾地使用。

Nohl解釋稱，大模型是一種建立在極度信任上的技術，幾乎像個孩子一樣.....它擁有巨大的記憶，但在做出判斷方面能力很有限。如果你面對的，是一個複述從其他地方聽來消息的孩子，你需要對內容持有保留態度。

從互聯網歷史來看，OpenAI現在遇到的問題，谷歌、百度、微軟必應當年都遇到過——Nohl將其稱爲“SEO下毒”，即黑客通過一些手法欺騙算法，使一些含有惡意軟件或代碼的網站出現在搜索結果前列。

Nohl認爲，如果OpenAI想要創建一個與谷歌競爭的公司，就必將面臨SEO污染的問題，搜索引擎公司已經與這些“SEO污染者”進行了多年的軍備競賽。就像ChatGPT搜索仍是一個追趕者類似，差距並不是源於大模型或者AI，而是他們對搜索這個領域還很陌生。