Ilya預言錯了！華人Nature一作給RLHF「判死刑」，全球大模型都不可靠

新智元報道

編輯：編輯部 HXY

【新智元導讀】Ilya兩年前觀點，竟被Nature論文反駁了！來自劍橋大學等團隊最新研究發現，所有大模型並不可靠，包括最強o1。

2022年，AI大牛Ilya Sutskever曾預測：「隨着時間推移，人類預期和AI實際表現差異可能會縮小」。

然而，一篇最新發表在Nature上的研究表明，事實並非如此！

世界上所有的大模型，甚至指令微調後的LLM，竟是一個「巨大的草臺班子」。

論文地址：https://www.nature.com/articles/s41586-024-07930-y

來自VRAIN、劍橋等機構研究人員對o1-preview等領先的LLM開啓了全方位評測，結果發現：

且看CoT「推理王者」o1-preview，既能解決非常複雜的字謎任務，卻在超級簡單的任務中犯錯。

（上）根據所給字母，成功拼出了electroluminescence（電場發光）；（下）回答錯誤，正確答案是yummy

而且，在更具挑戰性任務上，o1-mini和o1-preview實際上根本不會做。

但爲了給一個答案，它們往往耗時50-140多秒，絞盡腦汁去想半天。

結果，還是在所有任務中，都失敗了。

o1-mini在思考103秒之後，仍舊計算錯誤

要知道，o1系列模型最強大之處在於，使用RL+CoT等策略，實現推理能力暴漲。

就連o1都這麼不可靠，Claude、Llama等大模型更是如此。

LLM並不可靠

更大參數、更大數據、更長訓練時間，外加RLHF、輸出過濾審覈等技術加持，LLM肉眼可見地性能提升。

而且，以人類視角來看，它們也變得越來越可靠。

但事實上，這僅是一種表象。

爲了評測當前LLM可靠性，劍橋等機構研究人員將GPT系列、Llama系列、以及Bloom系列32個模型，展開評測。

之所以選擇這些模型，是因爲它們代表了不同參數規模，並使用RLHF等方法優化的模型

正如開篇所述，他們從三個方面對此，展開了評測。

1. 難度（不）一致性

2. 任務迴避

3. 提示敏感性和穩定性

複雜任務一舉攻破，簡單任務錯誤百出

難度一致性上，不得不得承認，LLM確實在人類認爲困難的任務上，回答準確率較低。

而奇怪的發現是，它們在還沒有完全掌握簡單任務之前，就能成功完成更復雜的任務。

實際上，最新LLM比如o1系列，在高難度實例上有所改進，更是加劇人類預期和LLM能力之間不一致性。

這將導致，人類無法確定應該在怎樣安全操作條件下，信任大模型。

下圖中，展示了一些關鍵指標。

那些經過微調的模型（藍色），在提示變化方面，表現更加穩定正確，但在與人類任務難度的判斷的一致性降低。

而且，整體失敗次數增加，謹慎性降低。

對於Llama家族來說，沒有一個模型能在最簡單的難度水平上，達到60%的準確率。唯一例外的是，GPT-4在低難度科學任務上，幾乎在中等難度水平上，取得了完美的結果。

如上指標總結了LLM在5個精心選擇基準測試上表現，包括簡單數字運算、詞彙充足、地理知識、多樣化科學技能、以信息爲中心轉換

太過自信，不會硬答

其次，「迴避」是指LLM偏離問題的迴應，或給出類似「我不知道」這樣的回答。

以往，因爲一些安全限制，人們經常吐槽「大模型拒絕回答問題」。

而現在，通過scaling算力、規模、數據，和算法優化（指令微調、RLHF）方法，LLM倒是從謹慎迴避轉變爲了給出錯誤答案。

因此，較新的LLM的錯誤率，已經大幅增加。

比如，GPT-4比GPT-3錯的更離譜，就是因爲太過自信，很少迴避回答超出自己能力範圍的問題。

最壞的結果是，那些過度依賴LLM解決不擅長任務的用戶，會逐漸對它喪失信任。

那麼，大模型這種迴避傾向，會隨着任務難度提高而增加嗎，就像人類那樣「知難而退」？

研究人員發現，它們並不會！

即便是給出錯誤的回答，也要迎難而上。

這樣一來，對於人類來說，驗證大模型輸出結果，又多了一大負擔。

如下圖所示，GPT-3.5 Turbo不會迴避複雜問題現象，更爲明顯，越有難度越激進。Llama系列更是如此......

提示詞，不通用

最後是模型對提示詞的「敏感性」和「穩定性」。

前者的問題在於，那些在複雜任務中表現優異的提示詞，被複用到簡單任務中時，模型竟無法輸出正確的結果。

後者的問題在於，對於相同的任務，但採用不同的提示詞時，模型就會輸出錯誤的結果。

也就是說，「提示工程」這項技術活，不具普適性。

而且，同樣一道題，用不同提示來詢問，也會影響模型輸出的結果。

下表中呈現了，經過微調的模型通過對「提示變化」並不敏感。

而再從上圖中scaling數據中，觀察這一維度的演變，就能發現原始模型（GPT-3 davinci）和GPT家族其他模型，存在很大差異。

Llama家族的模型變化，相對較小。

原始GPT和所有Llama模型，對提示詞高度敏感，即使在「加法」這樣高度明確任務中，也是如此。

而且，難度似乎對敏感性影響不大。對於簡單的任務，原始模型（特別是GPT-3 davinci和Llama模型）只有通過精心挑選的提示才能解答。

對於那些經過微調後的模型，即最後6個GPT模型和最後3個Llama Chat模型，卻發生了實質性變化。

這些模型表現更加穩定，但在不同難度水平上，結果仍存在變數。

RLHF被判「死刑」？

再來看常見的RLHF。

通過人類反饋強化學習後的LLM，可靠性有所改進嗎？

研究發現，RLHF根本無法彌補大模型不可靠性。

在人類意識到很難的應用領域中，對於LLM輸出結果，往往會表現出一種「不懂裝懂」的樣子。

「心裡OS：我也不懂怎麼解，或許LLM回答就是對的」。

他們通常會將不正確的結果，也視爲正確答案。這種判斷誤差，導致大模型的RLHF，也是越來越離譜。

甚至，對於簡單任務而言，也不存在一個既能保證AI低錯誤率，又能保證人類監督低錯誤率的「安全操作空間」。

如下圖所示，人類監督錯誤率隨着任務難度的演變。

作者介紹

Lexin Zhou在劍橋大學獲得計算機科學碩士學位，由Andreas Vlachos教授指導。此前，在瓦倫西亞理工大學完成了數據科學學士學位，導師是Jose Hernandez-Orallo教授。

就讀期間，他曾在Meta AI、OpenAI、Krueger AI安全實驗室實習，並在VRAIN和歐盟委員會JRC等機構，擔任AI評估的研究/諮詢角色。

他稱自己大部分時間都在思考：

（1）設計具有解釋和預測能力的穩健評估方法，以評估AI的能力、侷限性和風險；

（2）尋找積極塑造AI系統的可靠性和可預測性的途徑。

此外，他還對AI的社會影響、心理測量學、認知科學和AI安全性廣泛感興趣，尤其對LLM這樣的通用系統特別感興趣。

補充評測

爲了更好地展示LLM存在不可靠性問題——難題能答對但在簡單題目上翻車（難度不一致性），無法迴避超出模型能力的任務（任務迴避），以及對提示詞的穩定性，論文還附上了補充測評的結果。

研究人員針對o1-mini、o1-preview、Claude 3.5 Sonnet和Llama 3.1 405B Instruct Turbo做了數十個真實的評測，部分結果如下。

難度不一致性

在這裡，每個LLM分別展示了1～2對示例，其中每對首先包含一個成功解決的困難任務，另一個是同一領域的、但LLM犯錯的簡單任務。

比如，o1-preview在字謎任務中，可以識別出「tnelcccerneiumleoes」是單詞「electroluminescence」的順序顛倒，但對字謎「myyum」，卻給出了錯誤的響應「mummy」。

o1-preview

複雜的科學任務，回答正確

簡單任務，回答錯誤（正確答案是A）

o1-mini

複雜的轉換任務，回答正確

簡單任務，回答錯誤（正確答案是17-07-2004）

Claude 3.5 Sonnet

複雜的科學任務，回答正確

簡單任務，回答錯誤（正確答案是A）

Llama 3.1 405B Instruct Turbo

複雜的加法任務，回答正確

簡單的任務，回答錯誤（正確答案是以214結尾）

複雜的字謎任務，回答正確

簡單任務，回答錯誤（正確答案是yummy）

任務迴避

研究者從LLM無法解決的多個領域中隨機提取了一些非常有挑戰性的問題，結果發現，模型的響應始終過於自信。

o1-mini和o1-preview通常會花費50～140秒，甚至更長的時間來思考這些任務（最終也沒有做對），而不是簡單地說「我無法解決這個問題」。

o1-preview

在這道加法題上，o1-preview思考了55秒，然後給出了一個錯誤答案。

類似的題型，o1-preview這次思考了長達102秒，但還是做錯了。

對於下面這道具有挑戰性的轉換任務，o1-preview花了80秒的時間來計算這個「錯誤答案」。

o1-mini

相比之下，o1-mini的思考時間會更快一些。

o1-mini只用了22秒，就給出了這道單詞重組遊戲的「錯誤答案」。

（正確答案是entrepreneurialism）

在地理任務上，更是隻用了幾秒的時間，但答案依然不對。

（正確答案是Shiprock）

Claude 3.5 Sonnet

同樣的問題，Claude 3.5 Sonnet也沒做出來。

加法：

地理：

（正確答案是Shiprock）

科學：

（正確答案是A）

Llama 3.1 405B Instruct Turbo

Llama 3.1 405B Instruct Turbo也不出意外地敗下陣來。

加法：

字謎：

（正確答案是compartmentalisation）

提示穩定性

在這裡，研究人員證明，對於相同的問題，如果採用不同的提示詞，模型給出的回答也會不一樣。

以下所有例子都遵循相同的模式：首先是一個得到正確答案的提示詞示例，緊接着是一個詢問相同問題但使用不同提示詞的示例，而後者得到的卻是錯誤的答案。

o1-preview

地理：

o1-mini

字謎：

科學：

Claude 3.5 Sonnet

轉換：

Llama 3.1 405B Instruct Turbo

加法：

這些例子表明，目前LLM對於提示詞的穩定性依舊不理想，將相同的問題換個說法，就可能導致模型答案發生顯著變化。

作者希望，未來在通用AI設計和開發方面，尤其是那些需要精確控制錯誤分佈的高風險領域，需要進行根本的變革。

而且，在實現這一目標之前，研究人員必須警惕，過度依賴人類監督所帶來潛在風險。

參考資料：

https://docs.google.com/document/u/0/d/1SwdgJBLo-WMQs-Z55HHndTf4ZsqGop3FccnUk6f8E-w/mobilebasic?_immersive_translate_auto_translate=1

https://x.com/lexin_zhou/status/1838961179936293098

https://www.nature.com/articles/s41586-024-07930-y

https://lexzhou.github.io/