捲起來！讓智能體評估智能體，Meta發佈Agent-as-a-Judge
本論文作者主要包括德國計算機科學家、LSTM 之父 Jürgen Schmidhuber；Meta AI 研究團隊（FAIR）研究科學家總監田淵棟，他負責領導大語言模型（LLMs）在推理、規劃和決策方面的研究團隊，主導了 OpenGo、StreamingLLM 和 GaLore 項目，專注於提升大模型的訓練和推理效率；Vikas Chandra，Meta Reality Lab AI 負責人；諸葛鳴晨，Meta 研究科學家實習生，同時在沙特阿卜杜拉國王科技大學（KAUST）攻讀博士三年級，師從Jürgen Schmidhuber，GPTSwarm 第一作者，MetaGPT 共同第一作者；Zechun Li，Meta Reality Lab 研究科學家，MobileLLM 的第一作者；Yunyang Xiong，Meta Reality Lab 高級研究科學家，EfficientSAM 第一作者。
如果說去年大廠的競爭焦點是 LLM，那麼今年，各大科技公司紛紛推出了各自的智能體應用。
微軟發佈了 Copilot，Apple 將 Apple Intelligence 接入了 OpenAI 以增強 Siri。多智能體也是 OpenAI 未來重要的研究方向之一，這家公司的最新成果 ——Swarm，一個實驗性質的多智能體編排框架在開源後引起了熱烈討論，有網友表示這能幫助簡化許多潛在多智能體用例的工作流程。
扎克伯格更是斷言：「AI 智能體的數量可能會達到數十億，最終甚至超過人類。」在 Meta Connect 2024大會上，Meta 推出了接入 Llama 3.2 的智能眼鏡 Orion 和升級版 Quest 3S，顯示出智能體正在迅速滲透進 Meta 的各個應用領域。
近日，Meta 提出了 Agent-as-a-Judge 的概念，被視爲智能體優化方面的又一重要成果。傳統的智能體評估方式往往只關注最終結果，忽略了執行過程中的關鍵細節，或依賴大量人力進行評估。爲了解決這一痛點，Meta 推出了用智能體評估智能體的新方法，使評估過程更加靈活且自動化。
該框架在 LLM-as-a-Judge 的基礎上進行了升級，增加了中間反饋功能，確保任務的每個環節都能得到精準評估與優化，同時還能有效模擬並接近人類反饋。
爲了克服現有基準存在的問題，併爲 Agent-as-a-Judge 提供一個概念驗證測試平臺，研究者還提出了 DevAI，一個包含 55 項現實自動人工智能開發任務的新基準。它包括豐富的手動註釋，如總共 365 個分層用戶需求。
Agent-as-a-Judge：智能體評估智能體
Agent-as-a-Judge 框架最大的亮點在於其與人類評估者的高度一致性。在實驗中，該框架的評估結果與人類專家的對齊率高達 90.44%，遠超 LLM-as-a-Judge 的 70.76%。這一結果表明，智能體在處理複雜任務時，能夠像人類一樣精確地判斷並修復問題，極大地減少了對人工評估的依賴，同時顯著提高了效率。
顯著的效率提升。實驗表明，Agent-as-a-Judge 在效率上也具有明顯優勢。與人類評估者耗費 86.5 小時相比，Agent-as-a-Judge 僅需 118.43 分鐘就能完成相同任務，大幅節省了時間和成本。評估 55 個任務的總成本僅爲 30.58 美元，平均每個任務的評估費用僅爲 0.55 美元，顯示了極高的性價比和工作效率。
填補評估中的反饋空白。當前，智能體評估方法普遍缺乏中間反饋機制，只關注最終結果，忽視了任務執行中的關鍵步驟。智能體在解決複雜問題時，通常像人類一樣，逐步思考並解決問題。因此，評估不僅應該關注結果，還需考察每個步驟的思維過程和行爲軌跡。Agent-as-a-Judge 通過提供中間反饋，填補了這一空白，標誌着智能體評估進入了一個新的階段。
數據集挑戰與系統表現。實驗還揭示，即使是表現較好的智能體系統（如 GPT-Pilot 和 OpenHands）也僅能滿足 DevAI 數據集中約 29% 的任務需求，任務完成率有限，凸顯了該數據集的挑戰性。在與人類專家評估的對比中，Agent-as-a-Judge 表現出色，達到了 90% 的對齊率，而 LLM-as-a-Judge 僅爲 70%。更值得注意的是，Agent-as-a-Judge 的表現甚至優於單個專家評估者，意味着在某些情況下，該框架不僅能夠替代人類評估，還可能更加有效。
高性價比與潛力。通過節省 97.72% 的時間和 97.64% 的成本，Agent-as-a-Judge 展示了其在 AI 評估中的巨大潛力。它爲智能體技術的發展提供了強有力的支持，標誌着 AI 評估工具邁向了更高效和低成本的新紀元。
行業趨勢與 Cognition AI。值得注意的是，近期獲得融資的 Cognition AI 也採取了類似思路，即使用智能體來評估智能體，這顯示出這一概念正在成爲業界的一個重要趨勢（更多信息請參見：https://www.cognition.ai/blog/evaluating-coding-agents）。
綜上，Agent-as-a-Judge 的提出有如下價值：
（1）智能體自我改進的中間反饋機制
Agent-as-a-Judge 的一個核心優勢在於其提供的中間反饋，這對於實現智能體的高效優化至關重要。儘管在本研究中這一潛力尚未被充分發掘，但它的作用已經初見端倪。通過學習輔助獎勵函數，能夠解決強化學習中的稀疏獎勵問題，提供關鍵的中間反饋。Agent-as-a-Judge 框架的亮點在於，它使智能體在處理複雜、多階段問題時，能夠實時發現並修復解決方案中的問題，而傳統的延遲反饋機制難以做到這一點。引入 Agent-as-a-Judge 後，爲構建智能體版本的過程監督獎勵模型（PRM）打開了大門，從而進一步提升智能體的優化效率。
（2）由 Agent-as-a-Judge 驅動的飛輪效應
Agent-as-a-Judge 和被評估智能體之間的相互改進，通過不斷的迭代反饋逐步演進，這一循環展示了廣闊的發展前景。通過將 Agent-as-a-Judge 作爲核心機制，或許能夠催生出一種智能體自我博弈系統。隨着 Agent-as-a-Judge 與被評估智能體的持續交互，這種過程可能會產生飛輪效應 —— 每次改進相互強化，從而不斷推動性能的提升。這種迭代不僅能增強智能體系統的能力，還可能成爲 LLM 推理數據的重要補充，有助於將智能體的能力更好地嵌入基礎模型中，進一步拓展智能體系統的潛力。
DevAI：從用戶角度出發的 AI 自動化數據集
過去一年中，LLM 智能體系統的能力顯著提升，從解決簡單的「玩具問題」逐步擴展到處理複雜的實際任務。然而，大多數現有的評估方法和數據集仍然基於爲基礎模型設計的標準，難以全面反映智能體在現實任務中的表現和挑戰。以 HumanEval 和 MBPP 等數據集爲例，儘管它們在評估基礎模型的算法能力方面有效，但在代碼生成等領域，現有方法過於依賴最終結果，無法捕捉開發者在現實任務中遇到的複雜性和動態過程。
儘管 SWE-Bench 嘗試引入更接近現實的評估標準，但它依然主要依賴「解決率」（resolve rate），這一指標未能提供開發過程中每個階段的具體反饋，也難以捕捉智能體系統的動態表現。因此，這類評估標準無法準確反映智能體在實際任務中的真實能力。
相關研究甚至表明，即使不具備智能體特性，模型也能達到 27% 的解決率。此外，激烈的競爭還引發了對 SWE-Bench 得分真實性的擔憂，許多高分可能通過對獨立任務的過擬合獲得，無法真實反映智能體的實際能力。
鑑於此，迫切需要新的評估方法來彌補這些不足。爲此，Meta 推出了專門爲智能體系統設計的 DevAI 數據集。DevAI 涵蓋了 55 個 AI 開發任務，涉及監督學習、強化學習、計算機視覺和自然語言處理等領域。每個任務包含用戶查詢、365 個任務需求和 125 個偏好標準。
與傳統評估方法不同，DevAI 不僅關注任務的最終結果，還跟蹤並評估任務執行過程中的每個階段，從而提供更全面的反饋（圖 4 所示）。雖然這些任務規模相對較小，但它們真實反映了開發中的實際問題，且計算成本較低，適合廣泛應用。值得注意的是，DevAI 不關注「玩具」數據集（如 FashionMNIST）上的高分表現，而更注重智能體在處理現實任務中的能力。此外，DevAI 採用有向無環圖（DAG）結構排列任務需求，確保評估具備層次性，不再依賴簡單的成功或失敗判斷，而是要求智能體具備更深入的解決問題能力。未來，代碼生成領域的標準評估方法可能會採用類似 DevAI 這樣的數據集，提供中間反饋，以模塊化提升智能體的能力；在能力提升後，使用 OpenAI 的 MLE-Bench 進一步評估智能體解決複雜問題的能力。
收集人類專家評估
人類評估設置
在完成基線執行結果和基本統計分析後，研究團隊邀請了三位具備 5 年以上 AI 開發經驗人類專家評估員（匿名爲 231a、38bb 和 cn90）對 AI 開發者的基線輸出進行審查，評估每項需求是否得到了滿足。評估分爲兩輪。爲了儘量捕捉人類評估中常見的偏差（模擬實際部署場景），在第一輪中，評估員討論了基本標準。雖然允許評估員帶有個人偏好，但評估過程需基於統一的標準進行。在第一輪評估完成後（總計約 58 小時），評估員再次進行討論，進一步修正和達成一致意見，確保評估結果更加統一和一致。這一過程共耗時 28.5 小時，最終的共識作爲每種方法的最終人類評估結果。
性能分析。實驗結果顯示（如表 2），表現最好的兩種方法 ——GPT-Pilot 和 OpenHands—— 僅能滿足約 29% 的需求（忽略前提條件後爲 44%），且僅在一個任務中滿足了所有要求。這表明 DevAI 爲當前及未來的智能體方法設定了較高的挑戰性。此外，正如第 2 節所討論的，DevAI 不僅揭示了任務最終結果，還通過反饋揭示了智能體在任務過程中出現的問題，爲評估提供了更豐富的層次。
錯誤分析。在實驗中，評估員在初步評估後進行了深入辯論，直到他們對每個任務的需求達成一致意見。共識評估（consensus）通過這種方式模擬實際情況，減少了個體評估中的偏差。在 Human-as-a-Judge 框架下，評估員可以通過討論和證據修正自己的判斷，從而調整評估結果。這種方式也用來近似估計個體的錯誤率。理論上，集體討論達成的共識應比任何個體評估更接近真實結果。
雖然共識評估可能並不完美（某些錯誤仍然存在），但相較於個體評估，理論上共識評估應更接近真實結果。如圖 5 所示，實驗結果證實了這一假設。儘管評估員之間的錯誤率有所不同，但多數投票有效地修正了大部分錯誤。例如，評估員 cn90 在評估 GPT-Pilot 時犯下了最多的錯誤（錯誤率達 23.77%）。然而，通過多數投票（majority vote），三位評估員的整體錯誤率降低至 6.01%，顯示了多數投票在減少評估偏差方面的優勢。
結論。人類評估中的錯誤是不可避免的。爲減少這些錯誤，研究提出了兩種策略。第一，像本研究一樣，在每次評估後引入討論環節，評估員可以根據新的證據調整他們的判斷。這一方法在評估員數量較少時尤其有效，因爲小組評估中的多數投票仍可能產生一定誤差（如圖 5 所示，相比共識評估大約有 5% 的錯誤率）。第二，組建更大的專家團隊來提高評估的準確性。研究表明，當評估員人數超過 5 人時，評估準確性有望超過 50%。然而，由於動員更多專家的成本較高，實踐中這種方法並不總是可行。因此，本研究更傾向於通過討論和共識投票來減少評估中的偏差。
使用
目前，作者已在 GitHub 上提供了開源代碼，支持對任意工作區（workspace）進行提問，並通過 Agent-as-a-Judge 功能在 DevAI 數據集上進行自動評估。未來的開源智能體評估將進一步改進，首先利用 DevAI 對中間過程進行判斷和優化，最終通過類似 MLE-Bench 的工具測試智能體的整體性能。