網易互娛AI Lab獲2022 IEEE CoG足球AI競賽雙料冠軍

近日，2022 IEEE遊戲大會（IEEE Conference onGames, CoG） 足球AI競賽正式公佈了比賽結果。本站互娛AI Lab以1292.28分和1491.48分的成績分別包攬了5v5和11v11兩個賽道的冠軍，特別是在11v11賽道中，以高於第二名267分的優勢取得了斷崖式領先。這是本站互娛AI Lab繼去年滿分奪冠IEEE遊戲大會的格鬥遊戲AI競賽後，再獲該大會遊戲AI類競賽的冠軍，展現了其在遊戲AI方面的技術硬實力，也彰顯了實驗室在提供更精彩的互娛體驗方面所做出的不屑努力。

IEEE遊戲大會是人工智能方向遊戲領域的國際頂會，匯聚了來自全球遊戲領域學術界和工業界的領先研究人員和開發人員，共同探討遊戲技術與設計相關的前沿話題和未來趨勢。本次IEEE遊戲大會下設的足球AI競賽共分爲兩個賽道：5v5和11v11賽道。其中，5v5賽道需要訓練除了守門員之外的4名隊員的模型，而11v11賽道則需要訓練包含守門員在內的全部11名隊員。兩個賽道均屬於多智能體訓練任務，這已經大大加大了訓練的難度；其次，足球遊戲策略以其複雜性、多樣性和高難度，一直是長期困擾世界頂尖AI團隊的研究難題，多智能體不僅需要掌握傳球和防守等複雜概念，還需要在短期控制和高水平策略之間取得平衡，例如怎樣克服對手的防守以成功進球等，這些都對高強度AI的研發提出了巨大的挑戰。

本站互娛AI Lab創新性地提出了一種基於強化學習和多樣性模型池的高強度、策略豐富的AI訓練框架，該框架具有強度高、泛化性強和策略豐富的特點。相比大部分目前已知的其他模型，用該框架訓練的模型能夠持續穩定提升自身性能，不會陷入RL領域中經典的“非傳遞性”問題，即發生模型策略退化的現象，因此也就更不易被玩家找到弱點。此外，該模型的策略豐富度也顯著超出此前其他已知的所有模型，例如，模型表現出豐富的進攻方式，除了經典的全隊進攻、邊路進攻、中路進攻和快速防守反擊外，還掌握了利用遊戲引擎的特點形成的特定進攻戰術，因此能夠擊敗各類具有不同策略的對手。

圖：訓練框架

在競賽中，該訓練框架不僅提升了模型的泛化性、強度和策略豐富度，更提升了自身的多樣性，由此可以幫助獲得大量、可滿足實際生產應用的AI。例如，根據應用場景和需求不同，可在不同訓練階段挑選得到具備不同難度的AI，如在訓練初期可挑選出難度適中、具備擬人性的遊戲AI，用於冷啓動匹配、補位、陪玩等場景，優化遊戲體驗；訓練後期還可獲得具有挑戰性的強大遊戲AI，爲進一步邁向探索通用型人工智能奠定基礎。本站互娛AI Lab一直將遊戲AI作爲研究的核心領域之一，並不斷突破AI落地的難題，致力於將AI研究成果成功落地於實際生產應用中，以在未來爲大家創造更精彩的互動娛樂體驗。