南派資訊：12月30日，騰訊宣布其人工智能球隊摘得首屆谷歌足球Kaggle競賽冠軍。該冠軍球隊來自騰訊AI Lab研發(fā)的絕悟WeKick版本，憑借1785.8的總分在與全球頂級技術團隊的競技中以顯著優(yōu)勢勝出。
今年11月底，騰訊AI Lab與王者榮耀聯合研發(fā)的策略協作型AI絕悟升級為完全體，首次讓AI精通了所有英雄的所有技能。此次絕悟WeKick版本的整體設計正是基于絕悟完全體遷移得到，并針對足球任務進行了一些針對性的調整，展現了絕悟AI背后深度強化學習方法的通用能力。
Kaggle 競賽 Google Football 排行榜前十名，
來自 https://www.kaggle.com/c/google-football/leaderboard
Kaggle創(chuàng)立于2010年，是全球最大的數據科學社區(qū)和數據科學競賽平臺。此次足球AI比賽由Google Research與英超曼城俱樂部在Kaggle平臺上聯合舉辦。
一直以來，足球運動團隊策略以其復雜性、多樣性和高難度，成為長期困擾世界頂尖AI研究團隊的難題，更加稀疏的游戲激勵也使得其成為比MOBA游戲更難攻克的目標。今年Kaggle首次針對足球AI領域發(fā)布賽題，為深度強化學習多智能體技術競技和基準評測提供了一個全新舞臺。
比賽使用Google Research Football強化學習環(huán)境，基于開源足球游戲Gameplay Football開發(fā)，采取11vs11的賽制，參賽團隊需要控制其中1個智能體與10個內置智能體組成球隊，兼具挑戰(zhàn)性和趣味性。一經推出，便吸引了來自世界頂級院校和研究機構的1100多支科研強隊參與挑戰(zhàn)。
Google Football(on Kaggle)以流行的足球游戲為模型，就像是一款由AI操作的FIFA游戲，智能體控制足球隊中的一個或所有足球運動員，學習如何在他們之間傳球，并設法克服對手的防守以進球。其競賽規(guī)則與普通足球比賽類似，比如目標都是將球踢入對方球門以及越位、黃牌和紅牌規(guī)則。
不同于常見足球視頻游戲的統(tǒng)一調控式NPC球隊，在本次Kaggle競賽中，每個球員都各由一個單獨的智能體控制，而參賽的AI模型則根據比賽情況控制其中一個智能體，與其他10個內置智能體配合。這要求每個球員不僅需要觀察對手的行為，還需要留意己方隊員的情況，背后需要非常復雜的團隊協作和競爭策略作為支撐。
WeKick（黃色球衣） vs SaltyFish（本次競賽第二名）近期的一局比賽實錄（射門）
舉個例子，當對方球員控球時，己方智能體不僅要根據球場上雙方球員的分布位置預測控球球員的下一步動作，還需要與己方其他球員協同如何合規(guī)地奪取足球的控制權。且由于球場動態(tài)瞬息萬變，因此高速的實時決策能力也是必需的。
此外，從零開始完全采用強化學習方法來訓練完整的足球AI實際上也相當困難。與MOBA游戲中不斷有經濟、血量、經驗等實時學習信號不同，足球的游戲激勵非常稀疏，基本只能依靠進球，而稀疏激勵一直是目前強化學習一大難題。
得益于深度強化學習在游戲領域突飛猛進的發(fā)展，從Atari游戲到圍棋再到多種不同的視頻游戲，AI智能體在不斷的迭代演化中變得越來越強大，而足球運動團隊策略的難關也得以被攻克。
絕悟WeKick版本首先采用了強化學習和自博弈（Self-Play）來從零開始訓練模型，并部署了一種異步的分布式強化學習框架。雖然該異步架構犧牲了訓練階段的部分實時性能，但靈活性卻得到顯著提升，而且還支持在訓練過程中按需調整計算資源，使其能適應 11 智能體足球游戲訓練環(huán)境。
由于MOBA游戲和足球游戲任務目標的差異，絕悟WeKick版本采用了生成對抗模擬學習（GAIL）與人工設計的獎勵結合，在特征與獎勵設計上進行了擴展和創(chuàng)新。該方案利用了生成對抗訓練機制來擬合專家行為的狀態(tài)和動作分布，使得絕悟WeKick版本可以從其它球隊學習。然后，再將 GAIL 訓練的模型作為固定對手進行進一步自博弈訓練，進一步提升策略的穩(wěn)健性。
GAIL 的優(yōu)勢（WeKick 的獎勵設計綜合了 Reward Shaping 和 GAIL 兩種方案）
但這種通過自博弈強化學習得到的模型有一個天然的缺點：很容易收斂到單一風格。在實際比賽的時候單一風格的模型很容易發(fā)生由于沒見過某種打法而表現失常，最終導致成績不佳的情況。因此，為了提升策略的多樣性和穩(wěn)健性，絕悟還采用了針對多智能體學習任務的League（若干策略池）多風格強化學習訓練方案。
這種League多風格強化學習訓練方案的主要流程可簡單總結為先專精后綜合。
首先訓練一個具備一定程度競技能力的基礎模型，比如運球過人、傳球配合、射門得分；接著基于基礎模型訓練出多個風格化模型，每個模型專注一種風格打法，在風格化模型訓練的過程中會定期加入主模型作為對手，避免過度堅持風格，丟失基本能力；最后基于多個基礎模型訓練一個主模型，主模型除了以自己的歷史模型為對手以外，還會定期加入所有風格化對手的最新模型作為對手，確保主模型能夠適應風格完全不同的對手。
內部能力評分系統(tǒng)顯示，加入對手池訓練以后的主模型，可以在基礎模型的基礎上提高200分，比最強的風格化打法高80分。
最終，基于絕悟完全體的架構遷移，定制化的框架改進，加上關鍵性的生成對抗模擬學習（GAIL）方案和 League （若干策略池）多風格強化學習訓練方案，使得絕悟實現了優(yōu)于其它競爭AI球隊的優(yōu)勢，最終成就了冠軍之路。
此次絕悟WeKick版本奪冠，意味著在絕悟繼完全體升級后，其背后的深度強化學習方案又訓練出了適應復雜足球競技場景的AI模型，展現了騰訊AI Lab在前沿AI技術上的研發(fā)實力，也驗證了騰訊絕悟AI底層架構與方法的通用性。
據了解，絕悟團隊的研究方向正在從足球比賽中的單個智能體控制向11個智能體同時控制、協同作戰(zhàn)深入，當完整的足球獨立智能體個數達到11個，強化學習的難度將隨著智能體個數的增長呈現指數級的爆炸增長，同時足球智能體之間差距不大，如何自動形成角色分工以及在不同角色間的激勵分配也一直是多智能體強化的難題。在此前5v5形式（多智能體）的谷歌天梯比賽Google Research Football League中，騰訊絕悟團隊也摘得冠軍，展現了絕悟AI的巨大潛力。
從圍棋AI絕藝到MOBA游戲AI絕悟再到如今的AI足球隊WeKick，騰訊AI Lab的深度強化學習智能體正在步步進化，逐漸向更復雜更多樣化的問題遷移，騰訊也正在向通用人工智能的終極目標堅定邁進。長遠來看，絕悟背后的研發(fā)經驗和算法積累，未來還將在AI與農業(yè)、醫(yī)療及智慧城市等廣闊領域的結合上展現巨大潛力，創(chuàng)造出更大的實用價值。
