OpenAI的機(jī)器人剛剛在Dota2 1v1比賽中戰(zhàn)勝了人類(lèi)頂級(jí)職業(yè)玩家Dendi。以建設(shè)安全的通用人工智能為己任的OpenAI，通過(guò)“Self-Play”的方式，從零開(kāi)始訓(xùn)練出了這個(gè)機(jī)器人。

Dota2淪陷

繼橫掃頂級(jí)的人類(lèi)國(guó)際象棋大師和圍棋大師后，計(jì)算機(jī)如今在風(fēng)靡全球的電子游戲Dota2中戰(zhàn)勝了世界級(jí)的職業(yè)玩家。此前未被披露的此場(chǎng)對(duì)決發(fā)生于Valve獎(jiǎng)金高達(dá)2400萬(wàn)美元的Dota2國(guó)際邀請(qǐng)賽“The InternaTIonal”。

Dendi（圖左）在賽前與OpenAI的團(tuán)隊(duì)交流。

在這場(chǎng)一對(duì)一的對(duì)戰(zhàn)中，OpenAI設(shè)計(jì)的一款機(jī)器人擊敗了職業(yè)玩家Danylo “Dendi” IshuTIn，Dendi在此前的職業(yè)生涯中已贏得累計(jì)735449.4美元的獎(jiǎng)金。OpenAI的機(jī)器人在首場(chǎng)對(duì)戰(zhàn)中用時(shí)十分鐘擊敗了Dendi，之后Dendi在第二局對(duì)戰(zhàn)中退出并拒絕再戰(zhàn)第三局。

Dendi

“請(qǐng)放過(guò)我吧，”賽間Dendi對(duì)機(jī)器人對(duì)手這樣說(shuō)道。

Elon Musk發(fā)表推文稱(chēng)贊OpenAI的戰(zhàn)績(jī)，并稱(chēng)其為“在電子競(jìng)技領(lǐng)域首個(gè)擊敗人類(lèi)頂級(jí)玩家的機(jī)器人”。

OpenAI在電子競(jìng)技領(lǐng)域首度擊敗人類(lèi)頂級(jí)玩家。這比國(guó)際象棋及圍棋等游戲要復(fù)雜得多。

OpenAI的CTO Greg Brockman在賽前介紹稱(chēng)這一款機(jī)器人通過(guò)數(shù)千次的加以指導(dǎo)的自我對(duì)決進(jìn)行訓(xùn)練，并稱(chēng)該機(jī)器人已經(jīng)擊敗了數(shù)個(gè)Dota 2的職業(yè)玩家。Brockman在博客中稱(chēng)：“過(guò)去幾周內(nèi)，我們的機(jī)器人已經(jīng)戰(zhàn)勝過(guò)包括SumaiL（世界頂級(jí)1v1選手）及Arteezy（世界頂級(jí)overall選手）等多個(gè)頂級(jí)玩家”。

“自我對(duì)決”的理念是OpenAI研發(fā)的關(guān)鍵。這是一種AI系統(tǒng)學(xué)習(xí)解決極其復(fù)雜任務(wù)的有效方法：與太弱或太強(qiáng)的對(duì)手對(duì)戰(zhàn)，它都無(wú)法從中學(xué)到東西，但自身反倒是有價(jià)值的對(duì)手。Brockman介紹道：“你可以看到AI從完全的隨機(jī)狀態(tài)一步步發(fā)展到如今的頂級(jí)水平”。

AI公司慣常用電子競(jìng)技游戲來(lái)測(cè)試他們的技術(shù)，如谷歌的DeepMind攻克“星際2”，微軟的AI團(tuán)隊(duì)今日則宣稱(chēng)他們?cè)诔远谷擞螒蛑蝎@取高分。

OpenAI并未打算就此停止征戰(zhàn)的腳步。他們希望在明年的參與正式的五對(duì)五比賽。與此同時(shí)他們也對(duì)外發(fā)布了此機(jī)器人，所以任何人有興趣均可與之對(duì)戰(zhàn)。第一個(gè)擊敗此機(jī)器人的玩家則可獲得Valve專(zhuān)設(shè)的賞金。

我們創(chuàng)造了在Dota2 1v1比賽中能夠擊敗世界頂尖職業(yè)選手的AI。其完全是用self-play的方式訓(xùn)練，沒(méi)有使用模仿學(xué)習(xí)（imitaTIon learning）或樹(shù)搜索。這對(duì)構(gòu)建在混亂、包含人類(lèi)行為在內(nèi)的復(fù)雜場(chǎng)景下能夠完成well-defined goals的AI系統(tǒng)是重要一步。

Dota 1v1是含有隱藏信息的復(fù)雜游戲。代理需要學(xué)習(xí)計(jì)劃、進(jìn)攻、花招以及誤導(dǎo)對(duì)手。選手技巧和手速（每分鐘動(dòng)作）的關(guān)聯(lián)不那么強(qiáng)烈，實(shí)際上，我們的AI“手速”只是一般人類(lèi)選手的水平。

想要在Dota中取勝，要求選手培養(yǎng)出對(duì)對(duì)手的直覺(jué)，并采取相應(yīng)的策略。在上述視頻中，你能看到，我們的機(jī)器人已經(jīng)通過(guò)完全的self-play學(xué)會(huì)了預(yù)測(cè)其他選手的動(dòng)作，并在不熟悉的場(chǎng)景下即興發(fā)揮，以及如何作用于選手的單位。

完全通過(guò)Self-Play的方式訓(xùn)練，從零達(dá)到世界頂級(jí)水平

OpenAI的目標(biāo)是建設(shè)安全的通用人工智能。對(duì)于AI來(lái)說(shuō)，Dota是一個(gè)非常理想的試驗(yàn)場(chǎng)，競(jìng)爭(zhēng)激烈，游戲復(fù)雜。如果想在這門(mén)游戲中獲得成就，就必須推進(jìn)現(xiàn)有技術(shù)，實(shí)現(xiàn)技術(shù)突破。我們現(xiàn)在開(kāi)發(fā)了一個(gè)AI，能夠在Dota的1v1比賽中擊敗頂尖職業(yè)選手。

Dota的規(guī)則非常復(fù)雜，如果是用規(guī)則方法，那么構(gòu)建出的AI一定是個(gè)蹩腳的player。所以，我們完全采用的是自我游戲（self-play）的訓(xùn)練方法。剛開(kāi)始訓(xùn)練時(shí)，AI對(duì)于自己所處的世界全無(wú)認(rèn)識(shí)，而只是和自己的copy比賽，這也就意味著它和它的對(duì)手永遠(yuǎn)是旗鼓相當(dāng)?shù)?。它用這個(gè)方法一點(diǎn)點(diǎn)地提升，直到達(dá)到了世界上最優(yōu)秀的職業(yè)運(yùn)動(dòng)員的水平。The InternaTIonal（TI）是Dota的世界錦標(biāo)賽，吸引了世界各地20000名觀眾來(lái)觀看職業(yè)運(yùn)動(dòng)員爭(zhēng)奪2400萬(wàn)獎(jiǎng)金。在TI上，我們派出AI和其中的多位高手進(jìn)行了比賽，在比賽中，AI展現(xiàn)出了很強(qiáng)的魯棒性和技巧，許多職業(yè)選手希望能持續(xù)和我們的AI比賽，并考慮要把它當(dāng)做是一種訓(xùn)練手段。

現(xiàn)在的這支研究團(tuán)隊(duì)。

下一步研究將是5v5比賽，我們希望做出5個(gè)相互協(xié)作的AI，擊敗人類(lèi)戰(zhàn)隊(duì)。另外，我們也期待嘗試把AI和人類(lèi)放在同一戰(zhàn)隊(duì)中，協(xié)作取得勝利。