一種新型的機(jī)器學(xué)習(xí)算法剛剛掌握了一些已被證明是人工智能的頭疼的回歸視頻游戲。

接下來(lái)的人將會(huì)知道人工智能算法在古老，優(yōu)雅的策略游戲Go中擊敗了世界頂級(jí)人類(lèi)玩家，這是最難以想象的游戲之一。但是，來(lái)自8位電腦游戲時(shí)代的兩個(gè)像素化經(jīng)典作品 - 蒙特祖瑪?shù)膹?fù)仇和陷阱已經(jīng)阻礙了AI研究人員。

這種看似矛盾的原因是有道理的。蒙特蘇馬的復(fù)仇和陷阱雖然看似簡(jiǎn)單，但看似簡(jiǎn)單！通過(guò)強(qiáng)化學(xué)習(xí)已經(jīng)不受掌握，這種技術(shù)本來(lái)擅長(zhǎng)學(xué)習(xí)征服視頻游戲。DeepMind是Alphabet的子公司，專(zhuān)注于人工智能，著名地用它來(lái)開(kāi)發(fā)能夠?qū)W習(xí)如何在專(zhuān)家級(jí)別上玩幾個(gè)經(jīng)典視頻游戲的算法。強(qiáng)化學(xué)習(xí)算法與大多數(shù)游戲很好地融合，因?yàn)樗麄兏鶕?jù)積極的反饋調(diào)整他們的行為 - 得分上升。該方法的成功使人們產(chǎn)生了希望，AI算法可以教會(huì)自己做各種有用的東西，這些東西目前對(duì)機(jī)器來(lái)說(shuō)是不可能的。

蒙特祖瑪?shù)膹?fù)仇和陷阱的問(wèn)題！是沒(méi)有可靠的獎(jiǎng)勵(lì)信號(hào)。兩個(gè)標(biāo)題都涉及典型場(chǎng)景：主角探索充滿(mǎn)致命生物和陷阱的塊狀世界。但是在每種情況下，許多在游戲中前進(jìn)所必需的行為都無(wú)助于提高分?jǐn)?shù)，直到很久以后。普通的強(qiáng)化學(xué)習(xí)算法通常無(wú)法擺脫蒙特祖瑪?shù)膹?fù)仇和陷阱中的第一個(gè)房間！他們得分正好為零。

這些新算法來(lái)自?xún)?yōu)步在舊金山的人工智能研究團(tuán)隊(duì)，由Jeff Clune領(lǐng)導(dǎo)，他也是懷俄明大學(xué)的副教授。該團(tuán)隊(duì)在一個(gè)環(huán)境中展示了一種根本不同的機(jī)器學(xué)習(xí)方法，該環(huán)境幾乎沒(méi)有提供顯示算法的線(xiàn)索。

這種方法引出了一些有趣的實(shí)際應(yīng)用，Clune和他的團(tuán)隊(duì)在今天發(fā)布的博客文章中寫(xiě)道 - 例如，在機(jī)器人學(xué)習(xí)中。這是因?yàn)槲磥?lái)的機(jī)器人需要弄清楚在復(fù)雜的環(huán)境中應(yīng)該做些什么并且只提供一些稀疏的獎(jiǎng)勵(lì)。

優(yōu)步于 2016年12月啟動(dòng)了人工智能實(shí)驗(yàn)室，目標(biāo)是實(shí)現(xiàn)可能對(duì)其業(yè)務(wù)有用的根本性突破。更好的強(qiáng)化學(xué)習(xí)算法最終可用于自動(dòng)駕駛和優(yōu)化車(chē)輛路線(xiàn)等事項(xiàng)。

人工智能研究人員通常試圖解決蒙特祖瑪?shù)膹?fù)仇與陷阱所帶來(lái)的問(wèn)題！通過(guò)指導(dǎo)強(qiáng)化學(xué)習(xí)算法有時(shí)隨機(jī)探索，同時(shí)為探索增加獎(jiǎng)勵(lì) - 所謂的“內(nèi)在動(dòng)機(jī)”。

但優(yōu)步研究人員認(rèn)為，這無(wú)法捕捉人類(lèi)好奇心的一個(gè)重要方面。“我們假設(shè)當(dāng)前內(nèi)在動(dòng)機(jī)算法的一個(gè)主要弱點(diǎn)是脫離，”他們寫(xiě)道?！捌渲兴惴ㄍ浟怂麄?cè)L問(wèn)過(guò)的有前途的區(qū)域，這意味著他們不會(huì)回到他們身邊，看看他們是否會(huì)導(dǎo)致新的狀態(tài)?！?/p>

該團(tuán)隊(duì)新的強(qiáng)化學(xué)習(xí)算法系列，被稱(chēng)為Go-Explore，記住了之前的狀態(tài)，并將在稍后返回特定區(qū)域或任務(wù)，看看它是否有助于提供更好的整體效果。研究人員還發(fā)現(xiàn)，通過(guò)讓人類(lèi)玩家突出有趣或重要的區(qū)域來(lái)增加一些領(lǐng)域知識(shí)，可以大大加快算法的學(xué)習(xí)和進(jìn)步。這很重要，因?yàn)榭赡艽嬖谠S多真實(shí)情況，您希望算法和人員一起工作來(lái)解決一項(xiàng)艱巨的任務(wù)。

他們的代碼在蒙特祖瑪?shù)膹?fù)仇中平均得分為400,000分 - 比人類(lèi)專(zhuān)家的平均值高出一個(gè)數(shù)量級(jí)。在陷阱！它平均增加了21,000，遠(yuǎn)遠(yuǎn)超過(guò)大多數(shù)人類(lèi)玩家。

“這些結(jié)果令人印象深刻，”斯坦福大學(xué)助理教授Emma Brunskill說(shuō)，他專(zhuān)門(mén)研究強(qiáng)化學(xué)習(xí)。她說(shuō)，令人驚訝和令人興奮的是，這些技術(shù)產(chǎn)生了如此巨大的優(yōu)勢(shì)。

其他人工智能研究人員一直在嘲笑這些臭名昭著的硬視頻游戲。10月，舊金山非營(yíng)利組織OpenAI的一個(gè)團(tuán)隊(duì)展示了一種能夠在Montezuma的復(fù)仇方面取得重大進(jìn)展的算法。

最近，斯坦福大學(xué)的Brunskill小組在陷阱方面取得了較小的進(jìn)展！使用類(lèi)似優(yōu)步團(tuán)隊(duì)的方法。

現(xiàn)在AI算法可以解決這些視頻游戲，挑戰(zhàn)是從街機(jī)中出現(xiàn)并解決現(xiàn)實(shí)問(wèn)題。

Brunskill同意這種工作可能對(duì)機(jī)器人技術(shù)產(chǎn)生重大影響。但她說(shuō)，其他現(xiàn)實(shí)世界的情況，特別是那些涉及人類(lèi)行為建模的情況，要困難得多。“看看這種方法對(duì)于更復(fù)雜的設(shè)置有多好，這將是非常有趣的，”她說(shuō)。