可靠和穩(wěn)定的運動一直是有腿機器人最根本的挑戰(zhàn)之一。深度強化學習（深度RL）已成為一種有前途的自主開發(fā)此類控制策略的方法。最近，一個名為Rainbow Dash的機器人就用此方法自學了走路。這只四腳機器只需要幾個小時就可以學會向前和向后行走，并在此過程中左右旋轉。

這是Google研究人員的一項新研究取得了重大進展，表現為機器人可以在沒有人工干預的情況下學習走路。在幾個小時內，僅僅依靠對當前最先進算法的微調，它們成功地讓一個四條腿的機器人學會了完全獨立的向前走和向后走，以及左右轉彎。

加州大學伯克利分校和佐治亞理工學院的研究人員在ArXiv預印服務器上發(fā)表了這篇論文，描述了一種統(tǒng)計AI技術，也是他們能用來產生這個成就的原因，即深度強化學習。他們開發(fā)了一個系統(tǒng)，用于以最少的人力在現實世界中以深度RL學習腿式運動策略。機器人學習系統(tǒng)的主要困難是自動數據收集和安全性。通過開發(fā)多任務學習程序，自動重置控制器和受安全限制的RL框架，他們克服了這兩個挑戰(zhàn)。

研究人員在學習如何在三種不同地形上行走的任務上測試了這個系統(tǒng)：平坦的地面，柔軟的床墊和帶有縫隙的門墊。我們的系統(tǒng)無需人工干預，即可在Minitaur機器人上自動高效地學習運動技能。

這項工作建立在一年前的研究基礎上，當時研究團隊首次發(fā)現了如何讓機器人在現實世界中學習，此前，大多數強化學習部署都在計算機模擬的環(huán)境中進行。但是，Rainbow Dash使用此技術來學習在實際物理環(huán)境中行走。而且，它能夠在沒有專門的教學機制的情況下進行操作，例如人工指導或帶有標簽的培訓數據。最終，Rainbow Dash成功地在多個表面上行走，包括柔軟的泡沫床墊和帶有明顯凹口的門墊。

此前，強化學習通常會這樣在模擬環(huán)境中進行：機器人的虛擬分身在模擬的環(huán)境中走來走去，直到算法足夠完善，可以使其安全運行為止。然后將其導入真正的機器人。

這種方法有助于避免機器人在反復實驗過程中對周圍環(huán)境的損傷，但也需要一個易于建模的環(huán)境。在機器人腳下模擬自然散落的沙礫或者彈簧床墊需要很長時間，根本不值得。

基于這種狀況，研究人員從一開始就決定通過在真實世界中訓練來避免困難的環(huán)境建模。他們設計了一種更高效的算法，可以使學習的試驗次數變少一點，并在兩個小時內讓機器人站起來行走。由于實際環(huán)境中會有自然變化，機器人也能夠快速適應其他相似的環(huán)境，如斜坡、臺階以及有障礙的平地。

于是他們開始解決這個新問題。首先，他們限定了機器人可以探索的地形，并讓它一次性進行多重動作訓練。如果機器人在學習如何向前走的同時到達了限定地形的邊緣，它就會改變方向，開始學習如何向后走。

其次，研究人員還限制了機器人的訓練動作，讓它能夠謹慎一些，最大限度地減少反復摔倒帶來的傷害。當機器人不可避免地摔倒時，他們還添加了另一個硬編碼算法來幫助它站起來。

通過這些調整，機器人學會了如何在幾個不同的環(huán)境中自主行走，包括平地、記憶泡沫床墊和有縫隙的門墊。這項實驗給未來的某些應用帶來了可能性，有些情況可能需要機器人在沒有人類的情況下在坎坷和未知的地形中行走。

機器人使用的深度強化學習技術包括一種機器學習技術，其中通過代理服務器與環(huán)境交互以反復試驗來學習。一般而言，機器學習是一門多領域交叉學科，涉及概率論、統(tǒng)計學、逼近論、凸分析、算法復雜度理論等多門學科?？茖W團隊一開始就專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能，它是人工智能的核心，是使計算機具有智能的根本途徑，原先，大多數強化學習用例都涉及計算機游戲，例如在數字特工中學習如何取得勝利，本次應用也是谷歌對于人工智能算法的一次極好嘗試。

而在機器人身上的所謂深度強化學習，指的是當計算機正確完成一項任務時，它將獲得指導其學習過程的獎勵。盡管以“先驗知識”算法概述了任務的步驟，但是如何準確地執(zhí)行這些步驟卻沒有。當機器人擅長執(zhí)行某個步驟時，其獎勵會增加，從而創(chuàng)建一種反饋機制，促使機器人學習最佳方法，例如將熱狗放在面包上。

這種形式的機器學習與傳統(tǒng)的有監(jiān)督或無監(jiān)督學習明顯不同，在傳統(tǒng)的有監(jiān)督或無監(jiān)督學習中，機器學習模型需要標記的訓練數據來學習。深度強化學習將強化學習方法與深度學習相結合，傳統(tǒng)的機器學習的規(guī)模隨著強大的計算能力而大大擴展。

斯坦福大學助理教授Chelsea Finn表示：“這項工作令人感到非常興奮。” 芬恩也為谷歌工作，但沒有參與這項研究?！白屵@個過程不再出現人工干預真的很難。機器人能夠更自主地學習，就更有可能在我們生活的現實世界中學習，而不是在實驗室里。”但她也提醒到，目前的設置依賴于機器人上方的動作捕捉系統(tǒng)來確定其位置。這在現實世界中是不可能的。

盡管研究團隊將Rainbow Dash的學習能力歸功于自己，但人為干預仍在實現該目標方面發(fā)揮了重要作用。例如研究人員必須創(chuàng)建邊界，機器人可以在該邊界內學習走路，以防止機器人離開該區(qū)域。他們還必須設計特定的算法來防止機器人摔倒，其中一些算法集中在限制機器人的運動上。為了防止諸如墜落損壞之類的事故，通常在數字環(huán)境中進行機器人強化學習，然后再將算法轉移到物理機器人上以保持其安全性。

接下來，研究人員希望他們的算法能適用于不同種類的機器人，或適用于多個機器人在同一環(huán)境中同時進行學習。譚杰相信，破解機器人的運動能力將是解鎖更多有用機器人的關鍵?！昂芏嗟胤蕉际菫槿祟惤ㄔ斓模覀兌加猛葋碜呗?，” 他說，“如果機器人學不會使用腿，它們就不能在人類世界中行走?！?/p>

這確實是機器人自主行動的重要一步了，距離機器人自己自主行動也并不遙遠，到時候，我們到底是該恐懼還是興奮呢？