無論是在擁擠的人行道上行走，還是在社區(qū)足球聯(lián)賽中射門進球，人類都會下意識地利用感知—動作循環(huán)（perception-acTIon loop）做幾乎所有的事情。感知—動作循環(huán)可以使我們在一個連續(xù)的實時循環(huán)中使用感官輸入做出正確的動作，其也是 “自治系統(tǒng)” 的核心。

但當(dāng)前一代的機器人等 “自治系統(tǒng)” 在直接根據(jù)視覺數(shù)據(jù)做出正確決策方面仍遠遠不及人類，其依然受到難以收集大量真實世界數(shù)據(jù)的限制。此外，雖然我們能輕易生成大量模擬數(shù)據(jù)，但這類數(shù)據(jù)在現(xiàn)實生活的各種場景中，通常不能催生安全的行為。

如何讓機器人具有如人類一般的 “自治” 能力？一項來自微軟研究人員的研究，讓我們看到了巨大的可能性。

研究人員向我們描述了這樣一種機器學(xué)習(xí)系統(tǒng)：它可以幫助機器人直接從相機圖像中推理出正確的動作。以無人機為例，無人機可以通過模擬學(xué)習(xí)完成特定路線的導(dǎo)航。

通過模擬訓(xùn)練，機器人可以學(xué)會獨立觀察現(xiàn)實世界中的環(huán)境和條件（包括看不見的情況），然后作出正確決策，這使得機器人非常適合用于搜索和救援任務(wù)。研究人員認(rèn)為，在不久的將來，這種機器學(xué)習(xí)系統(tǒng)可以幫助機器人更快地識別出需要幫助的人。

受人類大腦的啟發(fā)，該系統(tǒng)將視覺信息直接映射到正確的控制動作上，也就是說，將視頻幀的高維序列轉(zhuǎn)換為代表真實世界狀態(tài)的低維形態(tài)。根據(jù)研究人員的說法，這種方法使模型更容易解釋和調(diào)試。

圖 | 系統(tǒng)框架通過模擬學(xué)習(xí)使用多個數(shù)據(jù)模態(tài)的低維狀態(tài)表征

研究人員在微軟官網(wǎng)上的一篇博客文章中寫道：“我們希望可以借助這個系統(tǒng)使得當(dāng)前技術(shù)更加接近人類應(yīng)對環(huán)境提示、適應(yīng)困難條件和自主操作的能力。我們有興趣去探索要建立一個達到人類水平的自主系統(tǒng)需要做些什么?！?/p>

無人機實驗

在機器學(xué)習(xí)系統(tǒng)框架內(nèi)，研究人員將感知組件（即理解所看到的東西）與控制策略（根據(jù)看到的東西決定做什么）分開?！巴ㄟ^將 ‘感知—行動循環(huán)’ 分為兩個模塊，并將多種數(shù)據(jù)模式納入感知訓(xùn)練階段，我們可以避免網(wǎng)絡(luò)過度擬合傳入數(shù)據(jù)的非相關(guān)特征。比如，盡管用于模擬和物理實驗中的門的大小相同，但它們的寬度、顏色，甚至內(nèi)在的相機參數(shù)卻不一樣?！?一位研究人員說。

該團隊將機器學(xué)習(xí)框架應(yīng)用在一個帶有前置攝像頭的小型四軸飛行器上，在只使用來自相機的圖像的情況下，試圖通過為無人機傳授一種 AI 策略，從而使其完成特定路線的導(dǎo)航。

研究人員使用一個名為 AirSim 的高保真模擬器在模擬環(huán)境下訓(xùn)練 AI，然后將其部署到現(xiàn)實世界的無人機上。其中，一個關(guān)鍵挑戰(zhàn)是模型必須對模擬和現(xiàn)實世界之間的差異（如光照、紋理）具有魯棒性（指控制系統(tǒng)在一定結(jié)構(gòu) / 大小的參數(shù)攝動下維持其它某些性能的特性）。為此，研究人員使用了一個名為跨模態(tài)變量自動編碼器（CM-VAE）的框架，來生成緊密彌合模擬與現(xiàn)實差距的表征，從而避免對無關(guān)數(shù)據(jù)的過度擬合。

在無人機實驗中，一種數(shù)據(jù)模態(tài)考慮了原始無標(biāo)簽傳感器輸入（FPV 圖像），而另一種數(shù)據(jù)模態(tài)描述了與當(dāng)前任務(wù)直接相關(guān)的狀態(tài)信息，后者對應(yīng)于無人機坐標(biāo)框架中定義的下一個門的相對姿勢。研究人員通過擴展 CM-VAE 框架，得到了一種低維的潛在環(huán)境表征。該框架為每個數(shù)據(jù)模態(tài)使用一個編碼器 -?解碼器對（encoder-decoder pair），同時壓縮與單個潛在空間之間的所有輸入和輸出（圖 b）。該系統(tǒng)將有標(biāo)記和無標(biāo)記的數(shù)據(jù)模式自然地納入潛在變量的訓(xùn)練過程，然后使用模仿學(xué)習(xí)訓(xùn)練一種深度控制策略，將潛在變量映射到無人機的速度命令中（圖 a）。

圖 | a. 控制系統(tǒng)架構(gòu)。來自無人機的視頻的輸入圖像被編碼到一種潛在的環(huán)境表征中。一個控制策略作用于低維嵌入，以輸出所需的機器人控制命令。b. 跨模態(tài) VAE 架構(gòu)。每個數(shù)據(jù)樣本被編碼成單獨的潛在空間中，這個潛在空間可以被解碼成圖像，或者轉(zhuǎn)換成另一種數(shù)據(jù)模態(tài)，比如門相對于無人機的姿態(tài)。

該系統(tǒng)的感知模塊將輸入圖像壓縮到上述的低維表示中，從 27,648 個變量下降到可以描述它的最基本的 10 個變量。解碼后的圖像提供了無人機可以看到的前方情況的描述，包括所有可能的門的大小和位置，以及其它不同的背景信息。

圖 | 由跨模態(tài)表示生成的虛化圖像的可視化，解碼后的圖像直接捕捉到門對應(yīng)的背景信息

研究人員在 45 米長的帶有門的 S 形軌道和 40 米長的帶有不同門的圓形軌道上，分別測試了這個系統(tǒng)的能力。他們表示，使用 CM-VAE 的效果明顯優(yōu)于直接編碼下一位置的端到端 AI 策略，即使背景存在 “強烈” 的視覺干擾，無人機還是通過使用跨模態(tài)感知模塊成功完成了任務(wù)。

圖 | 45 米長的 S 形軌道和 40 米長的圓形軌道

研究人員表示，這些結(jié)果顯示了該系統(tǒng)在現(xiàn)實世界應(yīng)用的 “巨大潛力”。比如，盡管存在年齡、體型、性別和種族差異，該系統(tǒng)可能幫助自主搜索和救援機器人更好地識別人類，從而讓機器人有更好的機會識別和找回需要幫助的人。

不完美的實驗

盡管無人機的實驗結(jié)果著實令人興奮。但研究人員表示，他們在實驗中遇到了一個意想不到的結(jié)果，即將未標(biāo)記的真實世界數(shù)據(jù)與標(biāo)記的模擬數(shù)據(jù)結(jié)合起來訓(xùn)練表征模型，并沒有提高整體性能，只使用模擬數(shù)據(jù)效果更好。

對此，他們認(rèn)為，未來工作的一個有趣的方向是使用對抗性技術(shù)來降低由模擬和真實圖像編碼的相似場景之間的潛在空間距離，這將降低訓(xùn)練和測試階段數(shù)據(jù)分布的差異。此外，研究人員設(shè)想擴展使用無標(biāo)簽數(shù)據(jù)進行策略學(xué)習(xí)的方法。比如，除了圖像之外，是否可以結(jié)合不同的數(shù)據(jù)模式（激光測量、甚至聲音）來學(xué)習(xí)如何對環(huán)境進行表征。

盡管還存在一些問題，但無人機實驗的成功證明了這種方法具有應(yīng)用于其他真實機器人任務(wù)的巨大潛力，其他機器人同樣需要類似的能力來實現(xiàn)實時解釋輸入，并在確保安全操作的同時做出正確決策。