近年來，機器人已經(jīng)越來越普遍的成為人們生活家庭中的小幫手，而來自卡耐基梅隆大學(xué) (CMU) 的四個科學(xué)家，發(fā)現(xiàn)家庭機器人應(yīng)用在現(xiàn)實生活中和實驗差距很大，在一篇論文中，他們強調(diào)：機器人一般都生活在實驗室里，在真實的場景中生活場景幾乎為0。

為什么機器人動作數(shù)據(jù)不會像我們在計算機視覺和自然語言處理等其他重要領(lǐng)域中看到的那樣獲得類似的收益?

許多方法聲稱實驗室中收集的數(shù)據(jù)是真實數(shù)據(jù)。但是面對現(xiàn)實多樣化的場景，很多機器人顯得力不從心。因此，機器人在試驗過程中的數(shù)據(jù)采集信息就需要從實驗室設(shè)置轉(zhuǎn)移到現(xiàn)實世界的人們家中。

對此，科學(xué)家們決定把這些機器人帶去開房。通過在多個看不見的家中對機器人進(jìn)行物理執(zhí)行指令，將家庭數(shù)據(jù)集訓(xùn)練的模型顯示與實驗室收集的數(shù)據(jù)訓(xùn)練的基線模型進(jìn)行對比，找到解決機器人在實驗室數(shù)據(jù)之外，遇到狀況怎么處理和解決目前一些廉價機器人對于日常生活中做事和面對指令反應(yīng)不準(zhǔn)確的問題。

經(jīng)濟適用機器人

由于收集模擬數(shù)據(jù)比實時機器人實時成本低得多，所以目前的機器人大多的數(shù)據(jù)驅(qū)動方法主要集中在使用模擬器上，這種模擬器不是使用手工設(shè)計的模型，而是集中于大規(guī)模數(shù)據(jù)集的收集，但模擬器與現(xiàn)實世界之間存在廣泛的“現(xiàn)實差距”。因此，科學(xué)家決定推動在多個機器人實驗室中收集真實世界的物理交互數(shù)據(jù)，主要目的是要將硬件成本下降。

為了這個目的，科學(xué)家們把機器人進(jìn)行了改造，機械手臂上先建立一個低于3K美元組裝的低成本移動機械手把，再逐步加上雙軸手腕，兩指電動夾具，還有移動底座。傳感器方面，配置了英特爾R200 RGB攝像頭，以及幫攝像頭轉(zhuǎn)脖子的云臺。至于機器人的大腦搭載了i5-8250U的CPU和8G的RAM，一次充電可運行約3小時。底座中的電池用于為底座和臂提供動力。只需一次充電，系統(tǒng)可以運行1.5小時。這樣每臺“只要”三千美元，比別的 (兩萬美元的) 機器人經(jīng)濟多了。

由于廉價的電動機，突出了降低成本的一個不可避免的后果-那就是無法準(zhǔn)確的控制。現(xiàn)有的機器人采集數(shù)據(jù)集多種多樣存在很多誤差，這種誤差稱之為機器人工作的噪聲，并把噪聲模擬為潛在變量并使用兩個網(wǎng)絡(luò)：預(yù)測可能的噪聲預(yù)測執(zhí)行的動作。

機器人平面抓取原則

平面抓取訓(xùn)練原則遵循Imagenet預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)作為初始化，分為3個結(jié)構(gòu)：

1、抓取預(yù)測網(wǎng)絡(luò) (GPN) ，基于對象的圖像塊推斷抓握角度，再決定用什么姿勢抓取。而采用經(jīng)濟的機器人，收集的數(shù)據(jù)會有很多噪音

2、噪音建模網(wǎng)絡(luò) (NMN) ，估計給定圖像的潛在噪聲場景和機器人信息這兩組數(shù)把噪音分離出去。

3、邊緣化層 (Marginalization Layer) ，計算最終的抓握角度，把兩股數(shù)據(jù)流結(jié)合起來，以便給出更好的決策。

機器人潛在噪聲模型

科學(xué)家們?yōu)榇_保數(shù)據(jù)測試得多樣化，舉出六個家庭來進(jìn)行平面抓取。每個家庭都有幾個環(huán)境，使用多個機器人并行收集數(shù)據(jù)。由于是在具有非結(jié)構(gòu)化視覺輸入的家庭中收集數(shù)據(jù)，所以使用了物體檢測器。這導(dǎo)致在雜亂和不同背景中對象的邊界框預(yù)測，于是僅對2D位置并丟棄對象類信息進(jìn)行記錄。一旦在圖像空間中獲取到物體的位置，就首先對其進(jìn)行抓取采樣，然后從嘈雜的PointCloud計算3D抓取位置。

由于欠約束機器人只有5個DOF，所以運動規(guī)劃管道經(jīng)過精心設(shè)計。在收集訓(xùn)練數(shù)據(jù)時，將各種各樣的物體分散開，讓移動基地隨機移動和抓取物體?；幌拗圃?米寬的區(qū)域，以防止機器人與其操作區(qū)域之外的障礙物碰撞，然后對采集的數(shù)據(jù)集進(jìn)行定量評估。

對于定量評估，可以使用三種不同的測試設(shè)置：

1、二進(jìn)制分類(保留數(shù)據(jù))：通過對對象執(zhí)行隨機抓取來收集保持測試集。

在給定位置和抓握角度的情況下，測量二元分類的性能。模型必須預(yù)測掌握是否成功。這種方法允許評估大量模型而無需在真實機器人上運行它們。

2、真正的低成本手臂(Real-LCA)：通過評估學(xué)習(xí)模型在低成本手臂上的物理抓取性能。

3、Real Sawyer(Real-Sawyer)：測量學(xué)習(xí)模型在工業(yè)機器人手臂(Sawyer)上的物理抓取性能。由于Sawyer是更準(zhǔn)確和更好的校準(zhǔn)，因此評估Robust-Grasp模型過程中不會解開數(shù)據(jù)中的噪聲。

機器人從模型訓(xùn)練到數(shù)據(jù)集整合評估都對無法完全適應(yīng)外界，因此，采集現(xiàn)實世界的數(shù)據(jù)，來實時的訓(xùn)練機器人實際技能，這是一個泛化和艱難的過程，很期待和機器人共同生活的世界，你們期待嗎?