時用手指盲打，將鑰匙插入鑰匙孔，這些都依賴我們的觸覺。已有研究表明，觸覺對于人類的靈巧操作非常重要。

同樣，對于許多機器人操作任務來說，只有視覺可能是不夠的—— 視覺很難處理微妙的細節(jié)問題，如邊緣的精確位置，剪切力度或接觸點處的表面紋理，而且機器人的手臂和手指可能阻擋相機與其目標物之間的視線。然而，用這種至關重要的感官能力來增強機器人，仍然是一項有挑戰(zhàn)性的任務。

我們的目標是提供一個學習如何執(zhí)行觸覺伺服的框架，這意味著要基于觸覺信息精確地重新定位一個物體。

為了給我們的機器人提供觸覺反饋，我們使用了一個定制的觸覺傳感器，其原理與 MIT 開發(fā)的 GelSight 傳感器類似。傳感器由一種可變形的彈性體凝膠組成，有三個彩色 LED 背光，并在凝膠表面提供高分辨率 RGB 接觸圖像。與其他傳感器相比，這種觸覺傳感器以豐富的視覺信息的形式自然地提供幾何信息，從而可以推斷出力等屬性。使用類似傳感器的先前工作已經利用這種觸覺傳感器來完成諸如學習如何抓取的任務，提高了抓取各種物品的成功率。

下面是一個筆帽在凝膠表面滾動時，傳感器的實時輸出：

硬件設置和任務定義

在實驗中，我們使用了一個改進的 3 軸數(shù)控路由器，在路由器的末端執(zhí)行器上安裝了一個面朝下的觸覺傳感器。機器人通過改變傳感器相對于其工作階段的 X、Y 和 Z 位置來移動，每個軸由一個單獨的步進電機驅動。由于這些電機可以精確控制，我們的設置可以達到約 0.04 毫米的分辨率，有助于在精細的操作任務中細致地移動。

機器人的設置。觸覺傳感器安裝在圖像左上角的末端執(zhí)行器上，面朝下方。

我們通過 3 個代表性的操作任務演示了這一方法：

小球重新定位任務：機器人將一個小金屬球軸承移動到傳感器表面的目標位置。這個任務是很困難的，因為粗糙的控制往往會對球軸承施加過大的力，導致其滑動從而遠離了傳感器。

模擬搖桿偏轉任務：在玩電子游戲時，我們經常只依靠觸覺來操縱游戲控制器上的模擬搖桿。這個任務特別令人感興趣，因為偏轉模擬搖桿通常需要有意斷開和返回接觸，從而創(chuàng)建一個部分可觀測性情況。

模具滾動任務：在這個任務中，機器人將一個 20 面模具從一個面滾到另一個面。在這項任務中，物體從傳感器下滑出的風險更大，因此這項任務是三項任務中最難的。另外這個任務的一個優(yōu)點是，它提供了一個直觀的成功指標 —— 當機器人完成操作時，正確的數(shù)字應該正面朝上顯示。

從左到右：小球重新定位，模擬搖桿和模具滾動的任務。

每一個控制任務都是直接在觸覺空間中根據(jù)目標圖像指定的；也就是說，機器人的目標是操縱物體，使它們在凝膠表面產生特定的印記。這些目標觸覺圖像可以比諸如物體的 3D 姿勢規(guī)范或期望的力的方向提供更多信息，也能更自然地指定。

深度觸覺模型 —— 預測控制

如何利用我們的高維感官信息來完成這些控制任務？這三個操作任務都可以使用相同的基于模型的強化學習算法來解決，我們稱之為觸覺模型預測控制（tactile model-predicTIve control，tacTIle MPC），建立在視覺預見（visual foresight） 之上。

需要注意的是，我們可以為每個任務使用相同的超參數(shù)集，從而消除了手動超參數(shù)調優(yōu)。

深度觸覺模型預測控制的概覽

觸覺 MPC 算法的工作原理是在自主采集的數(shù)據(jù)上訓練一個動作條件的視覺動態(tài)或視頻預測模型。該模型從原始的感官數(shù)據(jù) （如圖像像素） 中學習，并且能夠直接對未來圖像進行預測，并將其作為輸入，作為機器人未來采取的假設動作以及我們稱為上下文幀的起始觸覺圖像。沒有指定其他信息，例如末端執(zhí)行器的絕對位置。

視頻預測模型的架構

在觸覺 MPC 中，如上圖所示，在測試時采集了大量的動作序列，本例中為200 個動作序列，并且由模型預測得到假設軌跡。選擇預測最接近目標的軌跡，并且此序列中的第一個動作被機器人在現(xiàn)實世界中采取。為了在模型出現(xiàn)小誤差時進行恢復，每一步都重復規(guī)劃過程中的軌跡。

這種控制方案以前已經被應用，并成功地使機器人能夠拾取和重新排列物體，甚至可以將其推廣到以前未見過的物體。如果你有興趣閱讀更多關于這方面的資料，可以查閱這篇論文：https://arxiv.org/abs/1812.00568。

為了訓練視頻預測模型，我們需要收集各種數(shù)據(jù)，使機器人能夠推廣到其從未見過的觸覺狀態(tài)。雖然我們坐在鍵盤前告訴機器人如何沿著每一個軌跡移動每一步，但讓機器人大致了解如何收集數(shù)據(jù)并允許它這樣做會更好。通過一些簡單的重置機制，確保臺面上的東西不會在數(shù)據(jù)收集過程中失控，機器人能夠通過收集基于隨機動作序列的軌跡，以完全自我監(jiān)督的方式收集數(shù)據(jù)。在這些軌跡中，機器人記錄來自傳感器的觸覺圖像，以及它在每一步采取的隨機動作。每一項任務都需要大約 36 小時的數(shù)據(jù)收集，無需人工監(jiān)督。

模擬搖桿任務的隨機數(shù)據(jù)收集

對于上述三項任務，我們分別提供了具代表性的計劃和示例：

小球滾動任務 - 機器人沿著目標軌跡滾動小球

模擬搖桿任務 - 為了達到目標圖像，機器人斷開并重建與目標物體的接觸。

模具任務 - 機器人將模具從標記為 20 的起始面 （如圖中紅色邊框的預測幀所示，表示輸入視頻預測模型的上下文幀） 滾動到標記為 2 的面。

從這些示例中可以看出，使用相同的框架和模型設置，觸覺 MPC 能夠執(zhí)行各種操作任務。

下一步的研究

我們展示了一種基于觸覺的控制方法 ——觸覺 MPC。

該方法基于學習高分辨率觸覺傳感器的前向預測模型，能夠根據(jù)用戶提供的目標重新定位物體。將這種算法和傳感器結合起來用于控制是很有前景的，并且使用視覺和觸覺結合起來的傳感器，可以解決更困難的任務。

然而，我們的控制范圍仍然相對較短，只有幾十個時間步長，對于我們希望在未來實現(xiàn)的更復雜的操作任務來說，這可能還不夠。此外，還需要對指定目標的方法進行重大改進，以支持更復雜的任務，例如通用對象定位或組裝。

本文基于將在 2019 年機器人與自動化國際會議上發(fā)表的論文：

ManipulaTIon by Feel： Touch-Based Control with Deep PredicTIve Models

Stephen Tian*， Frederik Ebert*， Dinesh Jayaraman， Mayur Mudigonda， Chelsea Finn， Roberto Calandra， Sergey Levine