（文章來源：教育新聞網(wǎng)）

光學(xué)傳感器(例如相機和激光雷達)是現(xiàn)代機器人平臺的基本組成部分，但它們有一個共同的缺陷：玻璃容器之類的透明物體容易使它們混淆。這是因為分析來自這些傳感器的數(shù)據(jù)的大多數(shù)算法都假定所有表面都是朗伯型的，或者它們在各個方向和各個角度均均勻地反射光。相反，透明物體既折射又反射光，從而使深度數(shù)據(jù)無效或充滿噪聲。

為了尋找解決方案，一組Google研究人員與哥倫比亞大學(xué)和綜合AI(一種用于計算機視覺的數(shù)據(jù)生成平臺)合作開發(fā)了ClearGrasp。這是一種能夠從RGB圖像估計透明對象的準確3D數(shù)據(jù)的算法，重要的是，該算法可與任何標準RGB相機的輸入配合使用，使用AI重構(gòu)透明對象的深度并將其推廣到訓(xùn)練期間看不到的對象。

正如研究人員所指出的那樣，訓(xùn)練復(fù)雜的AI模型通常需要大量的數(shù)據(jù)集，并且由于不存在透明物體的主體，他們創(chuàng)建了自己的包含超過50,000個逼真的渲染的圖像，這些渲染具有相應(yīng)的深度，邊緣，表面法線(代表表面曲率)，和更多。每個圖像最多顯示五個透明物體，這些物體可以放在平坦的地平面上，也可以放在裝有各種背景和照明的手提袋中。一個帶有相應(yīng)地面真實深度的286張真實世界圖像的單獨集合用作測試集。

ClearGrasp總共包括三種機器學(xué)習(xí)算法：一種用于估計表面法線的網(wǎng)絡(luò)，一種用于遮擋邊界(深度不連續(xù))的網(wǎng)絡(luò)以及一種用于遮蓋透明對象的網(wǎng)絡(luò)。此蒙版會刪除屬于透明對象的所有像素，以便可以填充正確的深度，因此優(yōu)化模塊可以使用預(yù)測的表面法線來擴展表面的深度，以指導(dǎo)重建的形狀。(預(yù)測的遮擋邊界有助于保持不同對象之間的分離。)

在實驗中，研究人員在其自定義數(shù)據(jù)集以及開放源代碼Matterport3D和ScanNet語料庫中的真實室內(nèi)場景中訓(xùn)練了模型。他們說，ClearGrasp設(shè)法為保真度比基線方法高得多的透明對象重建深度，并且其輸出深度可以直接用作使用圖像的操縱算法的輸入。當(dāng)使用機器人的平行顎爪抓臂時，透明物體的抓握成功率從12%提高到74%，并且通過吸力從64%提高到86%。
? ? ?