丹佛—SIGGRAPH—當?shù)貢r間 2024 年 7 月 29 日—為加速全球人形機器人的發(fā)展，NVIDIA 于今日宣布，為全球領先的機器人制造商、AI 模型開發(fā)者和軟件制造商提供一套服務、模型以及計算平臺，以開發(fā)、訓練和構建下一代人形機器人。

整套產(chǎn)品包括用于機器人仿真和學習的全新 和框架、用于運行多階段機器人工作負載的編排服務，以及支持 AI 和仿真的遠程操作工作流，該工作流允許開發(fā)者使用少量人類演示數(shù)據(jù)來訓練機器人。

NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“AI 的下一波浪潮是機器人，其中最令人興奮的發(fā)展之一是人形機器人。我們正在推進整個 NVIDIA 機器人堆棧的發(fā)展，面向全球人形機器人開發(fā)者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和 AI模型?！?

借助 NVIDIA NIM和OSMO加速開發(fā)

NIM微服務提供了由 NVIDIA 推理軟件提供支持的預構建容器，使開發(fā)者能夠?qū)⒉渴饡r間從數(shù)周縮短到幾分鐘。機器人專家將能夠通過兩項新的 AI 微服務，在 NVIDIA Isaac Sim?（基于 NVIDIA Omniverse? 平臺構建的機器人仿真參考應用）中增強生成式物理 AI 仿真工作流。

MimicGen NIM 微服務可根據(jù) Apple Vision Pro 等空間計算設備記錄的遠程操作數(shù)據(jù)，生成合成運動數(shù)據(jù)。Robocasa NIM 微服務可在 OpenUSD（一個用于在 3D 世界中進行開發(fā)和協(xié)作的通用框架）中生成機器人任務和仿真就緒環(huán)境。

現(xiàn)已推出的 NVIDIA OSMO 是一項云原生托管服務，允許用戶跨分布式計算資源來協(xié)調(diào)和擴展復雜的機器人開發(fā)工作流，無論是在本地還是在云端。

OSMO 大大簡化了機器人訓練和仿真工作流，將部署和開發(fā)周期從數(shù)月縮短到一周內(nèi)。用戶可以對各種任務進行可視化管理，包括合成數(shù)據(jù)生成、模型訓練、強化學習以及大規(guī)模的人形機器人、自主移動機器人和工業(yè)機械臂軟件在環(huán)測試。

為人形機器人開發(fā)者提供先進的數(shù)據(jù)捕獲工作流

訓練人形機器人的基礎模型需要大量的數(shù)據(jù)。遠程操作是獲取人類演示數(shù)據(jù)的方法之一，但這個過程正變得越來越昂貴和漫長。

通過在 SIGGRAPH 計算機圖形大會上展示的 NVIDIA AI 和 Omniverse 遠程操作參考工作流，研究者和 AI 開發(fā)者能夠從極少量遠程捕捉的人類演示中生成大量合成運動和感知數(shù)據(jù)。

首先，開發(fā)者使用 Apple Vision Pro 捕獲少量遠程操作演示，隨后在 NVIDIA Isaac Sim 中仿真這些錄像，并使用 MimicGen NIM 微服務基于錄像生成合成數(shù)據(jù)集。

開發(fā)者可以使用真實數(shù)據(jù)和合成數(shù)據(jù)對 Project GR00T 人形機器人基礎模型進行訓練，以節(jié)省時間和降低成本。然后，他們可以使用 Isaac Lab 中的 Robocasa NIM 微服務（一個機器人學習框架）來生成經(jīng)驗并重新訓練機器人模型。在整個工作流中，NVIDIA OSMO 將計算任務無縫地分配給不同的資源，為開發(fā)者減少了數(shù)周的管理工作量。

通用機器人平臺公司傅利葉看到了使用仿真技術綜合生成訓練數(shù)據(jù)的優(yōu)勢。 

傅利葉首席執(zhí)行官 Alex Gu 表示：“人形機器人的開發(fā)極其復雜，這項工作需要從現(xiàn)實世界中繁瑣地獲取大量真實數(shù)據(jù)。NVIDIA 的全新仿真和生成式 AI 開發(fā)者工具將有助于引導和加速我們的模型開發(fā)工作流?！?br />
擴大 NVIDIA 人形機器人開發(fā)者技術的訪問渠道
NVIDIA 提供了三個計算平臺來簡化人形機器人的開發(fā)，分別是：用于訓練模型的 NVIDIA AI 超級計算機；基于 Omniverse 構建的 NVIDIA Isaac Sim，使機器人可以在仿真世界中學習和完善技能；以及用于運行模型的 NVIDIA Jetson? Thor 人形機器人計算機。開發(fā)者可以根據(jù)具體需求來訪問和使用全部平臺或其中的任何部分。

通過新的 NVIDIA 人形機器人開發(fā)者計劃，開發(fā)者可以提前獲取這些新產(chǎn)品以及最新版本的 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機器人基礎模型。

首批加入早期訪問計劃的企業(yè)有 1x、波士頓動力公司、字節(jié)跳動 ByteDance Research、Field AI、Figure、傅利葉、銀河通用、逐際動力、Mentee、Neura Robotics、星動紀元和 Skild AI。

波士頓動力公司首席技術官 Aaron Saunders 表示：“波士頓動力公司與 NVIDIA 在推動機器人技術發(fā)展方面有著悠久的密切合作歷史。我們非常高興看到這項工作的成果正在加速整個行業(yè)的發(fā)展。而要想獲得最先進的技術，早期訪問計劃無疑是最佳的途徑?！?br />
可用性
開發(fā)者現(xiàn)在可以加入 NVIDIA 人形機器人開發(fā)者計劃，以訪問 NVIDIA OSMO 和 Isaac Lab，并將很快能夠訪問 NVIDIA NIM 微服務。