?Sim2Real?是“Simulation to Reality”的縮寫(xiě)，意思是“從模擬到現(xiàn)實(shí)”，主要應(yīng)用于機(jī)器學(xué)習(xí)等領(lǐng)域。為增進(jìn)大家對(duì)?Sim2Real的認(rèn)識(shí)，本文將對(duì)?Sim2Real主流觀點(diǎn)以及?Sim2Real的進(jìn)展予以介紹。如果你對(duì)?Sim2Real具有興趣，不妨和小編一起來(lái)繼續(xù)往下閱讀哦。

賈奎教授認(rèn)為，要實(shí)現(xiàn)高通用性的具身智能，核心是需要海量的帶有物理世界屬性的數(shù)據(jù)。有別于語(yǔ)言、圖像等可以從網(wǎng)絡(luò)上大量獲取以形成通用能力的數(shù)據(jù)，三維數(shù)據(jù)，尤其是機(jī)器人在物理空間中的操作數(shù)據(jù)，需要經(jīng)過(guò)精確標(biāo)定，且采集過(guò)程中存在難度大、周期長(zhǎng)、成本高等問(wèn)題。因此，通過(guò)基于3D生成式AI的 Sim2Real 仿真成為解決高通用性具身智能數(shù)據(jù)需求的最高效路徑。

而基于 Sim2Real AI 實(shí)現(xiàn)高通用性具身智能的門(mén)檻極高，至少需要具備底層可控的具身屬性物理仿真、高效大模型訓(xùn)練與持續(xù)學(xué)習(xí)、有效應(yīng)對(duì)合成與真實(shí)數(shù)據(jù)域差別、低成本海量數(shù)字資產(chǎn)等能力，才能實(shí)現(xiàn) Sim2Real 方式的真正落地。

賈奎教授表示，基于在 Sim2Real 具身智能領(lǐng)域擁有的深厚技術(shù)和產(chǎn)品積累，跨維智能已構(gòu)建起一套完整的底層技術(shù)到產(chǎn)品再到業(yè)務(wù)的邏輯框架。其中自主研發(fā)的DexVerse? 具身智能引擎，通過(guò)3D 生成式AI 與仿真技術(shù)，模擬真實(shí)世界中的豐富場(chǎng)景和任務(wù)，有效解決了傳統(tǒng)方法中三維數(shù)據(jù)獲取難、標(biāo)定要求高的問(wèn)題，能夠支持大規(guī)模仿真，并可自動(dòng)化完成從數(shù)據(jù)標(biāo)注到模型訓(xùn)練的全過(guò)程。過(guò)程中不僅加速了數(shù)據(jù)生成，還確保了模型的魯棒性和泛化能力。

突破性進(jìn)展：機(jī)器人“修煉”加速萬(wàn)倍，僅需1.5m參數(shù)！

Jim Fan團(tuán)隊(duì)的最新研究成果令人震驚：機(jī)器人通過(guò)在虛擬“道場(chǎng)”中進(jìn)行為期一年的訓(xùn)練，卻僅在現(xiàn)實(shí)世界中花費(fèi)了50分鐘！更令人難以置信的是，訓(xùn)練結(jié)果無(wú)需任何微調(diào)，即可直接應(yīng)用于現(xiàn)實(shí)世界。這是否預(yù)示著未來(lái)人們可以在虛擬世界中體驗(yàn)一萬(wàn)年的人生？

這一突破的關(guān)鍵在于一個(gè)僅有1.5M參數(shù)的超小型模型。相比之下，谷歌的Gato擁有11.8億參數(shù)，Meta的TACO擁有2.5億參數(shù)，OpenAI的CLIPort擁有4億參數(shù)。如此巨大的參數(shù)差異，凸顯了Jim Fan團(tuán)隊(duì)模型的效率和創(chuàng)新性。“并非所有基礎(chǔ)模型都需要龐大的參數(shù)量，”Jim Fan強(qiáng)調(diào)，小巧的模型同樣可以高效運(yùn)作。

這款名為HOVER的多模式策略蒸餾框架，由英偉達(dá)GEAR團(tuán)隊(duì)研發(fā)，Jim Fan和朱玉可共同領(lǐng)導(dǎo)。HOVER實(shí)現(xiàn)了機(jī)器人訓(xùn)練的通用性。以往，機(jī)器人完成不同任務(wù)需要依賴特定的控制策略，例如導(dǎo)航任務(wù)需要速度或位置跟蹤，桌面任務(wù)則需要上半身關(guān)節(jié)角度跟蹤。這種“專精”模式限制了機(jī)器人的通用能力。

HOVER的創(chuàng)新之處在于將全身運(yùn)動(dòng)模仿作為所有任務(wù)的共同抽象，讓機(jī)器人通過(guò)學(xué)習(xí)通用的運(yùn)動(dòng)技能來(lái)掌握全身控制模式。這如同人類潛意識(shí)的運(yùn)作機(jī)制，大腦會(huì)進(jìn)行一系列計(jì)算以迅速反應(yīng)。HOVER模仿這種機(jī)制，實(shí)現(xiàn)了多種控制模式的整合和自然銜接。

HOVER支持多種高級(jí)運(yùn)動(dòng)指令輸入，并可在英偉達(dá)Isaac平臺(tái)上訓(xùn)練各種人形機(jī)器人，實(shí)現(xiàn)了機(jī)器人訓(xùn)練的跨平臺(tái)通用性。這打破了以往機(jī)器人訓(xùn)練的封閉性和低效性，讓不同團(tuán)隊(duì)的機(jī)器人能夠協(xié)同進(jìn)化。

Jim Fan的遠(yuǎn)大目標(biāo)早已顯露，“2024年將是機(jī)器人、游戲AI和模擬的一年?！盙EAR團(tuán)隊(duì)致力于解決機(jī)器人基礎(chǔ)模型、游戲基礎(chǔ)模型和生成式模擬這三大問(wèn)題。黃仁勛也指出，“下一波AI浪潮將是物理性的AI”，而具身智能正是關(guān)鍵。

Sim2Real（模擬到現(xiàn)實(shí)）是具身智能領(lǐng)域的核心挑戰(zhàn)，Jim Fan的研究正是聚焦于此。他的同門(mén)師兄蘇昊也致力于Sim2Real，但選擇從真實(shí)世界的數(shù)據(jù)入手，并創(chuàng)建了Hillbot，利用3D生成式AI技術(shù)和SAPIEN模擬器，高效生成訓(xùn)練數(shù)據(jù)，提升機(jī)器人訓(xùn)練速度。

Sim2Real面臨“現(xiàn)實(shí)鴻溝”的挑戰(zhàn)，但Jim Fan和蘇昊團(tuán)隊(duì)的研究，以及其他團(tuán)隊(duì)在數(shù)據(jù)合成、模擬平臺(tái)和多任務(wù)泛化方面的努力，都在不斷縮小這一差距。 “數(shù)字表親”概念的提出也為解決模擬與現(xiàn)實(shí)差異提供了新的思路。 未來(lái)，更強(qiáng)大的世界模型和更通用的機(jī)器人開(kāi)發(fā)環(huán)境將成為Sim2Real的關(guān)鍵。

以上便是此次帶來(lái)的Sim2Real相關(guān)內(nèi)容，通過(guò)本文，希望大家對(duì)Sim2Real已經(jīng)具備一定的了解。如果你喜歡本文，不妨持續(xù)關(guān)注我們網(wǎng)站哦，將于后期帶來(lái)更多精彩內(nèi)容。最后，十分感謝大家的閱讀，have a nice day!