www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當前位置:首頁 > 原創(chuàng) > 劉巖軒
[導讀]隨著人工智能技術的不斷進化,“Physical AI”(物理人工智能)正在成為推動全球產業(yè)轉型的核心力量。根據預測,這項技術將影響價值50萬億美元的產業(yè)鏈,從工廠自動化到倉儲管理,再到人形機器人和智能駕駛。預計未來將有超過1000萬家工廠、20萬個倉庫、數十億臺人形機器人以及15億輛智能車輛融入物理人工智能的生態(tài)系統(tǒng),全面重塑人類的生產和生活方式。這是一場規(guī)模空前的變革,其背后依賴于強大的算力、先進的AI算法和協(xié)作式機器人技術。

隨著人工智能技術的不斷進化,“Physical AI”(物理人工智能)正在成為推動全球產業(yè)轉型的核心力量。根據預測,這項技術將影響價值50萬億美元的產業(yè)鏈,從工廠自動化到倉儲管理,再到人形機器人和智能駕駛。預計未來將有超過1000萬家工廠、20萬個倉庫、數十億臺人形機器人以及15億輛智能車輛融入物理人工智能的生態(tài)系統(tǒng),全面重塑人類的生產和生活方式。這是一場規(guī)??涨暗淖兏铮浔澈笠蕾囉趶姶蟮乃懔?、先進的AI算法和協(xié)作式機器人技術。

在CES2025上,英偉達發(fā)布了全新的NVIDIA Cosmos 世界基礎模型(World Foundation Models,WFMs)和兩個全新的Blueprint——Isaac GR00T和Mega,這些全新的模型和工具將會加速物理AI的開發(fā)和提高機器人的自主性,幫助我們快速迎接AI的下一波浪潮。


物理AI的三個大腦:模型、模擬、部署

物理AI的實現需要經過模型構建、行為模擬和現實部署三個關鍵步驟,這三個環(huán)節(jié)串聯(lián)起來,為人工智能從構想到實際應用提供了閉環(huán)支持,使機器人和自動駕駛汽車能夠真正賦能物理世界。

首先,物理AI的起點是模型的構建,通過深度學習算法訓練AI,使其具備復雜任務的理解能力;接著是行為模擬,在虛擬環(huán)境中對模型進行測試和優(yōu)化,確保其安全性和可靠性;最后是部署運行,將優(yōu)化后的模型應用到實際場景中,實現實時的智能化決策和操作。

為了支持這一流程,英偉達的三個大腦(三大計算平臺)分別發(fā)揮著至關重要的作用:

·DGX:作為AI訓練平臺,DGX通過強大的算力完成深度學習模型的創(chuàng)建,為AI提供“知識”基礎。

·Omniverse:作為虛擬模擬平臺,Omniverse創(chuàng)造出高度仿真的測試環(huán)境,使AI模型可以反復進行優(yōu)化和調整,避免直接在現實中測試的高風險。

AGX:作為部署平臺,AGX使AI能夠在現實環(huán)境中實時運行,處理復雜的傳感器數據,執(zhí)行智能決策。

在具體應用中,“三計算機”解決方案在人形機器人和自動駕駛汽車領域展現出了強大的適應性和功能:

·在人形機器人中:DGX負責訓練機器人如何完成復雜動作,如搬運物品或攀爬樓梯;Omniverse則模擬不同的任務場景,確保機器人在各種環(huán)境下具備適應性;AGX最終將這些能力部署到機器人中,使其能夠在現實中獨立完成任務。

·在自動駕駛汽車中:DGX訓練AI學習路況識別、導航規(guī)劃等駕駛能力;Omniverse則通過仿真交通環(huán)境,測試和優(yōu)化AI的駕駛邏輯;AGX將優(yōu)化后的駕駛模型部署到車輛中,支持汽車實時感知路況、規(guī)劃路徑和做出決策。

雖然 NVIDIA 的“三個大腦”(DGX、Omniverse 和 AGX)為物理 AI 的開發(fā)提供了從模型訓練、行為模擬到現實部署的完整技術支撐,但在實際開發(fā)中,物理 AI 仍然面臨許多挑戰(zhàn)。這些挑戰(zhàn)不僅對三大計算平臺的能力提出了更高的要求,也凸顯了物理世界與虛擬世界結合過程中的復雜性。

具體來說,物理 AI 的開發(fā)難點主要體現在以下幾個方面:

·數據獲取的成本和難度,即使有 DGX 強大的訓練能力,如何高效采集豐富且多樣的真實數據仍然是一個亟待解決的問題。

·行為模擬雖然能通過 Omniverse 實現,但模擬的精確度、場景的復雜性和對真實世界的映射能力也決定了開發(fā)的效果。

部署到現實環(huán)境中的風險和高成本,盡管 AGX 提供了強大的實時計算能力,但復雜場景下的硬件穩(wěn)定性和安全性依然是巨大挑戰(zhàn)。

這些問題揭示了物理 AI 開發(fā)不僅僅依賴于工具的高性能,還需要從系統(tǒng)設計、數據優(yōu)化到測試策略的多層次解決方案。以下是這些具體挑戰(zhàn)的進一步分析和應對策略。


破解物理AI開發(fā)的真實模型挑戰(zhàn)——英偉達 Cosmos

盡管物理 AI 的發(fā)展?jié)摿薮?,但它在開發(fā)過程中面臨著一系列獨特且復雜的挑戰(zhàn)。從高成本的數據采集到危險且昂貴的物理測試,再到場景多樣性帶來的適應性問題,這些難點讓物理 AI 的推進步伐受限。傳統(tǒng)的方法,無論是在真實環(huán)境中采集訓練數據,還是通過實驗驗證模型性能,都不可避免地面臨資源消耗大、風險高的問題。

為了解決這些挑戰(zhàn),開發(fā)者需要一個更高效、更經濟的解決方案——一個能夠生成逼真虛擬世界數據的平臺,從而減少對真實場景數據的依賴,同時加速模型開發(fā)。這正是NVIDIA Cosmos所要實現的目標。

Cosmos 平臺的核心在于其模塊化設計,開發(fā)者可以根據具體需求選擇適合的功能模塊。以下是 Cosmos 的關鍵組成部分:

擴散世界基礎模型(Diffusion World Foundation Models):Cosmos 的擴散模型能夠從文本、圖像或視頻中生成虛擬世界狀態(tài)或動態(tài)視頻。這些模型支持“文本到世界”或“視頻到世界”的轉換,幫助開發(fā)者快速生成多樣化的模擬場景,從而顯著減少對真實數據采集的依賴。

自回歸世界基礎模型(Autoregressive World Foundation Models):自回歸模型以實時方式預測視頻片段,通過逐幀預測 token 來生成低分辨率動態(tài)視頻。它特別適合需要實時生成場景或視頻的任務,提供了強大的前瞻能力。

高級視頻分詞器(Advanced Video Tokenizers):Cosmos 的視頻分詞器技術能夠實現比現有方法高8 倍的壓縮率和12 倍的性能提升。這一突破極大地優(yōu)化了視頻數據的存儲和處理效率,使開發(fā)者可以更高效地構建強大的World Foundation 模型。

視頻策展與處理管道(Video Curation and Processing Pipeline):基于 NVIDIA Nemo 框架,Cosmos 內置的視頻處理管道專為 GPU 優(yōu)化,能夠快速處理數千萬小時的視頻數據。從解碼、分割到標注,整個過程只需幾天,而傳統(tǒng)方法可能需要數年。這對自動駕駛汽車和機器人公司尤為重要,幫助它們將海量錄制數據快速整理為訓練數據。

安全與定制能力:Cosmos 提供強大的安全保護機制(Guardrails),并支持開發(fā)者利用自己的數據通過 NVIDIA Nemo 進行微調和定制。開發(fā)者既可以選擇完全自主操作,也可以依托 NVIDIA DGX Cloud 提供的托管服務。

Cosmos 的強大功能不僅體現在技術層面,更直接影響著開發(fā)者在實際應用中的效率和成果。對于機器人開發(fā)者而言,Cosmos 生成的虛擬世界數據為機器人學習復雜任務提供了理想環(huán)境,無需在真實場景中進行危險且昂貴的測試。通過這些數據,機器人可以優(yōu)化物體抓取、路徑規(guī)劃以及動態(tài)環(huán)境適應能力。而在自動駕駛領域,Cosmos 則成為開發(fā)者創(chuàng)建極端和稀有場景的利器,例如應對野生動物穿越道路或緊急車輛的處理。利用這些虛擬生成的數據,開發(fā)者不僅可以高效優(yōu)化算法,還能顯著降低獲取邊緣場景真實數據的時間和成本。


加速仿真,提升機器人自主性:Isaac GR00T和Mega Omniverse Blueprint

然而Cosmos 并非單獨運行,而是與 NVIDIA Omniverse 深度集成,Omniverse是開發(fā)者用于構建3D物理環(huán)境、數字雙胞胎和虛擬世界的操作系統(tǒng),Cosmos和Omniverse為物理 AI 的開發(fā)提供了一種虛擬到現實的高效工作流。

在 Omniverse 中,開發(fā)者可以構建復雜的 3D 工作流,而 Cosmos 則通過生成高度逼真的多樣化視頻數據擴展這些場景,將其轉化為大規(guī)模的訓練數據集。這種協(xié)同作用不僅讓開發(fā)者能夠構建出物理一致性更高的世界基礎模型,還能模擬 AI 模型在多種未來場景中的表現,幫助開發(fā)者預判可能的結果并優(yōu)化系統(tǒng)設計。

在此次CES上,英偉達宣布了兩個全新的blueprint,分別是Isaac GR00T和Mega。

【Isaac GR00T:加速機器人動作生成的合成數據革命】

Isaac GR00T 的核心目標是通過生成合成數據,將少量的人工演示(tens of demonstrations)擴展為成百上千的合成動作數據(hundreds of synthetic motion generations),并最終轉化為百萬級別的訓練數據(1 million X training data)。這一過程為機器人和物理 AI 的訓練提供了高效、低成本的數據來源。

GR00T 的工作流程由三個主要模塊組成。首先,通過GR00T-Teleop,開發(fā)者可以在Isaac Lab中采集人類演示數據,例如通過 VR 設備(例如Apple Vision Pro)錄制遠程控制的動作。這些數據為機器人動作生成提供了初始模板。接著,利用GR00T-Mimic模塊,系統(tǒng)通過虛擬仿真生成大量細化的合成動作數據,擴展數據的種類和多樣性。最后,在GR00T-Gen中,這些合成數據經過Omniverse 和 Cosmos的處理,轉化為最終的高質量訓練數據,直接用于機器人學習和優(yōu)化。

Isaac GR00T 是一項針對通用機器人基礎模型和數據管線的研究計劃與開發(fā)平臺,旨在加速人形機器人技術的發(fā)展 。Isaac GR00T Blueprint的推出將極大促進為人形機器人開發(fā)。人形機器人開發(fā)過程中一個難點之一,就是如何收集到廣泛、高質量的數據,并用于機器人訓練。通過用于合成運動生成的 Isaac GR00T Blueprint,開發(fā)者只需少量人類示范,就能輕松生成海量的合成數據集。這些數據集為機器人的訓練提供了豐富且優(yōu)質的素材,從而有助于更高效地完成開發(fā)任務,加速人形機器人邁向實際應用的步伐。

【 Mega:工業(yè)數字孿生中的機器人車隊仿真藍圖】

GR00T的定位是加速人形機器人的動作數據捕捉,而另一個新發(fā)布的blueprint——Mega則是專為機器人車隊的開發(fā)、測試和優(yōu)化提供強大的工具支持。無論是在倉儲物流還是工業(yè)制造場景中,Mega 都能通過高精度的仿真環(huán)境,顯著提升機器人協(xié)作的效率與安全性。

Mega 利用 Omniverse 的強大能力,幫助開發(fā)者在虛擬環(huán)境中實現對機器人車隊的全面仿真。通過集成工業(yè)數字孿生技術,Mega 可以將真實工廠或倉庫的 CAD 數據或 2D 轉 3D 數據導入仿真環(huán)境,生成高度還原的虛擬世界。這使開發(fā)者能夠在與真實場景一致的環(huán)境中測試機器人車隊的任務分配、路徑規(guī)劃以及協(xié)作效率。

此外,Mega 支持完整的機器人傳感器仿真,包括攝像頭、激光雷達(LiDAR)和物理傳感器,生成高質量的感知數據供機器人使用。同時,Mega 還可以接收來自車隊管理系統(tǒng)的控制信號,并實時反饋機器人模型的行為表現,形成完整的閉環(huán)仿真和優(yōu)化。

Mega 在倉儲物流和工業(yè)制造領域展現了廣泛的應用價值。在倉儲場景中,Mega 能夠模擬機器人車隊在倉庫中的操作,通過優(yōu)化任務分配和路徑規(guī)劃,大幅提高物流效率并降低運營成本。在工業(yè)制造中,Mega 可用于測試機器人協(xié)作的安全性,確保自動化設備在復雜環(huán)境中能夠避免碰撞并穩(wěn)定運行。此外,Mega 還為機器人 AI 模型提供高質量的仿真數據,助力開發(fā)者訓練和優(yōu)化機器人算法。


Cosmos+Omniverse深度協(xié)作,奠定物理AI開發(fā)完整基礎框架

通過CES上最新發(fā)布的NVIDIA Cosmos,再結合Omniverse 平臺拓展,兩者深度協(xié)作為開發(fā)者提供了一套完整的工具鏈,將生成式 AI 數據的強大能力與物理仿真的精確性結合起來,構建從虛擬世界到現實應用的閉環(huán)。

Cosmos 扮演著數據生成引擎的角色,Omniverse 提供場景的動態(tài)仿真和精確物理建模。Cosmos 利用這些場景生成與實際應用高度相關的合成數據,尤其是在復雜的邊緣場景和稀有事件的模擬中。例如,在倉儲物流的機器人協(xié)作場景中,Cosmos 可以快速生成物理一致性的數據,用于訓練 AI 模型適應多機器人協(xié)作的動態(tài)變化。

兩者之間的結合還支持多元宇宙模擬,通過生成多個未來可能性場景,開發(fā)者可以在 Omniverse 的虛擬環(huán)境中探索不同的策略或系統(tǒng)行為,并基于這些結果優(yōu)化最終方案。這種能力不僅提高了模型的可靠性,還為開發(fā)者提供了更廣闊的設計空間。同時,Cosmos 的視頻搜索與理解功能進一步增強了 Omniverse 的場景仿真能力。開發(fā)者可以利用 Cosmos 快速從視頻數據中提取關鍵信息,并直接將其轉化為 Omniverse 的虛擬場景,從而實現快速迭代。無論是用于工業(yè)自動化的機器人任務規(guī)劃,還是自動駕駛的邊緣場景測試,這種高效整合都為開發(fā)者帶來了顯著的時間和資源節(jié)約。

當下,物理 AI (Physical AI) 的發(fā)展仍處于早期階段,許多核心技術尚在探索和完善之中。如何突破高成本的數據采集、復雜的場景模擬以及模型驗證的瓶頸,成為推動物理 AI 從概念走向現實的關鍵。NVIDIA 的 Cosmos 與 Omniverse 為物理 AI 的發(fā)展提供了一個完整且強大的基礎框架,為機器人和自動駕駛等領域的突破性應用提供了堅實的技術基礎,加速了物理 AI 從研究到應用的轉化進程。

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內容真實性等。需要轉載請聯(lián)系該專欄作者,如若文章內容侵犯您的權益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據媒體報道,騰訊和網易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數據產業(yè)博覽會開幕式在貴陽舉行,華為董事、質量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數據產業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經營業(yè)績穩(wěn)中有升 落實提質增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數字經濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉