你了解Cosmos嗎?Cosmos 推動機器人、自動駕駛汽車應用
Cosmos模型可以接受文本、圖像或視頻的提示,生成虛擬世界狀態(tài),并針對自動駕駛和機器人應用實現(xiàn)內(nèi)容的生成。為增進大家對Cosmos的認識,本文將對Cosmos、Cosmos與機器人、自動駕駛的關(guān)系予以介紹。如果你對Cosmos具有興趣,不妨繼續(xù)往下閱讀哦。
一、英偉達Cosmos
在2025年消費電子展(CES)上,NVIDIA 發(fā)布了全新的 Cosmos 平臺,該平臺旨在加速物理人工智能(AI)系統(tǒng)的開發(fā),尤其是自主駕駛車輛和機器人。Cosmos 平臺集成了生成式世界基礎(chǔ)模型(WFM)、視頻標記器、安全防護機制以及一個加速的數(shù)據(jù)處理管道,這些功能幫助開發(fā)者在減少對真實世界數(shù)據(jù)依賴的情況下創(chuàng)建和優(yōu)化 AI 模型。
英偉達Cosmos 平臺將以開放模型許可的形式在 Hugging Face 和 NVIDIA NGC 目錄中提供,后續(xù)將推出經(jīng)過優(yōu)化的 NVIDIA NIM 微服務,并通過 NVIDIA AI 企業(yè)軟件平臺提供企業(yè)支持。
NVIDIA 首席執(zhí)行官黃仁勛在展會上表示:“機器人技術(shù)即將迎來像 ChatGPT 那樣的轉(zhuǎn)折時刻。與大型語言模型一樣,世界基礎(chǔ)模型是推動機器人和自主駕駛車輛發(fā)展的核心,但并非所有開發(fā)者都有能力和資源來訓練自己的模型。我們創(chuàng)建 Cosmos 就是為了讓物理 AI 的開發(fā)更加普及,讓每個開發(fā)者都能接觸到通用機器人技術(shù)?!?
Cosmos 模型可以根據(jù)文本、圖像和傳感器數(shù)據(jù)生成基于物理的高清視頻,使其適用于視頻搜索、合成數(shù)據(jù)生成和強化學習等應用。開發(fā)者能夠定制模型以模擬工業(yè)環(huán)境、駕駛場景以及其他特定用例。此外,NVIDIA 還推出了 NeMo Curator,這是一個加速視頻處理管道,能夠在14天內(nèi)處理2000萬小時的視頻數(shù)據(jù),以及 Cosmos Tokeniser,這是一個視覺數(shù)據(jù)壓縮工具。
Agility Robotics 的首席技術(shù)官 Pras Velagapudi 指出:“數(shù)據(jù)稀缺性和變異性是機器人環(huán)境成功學習的關(guān)鍵挑戰(zhàn)。Cosmos 的文本、圖像和視頻到世界的能力使我們能夠生成和增強各種任務的場景,從而在不需要過多昂貴的真實數(shù)據(jù)捕獲的情況下訓練模型。”
二、英偉達Cosmos 推動機器人、自動駕駛汽車應用
Cosmos 世界基礎(chǔ)模型可以實現(xiàn)合成數(shù)據(jù)生成,以增強訓練數(shù)據(jù)集,在物理 AI 模型部署到現(xiàn)實世界之前進行仿真測試和調(diào)試,以及在虛擬環(huán)境中進行強化學習以加速 AI 智能體學習。
開發(fā)者可以通過使用 NVIDIA Omniverse 組合的 3D 場景來調(diào)節(jié) Cosmos ,從而生成大量可控的基于物理學的合成數(shù)據(jù)。
Waabi 是一家從自動駕駛汽車開始致力于開發(fā)物理世界生成式 AI 的先驅(qū)。該公司正在評估 Cosmos 在自動駕駛汽車軟件開發(fā)和仿真中視頻數(shù)據(jù)搜索與整理的應用。這將進一步加速該公司安全方面行業(yè)領(lǐng)先的方法,該方法以 Waabi World 為基礎(chǔ)。Waabi World 是一種生成式 AI 仿真器,能夠以與現(xiàn)實世界中發(fā)生的情況相同的水平,創(chuàng)建出車輛可能遇到的情況。
在機器人開發(fā)中,世界基礎(chǔ)模型可以生成合成虛擬環(huán)境或世界,為機器人學習提供更具性價比、更高效和更受控的空間。AI 機器人初創(chuàng)公司 Hillbot 正在利用 Cosmos 生成萬億字節(jié)級的高保真 3D 環(huán)境,以提升數(shù)據(jù)工作流。這種 AI 生成數(shù)據(jù)將幫助公司完善其機器人培訓和操作,實現(xiàn)更快、更高效的機器人技能和提高工業(yè)和家庭任務表現(xiàn)。
無論工業(yè)或家庭應用,開發(fā)者都可以使用 NVIDIA Omniverse 和 Cosmos 作為多元宇宙仿真引擎,允許物理 AI 策略模型模擬執(zhí)行特定任務的每一個可能的未來路徑,從而有助于模型選擇最佳路徑。
數(shù)據(jù)管理和 Cosmos 模型的訓練依賴于數(shù)千個 NVIDIA GPU,通過高性能、完全托管的 AI 平臺 NVIDIA DGX Cloud,在每個領(lǐng)先的云端提供加速計算集群。
采用 Cosmos 的開發(fā)者可以使用 DGX Cloud 進行 Cosmos 模型的簡單部署,并通過 NVIDIA AI Enterprise 軟件平臺提供進一步的支持。
以上便是此次帶來的英偉達Cosmos相關(guān)內(nèi)容,通過本文,希望大家對英偉達Cosmos已經(jīng)具備一定的了解。如果你喜歡本文,不妨持續(xù)關(guān)注我們網(wǎng)站哦,將于后期帶來更多精彩內(nèi)容。最后,十分感謝大家的閱讀,have a nice day!