● 來自 AI 生態(tài)系統(tǒng)各個領(lǐng)域的 150 余家合作伙伴嵌入了 NIM 推理微服務(wù)，將企業(yè)級 AI 應(yīng)用的部署時間從數(shù)周縮短至幾分鐘

● NVIDIA 開發(fā)者計劃會員可免費使用 NIM 來進行研究、開發(fā)和測試

COMPUTEX—2024 年 6 月 2 日—NVIDIA 于今日宣布，全球 2,800 萬開發(fā)者現(xiàn)可下載 NVIDIA NIM?——一種推理微服務(wù)，通過經(jīng)優(yōu)化的容器的形式提供模型——以部署在云、數(shù)據(jù)中心或工作站上。借助 NVIDIA NIM，開發(fā)者能夠輕松地為 copilots、聊天機器人等構(gòu)建生成式 AI 應(yīng)用，所需時間從數(shù)周縮短至幾分鐘。

這些新的生成式 AI 應(yīng)用正變得越來越復(fù)雜，通常需要使用具有不同功能的多個模型來生成文本、圖像、視頻、語音等。NVIDIA NIM 提供了一種簡單、標準化的方式，將生成式 AI 添加到應(yīng)用中，顯著提高了開發(fā)者的工作效率。

NIM 還可使企業(yè)能夠最大限度利用其基礎(chǔ)設(shè)施投資。例如，相較于未使用 NIM 的情況下，在 NIM 中運行 Meta Llama 3-8B 時，后者在加速基礎(chǔ)設(shè)施上可產(chǎn)生高達 3 倍的生成式 AI token。這使企業(yè)能夠大幅提高效率，使用相同的計算基礎(chǔ)設(shè)施來生成更多的結(jié)果。

包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家技術(shù)合作伙伴正在將 NIM 集成到他們的平臺中，以加快特定領(lǐng)域應(yīng)用的生成式 AI 部署，例如 copilot、代碼助手和數(shù)字人虛擬形象。從 Meta Llama 3 開始，在 Hugging Face 上現(xiàn)已開始提供 NIM。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“每個企業(yè)都希望在其運營中融入生成式 AI，但并非每個企業(yè)都擁有專門的 AI 研究團隊。NVIDIA NIM 可被集成到任意平臺中，任何地方的開發(fā)者都可以訪問，并且可以在任意環(huán)境中運行——它正在助力科技行業(yè)將生成式 AI 普及到每一個企業(yè)組織?！?

通過 NVIDIA AI Enterprise 軟件平臺，企業(yè)可以使用 NIM 在生產(chǎn)系統(tǒng)中部署 AI 應(yīng)用。從下個月開始，NVIDIA 開發(fā)者計劃的會員可以免費使用 NIM，在其選擇的基礎(chǔ)設(shè)施上進行研究、開發(fā)和測試。

40 余個 NIM 微服務(wù)為跨模式的生成式 AI 賦能

NIM 容器是預(yù)構(gòu)建的，以加速模型部署，可用于 GPU 加速推理，其中包括 NVIDIA CUDA® 軟件、NVIDIA Triton 推理服務(wù)器?和 NVIDIA TensorRT?-LLM 軟件。

在 ai.nvidia.com 網(wǎng)站上，超過 40 個 NVIDIA 及社區(qū)模型可作為 NIM 端點進行體驗，其中包括 Databricks DBRX、谷歌開放模型 Gemma、Meta Llama 3、微軟 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake Arctic。

開發(fā)者現(xiàn)在可以從 Hugging Face AI 平臺上，訪問 Meta Llama 3 模型的 NVIDIA NIM 微服務(wù)。通過基于 NVIDIA GPU 的 Hugging Face 推理端點，只需點擊幾下，開發(fā)者就能在其選擇的云平臺上輕松地訪問和運行 Llama 3 NIM。

企業(yè)可以使用 NIM 來運行用于生成文本、圖像和視頻、語音以及數(shù)字人的應(yīng)用。借助面向數(shù)字生物學(xué)的 NVIDIA BioNeMo? NIM 微服務(wù)，研究人員可以構(gòu)建新的蛋白質(zhì)結(jié)構(gòu)，加速藥物研發(fā)。

數(shù)十家醫(yī)療公司正在一系列應(yīng)用中部署 NIM，以便在手術(shù)規(guī)劃、數(shù)字助手、藥物研發(fā)和臨床試驗優(yōu)化等一系列應(yīng)用中為生成式 AI 推理提供動力。

借助全新的 NVIDIA ACE NIM 微服務(wù)，開發(fā)者可以在客戶服務(wù)、遠程醫(yī)療、教育、游戲和娛樂等應(yīng)用中，輕松構(gòu)建和操作栩栩如生的交互式數(shù)字人。

數(shù)百家 AI 生態(tài)系統(tǒng)合作伙伴已嵌入 NIM

包括 Canonical、Red Hat、Nutanix 和 VMware(已被博通收購)在內(nèi)的平臺提供商已在開源 KServe 或企業(yè)解決方案方面支持 NIM。AI 應(yīng)用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 來支持生成式 AI 推理。

領(lǐng)先的 AI 工具和 MLOps 合作伙伴(包括亞馬遜 SageMaker、微軟 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights & Biases)也已將 NIM 嵌入到其平臺，使開發(fā)者能夠通過優(yōu)化推理來構(gòu)建和部署特定領(lǐng)域的生成式 AI 應(yīng)用。

全球系統(tǒng)集成商和服務(wù)交付合作伙伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔咨詢服務(wù)(TCS)和威普羅(Wipro)已經(jīng)建立了 NIM 能力，以幫助全球企業(yè)快速開發(fā)和部署生產(chǎn)型 AI 策略。

企業(yè)幾乎可以在任何地方運行支持 NIM 的應(yīng)用，包括在全球基礎(chǔ)設(shè)施制造商思科、戴爾科技、慧與、聯(lián)想和超微，以及服務(wù)器制造商永擎電子、華碩、技嘉、鴻佰科技、英業(yè)達、和碩、QCT、緯創(chuàng)資通和緯穎科技的 NVIDIA 認證系統(tǒng)? 上運行。NIM 微服務(wù)也已集成至亞馬遜云科技、谷歌云、Azure 和 Oracle 云基礎(chǔ)設(shè)施中。

行業(yè)巨頭通過 NIM 加強生成式 AI

行業(yè)領(lǐng)導(dǎo)者 Foxconn、和碩、Amdocs、勞氏公司、 ServiceNow 和西門子利用 NIM 來加強生成式 AI 應(yīng)用，涉及制造業(yè)、醫(yī)療、金融服務(wù)、零售、客戶服務(wù)等領(lǐng)域：

● Foxconn——作為全球最大的電子制造商，F(xiàn)oxconn 正在使用 NIM 開發(fā)針對特定領(lǐng)域的大語言模型(LLM)，并將這些模型嵌入到其 AI 工廠的各種內(nèi)部系統(tǒng)和流程中，用于智能制造、智慧城市和智能電動汽車。

● 和碩——這家臺灣電子制造公司正在將 NIM 用于 Project TaME，這是一個當?shù)氐幕旌蠈＜?MoE)模型，旨在推動各行各業(yè)開發(fā)本地化的 LLM。

● Amdocs——這家為通信和媒體公司提供軟件和服務(wù)的全球領(lǐng)先供應(yīng)商正在使用 NIM 運行客戶計費 LLM，該模型顯著降低了 token 成本，將準確性提高了 30%，并將延遲降低了 80%，從而實現(xiàn)近乎實時的響應(yīng)。

● 勞氏公司——這家《財富》雜志 50 強家居裝飾公司正在將生成式 AI 用于各種用例，例如，該零售商正在利用 NVIDIA NIM 推理微服務(wù)來提升員工和客戶的體驗。

● ServiceNow——這個用于業(yè)務(wù)轉(zhuǎn)型的 AI 平臺于今年早些時候宣布成為首批接入 NIM 的平臺提供商之一，幫助客戶實現(xiàn)快速、可擴展且更具成本效益的 LLM 開發(fā)和部署。NIM 微服務(wù)已經(jīng)集成到 Now AI 多模態(tài)模型中，可供添加了 ServiceNow 的生成式 AI 功能 Now Assist 的客戶使用。

● 西門子——作為專注于工業(yè)、基礎(chǔ)設(shè)施、交通和醫(yī)療領(lǐng)域的全球科技公司，西門子正在將其運營技術(shù)與 NIM 微服務(wù)整合，用于車間 AI 工作負載。此外，西門子還利用 NIM 為其 Machine Operators 構(gòu)建了一個本地部署版本的 Industrial Copilot。

可用性

開發(fā)者可在 網(wǎng)站上免費試用 NVIDIA 微服務(wù)。企業(yè)可通過在 NVIDIA 認證系統(tǒng)和領(lǐng)先的云平臺上運行的 NVIDIA AI Enterprise 來部署生產(chǎn)級 NIM 微服務(wù)。從下個月開始，NVIDIA 開發(fā)者計劃的會員將能夠免費使用 NIM 來進行研究和測試。