AMD今天正式發(fā)布了新一代AI加速卡Instinct MI350系列，硬件能力再次取得飛躍，進(jìn)一步強(qiáng)化了面對NVIDIA的競爭力。

但是我們知道，硬件性能和技術(shù)要想完全釋放潛力，尤其是在AI加速系統(tǒng)中，強(qiáng)大的軟件開發(fā)平臺是必不可少的。NVIDIA能在AI行業(yè)有如今的地位，最大的功臣和護(hù)城河就是CUDA。

AMD也有自己的一套ROCm開發(fā)平臺，一直和NVIDIA CUDA都存在一定的差距，好在最近的進(jìn)步幅度也是非常喜人的，包括對眾多AI大模型、框架的即時(shí)支持，全方位的開源。

現(xiàn)在，我們又迎來了全新的ROCm 7版本，在最新模型與算法支持、高級AI特性、新硬件支持、集群管理、企業(yè)級特性等各方面，都再次有了長足的進(jìn)步。

訓(xùn)練方面，ROCm 7支持一系列新特性，包括多個(gè)AMD開源模型、增強(qiáng)的AI框架、增強(qiáng)的內(nèi)核與算法、新的數(shù)據(jù)類型(BF16/FP8)等等。

官方聲稱對比ROCm 6，實(shí)測在Llama 2/3.1、千問1.5等多個(gè)模型中，性能提升普遍達(dá)到了3倍乃至更高。

推理方面，新的變化同樣不少，包括增強(qiáng)框架、Serving優(yōu)化、內(nèi)核與算法改進(jìn)、高級數(shù)據(jù)類型(FP8/FP6/FP4/混合)等。

性能提升同樣喜人，Llama 3.1、千問2、DeepSeek R1等模型實(shí)測平均達(dá)3.5倍，最高更是可達(dá)3.8倍。

有了ROCm 7的加持，MI355X面對NVIDIA B200也是絲毫不弱，比如DeepSeek R1 FP8吞吐量可以領(lǐng)先達(dá)30%。

當(dāng)然這只是一個(gè)例子，AMD并未更多地對比自家新品和友商競品。

除了數(shù)據(jù)中心、企業(yè)端，ROCm 7在消費(fèi)端也有全面改進(jìn)，新增原生支持Red Hat EPEL、Ubuntu、OpenSUSE等更多的Linux系統(tǒng)發(fā)行版，其中前兩者下半年實(shí)現(xiàn)。

Windows平臺上，也新增支持PyTorch、ONNX-EP兩大框架，分別在三季度和7月份開放預(yù)覽。

AMD還順帶介紹了下全線的消費(fèi)級AI解決方案，比如移動端的銳龍AI 300系列最高可以本地端側(cè)運(yùn)行240億參數(shù)大模型，銳龍AI Max 300系列更是能跑到700億參數(shù)，而新一代線程撕裂者處理器、Radeon AI顯卡組合最高可以搞定1280億參數(shù)。