最新基準測試顯示，搭載 NVIDIA B200 的 Supermicro 系統(tǒng)性能優(yōu)于上一代系統(tǒng)，每秒令牌（Token）生成量是上一代系統(tǒng)的 3 倍

加利福尼亞州圣何塞2025年4月3日 /美通社/ -- Super Micro Computer, Inc. (SMCI)，是一家為 AI/ML、HPC、云端、存儲和 5G/Edge 提供全面 IT 解決方案的供應商，該公司宣布使用 NVIDIA HGX? B200 8-GPU 在多個 MLPerf Inference v5.0 基準測試中率先實現(xiàn)了業(yè)界領先的性能。在特定基準測試中，4U 液冷和 10U 風冷系統(tǒng)實現(xiàn)了最佳性能。與 H200 8-GPU 系統(tǒng)相比，Supermicro 在 Llama2-70B 和 Llama3.1-405B 基準測試中展示了每秒生成令牌數(shù) (Token/s) 超過 3 倍的效果。

Nvidia HGX B200 系統(tǒng)

"Supermicro 依然是人工智能行業(yè)的領先者，MLCommons 于 2025 年發(fā)布的首批新基準測試就證明了這一點。"Supermicro 總裁兼首席執(zhí)行官梁見后（Charles Liang）表示說，"我們的構建塊架構使我們能夠率先向市場推出針對各種工作負載進行優(yōu)化的多種系統(tǒng)。我們將繼續(xù)與 NVIDIA 密切合作，以微調我們的系統(tǒng)，并確保在 AI 工作負載方面的領先地位。"

要了解有關新 mlPerf v5.0 推理基準測試的更多信息，請訪問：https://mlcommons.org/benchmarks/inference-datacenter/

Supermicro 是唯一一家發(fā)布風冷和液冷 NVIDIA HGX? B200 8-GPU 系統(tǒng) MLPerf 推理性能記錄（在特定基準上）的系統(tǒng)供應商。在 MLCommons 基準測試開始日期之前，風冷和液冷系統(tǒng)均已投入運行。Supermicro 工程師對系統(tǒng)和軟件進行了優(yōu)化，以展示其令人印象深刻的性能。在營業(yè)利潤率范圍內，Supermicro 風冷 B200 系統(tǒng)表現(xiàn)出與液冷 B200 系統(tǒng)相同的性能水平。在我們進行基準測試的同時，Supermicro 一直在向客戶交付這些系統(tǒng)。

MLCommons 強調所有結果均可重現(xiàn)，產(chǎn)品可用，并且結果可以由其他 MLCommons 成員審計。Supermicro 工程師根據(jù) MLCommons 規(guī)則對系統(tǒng)和軟件進行了優(yōu)化。

SYS-421GE-NBRT-LCC（8x NVIDIA B200-SXM-180GB）和 SYS-A21GE-NBRT（8x NVIDIA B200-SXM-180GB）在運行 Mixtral 8x7B 推理、混合專家基準測試時表現(xiàn)出性能領先優(yōu)勢，速度為 129,000 個 token/秒?；?Supermicro 風冷和液冷 NVIDIA B200 的系統(tǒng)為大型 Llama3.1-405b 型號提供了超過 1,000 個 token /秒的推理，而前幾代 GPU 系統(tǒng)的結果要小得多。對于較小的推理任務，使用 LLAMA2-70b 基準，安裝了 NVIDIA B200 SXM-180GB 的 Supermicro 系統(tǒng)展現(xiàn)出一級系統(tǒng)供應商的最高性能。

具體的內容包括：

• Stable Diffusion XL（服務器）
  SYS-A21GE-NBRT（8x B200-SXM-180GB）
  
  #1 queries/s，28.92
  
  
• llama2-70b-interactive-99（服務器）
  SYS-A21GE-NBRT（8x B200-SXM-180GB）
  
  #1 tokens/s，62,265.70
  
  
• llama3.1-405B（脫機）
  SYS-421GE-NBRT-LCC (8xb200-sxm-180GB)
  
  #1 tokens/s 1521.74
  
  
• llama3.1-405b（服務器）
  SYS-A21GE-NBRT（8x B200-SXNM-180GB）
  
  #1 tokens/s，1080.31（適用于 8 個 GPU 節(jié)點）
  
  
• mixtral-8x7b（服務器）
  SYS-421GE-NBRT-LCC（8x B200-SXM-180GB）
  
  #1 tokens/s，129,047.00
  
  
• mixtral-8x7b（離線）
  SYS-421GE-NBRT-LCC（8x B200-SXM-180GB）
  
  #1 tokens/s，128,795.00

"MLCommons 祝賀 Supermicro 提交了 MLPerf Inference v5.0 基準測試。我們很高興看到他們的結果與前幾代系統(tǒng)相比顯示出顯著的性能提升，"MLCommons MLPerf 負責人 David Kanter 表示說，"客戶會對所實現(xiàn)的性能改進感到滿意，這些改進已得到中立、代表性和可重復的 MLPerf 結果得到驗證。"

Supermicro 提供全面的 AI 產(chǎn)品組合，其中包括 100 多個針對 GPU 優(yōu)化的系統(tǒng)，包括風冷和液冷選項，以及多種 CPU 選擇，從單插槽優(yōu)化系統(tǒng)到 8 路多處理器系統(tǒng)。Supermicro 機柜級系統(tǒng)包括計算、存儲和網(wǎng)絡組件，從而減少了交付到客戶現(xiàn)場后安裝所需的時間。

Supermicro 的 NVIDIA HGX B200 8-GPU 系統(tǒng)，采用下一代液體冷卻和空氣冷卻技術。在相同的 4U 外形尺寸下，新開發(fā)的冷板和新型 250 千瓦冷卻劑分配單元（CDU）的冷卻能力，比上一代產(chǎn)品提高了一倍多。采用全新立式冷卻劑分配歧管 (CDM) 的機柜級設計有 42U、48U 或 52U 配置可供選擇，不再占用寶貴的機架單元。這樣便可實現(xiàn) 8 個系統(tǒng)（42U 機架中配備 64 個 NVIDIA Blackwell GPU）和 12 個系統(tǒng)（52U 機架中配備 96 個 NVIDIA Blackwell GPU）。

新型風冷 10U NVIDIA HGX B200 系統(tǒng)采用重新設計的機箱，具有更大的散熱空間，可容納 8 個 1000W TDP Blackwell GPU。最多 4 個全新 10U 風冷系統(tǒng)可以安裝并完全集成到機架中，其密度與上一代相同，同時提供高達 15 倍的推理和 3 倍的訓練性能。

關于Super Micro Computer, Inc.

Supermicro（納斯達克股票代碼：SMCI）是應用優(yōu)化整體IT解決方案的全球領軍企業(yè)。Supermicro在加利福尼亞州圣何塞成立并運營，致力于為企業(yè)、云、 AI和5G Telco/Edge IT基礎設施提供率先進入市場的創(chuàng)新技術。我們是一家提供服務器、人工智能、存儲、物聯(lián)網(wǎng)、交換機系統(tǒng)、軟件和支持服務的整體IT解決方案提供商。Supermicro的主板、電源和機箱設計專業(yè)知識進一步推動了我們的開發(fā)和生產(chǎn)，為我們的全球客戶實現(xiàn)了從云到邊緣的下一代創(chuàng)新。我們的產(chǎn)品均在公司內部（包括美國、亞洲和荷蘭）完成設計和制造，通過全球運營實現(xiàn)規(guī)模和效益，從而優(yōu)化總體擁有成本（TCO），并能夠（通過綠色計算）減少對環(huán)境的影響。屢獲殊榮的Server Building Block Solutions®產(chǎn)品組合通過我們靈活可重復使用的構建塊，為客戶提供了豐富的可選系統(tǒng)產(chǎn)品系列，用于優(yōu)化其確切的工作負載和應用。這些構建塊支持全系列外形規(guī)格、處理器、內存、GPU、存儲、網(wǎng)絡、電源和冷卻解決方案（空調、自然空氣冷卻或液體冷卻）。

Supermicro、Server Building Block Solutions和We Keep IT Green是Super Micro Computer, Inc.的商標和/或注冊商標。

所有其他品牌、名稱和商標均為其各自所有者所有。