www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁 > 芯聞號 > 動態(tài)速遞
[導(dǎo)讀]在AI異構(gòu)計算架構(gòu)中,英特爾至強6處理器作為主控CPU可以與NVIDIA最新GPU很好地協(xié)同。

一、至強6NVIDIA GPU協(xié)同的硬件基礎(chǔ)

術(shù)業(yè)有專攻——AI系統(tǒng)主控CPU英特爾至強6新品處理器淺析

AI異構(gòu)計算架構(gòu)中,英特爾至強6處理器作為主控CPU可以與NVIDIA最新GPU很好地協(xié)同。根據(jù)英偉達官網(wǎng)信息,目前其DGX B300系統(tǒng)選擇至強6776P作為唯一主控CPU,采用雙路配置,通過UPI總線實現(xiàn)CPU間互連。這8個GPU通過NVLink高速互連,是性能比較高端的DGX,為訓(xùn)練等應(yīng)用而設(shè)計。

作為主控CPU,它和GPU協(xié)同工作,而這個系統(tǒng)的性能受到諸多因素的影響,這里列出的是最主要的因素,包括I/O、核心性能、內(nèi)存(包括帶寬和容量)、CPU上的預(yù)處理或卸載(offload)能力、整體CPU系統(tǒng)的RAS,以及各種硬件的外形設(shè)計等。這些都會影響整個AI系統(tǒng)的端到端性能,因此AI系統(tǒng)通常比較復(fù)雜。

術(shù)業(yè)有專攻——AI系統(tǒng)主控CPU英特爾至強6新品處理器淺析

這一設(shè)計的性能提升要點在于:

1. 業(yè)界領(lǐng)先的I/O通道和內(nèi)存能力

AP平臺的雙路至強6最多可以提供192條PCIe 5.0通道,也就是可以每路提供96條通道,相比上一代提升20%,內(nèi)存通道也可以高達12個。直接匹配多GPU的高速接入需求,避免因通道不足導(dǎo)致的帶寬瓶頸。

在SP平臺上,英特爾還提供了一個差異化的產(chǎn)品,就是在單個CPU插槽上提供了更豐富的I/O資源(Rich I/O one socket),總共有136根的PCIe通道,持單插槽連接多塊加速卡與存儲設(shè)備,適用于邊緣端“預(yù)處理+推理”一體化場景。同時,其高帶寬內(nèi)存可容納更大模型參數(shù),提升訓(xùn)練效率。在推理場景中,靈活的核心配置確保資源高效利用,滿足多樣化需求。

2. 核心性能優(yōu)化

至強6區(qū)別于上一代產(chǎn)品的關(guān)鍵技術(shù)突破是Priority Core Turbo(PCT),其技術(shù)本質(zhì)是通過Speed Select(SST)將單路CPU核心劃分為兩組:最多8個高頻核心(PCT核心)與剩余低頻核心。在DGX B300場景中,這一技術(shù)直接服務(wù)于“CPU驅(qū)動GPU”的典型需求,實現(xiàn)高頻核心的精準調(diào)度:當(dāng)GPU需要快速獲取預(yù)處理數(shù)據(jù)(如從內(nèi)存讀取原始數(shù)據(jù)并完成清洗、特征工程)時,8個PCT核心可睿頻至4.6GHz(傳統(tǒng)64核SKU最大睿頻為3.9GHz),相比全核睿頻(3.6GHz)提升28%。這一特性縮短了數(shù)據(jù)從CPU到GPU的傳輸延遲。

3. 資源分配的靈活性

PCT核心數(shù)量可通過BIOS或SST-TF工具動態(tài)配置,客戶可根據(jù)實際負載調(diào)整——客戶在使用時可以根據(jù)需要選擇8個、6個、4個或2個PCT核心。例如推理場景中若僅需4塊GPU工作,可配置4個PCT核心對應(yīng)驅(qū)動,避免資源浪費。與上一代Max Turbo技術(shù)的差異在于:PCT允許全核在線(無需半數(shù)核心休眠),且維持相同TDP(350W)與散熱設(shè)計,確保硬件兼容性,降低客戶部署成本。

4. 更強的內(nèi)存架構(gòu)兼容性

更高的內(nèi)存帶寬對于AI工作負載至關(guān)重要,因為AI的工作流程是一個完整的數(shù)據(jù)處理管道,而非單一環(huán)節(jié)。在這一過程中,CPU首先負責(zé)預(yù)處理,從內(nèi)存中讀取數(shù)據(jù)并進行初步處理,隨后將數(shù)據(jù)傳輸至GPU。比如,至強6支持8通道到12通道的DDR5-6400內(nèi)存,還支持MRDIMMs,能提供更高的30%帶寬。

在LLM的生成式推理(如文本續(xù)寫)中,自注意力機制需為每個已處理的Token生成并存儲鍵(Key)和值(Value)矩陣,即KV Cache。KV Cache避免了在解碼階段重復(fù)計算歷史Token的注意力狀態(tài),但會隨序列長度線性增長,占用大量GPU顯存,需要卸載到下一級存儲中。對于CXL內(nèi)存來說,有一個典型用例是KV Cache的卸載,通過用CXL內(nèi)存去替代SSD,這樣KV Cache的訪問速度顯著增快,從而提升了性能。

5. RAS和數(shù)據(jù)預(yù)處理

在企業(yè)級AI訓(xùn)練場景中,系統(tǒng)可靠性直接影響算力利用率與TCO。至強6的RAS體系覆蓋全硬件鏈路,可以通過RAS特性來可以提高I/O的穩(wěn)定性、內(nèi)存系統(tǒng)穩(wěn)定性、UPI鏈路穩(wěn)定性、CPU及平臺穩(wěn)定性。CPU卸載則是針對MoE(混合專家)模型的另一種優(yōu)化方式。目前市場上已有諸多關(guān)于通過AMX矩陣技術(shù)將部分MoE模型中的專家層卸載至至強處理器的案例。

術(shù)業(yè)有專攻——AI系統(tǒng)主控CPU英特爾至強6新品處理器淺析

二、為何是至強6776P?

NVIDIA DGX B300選擇的雙路至強6776P的核心價值在于業(yè)界領(lǐng)先的I/O能力、領(lǐng)先的內(nèi)存帶寬、大內(nèi)存容量、領(lǐng)先的RAS能力已經(jīng)為特定AI負載優(yōu)化的PCT產(chǎn)品。

其4.6GHz的睿頻能力顯著加速數(shù)據(jù)處理,PCT核心以4.6GHz頻率加速數(shù)據(jù)預(yù)處理(如文本分詞、圖像解碼),通過高速PCIe通道將數(shù)據(jù)傳輸至GPU,形成“CPU預(yù)處理→GPU計算”的流水線作業(yè)。這款處理器擁有單路88條PCIe通道,雙路則達到176條。

英偉達選擇了2 DPC架構(gòu)(每顆CPU提供8通道內(nèi)存,每通道2個DIMM)進行配置,雙路系統(tǒng)可搭載32根DIMM,內(nèi)存最大容量達8TB。

綜述:開放生態(tài)的實際意義

至強6的核心優(yōu)勢在于開放性與兼容性??蛻粲布x擇自由,可以根據(jù)成本動態(tài)切換,避免被單一供應(yīng)商鎖定。在軟件生態(tài)兼容層面,至強6也完全支持主流AI框架(如TensorFlow、PyTorch)與云原生技術(shù),無需重新開發(fā)適配層,降低技術(shù)遷移成本。

從英偉達的選擇邏輯看,DGX B300采用至強6應(yīng)該并非單一性能導(dǎo)向,而是綜合考量了生態(tài)開放性、成本可控性與技術(shù)成熟度——至強6作為量產(chǎn)級產(chǎn)品,其穩(wěn)定性與供應(yīng)鏈可靠性已通過大規(guī)模數(shù)據(jù)中心驗證。

至強6在搭配NVIDIA GPU場景中的價值,本質(zhì)上源于其對“CPU角色”的清晰定位:核心數(shù)量或睿頻頻率,都是圍繞GPU協(xié)同需求而定,根據(jù)用戶的不同需求,也可以選擇不同的CPU型號。在關(guān)鍵路徑(如高頻數(shù)據(jù)傳輸、大內(nèi)存容量、系統(tǒng)穩(wěn)定性)上,至強6可以實現(xiàn)精準優(yōu)化。對于企業(yè)客戶而言,這意味著在AI基礎(chǔ)設(shè)施建設(shè)中,可通過標準化硬件獲取可預(yù)期的性能提升,同時避免為冗余功能支付額外成本。這種“需求導(dǎo)向型”技術(shù)路線,或許正是其成為英偉達首選主控CPU的核心原因。

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉