加速PCIe 5產(chǎn)品設(shè)計和測試
關(guān)鍵要點
?伴隨AI和數(shù)據(jù)中心領(lǐng)域?qū)τ布男枨笏疂q船高,PCIe 5.0標準成為一個重要的里程碑。
?盡管PCIe 5.0主要沿用了與4.0相同的技術(shù),但一些巧妙的優(yōu)化措施使其能夠有效地將最大數(shù)據(jù)傳輸速率提高四倍。
?PCIe 5.0的設(shè)計和合規(guī)具有挑戰(zhàn)性,因此需要非常先進的硬件和軟件解決方案來簡化流程。
PCIe(Peripheral Component Interconnect Express)是為現(xiàn)代服務(wù)器和計算機添加顯卡和網(wǎng)卡等關(guān)鍵外設(shè)的首選總線,也是推動生成式AI、全球超大規(guī)模數(shù)據(jù)中心以及其他許多領(lǐng)域發(fā)展的重要硬件組成部分。
此篇是德科技文章將介紹PCIe 5的基礎(chǔ)知識、應(yīng)用、挑戰(zhàn)以及簡化設(shè)計和測試的解決方案。
何為PCIe 5.0?
圖1:PCIe 5協(xié)議層
PCIe 5.0是PCIe規(guī)范的第五代版本,也是用于將外圍設(shè)備連接到服務(wù)器和計算機的最流行的互連標準。PCIe標準確保來自不同供應(yīng)商的主板、顯卡、以太網(wǎng)卡、Wi-Fi卡、存儲設(shè)備和其他外圍設(shè)備在集成到服務(wù)器或計算機時可以無縫互操作。
構(gòu)成PCIe 5.0標準的邏輯子塊如上圖所示。
在數(shù)據(jù)傳輸方面,PCIe 5.0是一種由多個并行通道組成的串行接口。每個信號通道將數(shù)據(jù)以每次一個比特的串行方式進行傳輸。不過,所有通道可以同時進行傳輸和接收,以提高凈吞吐量,其模式有點像并行總線。
PCIe 5.0在數(shù)據(jù)中心、AI和游戲中有哪些潛在用例?
本節(jié)將探討一些推動PCIe Gen 5及以上版本采用的關(guān)鍵用例。
AI
AI將成為PCIe 5及以上版本的主要應(yīng)用場景。特別是大型生成式AI模型(參數(shù)范圍從200億到超過5000億),因為它們需要將數(shù)據(jù)從系統(tǒng)內(nèi)存或存儲通過互連總線以盡可能高的容量和速度輸送到AI加速器。服務(wù)器和個人使用的AI加速器都能從Gen 5的高帶寬中獲益匪淺。
數(shù)據(jù)中心
PCIe 5.0是用于超大規(guī)模數(shù)據(jù)中心的關(guān)鍵組件,能夠支持現(xiàn)代AI、大數(shù)據(jù)和高性能計算等應(yīng)用。PCI Express 5還支持更快的技術(shù),例如:
下一代以太網(wǎng):PCIe 5可以支持數(shù)據(jù)中心等應(yīng)用中的400 GE網(wǎng)絡(luò)接口卡和交換機。
高速存儲:企業(yè)級存儲技術(shù),如通過光纖信道的NVMe SSD,都依賴于PCIe 5。將各種存儲設(shè)備連接到主板和處理器的存儲控制卡和芯片組依賴于PCIe,并可受益于PCIe 5的速度。此類存儲技術(shù)包括串行連接的小型計算機系統(tǒng)接口(SAS)和串行高級技術(shù)附件(SATA)。
加速卡:用于AI或圖形工作負載的現(xiàn)代加速卡,如GPU和TPU,都可受益于PCIe 5及更高標準。
游戲和圖形
PCIe 5通過直接內(nèi)存訪問(DMA)技術(shù)在顯卡(如Nvidia GeForce RTX GPU)和系統(tǒng)內(nèi)存之間實現(xiàn)了高速數(shù)據(jù)傳輸,為游戲玩家、圖形專業(yè)人員和視頻編輯人員帶來裨益。
此外,PCIe Gen 5 SSD和M.2 NVMe控制器還能提升系統(tǒng)性能,確保在使用現(xiàn)代大核高性能CPU和最新的DDR5系統(tǒng)內(nèi)存時,存儲不再成為瓶頸。
PCIe 5.0的主要性能提升有哪些?
PCIe 5.0的一些關(guān)鍵性能如下。
數(shù)據(jù)傳輸速率提高
PCIe 5.0每個信號通道在每個方向的最大帶寬可達32 GT/s。每次傳輸涉及一個方向上的一個信號轉(zhuǎn)換,這也意味著每次信號轉(zhuǎn)換代表著傳送了一個比特位的數(shù)據(jù)。因此,每個PCIe通道在每個方向的有效帶寬為32 Gbps。
對于16通道雙工接口(如典型的GPU x16插槽),網(wǎng)絡(luò)帶寬為128 GB/s。
典型以太網(wǎng)卡的八通道(x8)雙工PCIe插槽可提供64 GB/s的網(wǎng)絡(luò)帶寬,足以滿足400GE網(wǎng)絡(luò)所需的50 GB/s吞吐量。
增強的信號完整性
PCIe 5采用的非歸零(NRZ)編碼以16 GHz的頻率運行,是PCIe 4.0 8 GHz頻率的兩倍。在這一較高頻率下,必須有效應(yīng)對信道插入損耗造成的更大信號衰減。
因此,PCIe 5.0采用了新的均衡和其他技術(shù),以在更高速度下保持信號完整性。它實現(xiàn)了更好的性能、更高的可靠性和更低的錯誤率,而且還有助于延長電纜長度。
降低錯誤率
PCIe 5規(guī)定誤碼率(BER)低至10-12,總信道插入損耗預算僅為36 dB。為了應(yīng)對可能出現(xiàn)的更多突發(fā)錯誤,PCIe 5要求在發(fā)射機上進行預編碼。
設(shè)備數(shù)量增加
由于帶寬更高,PCIe 5.0可以同時支持更多設(shè)備,而不會出現(xiàn)任何瓶頸。這對數(shù)據(jù)中心環(huán)境尤為有利。
與早期的PCIe版本相比,PCIe 5.0的速度有多快?
PCIe 4.0的數(shù)據(jù)傳輸速率為16 GT/s,而PCIe 5則將其提高了一倍,在每個方向每個通道上傳輸速率都可以達到32 GT/s。就字節(jié)數(shù)而言,PCIe Gen 4 x16設(shè)備可達到32 GB/s,而PCIe 5.0可達到128 GB/s。
與PCIe 3.0的8 GT/s相比,PCIe 5每通道的吞吐量提高了四倍。
其他參數(shù)如下圖所示。
圖2:PCIe版本比較
PCIe 5.0的最大數(shù)據(jù)傳輸速率是多少?
每個通道在每個方向上的最大數(shù)據(jù)傳輸速率為32 GT/s。這相當于以下最大數(shù)據(jù)傳輸速率:
?x16雙工PCIe插槽為128 GB/s
?x12雙工為96 GB/s
?x8雙工為64 GB/s
?x4雙工為32 GB/s
?x2雙工為16 GB/s
?x1雙工為8 GB/s
PCIe 5.0設(shè)備可以在PCIe 4.0或更早版本的插槽中使用嗎?
PCIe 5規(guī)范要求完全向后兼容所有早期版本。行業(yè)還可以期望PCIe 5設(shè)備具有前瞻性,能夠成功兼容未來的PCIe規(guī)范,適應(yīng)未來的發(fā)展要求。此外,通道數(shù)較少的PCIe設(shè)備可以安裝在通道數(shù)較多的更寬的插槽中。例如,x8網(wǎng)卡可以安裝在x16連接器中。
所有這些都可以通過協(xié)商相互兼容的通道數(shù)、PCIe版本、數(shù)據(jù)速率和編碼方案等機制來實現(xiàn),如下所述:
鏈路訓練:在鏈路訓練期間,端點設(shè)備與根復合體進行通信。此鏈接初始化階段涉及PCIe版本、數(shù)據(jù)速率、通道寬度和編碼方案的協(xié)商。然后使用這些協(xié)商參數(shù)驗證鏈接的穩(wěn)定性。
功能寄存器:PCIe設(shè)備中的功能寄存器提供有關(guān)設(shè)備支持的版本、最大通道數(shù)和其他參數(shù)的信息。
信號:PCIe 5與所有早期版本一樣使用NRZ信號。數(shù)據(jù)編碼方案(如128b/130b或8b/10b)被選擇為相互兼容。
PCIe 5設(shè)計中最耗時的任務(wù)是什么?
PCIe 5的高性能要求對設(shè)計和仿真階段提出了很多需求,具體如下:
確保信號完整性:完美的信號完整性設(shè)計至關(guān)重要。串擾、反射和模式轉(zhuǎn)換是可能導致誤碼的重要問題,必須加以防止。
模擬收發(fā)器合規(guī):需要進行全面的物理層測試,以確保符合嚴格的標準。這需要在時域和頻域進行耗時的分析和模擬。
保持數(shù)據(jù)傳輸速率:高數(shù)據(jù)速率會導致管理上升時間和信號失真方面的困難。
驗證差分信號:每個PCIe通道由兩對差分信號組成,一對用于發(fā)送,另一對用于接收。要在避免電磁干擾(EMI)的同時實現(xiàn)正確的差分信號,需要進行精心的設(shè)計和模擬。
實現(xiàn)互操作性和兼容性:要確保PCIe 5端點和根復合體能夠與早期版本的設(shè)備互操作,需要進行大量的模擬。
PCIe 5.0普及所面臨的挑戰(zhàn)和限制
采用PCIe 5.0所面臨的挑戰(zhàn)如下:
信號完整性:PCIe 5等高速互連會導致阻抗不連續(xù)處的反射增加,這會降低眼圖(衡量信號質(zhì)量的關(guān)鍵指標)的質(zhì)量。
印刷電路板(PCB)設(shè)計:PCIe 5設(shè)計需要低損耗介電材料、寬信號走線以及背鉆孔或微孔等技術(shù),這些都增加了設(shè)計工作量和復雜性。
先進儀器:PCIe 5數(shù)字設(shè)計的復雜性要求使用更精密的儀器進行分析和表征。設(shè)計工程師必須深入了解信號傳播特性,并利用16-GHz矢量網(wǎng)絡(luò)分析儀等設(shè)備對物理層組件進行全面表征。
抖動管理:更短的時鐘周期意味著更小的抖動預算。與前幾代產(chǎn)品相比,PCIe 5減少抖動的工作更為復雜。
回波損耗:在不同頻率下保持大于特定限制的回波損耗至關(guān)重要。這涉及到精心的信道設(shè)計和合規(guī)性測試。
接收機設(shè)計:接收機更容易受到高頻信道損耗造成的信號衰減的影響。設(shè)計既能承受信號衰減,又能達到可接受誤碼率的強大接收機非常重要。
協(xié)議測試:協(xié)議層內(nèi)的各種狀態(tài)轉(zhuǎn)換以及鏈路訓練和狀態(tài)機(LTSSM)必須使用精密的仿真和測試裝置進行驗證。
勞動密集型測試:PCIe 5的復雜性使得測試過程非常耗費人力。公司需要強大的自動測試解決方案,將測試時間從數(shù)天縮短至數(shù)小時。
EDA軟件如何助力PCIe 5.0設(shè)計?
電子設(shè)計自動化(EDA)工具對于應(yīng)對上述挑戰(zhàn)和耗時任務(wù)至關(guān)重要。EDA軟件提供助益的各種方式如下:
信號和電源完整性模擬:隨著信道拓撲的多樣化和參數(shù)數(shù)量的倍增,要確保信號和電源完整性,就需要能夠模擬高速集成電路和PCB互連的電磁效應(yīng)的工具。EDA工具可以模擬串擾和反射等情況,以避免信號衰減和時序問題。這包括在時鐘周期縮短的情況下至關(guān)重要的抖動最小化。
信道模擬:EDA軟件可創(chuàng)建和執(zhí)行輸入輸出緩沖信息規(guī)范(IBIS)和算法建模接口(AMI)模型,以仿真模擬信道和端到端信號路徑。
協(xié)議層分析:EDA軟件可幫助理解和優(yōu)化各層——物理層、數(shù)據(jù)鏈路層和事務(wù)層。
集成的協(xié)同模擬:EDA軟件可同時對不同領(lǐng)域進行協(xié)同模擬,從而實現(xiàn)端到端分析。
符合標準:EDA軟件對于執(zhí)行PCI-SIG要求的合規(guī)性測試至關(guān)重要。這些測試可驗證電氣性能是否符合PCIe 5.0標準。
自動化測試:利用EDA工具,設(shè)計人員可將大部分測試流程自動化,以實現(xiàn)最高效率。合規(guī)性測試的自動化和報告的生成有助于快速驗證和調(diào)整設(shè)計。
是德科技如何簡化高質(zhì)量PCIe 5.0設(shè)計和驗證?
是德科技為深度的PCIe 5設(shè)計、仿真和測試提供了一套全面的軟件解決方案和硬件設(shè)備。下文將詳細介紹這些功能。
PCIe 5.0 EDA 解決方案
System Designer for PCIe是一種端到端設(shè)計環(huán)境,用于對PCIe 5.0系統(tǒng)進行建模和仿真。它通過仿真對PCIe 5.0設(shè)計執(zhí)行合規(guī)性測試,可減少設(shè)計迭代,縮短產(chǎn)品面市時間。
System Designer for PCIe 還包括IBIS-AMI建模,用于仿真電氣特性和信號傳輸路徑。
收發(fā)器測試
圖3:是德科技接收機合規(guī)性測試自動化平臺
是德科技用于PCIe 5測試的軟件解決方案包括
?用于互連信號完整性測試的物理層測試系統(tǒng)(PLTS)
?用于驗證PCIe 5接收機的N5991接收機合規(guī)性測試自動化平臺
?用于測試PCIe 5發(fā)射機的發(fā)射機電氣性能驗證和合規(guī)性軟件
這些軟件支持強大的測試和驗證功能,如以下所列:
?它們有助于進行時域和頻域分析,使工程師能夠準確評估信號完整性。
?批處理模式的自動夾具移除支持使用單個夾具模型進行多通道去嵌入,大大縮短了分析時間。
?模式轉(zhuǎn)換分析可幫助及早發(fā)現(xiàn)與EMI和系統(tǒng)性能有關(guān)的潛在問題。
?虛擬偽隨機比特序列模式發(fā)生器可加快根據(jù)S參數(shù)生成眼圖的速度,將通常的處理時間從數(shù)小時縮短到數(shù)秒。
它們可以對傳輸線進行高精度的表征,以仿真和改善信號完整性。
協(xié)議分析
圖4:使用是德科技分析儀和訓練器進行PCIe 5協(xié)議分析
PCIe 5協(xié)議訓練器和協(xié)議分析儀可對所有拓撲和用例進行分析。
通過是德科技加快PCIe 5設(shè)備的面市速度
本文已概括性地敘述了PCIe 5所面臨的挑戰(zhàn)以及應(yīng)對這些挑戰(zhàn)的解決方案。
歡迎聯(lián)系是德科技,了解如何使用是德科技的硬件和軟件解決方案,將PCIe 5設(shè)備快速、高質(zhì)量地推向市場。