美國國家超級計(jì)算應(yīng)用中心(National Center for Supercomputing Applications)正計(jì)劃推出一個(gè)包含380PB磁帶存儲容量和由17000個(gè)SATA驅(qū)動器組成的25PB在線磁盤存儲的存儲基礎(chǔ)設(shè)施。

這個(gè)大規(guī)模存儲基礎(chǔ)設(shè)施將用于支持世界上最大的超級計(jì)算機(jī)之一，被稱為Blue Waters。由美國國家科學(xué)基金會(NFS)委托制造的Blue Waters預(yù)計(jì)峰值性能將達(dá)到11.5 petaflops，雖然NFS對其的要求是提供1 petaflop的應(yīng)用程序持續(xù)計(jì)算能力。

美國伊利諾伊大學(xué)運(yùn)行的NCSA已經(jīng)與Cray公司簽署了一份合同來建設(shè)這個(gè)超級計(jì)算機(jī)，該系統(tǒng)將運(yùn)行一個(gè)Lustre并行文件系統(tǒng)，到其后端存儲的吞吐量將超過1TB每秒。

Blue Waters項(xiàng)目將創(chuàng)造一個(gè)1 petaflop超級計(jì)算機(jī)來處理現(xiàn)實(shí)世界科學(xué)和工程應(yīng)用。其中，這臺超級計(jì)算機(jī)將幫助人類理解宇宙大爆炸后宇宙是如何演化的，幫助預(yù)測颶風(fēng)和龍卷風(fēng)的形成，并在新材料的設(shè)計(jì)中在原子水平上發(fā)揮重要作用。

這臺超級計(jì)算機(jī)將包含超過235個(gè)使用380000個(gè)AMD Opteron 6200系列X82處理器的Cray XE6機(jī)柜，和超過30個(gè)最新推出的Cray XK6超級計(jì)算機(jī)(擁有3000個(gè)NVIDIA CPU)未來版本的機(jī)柜。該系統(tǒng)將包含來自19萬個(gè)內(nèi)存DIMM的1.5PB聚合內(nèi)存。

為了支持所有這些計(jì)算能力，NCSA使用Cray Sonexion存儲系統(tǒng)部署了25PB磁盤存儲。Sonexion原本被稱為Zyratex存儲陣列，該系統(tǒng)通過40Gbps以太網(wǎng)從Extreme Networks提供高達(dá)1TBps聚合帶寬。

“我們一直努力與網(wǎng)絡(luò)供應(yīng)商合作，以確保他們準(zhǔn)備好迎接40千兆以太網(wǎng)，”NCSA負(fù)責(zé)存儲和網(wǎng)絡(luò)工程的高級技術(shù)項(xiàng)目經(jīng)理Michelle Butler表示，“我們并不是第一個(gè)使用40Gbps以太網(wǎng)的，但是現(xiàn)在使用這個(gè)以太網(wǎng)的人并不多。”

Butler表示，使用40Gbit以太網(wǎng)網(wǎng)絡(luò)的關(guān)鍵是將管道分成多個(gè)10Gbps以太網(wǎng)通道的能力，使NCSA將架構(gòu)分散到多個(gè)端口。該以太網(wǎng)將被用于連接75臺主機(jī)。

Butler表示，NCSA還選擇了DataDirect Network的SFA 12K存儲陣列提供100GBps存儲性能來卸載數(shù)據(jù)到“近線”磁帶庫系統(tǒng)。該磁帶子系統(tǒng)可擴(kuò)展到500PB容量。

她表示：“該子系統(tǒng)能夠卸載每秒萬億字節(jié)的文件系統(tǒng)，所以我們需要一個(gè)非常大的磁帶基礎(chǔ)設(shè)施來進(jìn)行卸載。”

正在建設(shè)中的Blue Waters超級計(jì)算機(jī)

在主存儲后面是四個(gè)Spectra Logic 17-frame T-Finity磁帶庫，磁帶庫將擁有366個(gè)240MB/sec 的IBM TS1140企業(yè)級磁帶驅(qū)動器。該磁帶庫將提供高達(dá)每小時(shí)2.2PB的聚合讀/寫率。

Butler表示：“我們實(shí)際上評估了LTO-5或LTO-6和TS1140，我們并沒有指定何種磁帶驅(qū)動器、何種庫或者其他任何東西。我們希望讓供應(yīng)商自由地向我們提供多種解決方案。”

Butler表示，NCSA選擇IBM磁帶驅(qū)動器，而沒有選擇更流行的中級LTO驅(qū)動器，因?yàn)樗鼈兲峁﹥?yōu)越的性能。TS1140提供240MB每秒的吞吐量，LTO驅(qū)動器提供140MB每秒。

在意見請求書中，Butler的團(tuán)隊(duì)給存儲供應(yīng)商列出了10到15個(gè)要求。除此之外，它們還規(guī)定磁帶庫必須要符合一定面積，不能超過一定電力和冷卻要求，并且應(yīng)該滿足某種可靠性和性能目標(biāo)。

Butler表示，磁帶庫聚合吞吐量的目標(biāo)是100GB/sec，目前，大約為89.5GB/sec。

Cray超級計(jì)算機(jī)通過Mellanox IS5000 InfiniBand交換機(jī)和ConnectX InfiniBand適配器連接到磁帶庫。交換機(jī)使用InfiniBand QDR協(xié)議，提供高達(dá)每個(gè)lane 8Gbps吞吐量和高達(dá)12個(gè)I/O lane。Butler表示，她想要使用更高帶寬版本的InfiniBand， FDR，但是Cray的系統(tǒng)不支持。

InfiniBand FDR提供每個(gè)lane 13.6 Gbps吞吐量和高達(dá)12個(gè)I/O lane。

雖然NCSA可以從很多企業(yè)級磁盤存儲供應(yīng)商中選擇產(chǎn)品用于超級計(jì)算機(jī)中，Butler及其團(tuán)隊(duì)感覺如果所有產(chǎn)品都來自于Cray的話，他們將會得到更好的支持。

“Lustre，如你所知，并不好維護(hù)，所以我們想要與特定供應(yīng)商合作，使用其軟件硬件，并有一個(gè)設(shè)備來進(jìn)行故障轉(zhuǎn)換等，自2003年以來，我們就一直運(yùn)行Lustre，”Butler表示，“所以我理解Cray公司試圖為我們簡化我們的系統(tǒng)。”

更多信息請關(guān)注：21ic網(wǎng)友雜談?lì)l道