如果存儲(chǔ)免費(fèi)，你會(huì)把它放在哪里？答案顯然是：“盡量離處理器更近的地方”。

不過如果你討論的是大數(shù)據(jù)，那么問題則稍微有些不同：如果所有的處理都是免費(fèi)的，你會(huì)把它放在哪里？答案是“盡量靠近存儲(chǔ)的地方”。

這差不多就是存儲(chǔ)內(nèi)處理在大數(shù)據(jù)情境下所試圖做的事情。這種技術(shù)不是試圖將TB級(jí)從存儲(chǔ)系統(tǒng)遷移到處理器，而是在存儲(chǔ)控制器內(nèi)的處理器上運(yùn)行應(yīng)用程序。

當(dāng)然，處理能力實(shí)際上并不是完全免費(fèi)的，不過它的價(jià)格已經(jīng)大幅下滑。此外，存儲(chǔ)系統(tǒng)也有不再需要專門ASIC(專用集成電路)的趨勢(shì)。存儲(chǔ)軟件運(yùn)行在傳統(tǒng)的行業(yè)標(biāo)準(zhǔn)的服務(wù)器上。這些服務(wù)器有非常強(qiáng)大的處理器，能力遠(yuǎn)不止運(yùn)行存儲(chǔ)軟件。

企業(yè)策略集團(tuán)(ESG)高級(jí)分析師Mark Peters表示：“存儲(chǔ)廠商現(xiàn)在越來越多說的是他們的存儲(chǔ)服務(wù)器有空閑的處理能力。”顯然應(yīng)該將這些處理能力用在存儲(chǔ)以外的事情上——比如運(yùn)行存儲(chǔ)系統(tǒng)內(nèi)部的應(yīng)用程序。他表示：“我認(rèn)為存儲(chǔ)廠商是很實(shí)際的，他們?cè)诮ㄗh更加充分地利用處理資源。”

謹(jǐn)慎的做法是在存儲(chǔ)服務(wù)器內(nèi)部運(yùn)行有限數(shù)量的虛擬機(jī)，并允許這些虛擬機(jī)運(yùn)行合適的應(yīng)用程序。這帶來了一個(gè)問題：哪些應(yīng)用程序最適合用這種方式運(yùn)行？

根據(jù)大數(shù)據(jù)存儲(chǔ)廠商DataDirect Networks營銷副總裁Jeff Denworth的說法，相對(duì)簡(jiǎn)單的應(yīng)用程序最好。DataDirect已經(jīng)在它的存儲(chǔ)系統(tǒng)內(nèi)提供存儲(chǔ)內(nèi)處理能力。Denworth解釋道：“這個(gè)環(huán)境下最好的應(yīng)用程序是那些運(yùn)行預(yù)處理或后處理算法、分析數(shù)據(jù)、篩選數(shù)據(jù)或應(yīng)用元數(shù)據(jù)的應(yīng)用程序。不過你必須記住的是它不能代替超級(jí)計(jì)算機(jī)，因?yàn)榇鎯?chǔ)系統(tǒng)內(nèi)部并沒有很高的處理能力。”

這些應(yīng)用程序還必須運(yùn)行在得到存儲(chǔ)內(nèi)虛擬機(jī)管理器支持的操作系統(tǒng)上——典型的是Linux或Windows。(DDN的系統(tǒng)使用修改后的KVM虛擬化系統(tǒng)來承載虛擬機(jī)，同時(shí)I/O基礎(chǔ)設(shè)施也被修改為用一組記憶體指針來呈現(xiàn)應(yīng)用程序)顯然這些應(yīng)用程序不能依賴于GPU加速，因?yàn)榇鎯?chǔ)設(shè)備內(nèi)沒有強(qiáng)大的圖形子系統(tǒng)。

存儲(chǔ)內(nèi)處理舉例

實(shí)際上，預(yù)處理和后處理算法是大數(shù)據(jù)環(huán)境中典型的需要的應(yīng)用程序。

例如，射電天文學(xué)研究國際中心(ICRAR)的Square Kilometre Array望遠(yuǎn)鏡每天都要產(chǎn)生100萬TB數(shù)據(jù)。這是非?？捎^的數(shù)據(jù)量，但是只有一小部分是有意義并需要保留的——其他的是沒用的可以拋棄的“噪音”。問題是如何分析這種數(shù)據(jù)并過濾出噪音。為了做到這一點(diǎn)，ICRAR在DDN存儲(chǔ)系統(tǒng)上存儲(chǔ)進(jìn)入的數(shù)據(jù)，并在存儲(chǔ)系統(tǒng)內(nèi)置的虛擬機(jī)上運(yùn)行數(shù)據(jù)縮減算法，使用存儲(chǔ)系統(tǒng)的處理資源。

1  2  

在美國能源部，超級(jí)計(jì)算機(jī)在運(yùn)行天氣模擬和其他數(shù)學(xué)模型的時(shí)候要產(chǎn)生數(shù)十PB的裸數(shù)據(jù)。這些數(shù)據(jù)以每秒100GB的速度進(jìn)入存儲(chǔ)系統(tǒng)。能源部科學(xué)數(shù)據(jù)管理SciDAC技術(shù)中心的存儲(chǔ)研究院Rob Ross博士表示在存儲(chǔ)系統(tǒng)上分析數(shù)據(jù)的好處是可以減少成本并提高速度。

他表示：“你一開始將數(shù)據(jù)從存儲(chǔ)遷移到計(jì)算機(jī)的速度是有限制的。”繞過這個(gè)網(wǎng)絡(luò)因素可以減少將數(shù)據(jù)從一個(gè)主機(jī)總線適配器遷移到交換機(jī)并進(jìn)一步遷移到服務(wù)器進(jìn)行處理所帶來的開銷，同時(shí)由于減少了跳轉(zhuǎn)，延遲時(shí)間也更低。應(yīng)用程序可以運(yùn)行在與存儲(chǔ)系統(tǒng)高速緩存一樣的記憶體地址空間中。

Ross表示：“原來的做法會(huì)在遷移數(shù)據(jù)的時(shí)候帶來網(wǎng)絡(luò)的成本以及等待數(shù)據(jù)被遷移的成本?，F(xiàn)在進(jìn)行存儲(chǔ)內(nèi)處理是更加聰明的做法。”

即將起飛

存儲(chǔ)內(nèi)處理這個(gè)技術(shù)實(shí)際上已經(jīng)存在一段時(shí)間了——DDN早在2009年就將這技術(shù)引入到它的存儲(chǔ)設(shè)備中——不過這個(gè)技術(shù)還沒什么大的影響。比如，Denworth表示只有10%的DDN客戶目前在使用這個(gè)技術(shù)。

造成這種情況的原因之一可能是因?yàn)榇髲S商不太情愿引入這個(gè)技術(shù)。ESG的Mark Peters解釋道：“所有推出存儲(chǔ)內(nèi)處理技術(shù)的公司都是小一些的公司。”除了DDN外，其他公司還包括Pivot3和Scale Computing。他表示：“我不認(rèn)為大公司希望用戶了解到他們的存儲(chǔ)可能是運(yùn)行在標(biāo)準(zhǔn)的X86服務(wù)器上。”

不過，現(xiàn)在大數(shù)據(jù)還只是剛剛嶄露頭角，隨著大規(guī)模數(shù)據(jù)倉庫在企業(yè)中越來越流行，越來越多的廠商可能會(huì)擁抱這個(gè)技術(shù)。當(dāng)然這只是ESG的Mark Peters的說法：“我認(rèn)為，未來在存儲(chǔ)系統(tǒng)內(nèi)執(zhí)行處理任務(wù)將肯定會(huì)更加流行。”

1  2  

欲知詳情，請(qǐng)下載word文檔 下載文檔

來源：[db:出處]

作者：tee