www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁 > 嵌入式 > 嵌入式軟件
[導(dǎo)讀]數(shù)據(jù)存儲系統(tǒng)分析

塊是存儲的基礎(chǔ)架構(gòu),對塊的管理是簡單的。從全球第一個磁盤存儲技術(shù)50年前誕生到現(xiàn)在,塊的技術(shù)沒有發(fā)生太大變化。磁盤工業(yè)生產(chǎn)遍及全球。最近幾年,存儲行業(yè)興起存儲虛擬化和數(shù)據(jù)整合的新概念,在這些概念和方案中,數(shù)據(jù)還是以塊的形式通過網(wǎng)絡(luò)進(jìn)行讀寫操作。

塊形式的存儲在滿足數(shù)據(jù)可擴展性和數(shù)據(jù)安全性的增長方面,日益顯現(xiàn)出其局限性和不足。國際上主要有兩類網(wǎng)絡(luò)化存儲架構(gòu),它們是通過命令集來區(qū)分的。

第一類是SAN(Storage Area Network)結(jié)構(gòu),它采用SCSI 塊I/O的命令集,通過在磁盤或FC(Fiber Channel)級的數(shù)據(jù)訪問提供高性能的隨機I/O和數(shù)據(jù)吞吐率,它具有高帶寬、低延遲的優(yōu)勢,在高性能計算中占有一席之地,但是由于SAN系統(tǒng)的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規(guī)模的系統(tǒng)。第二類是NAS(Network Attached Storage)結(jié)構(gòu),它采用NFS或CIFS命令集訪問數(shù)據(jù),以文件為傳輸協(xié)議,通過TCP/IP實現(xiàn)網(wǎng)絡(luò)化存儲,可擴展性好、價格便宜、用戶易管理,如目前在集群計算中應(yīng)用較多的NFS文件系統(tǒng),但由于NAS的協(xié)議開銷高、帶寬低、延遲大,不利于在高性能集群中應(yīng)用。

針對Linux集群對存儲系統(tǒng)高性能和數(shù)據(jù)共享的需求,國際上已開始研究全新的存儲架構(gòu)和新型文件系統(tǒng),希望能有效結(jié)合SAN和NAS系統(tǒng)的優(yōu)點,支持直接訪問磁盤以提高性能,通過共享的文件和元數(shù)據(jù)以簡化管理,目前對象存儲系統(tǒng)已成為Linux集群系統(tǒng)高性能存儲系統(tǒng)的研究熱點,如Panasas公司的Object Base Storage Cluster System系統(tǒng)和Cluster File Systems公司的Lustre等。

基于對象的存儲

在2004年, ANSI 推出了基于對象的存儲設(shè)備(OSD)的1.0版本規(guī)范。它定義了基于對象的存儲設(shè)備的通訊協(xié)議。OSD規(guī)范描述了一個 SCSI 命令集合,由他提供一個高水平的OSD接口。這個接口允許客戶端, 比如文件系統(tǒng)和數(shù)據(jù)庫存放和索引數(shù)據(jù)。 SNIA’S 技術(shù)工作組當(dāng)前正在開發(fā)OSD 規(guī)范的2.0版本,這個版本年內(nèi)完成。

一個OSD設(shè)備存放對象,他控制著從對象到物理介質(zhì)的映射圖。設(shè)備同時也跟蹤作為屬性的元數(shù)據(jù),例如建立時間標(biāo)記,從而允許在客戶端非常容易地共享數(shù)據(jù)。

可以說,OSD最大的賣點在于它結(jié)合了SAN的可擴展性和NAS的數(shù)據(jù)共享。早期的NAS架構(gòu)的擴展性能并不好,因為所有的元數(shù)據(jù)的處理都集中在NAS服務(wù)器上。在有限的NAS頭下擴張更多的存儲受到限制,而且這個時候,NAS上的元數(shù)據(jù)處理變成了瓶頸。如果想擴展,就需要增加更多的NAS服務(wù)器,但是此時的管理成為頭疼的事情,因為數(shù)據(jù)是分散的, 這就是我們常說到的“NAS 孤島”

OSD的能力在于它將客戶端和OSD設(shè)備直接聯(lián)系起來,并不需要中間環(huán)節(jié)管理元數(shù)據(jù)。Panasas 公司,全球第一家提供商用OSD產(chǎn)品的公司,同時提供面向?qū)ο蟮拇鎯筒⑿形募到y(tǒng)。Panasas 公司的 DirectFLOW 的設(shè)計,客戶端從帶外管理的控制刀片得到目標(biāo)的分布和安全屬性。所有的數(shù)據(jù)流都直接從OSD存儲刀片到客戶端。盡管商用的OSD產(chǎn)品還只是鳳毛麟角,但是OSD技術(shù)還是在日新月異?!∥鹘莺虸BM已經(jīng)展示了OSDc產(chǎn)品?!P已經(jīng)和開放源代碼廠家 Lustre 文件系統(tǒng)合作,使用OSD作為他的StorageWork 可擴展文件系統(tǒng)的重要部分。

對于對象存儲來講,不光是解決了數(shù)據(jù)存儲的問題,同時它還解決了數(shù)據(jù)安全性的問題。存儲通常已經(jīng)依賴于客戶端和私有網(wǎng)絡(luò)的認(rèn)證來保護(hù)系統(tǒng)的安全性,不管在文件服務(wù)器內(nèi)用的是FC SAN或SCSI陣列。對象存儲體系結(jié)構(gòu)在每一個級別上都提供了安全性:存儲系統(tǒng)對存儲設(shè)備的認(rèn)證;存儲系統(tǒng)對計算節(jié)點的認(rèn)證;存儲系統(tǒng)對計算節(jié)點命令的認(rèn)證;所有命令都經(jīng)CRC的完整性檢查;數(shù)據(jù)和命令經(jīng)由IP的私有性。這樣的安全水平能給用戶以信心,他們可以用更經(jīng)濟(jì)高效,可管理并容易訪問的網(wǎng)絡(luò),如以太網(wǎng),作為存儲的傳輸工具,同時還提高了整個存儲體系的安全性。

“對象存儲設(shè)備并不適合所有的用戶。” Panasas公司的CTO Garth Gibson博士說。經(jīng)過幾年的努力,Panasas 在政府,科研,能源,媒體和金融服務(wù)有了很多非常成功的案例。“Panasas 是使用面向?qū)ο蟮拇鎯?,來解決計算集群的并行存儲的問題”。高性能計算和存儲專家胡家鎏教授說。

高性能計算領(lǐng)域

對象存儲體系結(jié)構(gòu)提供了一個帶有NAS系統(tǒng)的傳統(tǒng)的文件共享和管理特征的單系統(tǒng)映象(single-system-image)文件系統(tǒng),并改進(jìn)了SAN的資源整合和可擴展的性能。這種性能,可擴展性,可管理性以及安全性的結(jié)合,只能通過在存儲體系結(jié)構(gòu)上的重大革命才能被完成。

第一個支持對象體系結(jié)構(gòu)的產(chǎn)品現(xiàn)在已經(jīng)問世,它就是Panasas ActiveScale Storage Cluser (存儲集群)。

此產(chǎn)品已經(jīng)被部署在國家實驗室,地震資料處理機構(gòu),以及生物技術(shù)組織,它們都在用Linux集群去解決關(guān)鍵的科學(xué)問題,這些問題在過去是用巨型超級計算機也不能解決的。它們都期盼能解決需要高性能,可擴展的共享存儲才能解決的新問題,這種存儲在Panasas的存儲體系之前,在市場上是沒有的。Panasas存儲集群及基于對象的存儲體系結(jié)構(gòu)已經(jīng)展示了,它們能迎接由Beowolf/Linux集群計算體系結(jié)構(gòu)提出的挑戰(zhàn),在那里,傳統(tǒng)的基于SAN和DAS的產(chǎn)品都會敗下陣來。Panasas 在美國能源部(U.S.Department of Energy:DOE)、Lawrence Livermore 國家實驗室,Los Alamos國家實驗室,Sandia 國家實驗室,Pacific Northwest國家實驗室的高性能計算系統(tǒng)中已得到了初步的應(yīng)用。在全球范圍內(nèi),Panasas 對象存儲集群系統(tǒng)的性能在企業(yè)級HPC集群的關(guān)鍵應(yīng)用中得以淋漓體現(xiàn)和發(fā)揮。

OSD將來會從HPC存儲過渡成主流的企業(yè)級存儲嗎?我們拭目以待。試想,當(dāng)年SUN公司的NFS不就是從最早的技術(shù)環(huán)境走到主流商業(yè)應(yīng)用的最前線的嗎?

對象存儲成為主流

無論OSD是從HPC走到企業(yè)級應(yīng)用中,或是通過其他方式,均面臨需要被企業(yè)級的用戶所接受這樣的事實。從傳統(tǒng)的存儲變成OSD 存儲,需要在多個層面上作改變,這包括,存儲設(shè)備,存儲網(wǎng)絡(luò),文件系統(tǒng)和數(shù)據(jù)庫。

OSD 面臨著巨大的機遇。如Garth Gibson博士所講,大規(guī)模并行數(shù)據(jù)存儲的問題通過數(shù)據(jù)對象,和屬性可以得到解決。在這個時候,對象存儲的特性才得以發(fā)揮。而這些都是基于塊的存儲所不能解決的。

對象存儲可以以這種方式使用而與應(yīng)用無關(guān)。 應(yīng)用系統(tǒng)可以和以前使用文件導(dǎo)向的系統(tǒng)一樣使用,所有的工作通過文件系統(tǒng)實現(xiàn)對文件的存取。這個時候,應(yīng)用直接存儲數(shù)據(jù)對象而不是向文件系統(tǒng)寫數(shù)據(jù)。

對象存儲自誕生的那一天起已經(jīng)表現(xiàn)出其巨大的活力,它可以提供數(shù)據(jù)安全,容易的數(shù)據(jù)共享,強大的可擴展功能,完全具備走向企業(yè)級數(shù)據(jù)中心的能力。我們很高興地看到,對象存儲的國際標(biāo)準(zhǔn)已經(jīng)制定,很多全球一線的存儲廠商和服務(wù)器廠家均加入到此陣營中。各個廠家的對象存儲產(chǎn)品已經(jīng)或即將面世。但是,同時我們也看到,對象存儲全面取代傳統(tǒng)的塊存儲還需時日。

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

佛羅里達(dá)州奧蘭多 2025年5月7日 /美通社/ --SAS Innovate大會——數(shù)據(jù)與人工智能領(lǐng)先者SAS于今日宣布在SAS??Viya? 平臺推出最新產(chǎn)品,這些產(chǎn)品...

關(guān)鍵字: SAS 人工智能 智能體 VI

對象存儲和文件存儲是兩種不同的數(shù)據(jù)存儲方式,它們在數(shù)據(jù)組織方式、訪問協(xié)議、擴展性等方面存在顯著差異。?

關(guān)鍵字: 對象存儲 文件存儲

深圳2024年7月22日 /美通社/ -- 7月19日,為期三天的2024中國國際金融展(簡稱:金融展)在北京國家會議中心開幕。作為國內(nèi)領(lǐng)先的存儲解決方案提供商,憶聯(lián)攜其最新一代PCIe Gen5企業(yè)級SSD及...

關(guān)鍵字: SSD AI 數(shù)據(jù)中心 SAS

此次統(tǒng)一解決方案的引入標(biāo)志著全球同類解決方案的首次實施 利用公司全球網(wǎng)絡(luò)的覆蓋優(yōu)勢,改進(jìn)運營商級性能,提升用戶體驗 借助情境引導(dǎo)的洞察,為網(wǎng)絡(luò)流量提供...

關(guān)鍵字: COMMUNICATIONS SAS 網(wǎng)絡(luò) SE

輕量級AI定制模型助力低成本快速部署 北京2024年4月18日 /美通社/ -- 數(shù)據(jù)和人工智能(AI)領(lǐng)域的領(lǐng)先者SAS—今日在SAS Innovate大會上首次展示了一款變革性的、旨在幫助企業(yè)直面業(yè)務(wù)挑戰(zhàn)的解決方案...

關(guān)鍵字: SAS AI模型 人工智能 INNOVATE

領(lǐng)先的數(shù)據(jù)和AI平臺SAS Viya運用大語言模型的可解釋性和可集成性改善現(xiàn)有流程;SAS Data Maker將在保護(hù)敏感數(shù)據(jù)的同時解決關(guān)鍵挑戰(zhàn) 北京2024年4月18日...

關(guān)鍵字: SAS VI 生成式AI MAKER

上海2022年12月26日 /美通社/ -- 近日,專注軟件供應(yīng)鏈安全的「安勢信息」宣布已完成Pre-A輪融資。本輪融資金額在數(shù)千萬元級別,領(lǐng)投方為微智數(shù)科,晨壹投資跟投,山景資本擔(dān)任獨家財務(wù)顧問。 安勢信息...

關(guān)鍵字: 供應(yīng)鏈 軟件 ST SAS

阿姆斯特丹, Aug. 15, 2022 (GLOBE NEWSWIRE) -- 全球領(lǐng)先的托管網(wǎng)絡(luò)解決方案提供商Expereo宣布收購SD-WAN/SASE技術(shù)的托管服務(wù)提供商Breeze Networks。此次收購?fù)?..

關(guān)鍵字: SAS SE SD NETWORKS

推動癌癥精準(zhǔn)醫(yī)學(xué)的臨床治療決策 上海2022年8月10日 /美通社/ -- 近日,中山大學(xué)孫逸仙紀(jì)念醫(yī)院王銘輝教授團(tuán)隊聯(lián)合多家醫(yī)院與國內(nèi)領(lǐng)先的精準(zhǔn)醫(yī)療公司至本醫(yī)療合作,在國際權(quán)威學(xué)術(shù)雜志《自然-通訊》(Nat...

關(guān)鍵字: 通訊 COMMUNICATIONS 醫(yī)療器械 系統(tǒng)分析

溫暖童心 陪伴成長 廈門2022年6月24日 /美通社/ -- 由SM中國捐建的"兒童快樂家園"于6月23日在天津市薊州區(qū)出頭嶺鎮(zhèn)朱官屯村舉行揭牌儀式,這是繼在四川樂山、福建南平、淄博淄川、重慶石柱...

關(guān)鍵字: LAN SAS 電腦 通訊
關(guān)閉