40 年代開(kāi)始的現(xiàn)代計(jì)算機(jī)發(fā)展歷程可以分為兩個(gè)明顯的發(fā)展時(shí)代：串行計(jì)算時(shí)代、并行計(jì)算時(shí)代。每一個(gè)計(jì)算時(shí)代都從體系結(jié)構(gòu)發(fā)展開(kāi)始，接著是系統(tǒng)軟件(特別是編譯器與操作系統(tǒng))、應(yīng)用軟件，最后隨著問(wèn)題求解環(huán)境的發(fā)展而達(dá)到頂峰。創(chuàng)建和使用并行計(jì)算機(jī)的主要原因是因?yàn)椴⑿杏?jì)算機(jī)是解決單處理器速度瓶頸的最好方法之一。并行計(jì)算機(jī)是由一組處理單元組成的，這組處理單元通過(guò)相互之間的通信與協(xié)作，以更快的速度共同完成一項(xiàng)大規(guī)模的計(jì)算任務(wù)。因此，并行計(jì)算機(jī)的兩個(gè)最主要的組成部分是計(jì)算節(jié)點(diǎn)和節(jié)點(diǎn)間的通信與協(xié)作機(jī)制。并行計(jì)算機(jī)體系結(jié)構(gòu)的發(fā)展也主要體現(xiàn)在計(jì)算節(jié)點(diǎn)性能的提高以及節(jié)點(diǎn)間通信技術(shù)的改進(jìn)兩方面。60 年代初期，由于晶體管以及磁芯存儲(chǔ)器的出現(xiàn)，處理單元變得越來(lái)越小，存儲(chǔ)器也更加小巧和廉價(jià)。這些技術(shù)發(fā)展的結(jié)果導(dǎo)致了并行計(jì)算機(jī)的出現(xiàn)，這一時(shí)期的并行計(jì)算機(jī)多是規(guī)模不大的共享存儲(chǔ)多處理器系統(tǒng)，即所謂大型主機(jī)(Mainframe)。

IBM360 是這一時(shí)期的典型代表。到了60 年代末期，同一個(gè)處理器開(kāi)始設(shè)置多個(gè)功能相同的功能單元，流水線技術(shù)也出現(xiàn)了。與單純提高時(shí)鐘頻率相比，這些并行特性在處理器內(nèi)部的應(yīng)用大大提高了并行計(jì)算機(jī)系統(tǒng)的性能。伊利諾依大學(xué)和Burroughs 公司此時(shí)開(kāi)始實(shí)施IlliacIV 計(jì)劃，研制一臺(tái)64 個(gè)CPU 的SIMD 主機(jī)系統(tǒng)，它涉及到硬件技術(shù)、體系結(jié)構(gòu)、I/O 設(shè)備、操作系統(tǒng)、程序設(shè)計(jì)語(yǔ)言直至應(yīng)用程序在內(nèi)的眾多研究課題。不過(guò)，當(dāng)一臺(tái)規(guī)模大大縮小了的16CPU 系統(tǒng)終于在1975 年面世時(shí)，整個(gè)計(jì)算機(jī)界已經(jīng)發(fā)生了巨大變化。首先是存儲(chǔ)系統(tǒng)概念的革新，提出虛擬存儲(chǔ)和緩存的思想。IBM360/85 系統(tǒng)與360/91是屬于同一系列的兩個(gè)機(jī)型，360/91 的主頻高于360/85，所選用的內(nèi)存速度也較快，并且采用了動(dòng)態(tài)調(diào)度的指令流水線;但是，360/85 的整體性能卻高于360/91，唯一的原因就是前者采用了緩存技術(shù)，而后者則沒(méi)有。其次是半導(dǎo)體存儲(chǔ)器開(kāi)始代替磁芯存儲(chǔ)器。最初，半導(dǎo)體存儲(chǔ)器只是在某些機(jī)器被用作緩存，而CDC7600 則率先全面采用這種體積更小、速度更快、可以直接尋址的半導(dǎo)體存儲(chǔ)器，磁芯存儲(chǔ)器從此退出了歷史舞臺(tái)。與此同時(shí)，集成電路也出現(xiàn)了，并迅速應(yīng)用到了計(jì)算機(jī)中。元器件技術(shù)的這兩大革命性突破，使得IlliacIV 的設(shè)計(jì)者們?cè)诘讓佑布约安⑿畜w系結(jié)構(gòu)方面提出的種種改進(jìn)都大為遜色。

1976 年CRAY-1 問(wèn)世以后，向量計(jì)算機(jī)從此牢牢地控制著整個(gè)高性能計(jì)算機(jī)市場(chǎng)15 年。CRAY-1 對(duì)所使用的邏輯電路進(jìn)行了精心的設(shè)計(jì)，采用了我們?nèi)缃穹Q為RISC 的精簡(jiǎn)指令集，還引入了向量寄存器，以完成向量運(yùn)算。這一系列全新技術(shù)手段的使用，使CRAY-1 的主頻達(dá)到了80MHz。微處理器隨著機(jī)器的字長(zhǎng)從4 位、8 位、16 位一直增加到32 位，其性能也隨之顯著提高。正是因?yàn)榭吹搅宋⑻幚砥鞯倪@種潛力，卡內(nèi)基- 梅隆大學(xué)開(kāi)始在當(dāng)時(shí)流行的DECPDP11 小型計(jì)算機(jī)的基礎(chǔ)上研制成功一臺(tái)由16 個(gè)PDP11/40 處理機(jī)通過(guò)交叉開(kāi)關(guān)與16 個(gè)共享存儲(chǔ)器模塊相連接而成的共享存儲(chǔ)多處理器系統(tǒng)C.mmp。

從80 年代開(kāi)始，微處理器技術(shù)一直在高速前進(jìn)。稍后又出現(xiàn)了非常適合于SMP 方式的總線協(xié)議，而伯克利加州大學(xué)則對(duì)總線協(xié)議進(jìn)行了擴(kuò)展，提出了Cache 一致性問(wèn)題的處理方案。從此，C.mmp 開(kāi)創(chuàng)出的共享存儲(chǔ)多處理器之路越走越寬;現(xiàn)在，這種體系結(jié)構(gòu)已經(jīng)基本上統(tǒng)治了服務(wù)器和桌面工作站市場(chǎng)。同一時(shí)期，基于消息傳遞機(jī)制的并行計(jì)算機(jī)也開(kāi)始不斷涌現(xiàn)。80 年代中期，加州理工成功地將64 個(gè)i8086/i8087 處理器通過(guò)超立方體互連結(jié)構(gòu)連結(jié)起來(lái)。此后，便先后出現(xiàn)了Intel iPSC 系列、INMOS Transputer 系列，Intel Paragon 以及IBM SP 的前身Vulcan 等基于消息傳遞機(jī)制的并行計(jì)算機(jī)。

80 年代末到90 年代初，共享存儲(chǔ)器方式的大規(guī)模并行計(jì)算機(jī)又獲得了新的發(fā)展。IBM將大量早期RISC 微處理器通過(guò)蝶形互連網(wǎng)絡(luò)連結(jié)起來(lái)。人們開(kāi)始考慮如何才能在實(shí)現(xiàn)共享存儲(chǔ)器緩存一致的同時(shí)，使系統(tǒng)具有一定的可擴(kuò)展性(Scalability)。90 年代初期，斯坦福大學(xué)提出了DASH 計(jì)劃，它通過(guò)維護(hù)一個(gè)保存有每一緩存塊位置信息的目錄結(jié)構(gòu)來(lái)實(shí)現(xiàn)分布式共享存儲(chǔ)器的緩存一致性。后來(lái)，IEEE 在此基礎(chǔ)上提出了緩存一致性協(xié)議的標(biāo)準(zhǔn)。90 年代以來(lái)，主要的幾種體系結(jié)構(gòu)開(kāi)始走向融合。屬于數(shù)據(jù)并行類型的CM-5 除大量采用商品化的微處理器以外，也允許用戶層的程序傳遞一些簡(jiǎn)單的消息;CRAY T3D是一臺(tái)NUMA 結(jié)構(gòu)的共享存儲(chǔ)型并行計(jì)算機(jī)，但是它也提供了全局同步機(jī)制、消息隊(duì)列機(jī)制，并采取了一些減少消息傳遞延遲的技術(shù)。隨著商品化微處理器、網(wǎng)絡(luò)設(shè)備的發(fā)展，以及MPI/PVM 等并行編程標(biāo)準(zhǔn)的發(fā)布，機(jī)群架構(gòu)的并行計(jì)算機(jī)出現(xiàn)。IBM SP2 系列機(jī)群系統(tǒng)就是其中的典型代表。在這些系統(tǒng)中，各個(gè)節(jié)點(diǎn)采用的都是標(biāo)準(zhǔn)的商品化計(jì)算機(jī)，它們之間通過(guò)高速網(wǎng)絡(luò)連接起來(lái)。

越來(lái)越多的并行計(jì)算機(jī)系統(tǒng)采用商品化的微處理器加上商品化的互連網(wǎng)絡(luò)構(gòu)造，這種分布存儲(chǔ)的并行計(jì)算機(jī)系統(tǒng)稱為機(jī)群。國(guó)內(nèi)幾乎所有的高性能計(jì)算機(jī)廠商都生產(chǎn)這種具有極高性能價(jià)格比的高性能計(jì)算機(jī)，并行計(jì)算機(jī)就進(jìn)入了一個(gè)新的時(shí)代，并行計(jì)算的應(yīng)用達(dá)到了前所未有的廣度和深度。并行計(jì)算機(jī)隨著微處理芯片的發(fā)展，已經(jīng)進(jìn)入了一個(gè)新時(shí)代。并行計(jì)算機(jī)的性能已經(jīng)突破20PFLOPS，正在向百億億次發(fā)展。我國(guó)并行計(jì)算機(jī)的研制已經(jīng)走在世界前列。2003年由聯(lián)想公司生產(chǎn)的深騰6800 在2003 年11 月世界TOP500 排名中位列第14 名，2004 年曙光公司生產(chǎn)的曙光4000A 在2004 年6 月的世界TOP500 排名中位列第10 名，這是我國(guó)公開(kāi)發(fā)布的高性能計(jì)算機(jī)在世界TOP500 中首次進(jìn)入前十名，這標(biāo)志著我國(guó)在并行計(jì)算機(jī)系統(tǒng)的研制和生產(chǎn)中已經(jīng)趕上了國(guó)際先進(jìn)水平，為提高我國(guó)的科學(xué)研究水平奠定了物質(zhì)基礎(chǔ)。2013年國(guó)際超級(jí)計(jì)算機(jī)大會(huì)最新發(fā)布的世界超級(jí)計(jì)算機(jī)500強(qiáng)排名中，國(guó)防科技大學(xué)研制的天河二號(hào)超級(jí)計(jì)算機(jī)系統(tǒng)，以峰值計(jì)算速度每秒5.49億億次、持續(xù)計(jì)算速度每秒3.39億億次雙精度浮點(diǎn)運(yùn)算的優(yōu)異性能位居榜首。從TOP500 的前10 名來(lái)看，美國(guó)仍然是超級(jí)計(jì)算機(jī)的最大擁有者。按照世界TOP500 的統(tǒng)計(jì)數(shù)據(jù)來(lái)分析，美國(guó)在計(jì)算能力上占有近全世界的一半，在TOP500 中的所有計(jì)算機(jī)中擁有的數(shù)量超過(guò)50%