2011年中，谷歌公布了其在2010年全年的數(shù)據(jù)中心耗電情況。根據(jù)谷歌提供的數(shù)據(jù)，這家互聯(lián)網(wǎng)公司一年的電力消耗量高達(dá)近23億千瓦時(shí)，比21萬個(gè)美國家庭一年的用電量加一塊兒還要多。據(jù)斯坦福大學(xué)的Jonathan Koomey 估計(jì)，截至2010年底，谷歌共擁有近90萬臺服務(wù)器，約占全球3%的服務(wù)器數(shù)量，但只使用全球數(shù)據(jù)中心1%的電力，目前其部分?jǐn)?shù)據(jù)中心的年均PUE約為 1.12左右，顯然谷歌數(shù)據(jù)中心的運(yùn)作比其他數(shù)據(jù)中心更為高效。我們知道除了制冷系統(tǒng)外，數(shù)據(jù)中心的供電系統(tǒng)也是能耗很大的一塊，因此有必要研究一下其供電系統(tǒng)，雖然不一定適合中國國情和一般用戶，但其理念和思路卻是非常值得借鑒的。

由于篇幅有限，變電站及中壓部分就不再展開，但其總體思路是采用中壓配電輸送到機(jī)房周邊，靠近負(fù)載就近經(jīng)變壓器降壓成低壓，再通過低壓母線輸電到機(jī)房內(nèi)的IT機(jī)柜上。從圖1我們可以看到模塊化的戶外型變壓器及低壓配電柜環(huán)繞機(jī)房周邊，采用集裝箱型的柴油發(fā)電機(jī)組作為變配電的供電投切備份，柴發(fā)風(fēng)管直立到屋頂上排風(fēng)。經(jīng)過變壓器變壓后的市電通過母線槽或者線纜直連到機(jī)房內(nèi)的機(jī)柜上方，直接給自帶分布式UPS的服務(wù)器供電。

如圖是谷歌數(shù)據(jù)中心內(nèi)部的俯視圖，從這個(gè)照片我們可以看到市電經(jīng)前面描述的室外變壓器降壓后直接通過母線槽的方式架設(shè)在每排機(jī)柜頂部，再用機(jī)柜頂部的配線盒連接到每個(gè)機(jī)柜PDU，具體細(xì)節(jié)我們后面會(huì)介紹。由于谷歌定制的服務(wù)器上自帶有分布式小UPS，因此谷歌的數(shù)據(jù)中心內(nèi)部不再有UPS室和電池室等，也沒有列頭柜等二次配電環(huán)節(jié)，每個(gè)服務(wù)器直接采用市電直供技術(shù)，達(dá)到接近99.9%的供電效率。如圖3(a)所示的每個(gè)機(jī)柜直接從機(jī)柜頂部母線槽上安裝的配線盒取電，這種供電架構(gòu)非常簡單清爽，大大減少了線纜的采購和工程施工，而且非常靈活便于機(jī)柜擴(kuò)充和帶電檢修維護(hù)等，運(yùn)營起來也非常簡單，還可以根據(jù)機(jī)柜的功率和用電可靠性情況靈活調(diào)整配線盒來滿足不同設(shè)備的供電需求。此外，變壓器、中低壓以及柴發(fā)供電外置，且無集中UPS和電池等，機(jī)房內(nèi)的空間利用率也非常高。

谷歌的帶小UPS的市電直供服務(wù)器大家都應(yīng)該非常了解了，這里不再詳述，只簡做要介紹。其原理是在服務(wù)器內(nèi)安裝底部的12V黑色鉛酸電池用于市電停電保護(hù)，市電正常時(shí)候，由于沒有外部UPS，市電直接給服務(wù)器供電，達(dá)到99.9%的供電效率;當(dāng)市電停電后，直接掛接在12V輸出上的電池短時(shí)放電，直至室外的柴發(fā)啟動(dòng)恢復(fù)服務(wù)器電源帶載。電池參與放電的時(shí)間基本不到一兩分鐘，因此電池的容量很小，大約只有3.2Ah，備電時(shí)間遠(yuǎn)遠(yuǎn)小于傳統(tǒng)數(shù)據(jù)中心15到30分鐘的電池備電需求，因此對柴發(fā)的啟動(dòng)要求很高。

我們前面知道谷歌的柴發(fā)是模塊化直接安裝在變壓器旁邊的，很有可能是低壓柴發(fā)，其啟動(dòng)很快。而且每臺柴發(fā)對應(yīng)一個(gè)變壓器，沒有復(fù)雜的柴發(fā)并機(jī)以及啟動(dòng)時(shí)序等問題，因此正常情況下柴發(fā)啟動(dòng)時(shí)間可以控制在十幾秒以內(nèi)，一兩分鐘的電池備電時(shí)間基本上是夠了，但這對運(yùn)維水平要求就非常高了。當(dāng)然谷歌的軟件架構(gòu)和業(yè)務(wù)備份方面也足夠強(qiáng)壯，甚至部分設(shè)備停電也不會(huì)影響到業(yè)務(wù)正常運(yùn)行，因此只有強(qiáng)大的技術(shù)實(shí)力才可以采用這種供電架構(gòu)。

如圖是谷歌三聯(lián)柜102a-c的正視圖，以及頂部配電系統(tǒng)100，后者不僅給三聯(lián)柜服務(wù)器供電，還給相關(guān)的空調(diào)等支撐設(shè)備供電，比如機(jī)柜頂部的風(fēng)扇等。三聯(lián)柜底部裝有滾輪105，用于支撐機(jī)柜，并且方便現(xiàn)場運(yùn)營人員靈活搬運(yùn)，每個(gè)機(jī)柜高度約為30個(gè)導(dǎo)軌，估計(jì)每個(gè)設(shè)備高度約1.5U，總計(jì)高度45U左右，整個(gè)三聯(lián)柜總共有90個(gè)設(shè)備安裝空間。這種設(shè)計(jì)使得整個(gè)三聯(lián)柜不會(huì)太高，無需凳子或者梯子等來協(xié)助。三聯(lián)柜橫向?qū)挾确矫嬉膊粫?huì)太寬，叉車等工具可以簡易搬遷，甚至現(xiàn)場安裝人員可以徒手在數(shù)據(jù)中心內(nèi)很容易搬動(dòng)到需要的地方。

空氣循環(huán)單元107會(huì)被安裝在背靠背的兩組三聯(lián)柜之間，該單元包含兩組三聯(lián)柜之間的鎖固框架，以及一到兩個(gè)的空調(diào)盤管，還有熱通道頂部的一些風(fēng)扇等。三聯(lián)柜排出的熱空氣可以進(jìn)入框架內(nèi)，然后被空調(diào)盤管制冷，最后從頂部的風(fēng)扇被吹回整個(gè)機(jī)房冷環(huán)境中。空氣循環(huán)單元107的框架上還架設(shè)有支撐架108，支撐架 108用于安裝線槽110和112等，分別用于布設(shè)供電線纜和光纖或銅纜等?？諝庋h(huán)單元上還有一些網(wǎng)線等，用于控制風(fēng)扇的轉(zhuǎn)速，并將收集到的壓力、溫度、設(shè)備故障信息等送回到機(jī)房監(jiān)控中。

三聯(lián)柜頂部的配電系統(tǒng)100則包括 IT機(jī)柜供電的配線盒116，該配線盒向上可通過118接入口從一根或者兩根供電母排上獲得電力，向下則通過配電空開122以及線纜120等給102a- c的三聯(lián)柜每個(gè)機(jī)柜分別供電。比如每個(gè)機(jī)柜有三根線120到機(jī)柜PDU，那么122配電空開就總共有9個(gè)微斷連接到9條輸出線纜120上，或者3個(gè)3P的空開。

由于三聯(lián)柜通常都是工廠預(yù)制并安裝好TOR的整機(jī)柜，當(dāng)三聯(lián)柜被滾動(dòng)安裝鎖固在空氣循環(huán)框架107后，就可以直接從線槽110或者 112上連接上聯(lián)光纖。然后供電的配線盒116向上則從供電母線取電，向下則給三聯(lián)柜機(jī)柜的 PDU供電。最后等所有的線纜都連接好并帶電后，三聯(lián)柜內(nèi)的服務(wù)器上電開始加載系統(tǒng)開始工作。如前面所述，每個(gè)機(jī)柜有30個(gè)導(dǎo)軌安裝30臺服務(wù)器，每個(gè)機(jī)柜采用三相空開，每相空開帶載10臺設(shè)備，每組三聯(lián)柜共有9路輸出空開，如果任何部分發(fā)生故障，那么最多也只會(huì)影響到1/9的設(shè)備，在保證人身安全的同時(shí)，盡量縮小故障影響面。

圖 5(a)是谷歌三聯(lián)柜更為詳細(xì)的展示，三聯(lián)柜202a-c內(nèi)的三個(gè)機(jī)柜整個(gè)連為一體，導(dǎo)軌205用于支撐服務(wù)器的安裝。標(biāo)識為204a-c為機(jī)柜上的 PDU垂直安裝在機(jī)柜前面的左側(cè)，PDU上有30個(gè)左右的母頭插座用于安裝服務(wù)器電源插頭。由于PDU和服務(wù)器非?？拷?，而且插座基本平齊于服務(wù)器前面板，因此可以采用非常短的電源線用于連接服務(wù)器和PDU，電源線纜安裝美觀且管理方便。圖5(b)是安裝了服務(wù)器的三聯(lián)柜，這些服務(wù)器可以是計(jì)算、存儲等各種類型的IT設(shè)備。整個(gè)三聯(lián)柜通過底部的滾輪方便搬運(yùn)和安裝，并且這些三聯(lián)柜以及要安裝的服務(wù)器會(huì)以整機(jī)柜的方式在工廠整體安裝調(diào)試好，搬運(yùn)到現(xiàn)場后整體交付，即插即用，滿足快速部署和建設(shè)的需求。

圖 6(a)是PDU及機(jī)柜一角的俯視圖，其中302是用于支撐待安裝服務(wù)器的導(dǎo)軌，而304則是PDU的支撐架，用于固定垂直的PDU 306到機(jī)柜上。PDU內(nèi)部包含三根導(dǎo)線308、310和312，每根導(dǎo)線連接PDU上1/3的插座，比如導(dǎo)線312連接到PDU頂部的10個(gè)插座 314，310負(fù)責(zé)中間的10個(gè)插座，而308則負(fù)責(zé)底部的10個(gè)插座。圖6(b)則描述了服務(wù)器主板316被安裝在導(dǎo)軌302上，以及和PDU的電源線連接示意。服務(wù)器 316通過電源線320以及電源插頭318從PDU上取電，當(dāng)然這里電源線只是示意，實(shí)際上谷歌的服務(wù)器電源往往安裝在熱通道側(cè)，電源線穿過服務(wù)器到機(jī)柜前面的冷通道來取電，滿足谷歌服務(wù)器全正面冷通道維護(hù)的需求。圖6(c)更為詳細(xì)的展示了導(dǎo)軌302和PDU 306之間的位置，插座314和導(dǎo)軌302 一一對應(yīng)逐個(gè)匹配，所以服務(wù)器電源線可以就近很好得連結(jié)到每個(gè)插座，當(dāng)然如果有需要，也可能會(huì)有冗余的插座用于安裝其他需要的設(shè)備，比如交換機(jī)等。

圖7是PDU的示意圖，整條PDU分為6個(gè)子部分，從402到412，每個(gè)子部分則包含5個(gè)插座。當(dāng)然也可以分成其他數(shù)量的子部分和不同的插座數(shù)，但每個(gè)子部分之間是沒有直接電氣連接的，且每個(gè)部分會(huì)設(shè)置有獨(dú)立的空開或者熔絲等來保護(hù)該子部分。標(biāo)識為418、420和422的三個(gè)插座是三個(gè)電氣連接口，用于整條PDU從低壓母線排上的配線盒來取電。比如前面的例子，418輸入的電源線會(huì)覆蓋到2個(gè)PDU子部分，共連接10個(gè)插座。同樣的，420和 422 輸入也各覆蓋10個(gè)插座。PDU上還安裝有部分的熔絲保護(hù)槽414，用于安裝和快速更換熔絲。比如，圖7中414熔絲槽內(nèi)的熔絲可以用于保護(hù)和隔離406 部分的5個(gè)插座。如果406子部分5個(gè)插座的總負(fù)載電流不超過15A，那么418的輸入線纜會(huì)選擇載流量為30A的電源線，整條PDU則可以承載 3*30A的IT負(fù)荷。在230Vac到240Vac供電情況下，418輸入會(huì)選擇10AWG或者4mm^2的線纜。根據(jù)谷歌服務(wù)器300到400瓦的典型功率，單機(jī)柜功率約在9-12KW附近。此外，上級配線盒內(nèi)會(huì)選擇容量較大，而且動(dòng)作響應(yīng)時(shí)間較慢的開關(guān)，這種情況下靠近負(fù)載的熔絲會(huì)在故障發(fā)生時(shí)先于上級的開關(guān)動(dòng)作，快速切斷負(fù)載，并且確保不會(huì)影響到上級開關(guān)，這種上下級開關(guān)和熔絲的選擇性問題會(huì)在后面詳細(xì)描述。

圖 8是標(biāo)識為600的PDU內(nèi)部電路圖，包含三根導(dǎo)線602、604和606，每根導(dǎo)線及其分支都會(huì)連接到共兩根熔絲上，每根熔絲又覆蓋5個(gè)插座，這樣每根導(dǎo)線覆蓋10個(gè)插座。每根熔絲的載流量也不能選擇過大，以至于不能保護(hù)其上級連接的線纜和空開等。比如導(dǎo)線602的上級空開為30A的微斷，那么熔絲就必須選擇小于15A的，這樣確保兩根熔絲的載流量不會(huì)超過上級空開30A的分?jǐn)嗄芰?。同時(shí)選擇快熔型熔絲，以保證機(jī)柜PDU內(nèi)配置的熔絲動(dòng)作時(shí)間小于配電箱內(nèi)上級微型斷路器的動(dòng)作時(shí)間。5個(gè)插座對應(yīng)1個(gè)熔絲，熔絲槽設(shè)計(jì)便于熔絲維護(hù)更換，以減少修復(fù)時(shí)間。采用這種一根熔絲只帶5個(gè)插座的設(shè)計(jì)，保證了任意一臺服務(wù)器的電源短路故障只會(huì)影響到該子部分的5臺服務(wù)器，避免該短路故障擴(kuò)散到整個(gè)機(jī)架。同時(shí)熔絲可在PDU的熔絲槽內(nèi)快速更換，也減少了被影響服務(wù)器的故障修復(fù)時(shí)間。

圖9(a)展示了帶9P空開的配線盒正視圖，輸入線纜706可從母排或者配電柜取電，其線徑可選擇AWG 2號線或者載流量達(dá)到100A的線纜。配線盒面板上有9個(gè)型號為Leviton L6-30R的輸出母頭和9P控制空開。配線盒側(cè)面還有個(gè)線纜捆扎鉤720，用于輸出線纜的捆扎整理，線纜美觀的同時(shí)還能減少下垂線纜的重量對配線盒的拉伸應(yīng)力。圖9(b)則展示了配線盒內(nèi)部的配線排細(xì)節(jié)，比如輸入配線排將輸入的三根火線分配到9個(gè)空開上，還有中線排和地線排等用于9個(gè)支路的輸出，并且接地排同時(shí)還會(huì)連接到配線盒外殼上作為接地保護(hù)。圖9(c)則是配線盒的側(cè)視圖，展示了輸出線纜如何掛接在線纜鉤上，減少線纜重量對線纜輸出接頭的拉伸應(yīng)力。這種配線盒設(shè)計(jì)有效節(jié)省了機(jī)房空間，并滿足快速部署需求。

圖10是四組三聯(lián)柜以及頂部配電盒的示意圖，每組三聯(lián)柜1002從機(jī)柜頂部帶9路輸出的IT配線盒1006上取電。除此之外，三聯(lián)柜頂部還有另外一個(gè)帶12路輸出的空調(diào)配線盒1010，用于給背靠背兩排機(jī)柜間熱通道頂部的置頂空調(diào)風(fēng)機(jī)供電，后面會(huì)有詳細(xì)介紹。

圖11是前面圖10中四組三聯(lián)柜及其配電部分的俯視圖，同樣的，帶9路輸出的IT配線盒1106給三聯(lián)柜1102供電，而帶12路輸出的空調(diào)配線盒 1110則是給熱通道頂部置頂空調(diào)的3個(gè)大風(fēng)扇供電。不管是1106的IT機(jī)柜供電配線盒還是1110的空調(diào)風(fēng)扇供電配線盒都是通過供電線纜從兩排機(jī)柜中間頂部的供電母排114上取電。

置頂空調(diào)1118包含了標(biāo)識為1120的3 個(gè)散熱風(fēng)扇和標(biāo)識為1122的變頻驅(qū)動(dòng)控制器，后者用于控制風(fēng)扇的轉(zhuǎn)速，同時(shí)將置頂空調(diào)的故障信息上傳到機(jī)房監(jiān)控中。帶12路輸出的空調(diào)配線盒1110中的9路輸出用于給三個(gè)大風(fēng)扇供電，而剩余的3路輸出則給風(fēng)扇驅(qū)動(dòng)控制器供電。而置頂空調(diào)1118的6個(gè)風(fēng)扇及兩個(gè)控制器分別從兩套12路輸出空調(diào)配線盒 1110來供電，每邊各一個(gè)，避免某個(gè)配線盒故障導(dǎo)致整個(gè)空調(diào)停機(jī)，來提高空調(diào)系統(tǒng)的可靠性。

置頂空調(diào)1118的寬度或者相鄰空調(diào)之間的距離和三聯(lián)柜1104的寬度可能會(huì)不一樣，或者說下圖的橫向方向上置頂空調(diào)的數(shù)量和三聯(lián)柜的數(shù)量可以一樣，也可能不一樣，這種配置會(huì)隨著三聯(lián)柜功率的不同靈活調(diào)整。比如三聯(lián)柜1104放置高功率服務(wù)器情況下，置頂空調(diào)和三聯(lián)柜會(huì)一一對應(yīng)逐個(gè)排開，但如果三聯(lián)柜 1104改上架低功率的服務(wù)器后，可能會(huì)少安裝一些置頂空調(diào)1118，這些空缺出來的空調(diào)位置可以通過通道頂部的一整塊鐵皮來封堵。由于整排機(jī)柜共享熱通道，也共享冷通道，那么置頂空調(diào)空缺出來位置的熱空氣會(huì)橫向流動(dòng)或者上下流動(dòng)，依靠旁邊的置頂空調(diào)風(fēng)扇來散熱。還有整個(gè)機(jī)房大環(huán)境是冷通道，那么彌散在整個(gè)房間內(nèi)的冷氣可以較為均勻地被全部服務(wù)器風(fēng)扇吸入，很少出現(xiàn)局部熱點(diǎn)。

圖 12是數(shù)據(jù)中心機(jī)柜、空調(diào)和配電部分的剖面圖，整個(gè)機(jī)房的底部是架空地板1202和頂部的天花1204，整個(gè)機(jī)房的核心部分由兩排機(jī)柜1206a和 1206b以及置頂空調(diào)1208、9路輸出的配線盒1210a和1210b、12路輸出的配線盒1212以及母線排1214構(gòu)成。兩排機(jī)柜1206a和 1206b從9路輸出的配線盒1210a和1210b來取電，兩排機(jī)柜后面熱通道頂部則為置頂空調(diào)1208，其包括6個(gè)軸流風(fēng)機(jī)1218、一對風(fēng)扇控制器 1220以及一對散熱盤管1222。每組風(fēng)扇和控制器從帶12路輸出的配線盒1212上取電。頂部的母線排可能的載流量約為1000A，覆蓋多組三聯(lián)柜機(jī)柜和置頂空調(diào)單元。

正常工作情況下，1206a-b的服務(wù)器散發(fā)出來的熱量進(jìn)入共享的熱通道內(nèi)，經(jīng)過盤管1222制冷后，被熱通道頂部的風(fēng)機(jī)1218吹回到整個(gè)機(jī)房大冷環(huán)境內(nèi)，再重新被服務(wù)器風(fēng)扇吸入，不斷循環(huán)，機(jī)房大冷池環(huán)境如圖13(a)所示。或者如果剛好部分機(jī)柜頂部沒有風(fēng)扇或者該風(fēng)扇出現(xiàn)故障，則該機(jī)柜散發(fā)出來的熱量會(huì)橫向流動(dòng)到相鄰帶風(fēng)扇的空調(diào)(比如進(jìn)入或者流出此正視圖)被相鄰的空調(diào)給制冷，共享熱通道內(nèi)部如圖13(b)所示，這種冷通道和熱通道共享的機(jī)制可以大大減少制冷系統(tǒng)的局部故障，提高系統(tǒng)可靠性。

圖 12(b)是實(shí)際部署機(jī)柜上電的流程圖，首先1302步驟在工廠將每臺服務(wù)器上架并連好電源線到PDU上，然后是1304步驟將整機(jī)柜運(yùn)送到機(jī)房現(xiàn)場泊位，在對應(yīng)位置固定安裝好整機(jī)柜并連好機(jī)柜接地線，接著是1306步驟在供電母線上安裝IT機(jī)柜供電配線盒，并在1308步驟上連接每個(gè)機(jī)柜PDU和頂部配線盒，于1310步驟給配線盒總閘合閘上電，最后在1312步驟給每個(gè)機(jī)柜的PDU供電開啟機(jī)柜服務(wù)器。我們之前在文章《谷歌的服務(wù)器內(nèi)置UPS技術(shù)介紹》中了解到其服務(wù)器電源的內(nèi)部作了上電隨機(jī)延遲設(shè)計(jì)，因此不會(huì)在整機(jī)柜合閘的瞬間導(dǎo)致大電流沖垮熔絲或者支路空開，或者也可以在遠(yuǎn)程后臺逐個(gè)上電，避免同時(shí)上電的啟動(dòng)沖擊。

圖14是谷歌數(shù)據(jù)中心內(nèi)部的實(shí)際照片局部，很多前面介紹的技術(shù)細(xì)節(jié)體現(xiàn)在這個(gè)圖片中，可以看到頂部母排及配線盒，中間是線纜托架及空調(diào)，下面為30U高服務(wù)器機(jī)柜，每臺1.5U高，機(jī)柜深度約700mm，冷通道為2塊磚1200mm寬。服務(wù)器市電直供，機(jī)柜頂部的交換機(jī)由白色小UPS帶，30孔PDU，5個(gè)熔絲槽一拖六，供電PDU和銅纜理線器一側(cè)，帶專門的理線槽，并采用不同顏色的網(wǎng)線區(qū)別相應(yīng)的功能，總體較為美觀整齊。

綜上，本文簡單介紹了谷歌數(shù)據(jù)中心的供電架構(gòu)，有些盲人摸象，泛泛介紹了些內(nèi)容，很多技術(shù)細(xì)節(jié)還有待進(jìn)一步充實(shí)。但從我們了解的有限知識內(nèi)，這個(gè)架構(gòu)是對傳統(tǒng)數(shù)據(jù)中心供電架構(gòu)的顛覆，摒除了傳統(tǒng)上依靠UPS等硬件冗余的低效率模式，追求能效無極限。同時(shí)還在高效建設(shè)、便捷運(yùn)營以及系統(tǒng)可靠性等方面也有很多亮點(diǎn)。雖然這種完全定制的市電直供架構(gòu)不一定適合國內(nèi)數(shù)據(jù)中心用戶，但其低成本、簡單、高效的模塊化建設(shè)思路非常值得國內(nèi)學(xué)習(xí)。