應(yīng)用趨勢(shì)、器件技術(shù)和系統(tǒng)結(jié)構(gòu)的發(fā)展驅(qū)動(dòng)了信息技術(shù)的進(jìn)步。然而，這一進(jìn)步的早期引擎——摩爾定律和登納德縮放定律(Dennard scaling)——收益正在快速地變得越來(lái)越小。計(jì)算機(jī)界已經(jīng)直接面臨新的挑戰(zhàn)：如何確保信息技術(shù)有一個(gè)堅(jiān)實(shí)的未來(lái)。

在過(guò)去幾年，計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域的學(xué)者進(jìn)行了一些愿景規(guī)劃的活動(dòng)。五年前，計(jì)算社區(qū)聯(lián)盟(Computing Community Consortium)發(fā)布了一篇《21世紀(jì)的計(jì)算機(jī)架構(gòu)》白皮書(shū)，影響了學(xué)術(shù)界和工業(yè)界的項(xiàng)目資助計(jì)劃。最近，《IEEE重啟計(jì)算倡議》一文又從體系結(jié)構(gòu)、器件和電路等方面探索計(jì)算系統(tǒng)的未來(lái)。

本文將努力延續(xù)這一話題的討論，深入接觸應(yīng)用和器件/電路學(xué)界，了解他們的趨勢(shì)和愿景。我們的目標(biāo)是發(fā)現(xiàn)彌合應(yīng)用領(lǐng)域和器件領(lǐng)域之間的鴻溝的機(jī)遇。

為什么現(xiàn)在要做這件事?因?yàn)榻迥陙?lái)發(fā)生了許多變化，尤其是以下五個(gè)方面：

1.硬件和應(yīng)用的專用化鴻溝?，F(xiàn)有的硬件性能與應(yīng)用需求之間存在顯著的專用化差距。一些應(yīng)用，諸如虛擬現(xiàn)實(shí)和自治系統(tǒng)等，在沒(méi)有專用硬件的支持下無(wú)法實(shí)現(xiàn)，但設(shè)計(jì)專用硬件仍然既昂貴又困難。

2.云計(jì)算。目前無(wú)處不在的云計(jì)算提供了一種清晰的“創(chuàng)新抽象”。云創(chuàng)造了巧妙且跨層次優(yōu)化成本效益的規(guī)模經(jīng)濟(jì)。云經(jīng)常是透明地提供這些創(chuàng)新，對(duì)最小的創(chuàng)業(yè)公司和新興企業(yè)也是如此。

3.垂直化趨勢(shì)。采用芯片疊加和整體制造的垂直化三維集成制造工藝，使硅基片變得更厚，顯著降低了延遲，增加了帶寬，提高了能效。

4.更接近物理層。器件與電路學(xué)者們正在努力探索新型材料，這些材料可以實(shí)現(xiàn)更加有效的信號(hào)轉(zhuǎn)換、更加密集的布局方式及新的計(jì)算模型，例如，混合信號(hào)、碳納米管、量子力學(xué)效應(yīng)、生物聚合物等。

5.機(jī)器學(xué)習(xí)作為核心負(fù)載已經(jīng)興起。機(jī)器學(xué)習(xí)技術(shù)，諸如深度學(xué)習(xí)，讓系統(tǒng)設(shè)計(jì)者驚喜地發(fā)現(xiàn)其可以用于許多方面，例如用戶偏好預(yù)測(cè)、計(jì)算機(jī)視覺(jué)和自主導(dǎo)航等。

專用化的鴻溝：硬件設(shè)計(jì)大眾化

為了延續(xù)計(jì)算機(jī)工業(yè)創(chuàng)新的光榮歷史，開(kāi)發(fā)硬件必須像開(kāi)發(fā)軟件一樣簡(jiǎn)單、便宜和靈活。

廣泛和新興的看法一直認(rèn)為，經(jīng)典的CMOS工藝縮放路線——基于晶體管越來(lái)越小、集成度越來(lái)越高的摩爾定律的技術(shù)引擎——將在不到3代半導(dǎo)體工藝(6~9年)之后面臨終結(jié)。而且，登納德縮放——隨著CMOS的集成度提高但能夠使每個(gè)芯片的功耗保持不變的技術(shù)趨勢(shì)——也將在21世紀(jì)中葉終結(jié)，這將導(dǎo)致處理器設(shè)計(jì)的巨大變革：運(yùn)算能效已經(jīng)取代面積效率或峰值邏輯門開(kāi)關(guān)，成為最重要的一項(xiàng)限制峰值性能的設(shè)計(jì)約束。

從近期工業(yè)界的動(dòng)向中可以窺見(jiàn)到經(jīng)典工藝縮放路線即將到來(lái)的后果。例如，英特爾已經(jīng)放棄了長(zhǎng)期奉行的“工藝年-構(gòu)架年(tick-tock)”開(kāi)發(fā)模式，從原先每代工藝推出兩款主要芯片設(shè)計(jì)，現(xiàn)已改為三款。這個(gè)改變意在通過(guò)維系“茍延殘喘”的摩爾定律從而延長(zhǎng)每代產(chǎn)品的市場(chǎng)壽命。更有甚者，美國(guó)半導(dǎo)體行業(yè)協(xié)會(huì)(Semiconductor Industry Association)也已放棄維持了數(shù)十年、每?jī)赡旮乱淮蔚膰?guó)際半導(dǎo)體技術(shù)路線圖(International Technology Roadmap for Semiconductors， ITRS)的老傳統(tǒng)，這一技術(shù)文檔為整個(gè)半導(dǎo)體產(chǎn)業(yè)界協(xié)調(diào)技術(shù)、制造與系統(tǒng)開(kāi)發(fā)提供了指導(dǎo)。由于沒(méi)有明確的方向維系縮放路線，ITRS的價(jià)值也在逐漸衰退。

然而，新應(yīng)用的不斷涌現(xiàn)，對(duì)計(jì)算能力的需求在日益增長(zhǎng)。其中最突出的就是那些由大規(guī)模機(jī)器學(xué)習(xí)所驅(qū)動(dòng)的、從前難以想象的應(yīng)用：從圖像和語(yǔ)音識(shí)別到無(wú)人駕駛汽車，再到擊敗圍棋頂尖高手。同樣可以看到對(duì)視覺(jué)數(shù)據(jù)處理和理解的需求的爆發(fā)式增長(zhǎng)，有些前瞻性應(yīng)用或許要求為世界上每個(gè)人提供每秒千兆像素級(jí)的運(yùn)算能力。

過(guò)往計(jì)算技術(shù)的進(jìn)步主要來(lái)源于對(duì)通用計(jì)算設(shè)計(jì)的巨大投入，而這些設(shè)計(jì)依賴于經(jīng)典的縮放路線，并且完全由少數(shù)幾家處理器制造商完成。得益于這些通用設(shè)計(jì)的計(jì)算機(jī)應(yīng)用綜合市場(chǎng)的龐大體量，足以分?jǐn)傔@些廠商的大量投入。

隨著傳統(tǒng)縮放路線的衰落，只通過(guò)改進(jìn)少數(shù)通用計(jì)算平臺(tái)將無(wú)法繼續(xù)滿足新興應(yīng)用對(duì)計(jì)算性能的需求。相反，在過(guò)去的5~10年里，在一些計(jì)算密集型應(yīng)用領(lǐng)域，一種新的性能優(yōu)化手段策略已經(jīng)興起——專用硬件設(shè)計(jì)。與在通用處理芯片上運(yùn)行軟件的方案相比，專用硬件方案(如專用集成電路)單位操作上可提高能效10000倍。此能效的提升對(duì)于新興的物聯(lián)網(wǎng)的豐富應(yīng)用是至關(guān)重要的。專用化已經(jīng)在圖形渲染和視頻播放等方面取得了巨大成功。機(jī)器學(xué)習(xí)應(yīng)用也開(kāi)始取得商業(yè)成功。實(shí)際上，計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域的科研人員已經(jīng)認(rèn)識(shí)到專用化的重要性并投身其研究：2016年體系結(jié)構(gòu)領(lǐng)域三大頂級(jí)會(huì)議(ISCA、HPCA、MICRO)共收錄論文175篇，其中38篇是關(guān)于圖形處理器(GPU)和專用加速器設(shè)計(jì)的，還有17篇是關(guān)于機(jī)器學(xué)習(xí)專用化設(shè)計(jì)的。

然而，迄今為止，專用設(shè)計(jì)的商業(yè)化的成功，只限于擁有巨大市場(chǎng)的應(yīng)用(例如視頻游戲、移動(dòng)視頻播放等)，值得像通用處理器廠商那樣投資。以上市時(shí)間和金錢來(lái)衡量，設(shè)計(jì)和制造專用硬件的成本極高，只有極少數(shù)的設(shè)計(jì)可以在這樣巨大的市場(chǎng)逐步攤銷。

為了繼續(xù)有效創(chuàng)新的周期，關(guān)鍵是排除專用系統(tǒng)設(shè)計(jì)的障礙，從而在所有應(yīng)用中體現(xiàn)出專用化在能效方面的優(yōu)勢(shì)。我們的愿景是“大眾化”硬件設(shè)計(jì)，也就是讓硬件設(shè)計(jì)變得像軟件設(shè)計(jì)那樣敏捷、便宜和開(kāi)放。軟件開(kāi)發(fā)團(tuán)隊(duì)可以利用豐富的、擁有現(xiàn)成的可重用部件的生態(tài)系統(tǒng)(通常是免費(fèi)和開(kāi)源的)，使用高級(jí)語(yǔ)言加速提高單個(gè)開(kāi)發(fā)者的能力，并依靠強(qiáng)大和自動(dòng)化的程序分析、綜合、測(cè)試和調(diào)試來(lái)保證品質(zhì)。

盡管經(jīng)過(guò)了幾十年的投入，計(jì)算機(jī)輔助設(shè)計(jì)仍未能達(dá)到一個(gè)小開(kāi)發(fā)團(tuán)隊(duì)即可進(jìn)行硬件設(shè)計(jì)的水平。硬件系統(tǒng)設(shè)計(jì)者需要更好的工具，提高在硬件描述方面的能力，更快的性能評(píng)估手段，更敏捷的原型化方法和更嚴(yán)謹(jǐn)?shù)能?硬件協(xié)同設(shè)計(jì)驗(yàn)證方法。工具鏈要成熟，可以跨越多個(gè)硬件層次，從通用可編程處理核到大規(guī)?？删幊踢壿嬯嚵小⒖删幊碳铀倨饕约皩Ｓ眉呻娐?，從而能夠輕易實(shí)現(xiàn)重定位。更好的抽象描述對(duì)于硬件的組件化和可重用是必需的，這些抽象可以是以可綜合的知識(shí)產(chǎn)權(quán)(IP)模塊的形式，甚至可以是以物理芯片或芯片組的形式存在，在制造時(shí)可便宜地集成到系統(tǒng)中。對(duì)于體系結(jié)構(gòu)領(lǐng)域的研究者來(lái)說(shuō)，這是一次努力彌補(bǔ)通用和專用系統(tǒng)之間的鴻溝的機(jī)會(huì)，并開(kāi)發(fā)出一系列工具和框架平臺(tái)，使大眾化硬件設(shè)計(jì)成為現(xiàn)實(shí)。

云計(jì)算是對(duì)體系結(jié)構(gòu)創(chuàng)新的抽象

利用規(guī)?；吞摂M化技術(shù)，云計(jì)算提供商可以透明和低成本地提供硬件創(chuàng)新，即使最小的客戶也是如此。

云計(jì)算對(duì)傳統(tǒng)商業(yè)模式的顛覆已被廣泛認(rèn)可。云計(jì)算能夠促使新興企業(yè)的規(guī)模發(fā)展遠(yuǎn)快于傳統(tǒng)的基礎(chǔ)設(shè)施投資。新產(chǎn)品的用戶可以在短短幾天時(shí)間內(nèi)從幾百個(gè)增長(zhǎng)到幾百萬(wàn)個(gè)，2016年7月迅速風(fēng)靡全球的手機(jī)游戲“口袋妖怪”(Pokemon Go)就是很好的例證。但是，云計(jì)算也打破了傳統(tǒng)財(cái)富500強(qiáng)的商業(yè)模式，因?yàn)橐郧皳碛凶约旱腎T基礎(chǔ)設(shè)施的企業(yè)實(shí)現(xiàn)了出租云資源帶來(lái)的成本收益。

云計(jì)算提供商利用規(guī)?；粌H是為了自身業(yè)務(wù)，也是為了投資IT的客戶的利益。因此，這些提供商往往會(huì)發(fā)現(xiàn)，進(jìn)行巨大的、非重復(fù)性的工程投資是合算的，例如，在內(nèi)部開(kāi)發(fā)全新的軟件和硬件系統(tǒng)，而不依賴第三方產(chǎn)品供應(yīng)商。

我們開(kāi)始看到出現(xiàn)了使得云計(jì)算實(shí)現(xiàn)前所未有的性能的專用計(jì)算機(jī)架構(gòu)。無(wú)論是高端的超級(jí)計(jì)算機(jī)，還是商業(yè)的云端產(chǎn)品，GPU變得無(wú)處不在。微軟公司公開(kāi)披露了Catapult項(xiàng)目，該項(xiàng)目致力于整合現(xiàn)場(chǎng)可編程門陣列(FPGA)以促進(jìn)其數(shù)據(jù)中心的計(jì)算專用化。Cavium公司已經(jīng)發(fā)布了一個(gè)互聯(lián)網(wǎng)服務(wù)應(yīng)用的專用架構(gòu)ThunderX。谷歌公司公布了張量處理器TPU，這是一個(gè)面向機(jī)器學(xué)習(xí)應(yīng)用的專用協(xié)處理器。上述項(xiàng)目表明，已經(jīng)有很多經(jīng)濟(jì)原因促使云計(jì)算提供商投資專用計(jì)算機(jī)架構(gòu)。

對(duì)學(xué)術(shù)界的計(jì)算機(jī)體系結(jié)構(gòu)研究者來(lái)說(shuō)，現(xiàn)在是抓住這個(gè)機(jī)遇并展示跨層專用化愿景的時(shí)機(jī)。例如，專用集成電路云(ASIC Clouds)項(xiàng)目展示了如何協(xié)同開(kāi)發(fā)大量高度專用的處理器，從而讓關(guān)鍵應(yīng)用得到明顯加速。

云計(jì)算模型的第二個(gè)關(guān)鍵優(yōu)勢(shì)是虛擬化。虛擬化這類技術(shù)將新的硬件和軟件創(chuàng)新透明地引入現(xiàn)有的軟件系統(tǒng)。虛擬化使得云提供商可以為了更快、更便宜的技術(shù)替換處理器、存儲(chǔ)器和網(wǎng)絡(luò)部件，而不必與消費(fèi)者溝通協(xié)調(diào)。虛擬化也促成了資源的超額認(rèn)購(gòu)——在消費(fèi)者對(duì)特定資源的需求具有時(shí)變、碎片化特征的情況下，在消費(fèi)者之間進(jìn)行透明的資源共享。超額訂購(gòu)對(duì)云計(jì)算的成本結(jié)構(gòu)很重要，和單獨(dú)的消費(fèi)者購(gòu)買專屬資源比較，它使得云供應(yīng)商以極低的價(jià)格提供IT資源。

學(xué)術(shù)界的計(jì)算機(jī)體系結(jié)構(gòu)研究長(zhǎng)期以來(lái)對(duì)實(shí)現(xiàn)虛擬化起到重要作用，例如威睿(VMWare)這個(gè)最被認(rèn)可的虛擬化技術(shù)供應(yīng)商，就是從一個(gè)大學(xué)研究計(jì)劃發(fā)起的。學(xué)術(shù)界的體系結(jié)構(gòu)研究者必須繼續(xù)在開(kāi)發(fā)虛擬化技術(shù)中扮演關(guān)鍵角色，來(lái)縮短虛擬化性能與裸機(jī)性能之間的差距。此外，體系結(jié)構(gòu)研究者必須開(kāi)發(fā)新型的虛擬化抽象，從而實(shí)現(xiàn)對(duì)專用硬件單元，比如Catapult、TPU和ASIC Clouds等的透明使用和超額訂購(gòu)。

垂直化趨勢(shì)

三維(3D)集成提供了一個(gè)新的可擴(kuò)展維度。

摩爾定律終結(jié)的重要后果是使得芯片設(shè)計(jì)師再也不能“無(wú)償?shù)?rdquo;每18個(gè)月將自己設(shè)計(jì)中的晶體管數(shù)量提高一倍。與此同時(shí)，最近幾代芯片中，相對(duì)于計(jì)算，驅(qū)動(dòng)全局總線開(kāi)銷的增長(zhǎng)很快，因此不斷提升了互聯(lián)在芯片功耗預(yù)算中所占比例。

3D集成為芯片設(shè)計(jì)提供了一個(gè)新的擴(kuò)展維度，盡管摩爾定律終結(jié)了，仍然可以在一個(gè)單系統(tǒng)上集成更多的晶體管，可以從3個(gè)維度縮減互聯(lián)開(kāi)銷，并實(shí)現(xiàn)各種混合制造技術(shù)的緊密集成。因此，3D集成使3D結(jié)構(gòu)內(nèi)部的系統(tǒng)組件具有更高的能效、更寬的帶寬和更低的延遲。

從架構(gòu)上來(lái)講，3D集成也說(shuō)明平衡系統(tǒng)的計(jì)算必須盡量靠近數(shù)據(jù)。盡管閃存和其他內(nèi)存設(shè)備早已通過(guò)3D方式進(jìn)行容量擴(kuò)展，但將內(nèi)存設(shè)備與高性能邏輯集成的嘗試才剛剛開(kāi)始。例如，美光(Micron)公司推出的混合內(nèi)存立方體(Hybrid Memory Cube)，實(shí)現(xiàn)了快速邏輯和密度內(nèi)存的3D堆疊，為學(xué)術(shù)界重新刮起“近數(shù)據(jù)計(jì)算”(near-data computing， NDC)和“內(nèi)存處理”(processing-in-memory， PIM)架構(gòu)的學(xué)術(shù)研究風(fēng)潮。盡管這個(gè)研究問(wèn)題早在20年前已相當(dāng)流行，但受限于當(dāng)時(shí)的工藝技術(shù)，PIM架構(gòu)并沒(méi)有進(jìn)一步實(shí)現(xiàn)商業(yè)應(yīng)用。近幾年，隨著實(shí)用芯片堆疊和多技術(shù)垂直集成技術(shù)的出現(xiàn)，這些架構(gòu)成為提升擴(kuò)展性的有效途徑。

盡管3D集成為芯片設(shè)計(jì)賦予了新能力，但同時(shí)也在實(shí)現(xiàn)高可靠性和高收益方面提出許多復(fù)雜的新挑戰(zhàn)，其中高可靠性和高收益可以通過(guò)架構(gòu)支持解決。比如，3D集成內(nèi)存啟發(fā)我們重新思考傳統(tǒng)內(nèi)存和存儲(chǔ)架構(gòu)。3D集成也對(duì)功率和溫度管理引入了全新的問(wèn)題，這是由于傳統(tǒng)的散熱技術(shù)不足以應(yīng)對(duì)高性能集成設(shè)計(jì)帶來(lái)的功率密度提升。這些問(wèn)題和挑戰(zhàn)開(kāi)啟了全新的、豐富的體系架構(gòu)創(chuàng)新的可能性。

體系結(jié)構(gòu)“更接近物理層”

經(jīng)典縮放定律的終結(jié)，給計(jì)算機(jī)底層架構(gòu)帶來(lái)更多的本質(zhì)變化。

新的器件技術(shù)和電路設(shè)計(jì)技術(shù)歷來(lái)引發(fā)新結(jié)構(gòu)的產(chǎn)生。未來(lái)有若干可能的情況給計(jì)算機(jī)體系結(jié)構(gòu)帶來(lái)深遠(yuǎn)的影響。這些情況分為兩大類。第一類是通過(guò)更有效的信息編碼，更接近模擬信號(hào)，來(lái)更好地利用目前的材料和器件。對(duì)模擬計(jì)算的關(guān)注再次興起，因?yàn)樗苓m合需要控制準(zhǔn)確度的應(yīng)用。而且和數(shù)字信息處理相比，模擬信息處理通過(guò)把信息更密集地映射到模擬信號(hào)上，以及更高效的功能單元，能夠保證功耗更低。然而，這類計(jì)算更易受到噪聲影響，需要有新的容錯(cuò)方法才能實(shí)際應(yīng)用。

第二類機(jī)會(huì)是“新”材料的使用，包括更高效的交換、更密集的布局和獨(dú)特的計(jì)算模型。下面我們列出一些值得體系結(jié)構(gòu)領(lǐng)域注意的努力方向。

新的存儲(chǔ)器件。幾十年來(lái)，數(shù)據(jù)一直存儲(chǔ)在動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、閃存或磁盤上。但是，新的存儲(chǔ)器件(例如Intel/Micron 3D XPoint存儲(chǔ)器)正在進(jìn)入商用化，與傳統(tǒng)存儲(chǔ)層次部件相比，這些新器件在開(kāi)銷、密度、延遲、吞吐量、可靠性和壽命等方面完全不同。

碳納米管?；谔技{米管(CNTs)的電子學(xué)研究持續(xù)取得顯著進(jìn)展，最近的結(jié)果表明，只使用碳納米管搭建出一個(gè)簡(jiǎn)單的微處理器是可行的。碳納米管可以保證更高的密度和更低的功耗，并且可用在三維基底上。這使得碳納米管成為體系結(jié)構(gòu)方案是非常可行的。

量子計(jì)算。量子計(jì)算利用量子力學(xué)現(xiàn)象存儲(chǔ)和操縱信息。它的主要優(yōu)點(diǎn)是，“疊加”量子現(xiàn)象有效地允許同時(shí)表達(dá)0和1狀態(tài)，這使得量子計(jì)算實(shí)現(xiàn)選擇算法時(shí)比傳統(tǒng)計(jì)算有了指數(shù)級(jí)加速。

超導(dǎo)邏輯。量子計(jì)算的一個(gè)姊妹方向是超導(dǎo)邏輯，使用約瑟夫森結(jié)等超導(dǎo)器件的系統(tǒng)，能夠提供“免費(fèi)”的通信，因?yàn)樵诔瑢?dǎo)線上傳輸信號(hào)幾乎不消耗能量。另一方面，在數(shù)據(jù)操作上比傳輸數(shù)據(jù)有更高的能耗。這些權(quán)衡與CMOS硅電路正好相反，在CMOS電路上大部分能量消耗在通信而不是數(shù)據(jù)操作。

微軟、谷歌、IBM和I-ARPA等公司和機(jī)構(gòu)都已經(jīng)宣布在量子計(jì)算和超導(dǎo)邏輯進(jìn)行了大量投資。我們認(rèn)為量子計(jì)算機(jī)結(jié)構(gòu)得到再次關(guān)注的時(shí)機(jī)是成熟的，量子計(jì)算在十年內(nèi)可能會(huì)產(chǎn)生實(shí)際影響。

借鑒生物學(xué)。利用生物學(xué)基底做計(jì)算很早就想到了，有可能實(shí)現(xiàn)。DNA計(jì)算已經(jīng)演示了簡(jiǎn)單的邏輯操作，最近的許多結(jié)果也表明DNA作為檔案存儲(chǔ)器和納米結(jié)構(gòu)自組裝的數(shù)字媒介具備潛力。對(duì)研究人員來(lái)說(shuō)，生物科技產(chǎn)業(yè)推動(dòng)的DNA操縱技術(shù)所取得的進(jìn)展使得體系結(jié)構(gòu)研究人員認(rèn)為，使用生物是可行的。除了DNA，還有諸如蛋白質(zhì)等其他生物分子能夠用于計(jì)算，這些生物分子工程在過(guò)去十年進(jìn)步顯著。

機(jī)器學(xué)習(xí)作為核心負(fù)載

機(jī)器學(xué)習(xí)正在改變我們實(shí)現(xiàn)應(yīng)用的方式。硬件性能提升使得機(jī)器學(xué)習(xí)應(yīng)用于大數(shù)據(jù)成為可能

機(jī)器學(xué)習(xí)在過(guò)去十年中取得了長(zhǎng)足的進(jìn)步，產(chǎn)生了很多長(zhǎng)期以來(lái)只存在于科幻小說(shuō)里的應(yīng)用?？梢哉f(shuō)，這一進(jìn)步在很大程度上受益于豐富的數(shù)據(jù)和強(qiáng)大的計(jì)算能力。大規(guī)模機(jī)器學(xué)習(xí)應(yīng)用也促進(jìn)了存儲(chǔ)系統(tǒng)和專用硬件(GPU， TPU)等的設(shè)計(jì)。

盡管目前的重點(diǎn)是支持云端的機(jī)器學(xué)習(xí)，但是在諸如智能手機(jī)和超低功耗傳感器節(jié)點(diǎn)等低功耗設(shè)備中支持機(jī)器學(xué)習(xí)應(yīng)用也有非常重要的機(jī)會(huì)。幸運(yùn)的是，許多機(jī)器學(xué)習(xí)內(nèi)核具有相對(duì)規(guī)整的結(jié)構(gòu)，能夠在準(zhǔn)確率和資源需求之間進(jìn)行權(quán)衡。因此，它們適用于專用硬件、重構(gòu)和近似計(jì)算等技術(shù)，為體系結(jié)構(gòu)的創(chuàng)新開(kāi)啟了新空間。

機(jī)器學(xué)習(xí)從業(yè)者在計(jì)算上花費(fèi)相當(dāng)長(zhǎng)的時(shí)間用于模型訓(xùn)練。即便使用超大規(guī)模的計(jì)算集群，花費(fèi)一星期到一個(gè)月來(lái)訓(xùn)練一個(gè)模型也是普遍的。雖然這樣的計(jì)算資源投資能夠分?jǐn)偟綄?duì)模型多次調(diào)用，但模型較長(zhǎng)的更新迭代周期可能會(huì)對(duì)用戶體驗(yàn)產(chǎn)生負(fù)面影響。因此，對(duì)體系結(jié)構(gòu)研究人員來(lái)說(shuō)，設(shè)計(jì)能更好地支持機(jī)器學(xué)習(xí)模型訓(xùn)練的系統(tǒng)是一個(gè)新的機(jī)遇。