根據(jù)計(jì)算模式，人工智能核心計(jì)算芯片的發(fā)展分為兩個(gè)方向：一個(gè)是利用人工神經(jīng)網(wǎng)絡(luò)從功能層面模仿大腦的能力，其主要產(chǎn)品就是通常的CPU、GPU、FPGA及專用定制芯片ASIC。另一個(gè)神經(jīng)擬態(tài)計(jì)算則是從結(jié)構(gòu)層面去逼近大腦，其結(jié)構(gòu)還可進(jìn)一步分為兩個(gè)層次，一是神經(jīng)網(wǎng)絡(luò)層面，與之相應(yīng)的是神經(jīng)擬態(tài)架構(gòu)和處理器，如IBM的TrueNorth芯片，這種芯片把數(shù)字處理器當(dāng)作神經(jīng)元，把內(nèi)存作為突觸。與傳統(tǒng)馮諾依曼結(jié)構(gòu)不同，它的內(nèi)存、CPU和通信部件完全集成在一起，因此信息的處理完全在本地進(jìn)行，克服了傳統(tǒng)計(jì)算機(jī)內(nèi)存與CPU之間的瓶頸。同時(shí)神經(jīng)元之間可以方便快捷地相互溝通，只要接收到其他神經(jīng)元發(fā)過來的脈沖（動(dòng)作電位），這些神經(jīng)元就會(huì)同時(shí)做動(dòng)作。二是神經(jīng)元層面，與之相應(yīng)的是元器件層面的創(chuàng)新。如IBM蘇黎世研究中心宣布制造出世界上首個(gè)人造納米尺度隨機(jī)相變神經(jīng)元，可實(shí)現(xiàn)高速無監(jiān)督學(xué)習(xí)。

目前，AI芯片雖然在某些具體任務(wù)上可以大幅超越人的能力，但在通用性、適應(yīng)性上相較于人類智能還有很大差距，大多數(shù)仍處于對(duì)特定算法的加速階段。從短期來看，以異構(gòu)計(jì)算（多種組合方式）為主來加速各類應(yīng)用算法的落地（看重能效比、性價(jià)比、可靠性）；從中期來看，要發(fā)展自重構(gòu)、自學(xué)習(xí)、自適應(yīng)的芯片來支持算法的演進(jìn)和類人的自然智能；從長期來看，則是朝著通用AI芯片的方面發(fā)展。

“通用AI芯片”是AI芯片皇冠上的明珠。它最理想化的方式是淡化人工干預(yù)（如限定領(lǐng)域、設(shè)計(jì)模型、挑選訓(xùn)練樣本、人工標(biāo)注等）的通用智能芯片，必須具備可編程性、架構(gòu)的動(dòng)態(tài)可變性、高效的架構(gòu)變換能力或自學(xué)習(xí)能力、高計(jì)算效率、高能量效率、應(yīng)用開發(fā)簡潔、低成本和體積小等特點(diǎn)。就目前而言，實(shí)現(xiàn)通用AI的主要直面兩大挑戰(zhàn)：一是通用性（算法和架構(gòu)），二是實(shí)現(xiàn)的復(fù)雜度。通用AI芯片的復(fù)雜度來自于任務(wù)的多樣性和對(duì)自學(xué)習(xí)、自適應(yīng)能力的支持。因此，通用AI芯片的發(fā)展方向不會(huì)是一蹴而就地采用某一種芯片來解決問題，因?yàn)槔碚撃Ｐ秃退惴ㄉ形赐晟啤Ｗ钣行У姆绞绞窍扔靡粋€(gè)多種芯片設(shè)計(jì)思路組合的靈活的異構(gòu)系統(tǒng)來支持，各取所長，取長補(bǔ)短。一旦架構(gòu)成熟，就可以考慮設(shè)計(jì)SoC來在一個(gè)芯片上支持通用AI。

從短期來看，很難期待出現(xiàn)像CPU那樣的AI通用算法芯片，AI殺手級(jí)應(yīng)用還沒出現(xiàn)，未來還有很長一段路要走。但必須承認(rèn)的是，AI芯片是人工智能技術(shù)發(fā)展過程中不可逾越的關(guān)鍵階段。無論哪種AI算法，最終的應(yīng)用必然通過芯片來實(shí)現(xiàn)。目前，AI算法都有各自長處和短板，必須給它們?cè)O(shè)定一個(gè)合適的應(yīng)用邊界，才能最好地發(fā)揮它們的作用。因此，確定應(yīng)用領(lǐng)域就成為了發(fā)展AI芯片的重要前提。

在應(yīng)用方面，“無行業(yè)不AI”似乎正在成為主旋律，無論是人臉識(shí)別、語音識(shí)別、機(jī)器翻譯、視頻監(jiān)控，還是交通規(guī)劃、無人駕駛、智能陪伴、輿情監(jiān)控、智慧農(nóng)業(yè)等，人工智能似乎涵蓋了人類生產(chǎn)生活的方方面面。然而，是所有的應(yīng)用都需要人工智能嗎？我們希望人工智能解決哪些實(shí)際的問題？什么才是AI的“殺手級(jí)”應(yīng)用？這些問題目前依然等待答案。但對(duì)于芯片從業(yè)者而言，當(dāng)務(wù)之急是研究芯片架構(gòu)問題。從感知、傳輸?shù)教幚?，再到傳輸、?zhí)行，這是AI芯片的一個(gè)基本邏輯。研究者需要利用軟件系統(tǒng)、處理器等去模仿。軟件是實(shí)現(xiàn)智能的核心，芯片是支撐智能的基礎(chǔ)。

從芯片發(fā)展的大趨勢(shì)來看，目前尚處于AI芯片發(fā)展的初級(jí)階段，無論是科研還是產(chǎn)業(yè)應(yīng)用都有巨大的創(chuàng)新空間。從確定算法、領(lǐng)域的AI加速芯片向具備更高靈活性、適應(yīng)性的智能芯片發(fā)展是科研發(fā)展的必然方向。神經(jīng)擬態(tài)芯片技術(shù)和可重構(gòu)計(jì)算芯片技術(shù)允許硬件架構(gòu)和功能隨軟件變化而變化，實(shí)現(xiàn)以高能效比支持多種智能任務(wù)，在實(shí)現(xiàn)AI功能時(shí)具有獨(dú)到的優(yōu)勢(shì)，具備廣闊的前景。

雖然AI芯片目前還不是特別智能，但它們絕對(duì)很聰明，而且很有可能在不久的將來變得更加智能。這些芯片將繼續(xù)利用半導(dǎo)體加工、計(jì)算機(jī)架構(gòu)和SoC設(shè)計(jì)方面的先進(jìn)技術(shù)，以提高處理能力，支持下一代AI算法。與此同時(shí)，新的AI芯片將繼續(xù)需要先進(jìn)的存儲(chǔ)系統(tǒng)和片上互連架構(gòu)，以便為新的專有硬件加速器提供深度學(xué)習(xí)所需的源源不斷的數(shù)據(jù)流。相信，未來十年將是AI芯片發(fā)展的重要時(shí)期，有望在架構(gòu)和設(shè)計(jì)理念取得巨大的突破。

具體到不同計(jì)算場(chǎng)景和不同計(jì)算需求，云端和終端芯片的架構(gòu)設(shè)計(jì)趨勢(shì)將朝不同的方向發(fā)展，而軟件定義芯片已經(jīng)成為靈活計(jì)算領(lǐng)域的主流。

一、云端訓(xùn)練和推斷：大存儲(chǔ)、高性能、可伸縮

雖然訓(xùn)練和推斷在數(shù)據(jù)精度、架構(gòu)靈活和實(shí)時(shí)性要求上有一定的差別，但它們?cè)谔幚砟芰Γㄍ掏侣剩?、可伸縮可擴(kuò)展能力以及功耗效率上具有類似的需求。

NVIDA的V100GPU和Google的CloudTPU是目前云端商用AI芯片的標(biāo)桿。

（CloudTPU的機(jī)柜包括64個(gè)TPU2，能夠?yàn)?u>機(jī)器學(xué)習(xí)的訓(xùn)練任務(wù)提供11.5PFLOPS的處理能力和4TB的HBM存儲(chǔ)器。這些運(yùn)算資源還可以靈活地分配和伸縮，能夠有效支持不同的應(yīng)用需求。）

從NVIDA和Goolge的設(shè)計(jì)實(shí)踐我們可以看出云端AI芯片在架構(gòu)層面，技術(shù)發(fā)展呈現(xiàn)三大特點(diǎn)和趨勢(shì)：

（1）存儲(chǔ)的需求（容量和訪問速度）越來越高。未來云端AI芯片會(huì)有越來越多的片上存儲(chǔ)器（比如Graphcore公司就在芯片上實(shí)現(xiàn)的300MB的SRAM），以及能夠提供高帶寬的片外存儲(chǔ)器（HBM2和其它新型封裝形式）。

（2）處理能力推向每秒千萬億次（PetaFLOPS），并支持靈活伸縮和部署。對(duì)云端AI芯片來說，單芯片的處理能力可能會(huì)達(dá)到PetaFLOPS的水平。實(shí)現(xiàn)這一目標(biāo)除了要依靠CMOS工藝的進(jìn)步，也需要靠架構(gòu)的創(chuàng)新。比如在Google第一代TPU中，使用了脈動(dòng)陣列（SystolicArray）架構(gòu)，而在NVIDA的V100GPU中，專門增加了張量核來處理矩陣運(yùn)算。

（3）專門針對(duì)推斷需求的FPGA和ASIC。推斷和訓(xùn)練相比有其特殊性，更強(qiáng)調(diào)吞吐率、能效和實(shí)時(shí)性，未來在云端很可能會(huì)有專門針對(duì)推斷的ASIC芯片（Google的第一代TPU也是很好的例子），提供更好的能耗效率并實(shí)現(xiàn)更低的延時(shí)。

二、邊緣設(shè)備：把效率推向極致。

相對(duì)云端應(yīng)用，邊緣設(shè)備的應(yīng)用需求和場(chǎng)景約束要復(fù)雜很多，針對(duì)不同的情況可能需要專門的架構(gòu)設(shè)計(jì)。拋開需求的復(fù)雜性，目前的邊緣設(shè)備主要是執(zhí)行“推斷”。衡量AI芯片實(shí)現(xiàn)效率的一個(gè)重要指標(biāo)是能耗效率--TOPs/W，這也成為很多技術(shù)創(chuàng)新競(jìng)爭(zhēng)的焦點(diǎn)。在ISSCC2018會(huì)議上，就出現(xiàn)了單比特能效達(dá)到772TOPs/W的驚人數(shù)據(jù)。

在提高推斷效率和推斷準(zhǔn)確率允許范圍內(nèi)的各種方法中，降低推斷的量化比特精度是最有效的方法。此外，提升基本運(yùn)算單元（MAC）的效率可以結(jié)合一些數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換來減少運(yùn)算量，比如通過快速傅里葉變換（FFT）變換來減少矩陣運(yùn)算中的乘法；還可以通過查表的方法來簡化MAC的實(shí)現(xiàn)等。

另一個(gè)重要的方向是減少對(duì)存儲(chǔ)器的訪問，這也是緩解馮·諾伊曼“瓶頸”問題的基本方法。利用這樣的稀疏性特性，再有就是拉近運(yùn)算和存儲(chǔ)的距離，比如把神經(jīng)網(wǎng)絡(luò)運(yùn)算放在傳感器或者存儲(chǔ)器中。

三、軟件定義芯片

對(duì)于復(fù)雜的AI任務(wù)，甚至需要將多種不同類型的AI算法組合在一起。即使是同一類型的AI算法，也會(huì)因?yàn)榫唧w任務(wù)的計(jì)算精度、性能和能效等需求不同，具有不同計(jì)算參數(shù)。因此，AI芯片必須具備一個(gè)重要特性：能夠?qū)崟r(shí)動(dòng)態(tài)改變功能，滿足軟件不斷變化的計(jì)算需求，即“軟件定義芯片”。

可重構(gòu)計(jì)算技術(shù)允許硬件架構(gòu)和功能隨軟件變化而變化，具備處理器的靈活性和專用集成電路的高性能和低功耗，是實(shí)現(xiàn)“軟件定義芯片”的核心，被公認(rèn)為是突破性的下一代集成電路技術(shù)。清華大學(xué)微電子所設(shè)計(jì)的AI芯片（代號(hào)Thinker），采用可重構(gòu)計(jì)算架構(gòu)，能夠支持卷積神經(jīng)網(wǎng)絡(luò)、全連接神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)等多種AI算法。

Thinker芯片通過三個(gè)層面的可重構(gòu)計(jì)算技術(shù)，來實(shí)現(xiàn)“軟件定義芯片”，最高能量效率達(dá)到了5.09TOPS/W：

1。計(jì)算陣列重構(gòu)：Thinker芯片每個(gè)計(jì)算單元可以根據(jù)算法所需要的基本算子不同而進(jìn)行功能重構(gòu)，支持計(jì)算陣列的按需資源劃分以提高資源利用率和能量效率。

2。存儲(chǔ)帶寬重構(gòu)：Thinker芯片的片上存儲(chǔ)帶寬能夠根據(jù)AI算法的不同而進(jìn)行重構(gòu)。存儲(chǔ)內(nèi)的數(shù)據(jù)分布會(huì)隨著帶寬的改變而調(diào)整，以提高數(shù)據(jù)復(fù)用性和計(jì)算并行度，提高了計(jì)算吞吐和能量效率。

3。數(shù)據(jù)位寬重構(gòu)：為了滿足AI算法多樣的精度需求，Thinker芯片的計(jì)算單元支持高低（16/8比特）兩種數(shù)據(jù)位寬重構(gòu)。高比特模式下計(jì)算精度提升，低比特模式下計(jì)算單元吞吐量提升進(jìn)而提高性能。

采用可重構(gòu)計(jì)算技術(shù)之后，軟件定義的層面不僅僅局限于功能這一層面。算法的計(jì)算精度、性能和能效等都可以納入軟件定義的范疇。

四、新興存儲(chǔ)技術(shù)打開新思路

《白皮書》第六章主要介紹對(duì)AI芯片至關(guān)重要的存儲(chǔ)技術(shù)，包括傳統(tǒng)存儲(chǔ)技術(shù)的改進(jìn)和基于新興非易失存儲(chǔ)（NVM）的存儲(chǔ)器解決方案。

可以預(yù)見的是，從器件到體系結(jié)構(gòu)的全面創(chuàng)新或?qū)①x予AI芯片更強(qiáng)的能力。近期，面向數(shù)字神經(jīng)網(wǎng)絡(luò)的加速器（GPU、FPGA和ASIC）迫切需要AI友好型存儲(chǔ)器；中期，基于存內(nèi)計(jì)算的神經(jīng)網(wǎng)絡(luò)可以為規(guī)避馮·諾依曼瓶頸問題提供有效的解決方案；最后，基于憶阻器的神經(jīng)形態(tài)計(jì)算可以模擬人類的大腦，是AI芯片遠(yuǎn)期解決方案的候選之一。

1。AI友好型存儲(chǔ)器

上圖顯示了新興存儲(chǔ)技術(shù)中帶寬和容量的快速增長。新興的NVM由于其相對(duì)較大的帶寬和迅速增長的容量，可以在AI芯片的存儲(chǔ)技術(shù)中發(fā)揮至關(guān)重要的作用。對(duì)于嵌入式應(yīng)用，NVM的片上存儲(chǔ)器也可以提供比傳統(tǒng)NVM更好的存取速度和低功耗，可在非常有限的功率下工作，這對(duì)于物聯(lián)網(wǎng)邊緣設(shè)備上的AI芯片特別具有吸引力。

2。片外存儲(chǔ)器

3D集成已經(jīng)被證明是增加商業(yè)存儲(chǔ)器的帶寬和容量的有效策略，其可以通過使用從底部到頂部的硅通孔（TSV）技術(shù)，堆疊多個(gè)管芯或者單片制造的方法來完成。DRAM的代表作品包括HBM和混合存儲(chǔ)器立方體（HMC）。

上圖顯示了NVIDA的GPU產(chǎn)品與HBM集成的AI應(yīng)用程序。對(duì)于NAND閃存，3DNAND正在深入研究。最近，三星已經(jīng)開發(fā)出96層3DNAND。

3。片上（嵌入型）存儲(chǔ)器

由于能夠連接邏輯和存儲(chǔ)器電路，并且與邏輯器件完全兼容，SRAM是不可或缺的片上存儲(chǔ)器，其性能和密度不斷受益于CMOS的尺寸縮放。其易失性使得芯片上或芯片外的非易失性存儲(chǔ)器成為必須。當(dāng)前主要和新興存儲(chǔ)器的器件指標(biāo)如下：

此外，自旋力矩傳輸存儲(chǔ)器（STT-MRAM）由于其高耐久性和高速度被認(rèn)為是DRAM的替代品。