本文來自新智元微信號(hào)，《AI芯片技術(shù)白皮書》為清華大學(xué)——北京未來芯片技術(shù)高精尖創(chuàng)新中心共同發(fā)布。

無芯片，不 AI

近些年隨著大數(shù)據(jù)的積聚、理論算法的革新、計(jì)算能力的提升及網(wǎng)絡(luò)設(shè)施的發(fā)展，使得持續(xù)積累了半個(gè)多世紀(jì)的人工智能產(chǎn)業(yè)，又一次迎來革命性的進(jìn)步，人工智能的研究和應(yīng)用進(jìn)入全新的發(fā)展階段。

實(shí)際上，人工智能產(chǎn)業(yè)得以快速發(fā)展，都離不開目前唯一的物理基礎(chǔ)——芯片?？梢哉f，“無芯片不 AI”。

為了更好地厘清當(dāng)前AI芯片領(lǐng)域的發(fā)展態(tài)勢(shì)，進(jìn)一步明確AI芯片在新技術(shù)形勢(shì)下的路線框架、關(guān)鍵環(huán)節(jié)及應(yīng)用前景，清華大學(xué)——北京未來芯片技術(shù)高精尖創(chuàng)新中心，根據(jù)學(xué)術(shù)界和工業(yè)界的最新實(shí)踐，邀請(qǐng)國內(nèi)外AI芯片領(lǐng)域的頂尖研究力量，共同發(fā)布了《人工智能芯片技術(shù)白皮書》。

下圖為編委會(huì)成員名單，大家感受一下：

白皮書主要闡述和討論了以下內(nèi)容：

1、AI芯片產(chǎn)業(yè)的戰(zhàn)略意義

2、AI芯片的技術(shù)背景背景

3、近幾年AI芯片在云側(cè)、邊緣和終端設(shè)備等不同場(chǎng)景中的發(fā)展

4、面臨的架構(gòu)挑戰(zhàn)，分析技術(shù)趨勢(shì)

5、建立在當(dāng)前技術(shù)集成上的云端和終端AI芯片架構(gòu)創(chuàng)新

6、存儲(chǔ)技術(shù)解決方案

7、前沿研究工作和新技術(shù)趨勢(shì)

8、介紹神經(jīng)形態(tài)計(jì)算技術(shù)，分析該技術(shù)面臨的機(jī)遇和挑戰(zhàn)

9、AI芯片的基準(zhǔn)測(cè)試和技術(shù)路線圖

10、展望AI芯片的未來
?

AI芯片的技術(shù)背景

不同的應(yīng)用場(chǎng)景，不同的精度需求

AI系統(tǒng)通常涉及訓(xùn)練（Training）和推斷（Inference）過程。

訓(xùn)練過程對(duì)計(jì)算精度、計(jì)算量、內(nèi)存數(shù)量、訪問內(nèi)存的帶寬和內(nèi)存管理方法的要求都非常高。

而對(duì)于推斷，更注重速度、能效、安全和硬件成本，模型的準(zhǔn)確度和數(shù)據(jù)精度則可酌情降低。

人工智能工作負(fù)載多是數(shù)據(jù)密集型，需要大量的存儲(chǔ)和各層次存儲(chǔ)器間的數(shù)據(jù)搬移，導(dǎo)致“內(nèi)存墻”問題非常突出。

為了彌補(bǔ)計(jì)算單元和存儲(chǔ)器之間的差距，學(xué)術(shù)界和工業(yè)界正在兩個(gè)方向上進(jìn)行探索：

1、富內(nèi)存的處理單元。增加片上存儲(chǔ)器的容量并使其更靠近計(jì)算單元

2、創(chuàng)建具備計(jì)算能力的新型存儲(chǔ)器算（Process-in-Memory PIM），直接在存儲(chǔ)器內(nèi)部（或更近）實(shí)現(xiàn)計(jì)算
?

低精度、可重構(gòu)的芯片設(shè)計(jì)是趨勢(shì)

低精度設(shè)計(jì)是AI芯片的一個(gè)趨勢(shì)，在針對(duì)推斷的芯片中更加明顯。

同時(shí)，針對(duì)特定領(lǐng)域（即：具有類似需求的多種應(yīng)用），而非特定應(yīng)用的可重構(gòu)能力的AI芯片，將是未來AI芯片設(shè)計(jì)的一個(gè)指導(dǎo)原則。

另一方面，AI算法開發(fā)框架，如TensorFlow和PyTorch等，在AI應(yīng)用研發(fā)中正在起到至關(guān)重要的作用。

通過軟件工具，構(gòu)建一個(gè)集成化的流程，將AI模型的開發(fā)和訓(xùn)練、硬件無關(guān)和硬件相關(guān)的代碼優(yōu)化、自動(dòng)化指令翻譯等功能無縫的結(jié)合在一起，將是成功部署的關(guān)鍵要求。

發(fā)展現(xiàn)狀

2015年開始，AI芯片的相關(guān)研發(fā)逐漸成為學(xué)術(shù)界和工業(yè)界研發(fā)的熱點(diǎn)。到目前為止，在云端和終端已經(jīng)有很多專門為AI應(yīng)用設(shè)計(jì)的芯片和硬件系統(tǒng)。

云端芯片：大廠和初創(chuàng)公司都看好；FPGA正在逐漸崛起

GPU，特別是NVIDIA系列GPU芯片，被廣泛應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理。

很多公司開始嘗試設(shè)計(jì)專用芯片，以達(dá)到更高的效率，其中最著名的例子是 Google TPU。

Google最近還通過云服務(wù)，把TPU開放商用，處理能力達(dá)到180 TFLOP，提供64GB的高帶寬內(nèi)存（HBM），2400GB/s的存儲(chǔ)帶寬。

不光芯片巨頭，很多初創(chuàng)公司也看準(zhǔn)了云端芯片市場(chǎng)。如Graphcore、Cerebras、Wave Computing、寒武紀(jì)及比特大陸等也加入了競(jìng)爭(zhēng)的行列。

此外，F(xiàn)PGA也逐漸在應(yīng)用中占有一席之地。目前FPGA 的主要廠商如 Xilinx、Intel都推出了專門針對(duì)AI應(yīng)用的FPGA硬件。

主要的云服務(wù)廠商，比如亞馬遜、微軟及阿里云等也推出了專門的云端FPGA實(shí)例來支持AI應(yīng)用。

一些初創(chuàng)公司，比如深鑒科技等也在開發(fā)專門支持FPGA的AI開發(fā)工具。
?

邊緣計(jì)算讓傳統(tǒng)終端設(shè)備煥發(fā)青春

隨著人工智能應(yīng)用生態(tài)的爆發(fā)，越來越多的AI應(yīng)用開始在端設(shè)備上開發(fā)和部署。

智能手機(jī)是目前應(yīng)用最為廣泛的邊緣計(jì)算設(shè)備。手機(jī)大廠如蘋果、華為、高通、聯(lián)發(fā)科和三星在內(nèi)的手機(jī)芯片廠商紛紛推出，或者正在研發(fā)專門適應(yīng)AI應(yīng)用的芯片產(chǎn)品。

而這個(gè)新興的領(lǐng)域，也為初創(chuàng)公司提供了生存的土壤，地平線機(jī)器人、寒武紀(jì)、深鑒科技、元鼎音訊等，均致力于制造芯片和系統(tǒng)解決方案。

而一些傳統(tǒng)的IP廠商， 包括ARM、Synopsys等公司也都為包括手機(jī)、智能攝像頭、無人機(jī)、工業(yè)和服務(wù)機(jī)器人、智能音箱以及各種物聯(lián)網(wǎng)設(shè)備等邊緣計(jì)算設(shè)備，開發(fā)專用IP產(chǎn)品。

自動(dòng)駕駛也是未來邊緣AI計(jì)算的最重要應(yīng)用之一。
?

云+端相互配合，優(yōu)勢(shì)互補(bǔ)

總的來說，云側(cè)AI處理主要強(qiáng)調(diào)精度、處理能力、內(nèi)存容量和帶寬，同時(shí)追求低延時(shí)和低功耗；邊緣設(shè)備中的AI處理則主要關(guān)注功耗、響應(yīng)時(shí)間、體積、成本和隱私安全等問題。

目前云和邊緣設(shè)備在各種AI應(yīng)用中往往是配合工作。最普遍的方式是在云端訓(xùn)練神經(jīng)網(wǎng)絡(luò)，然后在云端（由邊緣設(shè)備采集數(shù)據(jù)）或者邊緣設(shè)備進(jìn)行推斷。
?

AI芯片的技術(shù)挑戰(zhàn)和設(shè)計(jì)趨勢(shì)

但是物理設(shè)備的功能，都有一個(gè)極限。這個(gè)極限限制了硬件設(shè)備，面對(duì)不斷增加的旺盛需求，形成阻礙。
?

AI芯片所面臨的兩個(gè)技術(shù)挑戰(zhàn)及解決思路

1、馮·諾伊曼瓶頸：內(nèi)存之墻。解決思路包括減少訪問存儲(chǔ)器的數(shù)量，降低訪問存儲(chǔ)器的代價(jià)

2、CMOS工藝和器件瓶頸?？梢酝ㄟ^開發(fā)提供大量存儲(chǔ)空間的片上存儲(chǔ)器技術(shù)，并探索利用片上存儲(chǔ)器去構(gòu)建未來的智能芯片架構(gòu)
?

AI芯片架構(gòu)設(shè)計(jì)趨勢(shì)

云端訓(xùn)練和推斷的設(shè)計(jì)趨勢(shì)：大存儲(chǔ)、高性能、可伸縮。從NVIDIA和Goolge的設(shè)計(jì)實(shí)踐，我們總結(jié)出技術(shù)發(fā)展的幾個(gè)特點(diǎn)和趨勢(shì)：

1、存儲(chǔ)的需求（容量和訪問速度）越來越高。

2、處理能力推向每秒千萬億次（PetaFLOPS），并支持靈活伸縮和部署。

3、專門針對(duì)推斷需求的 FPGA 和 ASIC

邊緣設(shè)備的設(shè)計(jì)趨勢(shì)：把效率推向極致。相對(duì)云端應(yīng)用，邊緣設(shè)備的應(yīng)用需求和場(chǎng)景約束要復(fù)雜很多，針對(duì)不同的情況可能需要專門的架構(gòu)設(shè)計(jì)。

拋開需求的復(fù)雜性，目前的邊緣設(shè)備主要是執(zhí)行“推斷”。在提高推斷效率和推斷準(zhǔn)確率允許范圍內(nèi)的各種方法中，降低推斷的量化比特精度是最有效的方法。

軟件定義芯片。在 AI 計(jì)算中，芯片是承載計(jì)算功能的基礎(chǔ)部件，軟件是實(shí)現(xiàn) AI 的核心。

AI 芯片必須具備一個(gè)重要特性：能夠?qū)崟r(shí)動(dòng)態(tài)改變功能，滿足軟件不斷變化的計(jì)算需求，即“軟件定義芯片”。

可重構(gòu)計(jì)算技術(shù)允許硬件架構(gòu)和功能隨軟件變化而變化，具備處理器的靈活性和專用集成電路的高性能和低功耗，是實(shí)現(xiàn)“軟件定義芯片”的核心。

Thinker芯片采用了下面3個(gè)層面的技術(shù)。

1、計(jì)算陣列重構(gòu)

2、存儲(chǔ)帶寬重構(gòu)

3、數(shù)據(jù)位寬重構(gòu)
?

AI芯片中的存儲(chǔ)技術(shù)和新興計(jì)算技術(shù)
?

傳統(tǒng)AI芯片的存儲(chǔ)技術(shù)需要解決的問題

近期，面向數(shù)字神經(jīng)網(wǎng)絡(luò)的加速器（GPU、FPGA和ASIC）迫切需要AI友好型存儲(chǔ)器。

中期，基于存內(nèi)計(jì)算的神經(jīng)網(wǎng)絡(luò)可以為規(guī)避馮·諾依曼瓶頸問題提供有效的解決方案。

后期，基于憶阻器的神經(jīng)形態(tài)計(jì)算可以模擬人類的大腦，是AI芯片遠(yuǎn)期解 決方案的候選之一。
?

解決存儲(chǔ)瓶頸的新興計(jì)算技術(shù)

主要的新計(jì)算技術(shù)包括近內(nèi)存計(jì)算、存內(nèi)計(jì)算，以及基于新型存儲(chǔ)器的人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)。

雖然成熟的 CMOS 器件已被用于實(shí)現(xiàn)這些新的計(jì)算范例，但是新興器件有望在未來進(jìn)一步顯著提高系統(tǒng)性能并降低電路復(fù)雜性。
?

神經(jīng)形態(tài)芯片：即“仿生電腦”

神經(jīng)形態(tài)芯片（Neuromorphic chip）采用電子技術(shù)模擬，已經(jīng)被證明了的生物腦的運(yùn)作規(guī)則，從而構(gòu)建類似于生物腦的電子芯片，即“仿生電腦”。

神經(jīng)形態(tài)芯片具有如下特性：

1、可縮放、高并行的神經(jīng)網(wǎng)絡(luò)互聯(lián)

2、眾核結(jié)構(gòu)

3、事件驅(qū)動(dòng)

4、數(shù)據(jù)流計(jì)算

近些年，神經(jīng)形態(tài)計(jì)算也用來指采用模擬、數(shù)字、數(shù)模混合VLSI以及軟件系統(tǒng)實(shí)現(xiàn)的神經(jīng)系統(tǒng)模型。

受到腦結(jié)構(gòu)研究的成果啟發(fā)，研制出的神經(jīng)形態(tài)芯片具有低功耗、低延遲、高速處理、時(shí)空聯(lián)合等特點(diǎn)。
?

展望未來

人工智能芯片還處在它的“嬰兒期”，未來充滿了不確定性。如果能有統(tǒng)一的終極算法出現(xiàn)，那么我們很可能會(huì)看到一個(gè)終極芯片出現(xiàn)。

AI芯片是整個(gè)人工智能技術(shù)發(fā)展的基礎(chǔ)，也將是推動(dòng)整個(gè)半導(dǎo)體領(lǐng)域技術(shù)進(jìn)步的最重要的力量之一。

隨著人工智能和物聯(lián)網(wǎng)的持續(xù)快速發(fā)展，越來越多的應(yīng)用需求和應(yīng)用場(chǎng)景將不斷涌現(xiàn)。

需求驅(qū)動(dòng)的AI芯片技術(shù)創(chuàng)新將促進(jìn)創(chuàng)新鏈與產(chǎn)業(yè)鏈更加緊密結(jié)合，推動(dòng)開放合作、共享共贏的產(chǎn)業(yè)生態(tài)形成。

CMOS技術(shù)與新興信息技術(shù)的交叉融合，開源軟件到開源硬件的潮流漸顯，預(yù)示著我們將迎來一個(gè)前所未 有的協(xié)同創(chuàng)新機(jī)遇期！