一、端AI芯片發(fā)展概況

當(dāng)前主流的AI技術(shù)是Hiton、Lecun、Bengio等學(xué)者帶來(lái)的深度學(xué)習(xí)，深度學(xué)習(xí)自誕生以來(lái)正在改變著很多行業(yè)，如安防、金融和物聯(lián)網(wǎng)等。深度學(xué)習(xí)的興起有海量數(shù)據(jù)和大算力兩個(gè)支撐點(diǎn)。早期算力支撐主要由GPU提供，GPU具有支持高并行計(jì)算、訪存速度快和浮點(diǎn)運(yùn)算能力強(qiáng)等優(yōu)點(diǎn)，比較符合深度學(xué)習(xí)的計(jì)算要求。但GPU設(shè)計(jì)的初衷是加速3D圖形處理的通用芯片，并不是針對(duì)深度學(xué)習(xí)設(shè)計(jì)的，其計(jì)算功耗比（每瓦功耗的算力）這一指標(biāo)并不突出。

如果把目光聚焦到端AI，GPU計(jì)算功耗比低的弱點(diǎn)就更明顯了。端AI應(yīng)用的特點(diǎn)就是只做神經(jīng)網(wǎng)絡(luò)前向計(jì)算，不做反向傳播，對(duì)運(yùn)行時(shí)存儲(chǔ)的要求不高，GPU顯存大的優(yōu)勢(shì)體現(xiàn)不出來(lái)。穿戴式設(shè)備因?yàn)轶w積小等原因，對(duì)功耗非常敏感，同時(shí)由于要與人互動(dòng)，穿戴式設(shè)備一般要求能實(shí)時(shí)運(yùn)行神經(jīng)網(wǎng)絡(luò)模型。盡管網(wǎng)絡(luò)模型可以裁剪，但為了保證模型的性能下降在可接受的范圍，裁剪后的模型計(jì)算量仍然會(huì)比較大，這就要求端AI芯片有較強(qiáng)的算力。為了提高運(yùn)行神經(jīng)網(wǎng)絡(luò)模型的計(jì)算功耗比，專用的端AI芯片就應(yīng)運(yùn)而生了。由于專用的AI芯片在一開(kāi)始設(shè)計(jì)時(shí)就針對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算加速做優(yōu)化，其性能提升往往能夠突破摩爾定律，每隔18～24個(gè)月性能可提升5倍甚至更多。

當(dāng)前主流端AI芯片有DSP形態(tài)和NPU形態(tài)兩種。Intel movidius myraid2、高通Hexagon DSP都屬于DSP形態(tài)的AI芯片。DSP的優(yōu)勢(shì)是工藝成熟，成本較低，每瓦功耗的算力可達(dá)100Gflops。華為麒麟970／980芯片、蘋(píng)果A12芯片等則集成了NPU支持端AI計(jì)算，每瓦功耗算力可達(dá)500G－1T flops。NPU的計(jì)算功耗比相對(duì)DSP有較大的優(yōu)勢(shì)，是端AI芯片發(fā)展的趨勢(shì)。Intel Movidius myraidX已經(jīng)集成了NPU，相比myraid2每瓦功耗的算力提升了5倍以上。高通預(yù)計(jì)也將在2019年推出集成NPU的AI芯片。

當(dāng)前，AI芯片算力提升的一個(gè)瓶頸是存儲(chǔ)墻問(wèn)題。在傳統(tǒng)的馮諾伊曼架構(gòu)下，計(jì)算單元和存儲(chǔ)單元是分離的，深度學(xué)習(xí)模型運(yùn)行時(shí)需要把數(shù)據(jù)從DDR內(nèi)存搬移到計(jì)算單元內(nèi)部存儲(chǔ)里。數(shù)據(jù)搬移需要的功耗在整個(gè)計(jì)算中占非常大的比重，而且數(shù)據(jù)搬移的效率不會(huì)因?yàn)槟柖傻陌l(fā)展而提高，這被稱之為＂存儲(chǔ)墻＂。當(dāng)前解決＂存儲(chǔ)墻＂問(wèn)題的一個(gè)主要方案是3D堆疊技術(shù)，即在處理器周?chē)询B更多的存儲(chǔ)器件。

對(duì)用戶來(lái)說(shuō)，擁有一款端AI芯片還只是第一步，怎樣在AI芯片上做應(yīng)用開(kāi)發(fā)才是關(guān)鍵。AI芯片公司通過(guò)提供專門(mén)的工具使得芯片對(duì)端AI應(yīng)用開(kāi)發(fā)透明。Intel提供OpenVINO工具包，高通提供NPE引擎，華為提供HiAI移動(dòng)計(jì)算平臺(tái)，都是為了支持用戶無(wú)感地部署、運(yùn)行神經(jīng)網(wǎng)絡(luò)模型，將AI芯片算力轉(zhuǎn)化為生產(chǎn)力。業(yè)界領(lǐng)先的AR眼鏡公司亮亮視野也推出了自己的Laffe框架，幫助用戶用Movidius VPU的AI算力實(shí)現(xiàn)自己的價(jià)值。

二、穿戴式安防產(chǎn)品形態(tài)及應(yīng)用場(chǎng)景

當(dāng)前穿戴式安防產(chǎn)品主要有AR眼鏡、執(zhí)法記錄儀等。執(zhí)法記錄儀可對(duì)執(zhí)法過(guò)程進(jìn)行動(dòng)態(tài)或靜態(tài)的數(shù)字化記錄，同時(shí)維護(hù)執(zhí)法人員和執(zhí)法對(duì)象合法權(quán)益，目前已經(jīng)比較成熟，形成了GA／T947－2015單警執(zhí)法視音頻記錄儀行業(yè)標(biāo)準(zhǔn)。AR眼鏡是近年出現(xiàn)的新型穿戴式安防產(chǎn)品，與普通的執(zhí)法記錄儀不同，AR眼鏡帶有端AI芯片和顯示設(shè)備，可依托AI與執(zhí)法者進(jìn)行交互。

除了執(zhí)法記錄，穿戴式安防產(chǎn)品的應(yīng)用場(chǎng)景主要是人臉抓拍，在這方面AR眼鏡具備獨(dú)特優(yōu)勢(shì)。執(zhí)法記錄儀配備端AI芯片后也具有人臉抓拍能力，但執(zhí)法記錄儀難以支持人機(jī)交互，對(duì)抓拍效果執(zhí)法人員幾乎無(wú)法干涉，抓拍效果較差。AR眼鏡抓拍人臉時(shí)天然處于第一視角，符合人的使用習(xí)慣，抓拍人臉效果最佳。雖然固定攝像頭抓拍人臉技術(shù)比較成熟，但顯然不具備AR眼鏡的移動(dòng)性優(yōu)勢(shì)。

AR眼鏡在安防方面的應(yīng)用場(chǎng)景還有人臉識(shí)別、車(chē)牌識(shí)別等。執(zhí)法人員佩戴AR眼鏡進(jìn)行人臉識(shí)別一個(gè)優(yōu)勢(shì)是可以要求執(zhí)法對(duì)象配合，這點(diǎn)固定攝像頭無(wú)法做到。人臉識(shí)別算法經(jīng)過(guò)數(shù)十年的演化已經(jīng)取得超越人類識(shí)別能力的成果，但非配合式人臉識(shí)別仍是有待解決的難題。AR眼鏡人臉識(shí)別主要對(duì)接公安常口庫(kù)和在逃庫(kù)，在治安卡口、巡街、大型活動(dòng)安保方面應(yīng)用前景廣泛。AR眼鏡識(shí)別車(chē)牌具有靈活性，執(zhí)法人員隨時(shí)可以檢查車(chē)牌所屬車(chē)輛狀況，反饋信息顯示在屏幕上，這也是不具備交互能力的固定攝像頭和執(zhí)法記錄儀難以企及的。

2018年春運(yùn)期間，鄭州鐵路警方在全國(guó)鐵路率先使用人像比對(duì)警務(wù)眼鏡，通過(guò)人像識(shí)別，高效地篩查出旅客中的網(wǎng)上在逃和冒用他人身份證件的違法行為人。

圖1 亮亮視野推出的AR眼鏡

三、人臉抓拍、人臉識(shí)別技術(shù)在端AI芯片上的應(yīng)用

人臉抓拍涉及的是人臉檢測(cè)、人臉選優(yōu)技術(shù)。在深度學(xué)習(xí)流行之前，人臉檢測(cè)的巔峰是Viola－Jones算法，實(shí)時(shí)性非常好，準(zhǔn)確性尚可，目前已經(jīng)被收錄到OpenCV。這一算法的三要素是：Haar－like特征、Adaboost分類器和Cascade級(jí)聯(lián)分類器。深度學(xué)習(xí)時(shí)代人臉檢測(cè)算法層出不窮，代表性的有MTCNN、SSH、S3FD、PyramidBox和DSFD等。MTCNN將人臉檢測(cè)任務(wù)和人臉關(guān)鍵點(diǎn)檢測(cè)任務(wù)聯(lián)合，具有速度快、準(zhǔn)確性較高的特點(diǎn)，同時(shí)附帶輸出5個(gè)人臉關(guān)鍵點(diǎn)，已經(jīng)是端AI芯片上人臉檢測(cè)算法的標(biāo)配。除了MTCNN，主流的人臉檢測(cè)算法都是從目標(biāo)檢測(cè)算法演化過(guò)來(lái)的，其中基于SSD（Single Shot Multibox Detector）的最多。盡管SSD在計(jì)算量和性能之間trade－off做得不錯(cuò)，直接在端AI芯片上應(yīng)用基于SSD的人臉檢測(cè)算法仍是困難的任務(wù)，還要輔以神經(jīng)網(wǎng)絡(luò)壓縮或者直接使用輕量級(jí)骨干網(wǎng)絡(luò)。知名的輕量級(jí)骨干網(wǎng)絡(luò)有shufflenet、mobilenet等，都是人工設(shè)計(jì)的。隨著AutoML技術(shù)的發(fā)展，通過(guò)自動(dòng)化的方法設(shè)計(jì)輕量網(wǎng)絡(luò)也逐漸走上舞臺(tái)。神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)主要有剪枝和知識(shí)蒸餾。目前的剪枝壓縮技術(shù)已經(jīng)可以做到計(jì)算量減半準(zhǔn)確率不受影響。知識(shí)蒸餾是教師網(wǎng)絡(luò)將部分知識(shí)遷移到輕量的學(xué)生網(wǎng)絡(luò)，從而達(dá)到壓縮神經(jīng)網(wǎng)絡(luò)計(jì)算量的目的。此外，進(jìn)行模型權(quán)重量化也是將人臉檢測(cè)算法在端AI芯片上落地應(yīng)用的捷徑，當(dāng)前端AI芯片一般都支持16－bit、8－bit量化。

人臉選優(yōu)的目的是選擇符合人臉識(shí)別要求的人臉圖像。當(dāng)前的人臉識(shí)別技術(shù)條件下識(shí)別側(cè)臉和模糊人臉仍是很困難的，因此要求把側(cè)臉和模糊人臉能夠過(guò)濾掉。側(cè)臉過(guò)濾有兩種策略，一種是訓(xùn)練人臉檢測(cè)模型時(shí)將側(cè)臉作為副樣本，另一種是估計(jì)人臉的姿態(tài)。為了在端AI芯片上落地，估計(jì)人臉的姿態(tài)的算法模型計(jì)算量也不能太大。穿戴式設(shè)備產(chǎn)生的模糊一般有兩種：對(duì)焦模糊和運(yùn)動(dòng)模糊。在端AI芯片上判斷人臉圖像是否模糊是一個(gè)挑戰(zhàn)，從實(shí)時(shí)性上考慮可以采用傳統(tǒng)的非深度學(xué)習(xí)算法。

人臉識(shí)別算法一般運(yùn)行在云端，但隨著端AI芯片算力的提升以及1：10萬(wàn)級(jí)以下的人臉識(shí)別場(chǎng)景的挖掘，人臉?biāo)惴ㄩ_(kāi)始下移到AI芯片。這種方案的好處有以下兩點(diǎn)： 　　1．人臉識(shí)別的速度大幅提升。云端進(jìn)行人臉識(shí)別的方案一般要耗時(shí)1－2秒，但在終端進(jìn)行人臉識(shí)別只需幾百毫秒。

2．人臉識(shí)別的方案成本降低。云端進(jìn)行人臉識(shí)別需要配置較高的服務(wù)器，占用更大的網(wǎng)絡(luò)帶寬，成本較高，而在終端進(jìn)行人臉識(shí)別效率高。

適合人臉安防應(yīng)用的獨(dú)立AI芯片主要有以下幾種：

1．Intel movidius myraid系列芯片，在算力和功耗之間平衡得最好，最新的MyraidX芯片算力已達(dá)1Tflops。老款Myraid2芯片采用VPU進(jìn)行加速，最新的MyraidX芯片則同時(shí)集成了VPU和NPU，其中NPU支持通過(guò)專門(mén)的硬件單元對(duì)卷積、pooling等算子進(jìn)行加速。借助OpenVINO的支持，movidius芯片可敏捷地部署caffe、tensorflow、pytorch等主流深度學(xué)習(xí)框架訓(xùn)，支持SSD、YOLO等目標(biāo)檢測(cè)算法。亮亮視野AR眼鏡采用movidius芯片提供AI算力。

2．華為海思Hi3559A，支持caffe模型部署運(yùn)行。借助海思在安防行業(yè)的沉淀，Hi3559A芯片在視頻編碼方面極具競(jìng)爭(zhēng)力，支持int8量化，算力高達(dá)0．6Tflops，在功耗方面與movidius芯片相當(dāng)。

3．InuiTIve NU4000，功耗較低，SLAM支持得較好，支持獨(dú)特的12－bit量化，在深度學(xué)習(xí)方面能力也與movidius相近，支持SSD、YOLO等檢測(cè)算法。

4．深鑒科技AI芯片，特色是自主研發(fā)的深度壓縮技術(shù)與深度學(xué)習(xí)處理器DPU（Deep Learning Processing Unit），擁有從算法到軟硬件的完整解決方案，但功耗較高。

四、端AI在穿戴式安防產(chǎn)品中應(yīng)用展望

未來(lái)隨著端AI芯片和安防相關(guān)算法的不斷進(jìn)步，會(huì)有更多的安防場(chǎng)景用到端AI芯片。隨著技術(shù)發(fā)展，在端AI芯片方面，打破存儲(chǔ)墻方向可能會(huì)有大的進(jìn)展，一個(gè)候選的技術(shù)方案是存算一體化，即通過(guò)相變、阻變等新型存儲(chǔ)器件的模擬計(jì)算功能來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的計(jì)算，整個(gè)計(jì)算過(guò)程都是在存儲(chǔ)里面實(shí)現(xiàn)，比起現(xiàn)在的馮諾伊曼架構(gòu)功耗更低、算力更強(qiáng)。存算一體化是受人腦工作方式啟發(fā)的，人腦的計(jì)算和存儲(chǔ)是不分的，不需要數(shù)據(jù)搬移。此外，用光學(xué)輔助做卷積計(jì)算也是提升端AI芯片計(jì)算功耗比的候選技術(shù)方案。

穿戴式安防產(chǎn)品會(huì)有更多的安防應(yīng)用場(chǎng)景落地：

1．人臉識(shí)別技術(shù)不斷提升，非配合式、無(wú)感的人臉識(shí)別日益成熟，依托端AI芯片的算力，最終穿戴式安防產(chǎn)品可以像科幻電影里描述的一樣實(shí)時(shí)、不受限地識(shí)別人。

2．穿戴式安防產(chǎn)品的移動(dòng)攝像頭與固定的監(jiān)控?cái)z像頭聯(lián)動(dòng)，結(jié)合城市安防大數(shù)據(jù)，更精細(xì)地規(guī)劃出城市中人出現(xiàn)的軌跡。

3．依靠端AI的算力，穿戴式安防產(chǎn)品可根據(jù)所感知到的對(duì)象自動(dòng)切換到不同的安防應(yīng)用場(chǎng)景，如身份證、駕駛證、人臉、車(chē)輛信息、步態(tài)識(shí)別等，成為移動(dòng)安防的入口。