半導(dǎo)體產(chǎn)業(yè)發(fā)展了數(shù)十年，有一個(gè)詞從來(lái)沒(méi)有離開(kāi)過(guò)，那就是“評(píng)測(cè)”。

對(duì)硬件處理能力的評(píng)測(cè)，想必今天大家都已經(jīng)不陌生?！耙谎圆缓暇团芊帧睋?jù)說(shuō)是科技行業(yè)的慣例；而普通人買手機(jī)買電腦，也要先了解一下CPU多少分、GPU處理能力達(dá)到多少分之類的數(shù)據(jù)。

而在AI變得越發(fā)重要的今天，是不是也應(yīng)該有對(duì)AI算力進(jìn)行評(píng)測(cè)的方案呢？

這個(gè)問(wèn)題值得認(rèn)真思考一下。

無(wú)論是對(duì)谷歌、英偉達(dá)，還是高通、聯(lián)發(fā)科而言，今天的AI芯片和AI算力已經(jīng)成為了CPU和GPU之后的“第三大計(jì)算版圖”，評(píng)測(cè)AI算力的意義是毫無(wú)疑問(wèn)的。然而另一方面，AI面向的并不是單一的計(jì)算任務(wù)，而是若干種類計(jì)算任務(wù)、計(jì)算架構(gòu)的集合，這也讓測(cè)試AI性能變得史無(wú)前例的棘手。

要知道，即使CPU評(píng)測(cè)這件在今天看起來(lái)并沒(méi)有難度的事，也是從90年代就開(kāi)始啟動(dòng)，由無(wú)數(shù)公司與產(chǎn)業(yè)組織共同努力，才最終完成了行業(yè)標(biāo)準(zhǔn)確立。

那么AI評(píng)測(cè)這個(gè)陌生的東西，需要面對(duì)的技術(shù)規(guī)則挑戰(zhàn)可想而知。然而今天我們?cè)谑謾C(jī)芯片等領(lǐng)域，正在不斷看到越來(lái)越多的AI評(píng)測(cè)規(guī)則、評(píng)測(cè)報(bào)告出爐。結(jié)論往往混亂不堪，吃瓜群眾也搞不清楚這里的門道到底在哪。

讓我們今天“打破砂鍋問(wèn)到底”，來(lái)看看AI評(píng)測(cè)“到底是怎么測(cè)的”。

手機(jī)芯片領(lǐng)域的AI算力評(píng)測(cè)，是一項(xiàng)爭(zhēng)議和復(fù)雜度遠(yuǎn)超想象的工程。今天為數(shù)不少的AI評(píng)測(cè)報(bào)告，或許都欠缺一抹嚴(yán)肅與邏輯自洽能力。

都想當(dāng)“江湖百曉生”：風(fēng)起云涌的AI芯片評(píng)測(cè)

看過(guò)《小李飛刀》系列的人都知道，排兵器譜的江湖百曉生雖然本身武力值不高，但江湖地位卓然不群。而今在AI高速前行的時(shí)代，給AI芯片排名這件“差事”，自然也是誘惑力十足。

在服務(wù)器AI芯片領(lǐng)域，很多組織和機(jī)構(gòu)都在醞釀算力評(píng)測(cè)方案。國(guó)內(nèi)的中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）已經(jīng)多次組織學(xué)界與產(chǎn)業(yè)界研討AI算力評(píng)測(cè)方案，并已有相關(guān)討論稿。而在海外，谷歌、英偉達(dá)等AI巨頭也在醞釀AI算力評(píng)測(cè)的相關(guān)章程，希望建立國(guó)際范圍內(nèi)通行的AI芯片測(cè)試標(biāo)準(zhǔn)。

而在手機(jī)芯片領(lǐng)域，這兩年隨著麒麟970開(kāi)始搭載獨(dú)立的NPU處理單元，之后蘋果在A11中開(kāi)始跟進(jìn)，在A12中搭載了具備相當(dāng)算力的AI加速模塊；今年驍龍855也采取了專用加速模塊的架構(gòu)，聯(lián)發(fā)科也講起了AI故事，手機(jī)芯片基本已經(jīng)在AI方向上達(dá)成了共識(shí)。那么如何來(lái)評(píng)價(jià)每一家的AI加速能力，自然成為了新的迫切需求。

目前，移動(dòng)和電信都在組織自己的手機(jī)AI芯片評(píng)測(cè)報(bào)告。魯大師很早就推出過(guò)一個(gè)AI跑分規(guī)則，引發(fā)了很多爭(zhēng)議，而它的競(jìng)品安兔兔也在醞釀AI領(lǐng)域的評(píng)測(cè)。在國(guó)外，蘇黎世理工ETH也發(fā)布了SoC的AI性能評(píng)測(cè)方案AI Benchmark。

然而如果有朋友看過(guò)不同的端測(cè)AI評(píng)測(cè)報(bào)告，可能會(huì)發(fā)現(xiàn)這樣一個(gè)問(wèn)題：各家評(píng)測(cè)結(jié)果出入很大，經(jīng)常陷入“公說(shuō)公有理”的狀態(tài)。

這背后的根本原因在于，AI加速并不是一個(gè)通用計(jì)算能力，而是面向不同任務(wù)、不同網(wǎng)絡(luò)模型給出的差異化提速效果。甚至每款芯片能夠覆蓋的AI加速任務(wù)種類都有極大不同。舉個(gè)例子，短跑選手之間可以比賽排名，田徑隊(duì)和體操隊(duì)碰上了怎么比呢？

十分為難的評(píng)測(cè)方，在今天這個(gè)缺乏統(tǒng)一標(biāo)準(zhǔn)的AI評(píng)測(cè)時(shí)代，基本只能采取一種辦法：不管那么多，先測(cè)了再說(shuō)。

于是，片面的標(biāo)準(zhǔn)和隨之而來(lái)的混亂，是AI評(píng)測(cè)這個(gè)行當(dāng)?shù)漠?dāng)前狀態(tài)。

“比武”也要講邏輯：不全面AI評(píng)測(cè)的隱憂

今天AI評(píng)測(cè)最大的問(wèn)題，在于每家芯片廠商最開(kāi)始做AI專項(xiàng)加速的時(shí)候，對(duì)這門復(fù)雜技術(shù)有著不同的理解。摸索期過(guò)去，當(dāng)各自作品“登上舞臺(tái)”，評(píng)測(cè)機(jī)構(gòu)可能會(huì)有點(diǎn)傻眼：這誰(shuí)跟誰(shuí)都不一樣，可怎么測(cè)啊……

在AI沒(méi)有通用接口的前提下，各家SoC廠商可能會(huì)選擇各自的兼容格式，不同的編程接口，以及不同的計(jì)算框架。甚至對(duì)于AI加速單元到底要為哪些AI任務(wù)加速，各家廠商的選擇都是不同的。

在這種情況下，如何將評(píng)測(cè)項(xiàng)目快速上馬？最簡(jiǎn)單粗暴的邏輯，就是找一個(gè)大家都能做的來(lái)測(cè)一下。

魯大師的AI跑分之所以飽受質(zhì)疑，原因就在于它只用了一個(gè)AI識(shí)圖的任務(wù)來(lái)測(cè)試不同的手機(jī)，然而AI識(shí)圖只是眾多應(yīng)用中很小的一部分。甚至數(shù)據(jù)集和算法的不同，也會(huì)讓AI識(shí)圖這件事產(chǎn)生相差懸殊的結(jié)果。這種單一任務(wù)決定分?jǐn)?shù)高低的測(cè)試方法，有點(diǎn)像一張?jiān)嚲碇挥幸坏肋x擇題——顯然是無(wú)法做到公允的。

即使評(píng)測(cè)機(jī)構(gòu)想要把邏輯做的更復(fù)雜一點(diǎn)，在今天很可能依舊無(wú)法擺脫“折中主義”的評(píng)測(cè)思路。

比如說(shuō)，不久之前發(fā)布的《中國(guó)移動(dòng)2018年智能硬件質(zhì)量報(bào)告》把驍龍855和麒麟980的AI性能進(jìn)行了評(píng)測(cè)對(duì)比。然而我們?nèi)绻匆幌逻@個(gè)評(píng)測(cè)的邏輯，會(huì)發(fā)現(xiàn)依舊無(wú)法擺脫片面折中的尷尬現(xiàn)象。

由于驍龍芯片和麒麟芯片對(duì)于AI加速的理解有很大區(qū)別，兩款芯片加速的AI任務(wù)也有很大不同。于是在移動(dòng)端的AI評(píng)測(cè)中，其邏輯是尋找兩款芯片都能做的AI任務(wù)，找到幾個(gè)典型算法和典型場(chǎng)景，然后進(jìn)行評(píng)測(cè)對(duì)比；評(píng)測(cè)標(biāo)準(zhǔn)是，在固定時(shí)間內(nèi)，誰(shuí)能完成更多的突破分類、圖片分割等運(yùn)算任務(wù)，則誰(shuí)更強(qiáng)。

然而這里首先暴露出的一個(gè)問(wèn)題就是，折中主義方案下依然可能帶來(lái)不公平。因?yàn)楹芏嘈酒a(chǎn)品真正擅長(zhǎng)，能給消費(fèi)者帶來(lái)體驗(yàn)改進(jìn)的算法加速，可能是對(duì)方芯片模塊中所不具備的能力，結(jié)果卻被評(píng)測(cè)方主動(dòng)屏蔽了。

這有點(diǎn)像華山論劍中，強(qiáng)行要求東邪西毒南帝北丐分門別類進(jìn)行比試。主辦方一琢磨，北丐會(huì)降龍十八掌，東邪會(huì)落英神掌，那公平起見(jiàn)你們就比掌法好了。然而北丐的掌法是看家本領(lǐng)，東邪的掌法只是十大神功之一，彈指神通玉簫劍法之類的，都被主辦方強(qiáng)行禁止了。

不全面的折中方案，其實(shí)恰好意味著不公平。然而這也是在倉(cāng)促起事的AI評(píng)測(cè)中難以避免的。

更深層次的問(wèn)題在于，折中主義方案其實(shí)是妥協(xié)于今天已經(jīng)比較完善、容易得出分?jǐn)?shù)對(duì)比的AI模型，比如圖像分類等等。然而問(wèn)題來(lái)了，端側(cè)AI必然是不斷發(fā)展的，用戶對(duì)AI算法的復(fù)雜度也在日益提升。當(dāng)AI算力和應(yīng)用不斷發(fā)展，用戶不會(huì)只滿足于拍照識(shí)圖這種極簡(jiǎn)單，并不需要強(qiáng)勁算力的AI應(yīng)用。然而對(duì)復(fù)雜算法的加速，也因?yàn)闃?biāo)準(zhǔn)難以統(tǒng)一被今天的AI評(píng)測(cè)屏蔽了。

比如說(shuō)，中移動(dòng)的評(píng)測(cè)報(bào)告中提到了麒麟980對(duì)于浮點(diǎn)運(yùn)算的加速能力更好。游戲玩家可能更清楚浮點(diǎn)運(yùn)算這一概念，在游戲中任務(wù)的運(yùn)動(dòng)效果、打擊感、與自然環(huán)境的貼合度，都是由處理器對(duì)浮點(diǎn)型任務(wù)的支撐能力決定的。復(fù)雜網(wǎng)絡(luò)和高精度的AI任務(wù)想要運(yùn)行，往往需要強(qiáng)浮點(diǎn)計(jì)算能力的支持，而這一點(diǎn)的重要性，顯然在評(píng)測(cè)中并沒(méi)有體現(xiàn)出來(lái)，這也導(dǎo)致麒麟980比驍龍855的AI處理能力低了半星。顯然，這個(gè)結(jié)論很難具備說(shuō)服力。

這里引申出的一個(gè)問(wèn)題就是，拋開(kāi)精度談速率，其實(shí)是一種不靠譜的算力比較。這就像答題答得快并不意味著成績(jī)好。更快的識(shí)圖速度如果建立高錯(cuò)誤率的基礎(chǔ)上，或者只能固定數(shù)據(jù)集快速識(shí)別，拿到現(xiàn)實(shí)生活中就識(shí)錯(cuò)，那顯然也并不意味著AI算力足夠強(qiáng)大。

整體來(lái)看，今天快速上馬的AI評(píng)測(cè)，根本問(wèn)題在于想要在缺乏行業(yè)通用標(biāo)準(zhǔn)的情況下自己搞一個(gè)標(biāo)準(zhǔn)。往往是針對(duì)于眼前能獲取到的、容易跑分的算法，并且著眼于各家產(chǎn)品間的能力重疊部分，進(jìn)行測(cè)試。

這套邏輯雖然夠快，但首先沒(méi)有看到各家產(chǎn)品的獨(dú)特性，也沒(méi)有看到未來(lái)大負(fù)載的復(fù)雜AI任務(wù)必將成為主流這一核心趨勢(shì)。

這種套路下得出的結(jié)論，顯然難以令人信服。

如何構(gòu)建相對(duì)公允的AI評(píng)測(cè)方案？

討論了手機(jī)AI芯片評(píng)測(cè)中的種種不公平，那么是不是有某種方式可以構(gòu)建相對(duì)公允的AI評(píng)測(cè)機(jī)制呢？

說(shuō)老實(shí)話，在今天AI芯片還缺乏行業(yè)統(tǒng)一標(biāo)準(zhǔn)，甚至對(duì)于行業(yè)目標(biāo)都不甚清晰的狀況下，公允的AI算力評(píng)測(cè)方案是很難確立的。這有賴于整個(gè)AI產(chǎn)業(yè)與半導(dǎo)體產(chǎn)業(yè)的長(zhǎng)期工作。

而就今天情況來(lái)看，至少我們可以預(yù)測(cè)到未來(lái)公允的AI評(píng)測(cè)方案的幾個(gè)主要趨勢(shì)：

1、著眼于高精準(zhǔn)（High Quality）的AI模型加速，而不是目前簡(jiǎn)單易用的AI方案。從CPU、GPU的邏輯來(lái)看，復(fù)雜任務(wù)一定是評(píng)測(cè)算力的最高標(biāo)準(zhǔn)。比如今天我們?cè)谠u(píng)測(cè)GPU時(shí)，都知道開(kāi)一個(gè)畫質(zhì)特別好的游戲作為標(biāo)準(zhǔn)。沒(méi)有人會(huì)用90年代的游戲來(lái)評(píng)測(cè)今天的GPU，這一點(diǎn)在AI評(píng)測(cè)上同樣適用。

2、分任務(wù)類別，進(jìn)行相對(duì)詳細(xì)的AI評(píng)測(cè)。今天的AI評(píng)測(cè)集中于圖片識(shí)別與處理上，然而視頻的AI加速、游戲的AI賦能、語(yǔ)音類的AI任務(wù)，都需要不同的AI算力賦能方式。相對(duì)公允的評(píng)測(cè)方案，應(yīng)該建立在對(duì)AI任務(wù)分門別類，構(gòu)建一整套評(píng)測(cè)機(jī)制的前提下。

3、浮點(diǎn)計(jì)算是AI評(píng)測(cè)的重要方面。AI的精準(zhǔn)度，會(huì)是未來(lái)提升用戶體驗(yàn)的主要方向。比如說(shuō)視頻里的摳圖、高精人像留色等等，這都需要浮點(diǎn)運(yùn)算能力對(duì)AI的支持。這種直接提升用戶體驗(yàn)的能力，應(yīng)該納入AI評(píng)測(cè)重點(diǎn)考慮的范疇。

4、從應(yīng)用端的體驗(yàn)來(lái)評(píng)測(cè)AI算力。AI任務(wù)的最終目的是應(yīng)用，那么從應(yīng)用體驗(yàn)角度，通過(guò)完整的AI應(yīng)用來(lái)測(cè)試加速效果，構(gòu)建圍繞用戶的核心坐標(biāo)系來(lái)反向測(cè)評(píng)硬件算力，也是一個(gè)可以探索的方案。讓AI評(píng)測(cè)回到以用戶為重心，顯然比折中主義方案更加靠譜。

當(dāng)然了，到底如何構(gòu)建一個(gè)評(píng)測(cè)方案，將未來(lái)趨勢(shì)、用戶體驗(yàn)等維度完整納入AI算力的測(cè)試范疇，是一項(xiàng)任重道遠(yuǎn)的工作。而同時(shí)我們也應(yīng)該注意到，在AI芯片領(lǐng)域，絕不應(yīng)該構(gòu)建一個(gè)“算力跑分為王”的機(jī)制，畢竟消費(fèi)者是否體驗(yàn)和熱愛(ài)AI，才是最好的衡量標(biāo)準(zhǔn)。

AI的本質(zhì)是“經(jīng)世致用”：評(píng)測(cè)之外，更應(yīng)該關(guān)注體驗(yàn)賽場(chǎng)

不同于CPU和GPU，AI算力不是在加速某一種恒定的運(yùn)算任務(wù)，而是對(duì)千奇百怪的任務(wù)構(gòu)建加速體系。

這或許可以看作AI和經(jīng)典計(jì)算在本質(zhì)上的區(qū)別。AI的本質(zhì)目標(biāo)是帶來(lái)體驗(yàn)差異化。讓消費(fèi)者可以獲得有溫度、有感知、千人千面的終端體驗(yàn)。換句話說(shuō)，AI在手機(jī)中的歸宿，不是數(shù)據(jù)化表現(xiàn)，而是算力經(jīng)歷產(chǎn)品化之后帶給消費(fèi)者的綜合體驗(yàn)。

而消費(fèi)者最終的感受，其中很大一部分顯然是無(wú)法用數(shù)據(jù)來(lái)衡量的。但這也不是說(shuō)移動(dòng)AI就不應(yīng)該進(jìn)行數(shù)據(jù)評(píng)測(cè)，而是應(yīng)該認(rèn)識(shí)到這一產(chǎn)業(yè)的復(fù)雜性，將那些不好量化的體驗(yàn)維度納入考量體系。

AI最終能否讓消費(fèi)者體驗(yàn)到真正的價(jià)值，依靠的是手機(jī)的產(chǎn)品化能力和應(yīng)用開(kāi)發(fā)者。如果產(chǎn)品端、開(kāi)發(fā)端沒(méi)有將AI算力進(jìn)行有效利用，那么再?gòu)?qiáng)的算力也是枉然。這就好像倉(cāng)庫(kù)里有各種名貴食材，然而廚師不會(huì)做或者不想做，那食客也只能望著倉(cāng)庫(kù)愴然涕下。

從用戶體驗(yàn)出發(fā)，反向來(lái)思考手機(jī)AI的問(wèn)題，我們會(huì)發(fā)現(xiàn)最重要的是算力-產(chǎn)品-開(kāi)發(fā)者，三方必須構(gòu)成有效的組織關(guān)系。產(chǎn)品端將AI具象成拍照、視頻、游戲等底層能力，開(kāi)發(fā)者將AI幻化成千變?nèi)f化的腦洞，這樣AI才有長(zhǎng)治久安的生命力。

這條AI體驗(yàn)的賽道中，今天來(lái)看有三個(gè)要素構(gòu)成了競(jìng)爭(zhēng)力的核心：

1、算力與硬件設(shè)備一體化聯(lián)動(dòng)能力：為什么驍龍芯片也在強(qiáng)調(diào)AI算力，但是大部分安卓機(jī)的AI表現(xiàn)卻參差不齊？原因在于手機(jī)制造商與芯片廠商是脫離的，從技術(shù)選擇、開(kāi)發(fā)上都將面臨不同的問(wèn)題。而高通需要保證的是全球市場(chǎng)的性價(jià)比和可使用性，也不會(huì)為單獨(dú)廠商定制AI算力。于是我們看到，蘋果和華為在手機(jī)產(chǎn)品的AI化上具有先天優(yōu)勢(shì)，搭載驍龍芯片的安卓機(jī)想要追趕，必須在硬件與芯片的一體化能力上下更大功夫才行。

2、開(kāi)發(fā)生態(tài)的賦能與扶持：如何引導(dǎo)AI開(kāi)發(fā)者走入算法的世界，構(gòu)建腦洞清奇的AI應(yīng)用開(kāi)發(fā)，這是一項(xiàng)百川歸海的開(kāi)發(fā)者革命。其中需要的或許不僅是強(qiáng)勁算力的支持，還有開(kāi)發(fā)平臺(tái)的完善，以及商業(yè)生態(tài)的勾勒。

3、云端一體化能力：直到今天，到底用服務(wù)器還是終端來(lái)處理AI任務(wù)，還是一件具有爭(zhēng)議的事情。從無(wú)延遲體驗(yàn)和安全性上來(lái)說(shuō)，端側(cè)AI是大勢(shì)所趨。而從未來(lái)趨勢(shì)上看，云端一體化的AI體驗(yàn)或許才是真正的答案。那么如何從架構(gòu)、算力、開(kāi)發(fā)平臺(tái)等多方面保證云端可以在手機(jī)背后無(wú)縫合作，是值得深思的問(wèn)題，這也是讓用戶收獲AI體驗(yàn)的關(guān)鍵一環(huán)。

總而言之，AI的任務(wù)是“經(jīng)世致用”，是讓用戶感覺(jué)到設(shè)備變得不同——而不是主動(dòng)閹割各種能力之后的跑分與評(píng)測(cè)。

中國(guó)人是最了解考試這門學(xué)問(wèn)的。今天很多給AI設(shè)計(jì)的考試，都還處在未經(jīng)雕琢的原始階段，頗有點(diǎn)讓AI寫八股文的影子。

一場(chǎng)完善的AI考試，是整個(gè)行業(yè)所強(qiáng)烈期待的，但是心急不能解決問(wèn)題。無(wú)論是AI評(píng)測(cè)還是AI本身，都還是一場(chǎng)山高路遠(yuǎn)的冒險(xiǎn)。