CPU、GPU、DSP以及硬件加速器——如何實(shí)現(xiàn)優(yōu)化?

車(chē)用芯片商一直在探討為先進(jìn)駕駛輔助系統(tǒng)(ADAS)設(shè)計(jì)的SoC。但其他人呢?包括記者、分析師，以及最重要的——汽車(chē)制造商，我們?cè)撊绾螀^(qū)別當(dāng)今的各種ADAS SoC性能有什么不同?

事實(shí)是，我們做不到。由于缺少科學(xué)工具和基準(zhǔn)檢驗(yàn)，讓我們幾乎別無(wú)選擇，只能相信供應(yīng)商的說(shuō)法?；蛘?，我們可以依靠諸如每秒兆次運(yùn)算(TOPS)之類(lèi)的不完美測(cè)量方法，來(lái)比較英特爾(Intel)/Mobileye的EyeQ5以及Nvidia的Xavier——這真的很愚蠢……

為此，開(kāi)發(fā)嵌入式硬件基準(zhǔn)的產(chǎn)業(yè)聯(lián)盟EEMBC日前推出了自動(dòng)駕駛基準(zhǔn)檢驗(yàn)套件——‘ADASMark’，現(xiàn)已可用于授權(quán)。

據(jù)EEMBC表示，新的工具套件有助于一線(xiàn)供應(yīng)商和汽車(chē)制造商在設(shè)計(jì)自家ADAS系統(tǒng)時(shí)，用于優(yōu)化其利用來(lái)自CPU、GPU和硬件加速器的運(yùn)算資源。

The Linley Group資深分析師Mike Demler看好ADASMark，他說(shuō)：“這不僅僅是一個(gè)抽象的性能指針，而且還使用了真正的工作負(fù)載。”Demler并表示，得力于加拿大工程設(shè)計(jì)服務(wù)公司AU-Zone Technologies以及恩智浦半導(dǎo)體(NXP Semiconductors)和德州儀器(TI)等芯片供應(yīng)商的參與，使得EEMBC的測(cè)試比百度(Baidu)的通用DeepBench更有意義。

“架構(gòu)”(framework)至關(guān)重要

《EE Times》有機(jī)會(huì)采訪(fǎng)了EEMBC總裁兼首席技術(shù)官Peter Torelli，針對(duì)汽車(chē)制造商在設(shè)計(jì)高度自動(dòng)化汽車(chē)時(shí)面臨的挑戰(zhàn)發(fā)表看法。

無(wú)疑地，越來(lái)越多的汽車(chē)嵌入式系統(tǒng)都部署了多個(gè)核心。然而，正如Torelli指出的，“能夠利用其非對(duì)稱(chēng)運(yùn)算資源的架構(gòu)(framework)仍然很少。如果沒(méi)有架構(gòu)，編譯基準(zhǔn)檢驗(yàn)的每個(gè)實(shí)例都會(huì)因?yàn)橛布煌a(chǎn)生顯著差異，而且也很難進(jìn)行跨平臺(tái)比較。透過(guò)架構(gòu)有助于移植，而只需很少的修改。”他說(shuō)，看看ADASMark Pipeline (下圖)就知道了。

(來(lái)源：EEMBC)

Torelli說(shuō)：“該系統(tǒng)的基準(zhǔn)性能可能會(huì)在管線(xiàn)中的所有階段都使用相同的CPU。但是，如果開(kāi)發(fā)人員想要在最后階段更換成自定義的神經(jīng)網(wǎng)絡(luò)芯片呢?或者，他們也許想用專(zhuān)有的DSP進(jìn)行色彩空間轉(zhuǎn)換?”

這便是架構(gòu)得以發(fā)揮之處。

“如果沒(méi)有架構(gòu)，開(kāi)發(fā)人員就必須在基準(zhǔn)檢驗(yàn)和計(jì)算設(shè)備(NN、DSP或GPU)之間插入程序代碼。這相當(dāng)耗時(shí)、復(fù)雜且容易出錯(cuò)，并且很容易破壞基準(zhǔn)檢驗(yàn)的目的(或破壞結(jié)果)。”Torelli解釋?zhuān)高^(guò)架構(gòu)則有助于讓計(jì)算設(shè)備更易于重新定位。

EEMBC最初審查了當(dāng)今市場(chǎng)上可用的選項(xiàng)。Torelli說(shuō)：“AMP和OpenAMP試圖解決這個(gè)問(wèn)題，但它們是對(duì)稱(chēng)多核心的規(guī)范，無(wú)法在這方面真正提供協(xié)助。我們也看過(guò)OpenCV和OpenVX，但他們對(duì)于制造商的支持力度也不足。”

這就是EEMBC為什么開(kāi)發(fā)基于新架構(gòu)的ADASMark之故。

專(zhuān)注于成像管線(xiàn)

根據(jù)EEMBC，ADASMark Benchmark Suite的主要特色“包括一個(gè)OpenCL 1.2 Embedded Profile API，用于確保運(yùn)算作業(yè)之間的一致性;由一系列微基準(zhǔn)檢驗(yàn)打造的應(yīng)用流程，用于測(cè)量和回報(bào)處理計(jì)算機(jī)視覺(jué)、自動(dòng)駕駛和移動(dòng)成像任務(wù)的SoC性能;以及由Au-Zone Technologies提供的交通號(hào)志識(shí)別CNN推理引擎。”

由于ADAS需要運(yùn)算密集型對(duì)象偵測(cè)和視覺(jué)分類(lèi)功能，因此，ADASMark的重點(diǎn)在于成像管線(xiàn)。EEMBC解釋?zhuān)褂昧?ldquo;代表高度平行應(yīng)用的實(shí)際工作負(fù)載，例如環(huán)繞視圖拼接、輪廓檢測(cè)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)交通號(hào)志分類(lèi)等。”

ADASMark的工作原理

那么，ADASMark如何運(yùn)作?

據(jù)EEMBC解釋?zhuān)珹DASMark著眼于對(duì)象識(shí)別，結(jié)合使用了“車(chē)輛周?chē)目梢?jiàn)光譜廣角相機(jī)，以及準(zhǔn)備影像供受訓(xùn)練的CNN進(jìn)行分類(lèi)的圖像處理系統(tǒng)。此外，分類(lèi)器的輸出提供了額外的決策邏輯，例如轉(zhuǎn)向和煞車(chē)系統(tǒng)。這種安排需要大量的運(yùn)算能力。”

確定可用資源的限制且知道如何有效利用它們并不是件簡(jiǎn)單的事。

為了因應(yīng)這一挑戰(zhàn)，EEMBC解釋?zhuān)珹DASMark基準(zhǔn)檢驗(yàn)將“應(yīng)用用例與合成測(cè)試組合結(jié)合到一連串的微基準(zhǔn)檢驗(yàn)中，用于測(cè)量和報(bào)告處理計(jì)算機(jī)視覺(jué)、自動(dòng)駕駛和移動(dòng)成像任務(wù)的SoC性能與延遲。”

不同類(lèi)型平臺(tái)的測(cè)試結(jié)果。以經(jīng)過(guò)DAG圖的最長(zhǎng)路徑?jīng)Q定得分。每項(xiàng)元素(Element)的運(yùn)行時(shí)間和內(nèi)存開(kāi)銷(xiāo)都會(huì)影響總分。(來(lái)源：EEMBC)

誰(shuí)的比分最高?

因此，從上表來(lái)看，Device C顯示了最佳性能。Torelli說(shuō)，Device C是其于開(kāi)發(fā)基準(zhǔn)檢驗(yàn)時(shí)使用的云端AWS Nvidia系統(tǒng)。至于Device A和Device B呢?Torelli說(shuō)說(shuō)：“很遺憾的是我不能說(shuō)出前兩種組件是什么，因?yàn)樗麄冞€不打算在此時(shí)公布得分。”

值得注意的是，ADASMark僅用于處理Level 2 ADAS的一部份。正如Demler所指出的，“這不是批評(píng)，但ADASMark并未解決自動(dòng)駕駛所需的更高階功能。識(shí)別交通號(hào)志在各個(gè)層級(jí)都很重要，因此它既有用又必要，但要用于Level3到Level 5的汽車(chē)還不夠。”

此外，如同EEMBC所說(shuō)，“基準(zhǔn)時(shí)間并不包括視頻檔案的主線(xiàn)程處理，或者是與分割資料串流到DAG不同邊緣相關(guān)的開(kāi)銷(xiāo)。”

在針對(duì)汽車(chē)應(yīng)用的新一代AI加速器著眼于繪圖運(yùn)算(或某些類(lèi)型)之際，一旦未來(lái)基準(zhǔn)檢驗(yàn)開(kāi)始將“視頻檔案的主線(xiàn)程處理”或“與分割資料串流相關(guān)的開(kāi)銷(xiāo)”納入考慮，ADASMark的分?jǐn)?shù)是否會(huì)有所不同?

Torelli說(shuō)：“或許如此，但這不是這項(xiàng)基準(zhǔn)檢驗(yàn)要測(cè)量的指標(biāo)。” 他解釋說(shuō)，“此處存在一些權(quán)衡，因?yàn)樵谝巡渴鸬南到y(tǒng)中，核心將會(huì)更緊密地整合。為了緩解這種差異，該管線(xiàn)的某些階段并未納入評(píng)分。盡管在同一平臺(tái)上的后續(xù)OpenCL裝置交換核心所需的時(shí)間納入評(píng)分，但它通常比該階段的工作負(fù)載執(zhí)行更小幾個(gè)數(shù)量級(jí)。我們還計(jì)算內(nèi)存緩沖的copy-in/copy-out函數(shù)，因?yàn)檫@是異質(zhì)運(yùn)算的一個(gè)重要部份。”

“第22條軍規(guī)”——進(jìn)退維谷之境…

Torelli告訴我們，在開(kāi)發(fā)ADASMark時(shí)讓他最驚訝的是“與測(cè)試人員的合作、在SoC開(kāi)發(fā)人員之間移植我們的基準(zhǔn)檢驗(yàn)，暴露了評(píng)估異質(zhì)運(yùn)算系統(tǒng)的復(fù)雜性，以及每一種新策略都需要開(kāi)發(fā)團(tuán)隊(duì)工作的大量努力。”

他補(bǔ)充說(shuō)：“目前大多數(shù)開(kāi)發(fā)人員都處于最少任務(wù)的環(huán)境中，這反過(guò)來(lái)阻礙了他們?cè)u(píng)估其他設(shè)計(jì)的機(jī)會(huì)。這就是所謂的‘第22條軍規(guī)’(Catch-22)：顯然每家供應(yīng)商的客戶(hù)都要求優(yōu)化他們自已的堆棧，但太多的限制卻讓開(kāi)發(fā)人員沒(méi)什么找到可能更佳解決方案的余地。”

更重要的是，Torelli觀察到，“從硬件的角度來(lái)看，在此節(jié)骨眼很難判斷好壞：運(yùn)算需求每個(gè)月都會(huì)隨著機(jī)器學(xué)習(xí)的新學(xué)術(shù)研究進(jìn)展而變化。”處理器產(chǎn)業(yè)通常跟不上學(xué)術(shù)研究的腳步，他說(shuō)，“但是當(dāng)今的機(jī)器學(xué)習(xí)/深度學(xué)習(xí)情況并非如此。所以，工程界的反應(yīng)還不夠快。”

ADAS SoC對(duì)車(chē)輛安全的影響

《EE Times》最近在““別人家的”L2級(jí)ADAS，為什么比你的強(qiáng)那么多?”一文中，報(bào)導(dǎo)了美國(guó)公路安全保險(xiǎn)協(xié)會(huì)(IIHS)針對(duì)配備ADAS的車(chē)輛安全性能進(jìn)行的評(píng)估測(cè)試結(jié)果。

*IIHS檢視道路測(cè)試和試車(chē)場(chǎng)的駕駛輔助功能，并分享其測(cè)試結(jié)果*

ADAS SoC的性能與ADAS車(chē)輛的安全性能之間是否存在任何相關(guān)性?我們?cè)儐?wèn)Torelli個(gè)別ADAS芯片對(duì)于當(dāng)今ADAS車(chē)輛性能的變化具有多大的影響力。

Torelli引用我們文中提到VSI Labs創(chuàng)辦人兼負(fù)責(zé)人Phil Magney的一句話(huà)：“由于硬件/軟件配置等多方面的因素，這些系統(tǒng)會(huì)出現(xiàn)許多性能差異。”Torelli認(rèn)為，“這種說(shuō)法過(guò)于保守!”

“在我們的案例中，基準(zhǔn)檢驗(yàn)并未擷取系統(tǒng)在視覺(jué)管線(xiàn)之上的響應(yīng)時(shí)間，例如決策邏輯。”他指出，“除了輪廓檢測(cè)外，ADASMark的每一級(jí)管線(xiàn)都具有與輸入成正比的確定性運(yùn)行時(shí)間。我認(rèn)為決策邏輯和實(shí)體系統(tǒng)的響應(yīng)時(shí)間都是問(wèn)題所在。”

針對(duì)IIHS的測(cè)試結(jié)果，Torelli說(shuō)，“它似乎與決策系統(tǒng)本身受算法(而非硬件)的支配有關(guān);實(shí)體響應(yīng)系統(tǒng)(煞車(chē)、轉(zhuǎn)向等)則有各自不同的環(huán)境變量。”

他總結(jié)說(shuō)，ADASmark是“一款有用的分析工具，可用于比較非對(duì)稱(chēng)硬件的運(yùn)算行為(很大程度上是確定性的)——這些硬件本身就是我們?cè)噲D解決的復(fù)雜任務(wù)。”

同時(shí)，針對(duì)ADAS SoC性能對(duì)于ADAS車(chē)輛安全的影響，Linley Group的Demler指出，IIHS的研究報(bào)告也進(jìn)行了一連串的L2測(cè)試。

但他補(bǔ)充說(shuō)，很難只指出一種硬件可能導(dǎo)致這種變化。“一開(kāi)始，我會(huì)先看傳感器和傳感器處理軟件，然后再著眼到像某些汽車(chē)中使用的EyeQ3或DrivePX等處理器。”

基準(zhǔn)傳感器融合?

EEMBC目前的ADASMark專(zhuān)注于視覺(jué)。那么，針對(duì)整合來(lái)自雷達(dá)、激光雷達(dá)等傳感器數(shù)據(jù)的SoC傳感器融合，EEMBC打算如何進(jìn)行基準(zhǔn)檢驗(yàn)?

Torelli說(shuō)，“雷達(dá)和激光雷達(dá)仍然是視覺(jué)(或類(lèi)似視覺(jué))管線(xiàn)。我不打算深入探索這些領(lǐng)域，因?yàn)槲夷壳斑€沒(méi)有看到太多性能指針的變化。”但是，他補(bǔ)充說(shuō)，“傳感器融合和決策邏輯絕對(duì)是一個(gè)令人感興趣的領(lǐng)域，但我認(rèn)為它跨越了一個(gè)不同的機(jī)器學(xué)習(xí)領(lǐng)域。至于我們的ADAS或機(jī)器學(xué)習(xí)團(tuán)隊(duì)是否涵蓋這部份，目前還有待觀察。”