人工智能的出現(xiàn),或人工智能,作為一個(gè)關(guān)鍵的話題,很可能是由于大規(guī)模人工智能引擎的能力日益增長(zhǎng),如開(kāi)放和它的生成前訓(xùn)練變壓器(GTP)語(yǔ)言模型架構(gòu)。雖然這些系統(tǒng)在數(shù)據(jù)中心層面發(fā)揮作用,而GPS提供了處理能力,但規(guī)模較小的人工智能工作量可以改善資源高度受限的嵌入式終端產(chǎn)品的性能和用戶體驗(yàn)。

在人工智能的電子貓智能識(shí)別中,可以訓(xùn)練ML來(lái)區(qū)分一只貓和另一只貓,只為允許進(jìn)入的貓打開(kāi)門(mén)。

例如,一個(gè)人工智能的電子貓智能識(shí)別。使用機(jī)器學(xué)習(xí),這將首先訓(xùn)練,以區(qū)分貓與其他動(dòng)物或物體。經(jīng)過(guò)進(jìn)一步的訓(xùn)練,它可以學(xué)會(huì)區(qū)分一只貓和所有其他的貓,并為那只貓打開(kāi)門(mén)。其結(jié)果是,我們的家是安全的其他貓,我們的貓不需要穿rfid領(lǐng)或類似不舒服的舊技術(shù)進(jìn)入家。在這里,人工智能極大地改善了寵物及其主人的用戶體驗(yàn)。

如果這個(gè)或其他Ai增強(qiáng)的嵌入式應(yīng)用程序是運(yùn)行在電池電源,那么低耗電量是一個(gè)關(guān)鍵要求。大多數(shù)這種小型和資源有限的應(yīng)用程序今天將以通用微控制器為基礎(chǔ)。雖然使用微控制器實(shí)現(xiàn)機(jī)器學(xué)習(xí)功能是可能的,但是這些設(shè)備很難快速執(zhí)行AI任務(wù),而且在執(zhí)行AI功能時(shí)消耗了太多的力量。服務(wù)器規(guī)模的GPS為嵌入式應(yīng)用程序提供了多次所需的處理能力,但遠(yuǎn)遠(yuǎn)超過(guò)其成本和功率預(yù)算。

為了創(chuàng)建一個(gè)由電池操作的、啟用的產(chǎn)品,設(shè)計(jì)師需要一種更好的方法來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)工作量,同時(shí)仍然保留通用微控制器中熟悉的工具和指令集。阿爾夫半導(dǎo)體公司開(kāi)發(fā)的一種方法結(jié)合了一個(gè)新的處理架構(gòu)和一個(gè)ARMcortex-M實(shí)時(shí)核心提供一個(gè)新的AI優(yōu)化微控制器類別,以符合解決實(shí)現(xiàn)電池功率人工智能的挑戰(zhàn)。我們將致力于演示與傳統(tǒng)微控制器相比,這種方法如何提高人工智能工作負(fù)載的性能和功率效率。

人工智能工作量的特點(diǎn)

在大規(guī)模人工智能部署中使用GPS的原因是因?yàn)樗鼈兡軌虿⑿袌?zhí)行許多流程,這對(duì)于為人工智能創(chuàng)建有效的培訓(xùn)環(huán)境至關(guān)重要。神經(jīng)網(wǎng)絡(luò)通過(guò)同時(shí)處理幾個(gè)大型數(shù)據(jù)集來(lái)學(xué)習(xí).

例如,即使是單個(gè)圖像也是一組大型數(shù)據(jù)集,由圖像的高度和寬度以及每個(gè)像素上的數(shù)據(jù)定義。當(dāng)我們將此添加到視頻時(shí),我們將像素?cái)?shù)據(jù)的變化作為一個(gè)時(shí)間函數(shù)添加到這個(gè)訓(xùn)練過(guò)程中。不同于并行處理GPU,通用微控制器中的標(biāo)準(zhǔn)CPU可以連續(xù)處理數(shù)據(jù),一次掃描每個(gè)像素,而不是像GPU那樣感知整個(gè)圖像。這意味著,為了執(zhí)行同樣的圖像識(shí)別任務(wù),即使是相對(duì)較慢的GPU,例如,為了精確識(shí)別寵物貓,微控制器的CPU必須在掃描每個(gè)像素時(shí)以更高的速度運(yùn)行。

這樣的操作將傾向于驅(qū)動(dòng)CPU核心長(zhǎng)期達(dá)到其最大工作頻率。由于幾乎所有的處理能力都分配給人工智能任務(wù)，微控制器的整體性能可能會(huì)受到影響。同時(shí)，該設(shè)備的功耗將增加到電池操作不再可行的程度。這表明了在基于傳統(tǒng)通用微控制器的電池驅(qū)動(dòng)產(chǎn)品中實(shí)現(xiàn)有用的人工智能功能的困難。

TinyML支持簡(jiǎn)單的AI工作負(fù)載，但可能不能解決貓智能識(shí)別的場(chǎng)景

雖然在通用微控制器的基礎(chǔ)上開(kāi)發(fā)出一種能增強(qiáng)電池的產(chǎn)品是很有挑戰(zhàn)性的,但這絕不是不可能的。一種解決方案是降低工作負(fù)載的復(fù)雜性,直到設(shè)備的電源消耗和性能可以控制為止。TINML是機(jī)器學(xué)習(xí)的一個(gè)子集,它按毫瓦功率的順序運(yùn)行,而不是大規(guī)模人工智能工作負(fù)載使用的GPS消耗的數(shù)十瓦特功率。

通過(guò)利用專門(mén)設(shè)計(jì)的軟件庫(kù)進(jìn)行資源受限的人工智能的培訓(xùn)和實(shí)現(xiàn),Tinyml使電池驅(qū)動(dòng)的設(shè)備能夠運(yùn)行簡(jiǎn)單的人工智能工作負(fù)載,例如使用加速計(jì)的手勢(shì)識(shí)別--這種類型的模型可以用于智能可穿戴設(shè)備,以區(qū)分用戶進(jìn)行的不同練習(xí)。

這就是說(shuō),比像面部識(shí)別這樣的高級(jí)人工智能任務(wù)更簡(jiǎn)單,而且需要更少的內(nèi)存和處理能力。雖然有很多用于圖像處理的工作量,比如目標(biāo)跟蹤,但這些工作量并沒(méi)有達(dá)到識(shí)別單個(gè)貓的水平。對(duì)于改進(jìn)終端產(chǎn)品的用戶體驗(yàn)來(lái)說(shuō),TINML有很多優(yōu)點(diǎn),但低耗電量是犧牲了更高水平的AI功能的結(jié)果。

ARM-55和GPS的運(yùn)算

設(shè)計(jì)AI增強(qiáng)產(chǎn)品時(shí)的另一個(gè)解決方案是選擇一個(gè)配備了為任務(wù)設(shè)計(jì)的處理核心的單片機(jī),例如ARM cortex-M55。由于一個(gè)新的矢量指令集擴(kuò)展,ARM的內(nèi)核技術(shù),cortex-M55設(shè)備能夠進(jìn)行并行的算術(shù)運(yùn)算,使類似于GPS的運(yùn)算成為可能,盡管規(guī)模較小。

這,以及其他微控制器體系結(jié)構(gòu)的發(fā)展,如cortex-M55浮點(diǎn)單元(fp),使cortex-M-55核心能夠處理比典型的Tinyml應(yīng)用程序更有挑戰(zhàn)性的AI工作負(fù)載。雖然這個(gè)解決方案標(biāo)志著在使用通用微控制器時(shí)可以實(shí)現(xiàn)的人工智能工作負(fù)載的復(fù)雜性有了很大的改善,但仍然存在著電池操作產(chǎn)品所不能滿足的耗電問(wèn)題。

通用微控制器的人工智能加速器

解決這一問(wèn)題的秘訣在于ARM設(shè)計(jì)的一種新的加工結(jié)構(gòu):電子-U微處理器。這個(gè)專門(mén)的神經(jīng)處理單元極大地提高了cortex-M核心的性能,并可以作為一個(gè)人工智能/ML加速器嵌入式iot設(shè)備。在需要cortex-M微控制器控制功能的AI增強(qiáng)終端產(chǎn)品中,AI/ML計(jì)算可以以比在cortex-MCPU上更有效的方式在這個(gè)新的密克羅尼西亞體系結(jié)構(gòu)上直接運(yùn)行。

將AI/ML工作負(fù)載轉(zhuǎn)移到這個(gè)功能特定的核心,也允許主要的cortexM核心在睡眠或低功率模式中發(fā)揮作用,在AI操作期間提供了大量的電源節(jié)約。此外,這個(gè)微用戶可以使用人工智能來(lái)篩選數(shù)據(jù),這樣只有在微用戶推斷出應(yīng)用程序中有需求時(shí),cortexM核心的更高功能才會(huì)被啟動(dòng)。通過(guò)使用EOS-U-FISUU,通用的cortex-M微控制器不受AI/ML工作量的負(fù)擔(dān),可以在不犧牲性能或電池壽命的情況下運(yùn)行標(biāo)準(zhǔn)操作。

這一體系結(jié)構(gòu)的第一個(gè)微控制器是Alif半導(dǎo)體器件的集成家庭。在現(xiàn)實(shí)世界的測(cè)試中,他們的皮質(zhì)-M-55實(shí)時(shí)核心和EOS-U-55微孔的結(jié)合,已經(jīng)發(fā)現(xiàn)減少了一個(gè)人工智能工作負(fù)載的能源消耗比其他皮質(zhì)-M設(shè)備90%。

支持這一點(diǎn)的是高達(dá)90%的系統(tǒng)內(nèi)存需求減少和高達(dá)75%的機(jī)器學(xué)習(xí)模型的尺寸減少由于脫機(jī)優(yōu)化在密克羅尼西亞,以及先進(jìn)的,無(wú)損的模型壓縮算法。這個(gè)家庭在32位微控制器空間中添加了新的一類設(shè)備,這些設(shè)備保持了通用微控制器的熟悉性,但又增加了節(jié)能人工智能/ML推斷的好處。

在阿爾夫集成開(kāi)發(fā)工具包上運(yùn)行一個(gè)8位16×16矩陣乘法的一個(gè)真實(shí)例子的現(xiàn)場(chǎng)演示中,ARM通過(guò)在該系統(tǒng)中的e3系統(tǒng)的cortex-M-55上啟動(dòng)氦矢量加速度,在CMM-DS本地庫(kù)函數(shù)和編譯器優(yōu)化的幫助下,能夠突出顯示高達(dá)82%的執(zhí)行時(shí)間改進(jìn)。

AI/ML工作負(fù)載示例

不同水平的AI/ML推斷可以通過(guò)堆疊多組cortex-M和EOS-U處理器配對(duì)來(lái)實(shí)現(xiàn)。例如,合體家庭中最基本的設(shè)備使用一個(gè)單一的cortex-M55實(shí)時(shí)核心,由一個(gè)單一的EOS-U55微浦AI/ML加速器支持。在這個(gè)新的硬件加速單片機(jī)家族中,集成e3是第一個(gè)進(jìn)入生產(chǎn)的。基準(zhǔn)數(shù)據(jù)顯示,一個(gè)經(jīng)過(guò)圖像集數(shù)據(jù)訓(xùn)練的移動(dòng)網(wǎng)V21.0模型使用Alif的微脈沖加速器執(zhí)行速度比單獨(dú)使用cortex-M-55單片機(jī)執(zhí)行速度快135倍,執(zhí)行時(shí)間為20毫秒,而使用cortex-M-55核心時(shí)則快近3秒。

請(qǐng)記住,cortexM-55的運(yùn)行性能要比上一代cm核心高很多。每項(xiàng)推斷所用的測(cè)量能量也顯著下降。加速運(yùn)行是108X更多的電力效率,消耗僅0.86MJ相比,對(duì)62.MJ。

當(dāng)我們考慮到這個(gè)設(shè)備的雙核版本時(shí),事情變得非常有趣,它是建立在以前的微控制器的機(jī)器學(xué)習(xí)能力基礎(chǔ)上的,它增加了第二個(gè)更強(qiáng)大的cortex-M55核,并按比例增加了電子檔案，當(dāng)與第一核心一起使用時(shí),可以為運(yùn)行較低和較高級(jí)別的AI/ML工作負(fù)載創(chuàng)建一個(gè)兩級(jí)參照系統(tǒng)。

在限制耗電的情況下執(zhí)行AI/ML任務(wù)的另一個(gè)關(guān)鍵是低功率模式,其中大部分芯片都被關(guān)閉。由于只有實(shí)時(shí)時(shí)鐘和尾流源仍然活躍,這些微控制器繪制了大約1.0歐姆A,使他們成為電池操作系統(tǒng)的一個(gè)吸引人的解決方案。當(dāng)系統(tǒng)需要醒來(lái)時(shí),cortexM55核心可以以超低功率運(yùn)行,僅僅是為了引導(dǎo)EOS-UMISCUU執(zhí)行一個(gè)參考任務(wù),以決定是否需要使用更多的集成設(shè)備。

現(xiàn)在考慮一下這項(xiàng)技術(shù)對(duì)我們前面提到的人工貓智能識(shí)別的影響。在我們之前的例子中,我們可以預(yù)期,貓最初是通過(guò)某種形式的運(yùn)動(dòng)感知、視頻監(jiān)控或兩者的組合來(lái)檢測(cè)的。不管這只貓是否還在框架中,當(dāng)它試圖識(shí)別我們的貓時(shí),一個(gè)持續(xù)的視頻傳輸和相關(guān)的AI推斷將消耗大量的能量。

為了節(jié)省電源,雙芯集成微控制器可以利用第一cortexM-55核心的喚醒功能,使用低功率傳感器,首先檢測(cè)貓智能識(shí)別前是否有運(yùn)動(dòng)。

一旦探測(cè)到運(yùn)動(dòng),第一個(gè)cortexM55核就會(huì)喚醒低級(jí)別的參考系統(tǒng)中的電子-U-Meuu,以捕捉到視頻的一些畫(huà)面,并分析數(shù)據(jù)以檢查是否有貓;它可能是另一種動(dòng)物或者是在攝像機(jī)前經(jīng)過(guò)的異物。如果在查看視頻后發(fā)現(xiàn)一只貓接近了貓的皮瓣,第一個(gè)cortexM55可以喚醒更高層次的參考系統(tǒng)的第二個(gè)動(dòng)作,以檢查它是否是我們的貓。

如果CAT不被識(shí)別,該系統(tǒng)可以通過(guò)恢復(fù)低級(jí)別的運(yùn)動(dòng)檢測(cè)系統(tǒng)來(lái)節(jié)省能量,直到一個(gè)新的物體進(jìn)入框架。如果確定它是我們的貓,那么第二個(gè)微生物可以喚醒第二個(gè)cortexM55系統(tǒng),并激活機(jī)制,讓貓進(jìn)來(lái)。貓和它的家人仍然獲得了優(yōu)越的用戶體驗(yàn)的人工智能設(shè)備,但通過(guò)使用兩級(jí)人工智能推斷系統(tǒng),啟用了新的微控制器設(shè)計(jì)在集成設(shè)備,功率消耗可以大幅度降低。

在電池操作終端產(chǎn)品實(shí)現(xiàn)機(jī)器學(xué)習(xí)時(shí)遇到的困難中,由這種處理架構(gòu)實(shí)現(xiàn)的兩級(jí)參考系統(tǒng)可以解決高耗電和有限處理功率的問(wèn)題。