AI應用程序需要大量的能源消耗,通常是以服務器儲存所或昂貴的現場可編程門陣列的形式出現。挑戰(zhàn)在于提高計算能力,同時保持低能耗和低成本?，F在,人工智能的應用正在看到強大的智能邊緣計算帶來的巨大變化。與傳統的基于硬件的計算方法相比,基于硬件的卷積神經網絡加速度正以其令人印象深刻的速度和功率,為計算性能開創(chuàng)一個新的時代。通過使傳感器節(jié)點能夠自己做出決定,智能邊緣技術極大地降低了5G和Wi-Fi網絡的數據傳輸速率。這正在為以前不可能的新興技術和獨特應用提供動力。例如,偏遠地區(qū)的煙霧/火災探測器或傳感器層面的環(huán)境數據分析都已成為現實--所有這些都隨著電池的使用年限而發(fā)生變化。為了檢驗這些功能是如何實現的,本文探索了一個CNN的硬件轉換,一個專用的人工智能微控制器。

人工智能微控制器與超低功率卷繞神經網絡加速器

MAX78000 是一個人工智能微控制器與超低功率CNN加速器,在芯片上的先進系統。它使神經網絡能夠在資源受限的邊緣設備或iot應用超低功率。這些應用包括目標檢測和分類、音頻處理、聲音分類、噪聲消除、面部識別、心率/健康信號分析的時序數據處理、多傳感器分析和預測維護。

MAX78000由一個ARM提供高達100兆赫的動力。 帶有浮點單元的M4F芯。為了給應用程序提供足夠的內存資源,這個版本的微控制器配備了512kb的閃存和128kb的SRAM。包括多個外部接口,例如,對音頻應用來說很重要的ICS,SPIS,UART,以及IVOS。此外,還有一個集成的60兆赫RSCV核心。RSCS-V從/向單個外圍塊和內存(閃存和SRAM)復制數據,使其成為一個智能的直接內存訪問(DMA)引擎。RSCS-V核心為人工智能加速器預處理傳感器數據,因此ARM核心在此期間可以處于深度睡眠模式。必要時,推理結果可以通過中斷觸發(fā)ARM核心,ARMCPU隨后在主應用程序中執(zhí)行操作,無線傳遞傳感器數據,或通知用戶。

用于執(zhí)行卷繞神經網絡推理的硬件加速器單元是MAX7800X系列微控制器的一個顯著特點,它使它與標準微控制器體系結構和外圍設備不同。這個硬件加速器可以支持完整的CNN模型架構以及所有所需的參數(權重和偏差)。CNN加速器配備了64個并行處理器和一個集成存儲器,該存儲器有442kb,用于存儲參數,并用于輸入數據。由于模型和參數存儲在SRAM內存中,可以通過固件進行調整,網絡可以實時適應。根據模型中是否使用1-、2-、4-或8位權重,這個內存足以容納350萬個參數。由于存儲能力是加速器不可或缺的一部分,因此不需要在每次連續(xù)的數學操作中通過微控制器總線結構提取參數。由于延遲時間長和耗電量高,這項活動成本高昂。神經網絡加速器可以支持32或64層,取決于池功能。每層可編程圖像的輸入/輸出尺寸可達1024x1024像素。

CNN硬件轉換:能耗和推理速度比較

CNN推理是一個復雜的計算任務,它包含了矩陣形式的大型線性方程組.利用ARM cortex-M4F微控制器的力量,CNN在嵌入式系統固件上的推理是可能的;然而,有一些缺點需要考慮。由于基于固守器的推理運行在微控制器上,能量和時間被大量消耗,因為計算所需的命令,以及相關的參數數據,需要從內存中檢索,然后才能將中間的結果寫回去。

表1給出了使用三種不同解決方案的CNN推理速度和能耗的比較。這個例子模型是利用一個手寫的數字識別訓練集MPERE開發(fā)的,它將數字和字母從視覺輸入數據中分類,以獲得一個準確的輸出結果。測量了每種處理器類型所需的推理時間,以確定能耗和速度之間的差異。

在第一個方案中,使用了一個ARM皮質M4F處理器集成到以96兆赫運行的MAX32630,用于計算推理。在第二種情況下,為了處理計算,使用了MAX78000的基于硬件的CNN加速器。推理速度--即在網絡輸入中顯示視覺數據與結果輸出之間的時間--在使用帶有硬件加速器的微控制器(MAX78000)時降低了400倍。此外,每個推論所需的能量是一個低1100系數。在第三個比較中,每個推理的最小能耗優(yōu)化了MPERE網絡。結果的準確性從99.6%下降到95.6%.然而,網絡速度要快得多,每次推斷只需要0.36MS。每一個推論的能量消耗量減少到只有1.1秒。在使用兩個AA堿性電池(共6小時能量)的應用中,500萬推論是可能的(省去電路其余部分的電源)。

這些數據說明了硬件加速計算的力量。硬件加速計算是無法利用連接或連續(xù)電源的應用程序的寶貴工具。MAX78000支持邊緣處理,不需要大量的能源、寬帶互聯網接入或長時間的推理。

MAX78000人工智能微控制器用例

MAX78000支持大量潛在的應用程序,但是讓我們以下面的用例為例來研究。要求是設計一個電池驅動的相機,它可以檢測到貓在圖像傳感器的視野中,從而能夠通過貓門的數字輸出進入房子。

發(fā)展環(huán)境和評價包

開發(fā)邊緣應用程序的過程可分為以下幾個階段:

第一階段:人工智能-網絡的定義、培訓和量化

第2階段:ARM固件--將第1階段生成的網絡和參數納入C/C++應用程序,并創(chuàng)建和測試應用程序固件

開發(fā)過程的第一部分涉及建模、培訓和評估AI模型。在這個階段,開發(fā)者可以利用開源工具.該數據庫提供了全面的資源,以幫助用戶在考慮到該系統硬件規(guī)格的情況下,在使用PYOTUB開發(fā)環(huán)境建立和培訓AI網絡方面規(guī)劃自己的旅程。?MAX78000 .存儲庫中包含了一些簡單的AI網絡和應用程序,如面部識別(AMAXID)。

首先,對網絡進行建模。必須注意的是,并非所有MAX7800X微控制器都有硬件,支持在PIOTO環(huán)境中可用的所有數據操作。由于這個原因,由模擬設備提供的文件像8X.PY必須首先包括在項目中。這個文件包含使用MAX78000所需的PUTR模塊和操作員?；诖嗽O置,可以建立網絡,然后使用培訓數據進行培訓、評估和量化。這個步驟的結果是一個檢查點文件,其中包含最終合成過程的輸入數據。在這個最后的過程中,網絡及其參數被轉換成適合于CNN硬件加速器的形式。這里應該提到的是,網絡訓練可以用任何個人電腦完成(筆記本電腦,服務器等)。然而,如果不支持海關數據自動化系統的圖形卡,這可能需要很多時間--即使對于小型網絡,幾天甚至幾周都是完全現實的。

在開發(fā)過程的第二階段,利用將數據寫入CNN加速器并讀取結果的機制創(chuàng)建了應用固件。在第一階段創(chuàng)建的文件通過#包含指令被集成到C/C++項目中。開源工具,如EXEXESTI和GNU工具鏈也被用于微控制器的開發(fā)環(huán)境。工業(yè)發(fā)展署提供一套軟件開發(fā)工具包作為已經包含所有必要組件和配置的安裝程序。軟件開發(fā)包還包括外圍驅動程序以及示例和指令,以方便開發(fā)應用程序的過程。

結論

以前,人工智能的應用程序需要大量的能源消耗,如服務器儲存所或昂貴的FPGA?，F在,有了MAX78000,它有可能從單個電池上為AI應用程序提供長時間的動力。在能源效率和電力方面的這種突破使得Edge AI比以往任何時候都更容易獲得,并釋放出以前不可能的新的和令人興奮的Edge AI應用的潛力。