汽車制造商正在檢查神經(jīng)形態(tài)技術(shù)以實現(xiàn)人工智能驅(qū)動的功能，例如關(guān)鍵字定位、駕駛員注意力監(jiān)控和乘客行為監(jiān)控。

模仿生物大腦過程很有吸引力，因為它有望在車輛趨向于電池供電運行的時候啟用高級功能而不會增加顯著的功耗。神經(jīng)形態(tài)計算和傳感還承諾極低的延遲，在某些情況下實現(xiàn)實時決策。

以下是有關(guān)該技術(shù)如何工作以及它如何出現(xiàn)在未來汽車中的內(nèi)幕。

尖峰網(wǎng)絡(luò)

盡管我們?nèi)匀徊煌耆私馊祟惔竽X的工作原理，但前沿研究表明，神經(jīng)元通過相互發(fā)送稱為尖峰的電信號進行交流，而這些尖峰的序列和時間，而不是它們的大小，才是最重要的。關(guān)鍵因素。神經(jīng)元如何響應(yīng)這些尖峰的數(shù)學(xué)模型仍在制定中。但許多科學(xué)家一致認為，如果多個尖峰同時（或非?？焖俚剡B續(xù)）從其鄰居到達神經(jīng)元，這意味著這些尖峰所代表的信息是相關(guān)的，因此導(dǎo)致神經(jīng)元向其發(fā)射一個尖峰。鄰居。

這與基于深度學(xué)習(xí)（今天的主流人工智能）的人工神經(jīng)網(wǎng)絡(luò)形成對比，其中信息以有規(guī)律的速度通過網(wǎng)絡(luò)傳播；也就是說，進入每個神經(jīng)元的信息被表示為數(shù)值，而不是基于時間。

建立一個基于尖峰的人工系統(tǒng)并不容易。我們不僅不確切知道神經(jīng)元是如何工作的，而且對于訓(xùn)練尖峰網(wǎng)絡(luò)的最佳方法也沒有達成一致。反向傳播——使訓(xùn)練深度學(xué)習(xí)算法成為可能的算法——需要計算導(dǎo)數(shù)，而這對于尖峰是不可能的。

一些在該領(lǐng)域工作的人，例如 SynSense，近似尖峰的導(dǎo)數(shù)以使用反向傳播。其他人使用一種稱為尖峰定時依賴可塑性（STDP）的技術(shù)，它更接近生物大腦的功能。BrainChip 使用這種方法在邊緣進行一次性學(xué)習(xí)。然而，STDP 是一種不太成熟的技術(shù)。還有可能采用以正常方式通過反向傳播訓(xùn)練的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò) (CNN) 并將它們轉(zhuǎn)換為在尖峰域中運行。BrainChip 也在追求這種技術(shù)。

SynSense 斑點

SynSense 和寶馬正在合作推進神經(jīng)形態(tài)芯片與智能座艙的集成，并探索相關(guān)領(lǐng)域。寶馬將評估 SynSense 的 Speck 片上系統(tǒng)，它將 SynSense 的神經(jīng)形態(tài)視覺處理器與來自 iniVation 的 128 × 128 像素基于事件的相機相結(jié)合。SoC 可用于捕獲實時視覺信息、識別和檢測物體，以及執(zhí)行其他基于視覺的檢測和交互功能。

SynSense 全球研究運營副總裁 Dylan Muir 表示：“當 BMW 用 Speck 模塊取代 RGB 攝像頭進行視覺傳感時，它們不僅可以取代傳感器，還可以取代處理標準 RGB 視覺流所需的大量 GPU 或 CPU 計算?！?

使用基于事件的攝像頭可提供比標準攝像頭更高的動態(tài)范圍，這有利于車內(nèi)和車外的極端照明條件范圍。

寶馬將探索用于汽車應(yīng)用的神經(jīng)形態(tài)技術(shù)，包括使用 Speck 模塊進行駕駛員注意力和乘客行為監(jiān)控，合作伙伴將“在未來幾個月內(nèi)探索車輛內(nèi)外的其他應(yīng)用，”穆爾說。

SynSense 的神經(jīng)形態(tài)視覺處理器具有完全異步的數(shù)字架構(gòu)。每個神經(jīng)元都使用具有 8 位突觸權(quán)重、16 位神經(jīng)元狀態(tài)、16 位閾值以及單位輸入和輸出尖峰的整數(shù)邏輯。神經(jīng)元使用簡單的集成和觸發(fā)模型，將輸入尖峰與神經(jīng)元的突觸權(quán)重相結(jié)合，直到達到閾值，此時神經(jīng)元觸發(fā)一個簡單的 1 位尖峰。Muir 說，總體而言，該設(shè)計是復(fù)雜性和計算效率之間的平衡。

SynSense 的數(shù)字芯片設(shè)計用于處理基于事件的 CNN，每一層由不同的內(nèi)核處理。核心異步獨立運行；整個處理管道是事件驅(qū)動的。

“我們的 Speck 模塊以低延遲實時運行，”Muir 說。“我們可以在 <5-mW 的功耗下管理 >20 Hz 的有效推理速率。這比標準 RGB 視覺流上的傳統(tǒng)低功耗計算要快得多?！?

雖然 SynSense 和寶馬最初將在“智能駕駛艙”中探索神經(jīng)形態(tài)汽車用例，但其他汽車應(yīng)用也有潛力。

“首先，我們將探索非安全關(guān)鍵用例，”繆爾說。“我們正在計劃未來版本的更高分辨率的 Speck，以及與高分辨率傳感器接口的 DynapCNN 視覺處理器的修訂版。我們計劃這些未來技術(shù)將支持先進的汽車應(yīng)用，例如自動駕駛、緊急制動等?！?

腦芯片秋田

梅賽德斯 EQXX 概念車在 2022 年國際消費電子展上首次亮相，配備了 BrainChip 的 Akida 神經(jīng)形態(tài)處理器，可在車內(nèi)進行關(guān)鍵詞識別。這款車被譽為“有史以來最高效的梅賽德斯-奔馳”，它利用神經(jīng)形態(tài)技術(shù)比深度學(xué)習(xí)驅(qū)動的關(guān)鍵字識別系統(tǒng)消耗更少的能量。這對于應(yīng)該在一次電池充電后提供 620 英里范圍（約 1,000 公里）的汽車來說至關(guān)重要——比梅賽德斯旗艦電動汽車 EQS 遠 167 英里。

梅賽德斯在 EQXX 公告中表示，當發(fā)現(xiàn)喚醒詞“Hey Mercedes”時，BrainChip 的解決方案比傳統(tǒng)語音控制效率高 5 到 10 倍。

“雖然神經(jīng)形態(tài)計算仍處于起步階段，但像這樣的系統(tǒng)將在短短幾年內(nèi)投放市場，”梅賽德斯表示?！爱斣谡麄€車輛中大規(guī)模應(yīng)用時，它們有可能從根本上減少運行最新人工智能技術(shù)所需的能量?！?

“[Mercedes] 正在研究電池管理和傳輸?shù)戎卮髥栴}，但每一毫瓦都很重要，[BrainChip] 納入的背景是，即使是最基本的推斷，如發(fā)現(xiàn)關(guān)鍵字，在考慮功率包絡(luò)時也很重要， ” BrainChip 的首席營銷官 Jerome Nadel說。

Nadel 表示，2022 年一輛典型的汽車可能有多達 70 個傳感器。在車廂中，這些傳感器可以實現(xiàn)面部檢測、注視估計、情緒分類等。

“從系統(tǒng)架構(gòu)的角度來看，我們可以以 1:1 的方式做到這一點；有一個傳感器可以進行一定程度的預(yù)處理，然后數(shù)據(jù)將被轉(zhuǎn)發(fā)，”他說?！皞鞲衅鞲浇鼤?AI 推理，并且……它將向前傳遞推理元數(shù)據(jù)，而不是來自傳感器的完整數(shù)據(jù)陣列。”

這個想法是為了最大限度地減少發(fā)送到汽車主機中的人工智能加速器的數(shù)據(jù)包的大小和復(fù)雜性，同時降低延遲并最大限度地減少能源需求。Nadel 說，每輛車都可能配備 70 個 Akida 芯片或支持 Akida 的傳感器，每一個都將是“一個不起眼的低成本部件”，并指出公司需要注意材料清單.

展望未來，Nadel 表示，神經(jīng)形態(tài)處理也將進入 ADAS 和自動駕駛汽車系統(tǒng)。他說，有可能減少對其他類型的耗電人工智能加速器的需求。

“如果每個傳感器都有一個有限的，比如說，一個或兩個節(jié)點的 Akida 實現(xiàn)，它將進行足夠的推理，并且將傳遞的數(shù)據(jù)將減少一個數(shù)量級，因為這將是推理元數(shù)據(jù)，”納德爾說?！斑@會對后備箱服務(wù)器所需的馬力產(chǎn)生影響?！?

Akida 加速了脈沖神經(jīng)網(wǎng)絡(luò) (SNN) 和卷積神經(jīng)網(wǎng)絡(luò)（通過轉(zhuǎn)換為 SNN）。它不是為任何特定用例或傳感器量身定制的，因此它可以與視覺傳感一起用于人臉識別或人員檢測，或者與揚聲器 ID 等音頻應(yīng)用程序一起使用。BrainChip 還展示了 Akida 的氣味和味覺傳感器，盡管很難想象這些傳感器如何用于汽車（也許是空氣污染或燃料質(zhì)量的氣味和味道）。

Akida 設(shè)置為處理已轉(zhuǎn)換為尖峰域的 SNN 或深度學(xué)習(xí) CNN。與原生尖峰網(wǎng)絡(luò)不同，轉(zhuǎn)換后的 CNN 保留了尖峰幅度的一些信息，因此可能需要 2 位或 4 位計算。然而，這種方法允許利用 CNN 的特性，包括它們從大型數(shù)據(jù)集中提取特征的能力。兩種類型的網(wǎng)絡(luò)都可以使用 STDP 在邊緣進行更新。在梅賽德斯的示例中，這可能意味著重新訓(xùn)練網(wǎng)絡(luò)以在部署后發(fā)現(xiàn)更多或不同的關(guān)鍵字。

據(jù) Autocar 報道，梅賽德斯已確認“許多創(chuàng)新”，包括 EQXX 概念車的“特定組件和技術(shù)”，將使其成為量產(chǎn)車。目前還沒有關(guān)于梅賽德斯的新車型是否會配備人工大腦的消息。