（文章來源：教育新聞網(wǎng)）

直到最近，大多數(shù)AI還是在數(shù)據(jù)中心，而大多數(shù)是訓練。事情正在迅速改變。預計到2020年代中期，人工智能的銷售額將快速增長至100億美元，其中大部分增長將來自Edge AI推理。

邊緣推理應用程序今天的邊緣推理市場在哪里?讓我們看一下從最高吞吐量到最低吞吐量的市場。邊緣服務器最近，Nvidia宣布推理銷售首次超過培訓。其中的大部分可能已交付給數(shù)據(jù)中心，但在數(shù)據(jù)中心之外還有許多應用程序，通常稱為“邊緣”。這意味著用于邊緣推理應用的PCIe推理板的銷售額可能達到每億美元。一年并迅速增長。

應用范圍很廣：監(jiān)視，面部識別，零售分析，基因組/基因測序等等。由于訓練是在浮點數(shù)中完成的，而量化需要大量的技能/投入，因此大多數(shù)邊緣服務器推斷可能是在16位浮點數(shù)中完成的，而只有最大數(shù)量的應用程序是在INT8中完成的。PCIe推理板的范圍從75W(Nvidia Tesla T4)到200W(Habana Goya)。

自動駕駛汽車一年前，汽車制造商和供應商都在談論使用自己的定制芯片快速實現(xiàn)全自動駕駛。如今的計劃更加適度，使用現(xiàn)成的解決方案(我們經(jīng)常聽到Xavier AGX和NX)，用于2020年模型年，對百萬像素圖像進行對象檢測和校正，用作提高安全性的駕駛員補充。目前，其數(shù)量已達到數(shù)萬種引人注目的測試工具，例如帶有大型攝像頭的Google Waymo，引人注目的激光雷達和電子行李箱。在5年內，對于高度集成的大眾市場2級對象檢測和校正，銷量可能會達到數(shù)百萬。

這里的主要球員是Nvidia的特森(納米，TX2，澤維爾AGX和Xavier NX)在5-30W和英特爾Movidius在無數(shù)個位數(shù)瓦，但?1月10日日吞吐量。此處的應用范圍非常廣泛：監(jiān)視攝像機，基因測序，家用門鈴，醫(yī)療系統(tǒng)(例如超聲)，光子學，機器人視覺，并且大多數(shù)情況下使用CNN，但也可以使用與圖像CNN截然不同的各種模型。

風扇在這個市場上是不能接受的。我們與之交談的客戶渴望獲得吞吐量，他們正在尋找能夠以與今天所使用的功率/價格相同的功率/價格提供更高吞吐量和更大圖像尺寸的解決方案：當他們獲得解決方案時，他們的解決方案將更加準確/可靠并被市場采用和擴展將加速。因此，盡管當今的應用程序有成千上萬個單位，但是隨著推理的可用性將迅速增長，推理將提供越來越多的吞吐量/美元和吞吐量/瓦特。

由于應用范圍廣，隨著時間的推移，該細分市場應成為最大的細分市場。圖像CNN要求每秒發(fā)送數(shù)百萬個MAC。僅關鍵字識別，語音處理就達到數(shù)十億個MACs /秒，甚至更低。這些應用程序(例如Amazon Echo)在采用率和數(shù)量上已經(jīng)非常重要，但是$ / chip的價格要低得多。這個市場的參與者與上述市場完全不同。

是延遲。邊緣系統(tǒng)正在以每秒60幀的速度來決定圖像的速度。例如，在汽車中，檢測人，自行車和汽車等物體并在盡可能短的時間內對其進行作用顯然很重要。在所有邊緣應用程序中，延遲為#1，這意味著批大小幾乎始終為1。
? ? ? ?