（文章來源：教育新聞網(wǎng)）

直到最近，大多數(shù)AI還是在數(shù)據(jù)中心，而大多數(shù)是訓(xùn)練。事情正在迅速改變。預(yù)計(jì)到2020年代中期，人工智能的銷售額將快速增長至100億美元，其中大部分增長將來自Edge AI推理。

邊緣推理應(yīng)用程序今天的邊緣推理市場在哪里?讓我們看一下從最高吞吐量到最低吞吐量的市場。邊緣服務(wù)器最近，Nvidia宣布推理銷售首次超過培訓(xùn)。其中的大部分可能已交付給數(shù)據(jù)中心，但在數(shù)據(jù)中心之外還有許多應(yīng)用程序，通常稱為“邊緣”。這意味著用于邊緣推理應(yīng)用的PCIe推理板的銷售額可能達(dá)到每億美元。一年并迅速增長。

應(yīng)用范圍很廣：監(jiān)視，面部識別，零售分析，基因組/基因測序等等。由于訓(xùn)練是在浮點(diǎn)數(shù)中完成的，而量化需要大量的技能/投入，因此大多數(shù)邊緣服務(wù)器推斷可能是在16位浮點(diǎn)數(shù)中完成的，而只有最大數(shù)量的應(yīng)用程序是在INT8中完成的。PCIe推理板的范圍從75W(Nvidia Tesla T4)到200W(Habana Goya)。

自動駕駛汽車一年前，汽車制造商和供應(yīng)商都在談?wù)撌褂米约旱亩ㄖ菩酒焖賹?shí)現(xiàn)全自動駕駛。如今的計(jì)劃更加適度，使用現(xiàn)成的解決方案(我們經(jīng)常聽到Xavier AGX和NX)，用于2020年模型年，對百萬像素圖像進(jìn)行對象檢測和校正，用作提高安全性的駕駛員補(bǔ)充。目前，其數(shù)量已達(dá)到數(shù)萬種引人注目的測試工具，例如帶有大型攝像頭的Google Waymo，引人注目的激光雷達(dá)和電子行李箱。在5年內(nèi)，對于高度集成的大眾市場2級對象檢測和校正，銷量可能會達(dá)到數(shù)百萬。

這里的主要球員是Nvidia的特森(納米，TX2，澤維爾AGX和Xavier NX)在5-30W和英特爾Movidius在無數(shù)個(gè)位數(shù)瓦，但?1月10日日吞吐量。此處的應(yīng)用范圍非常廣泛：監(jiān)視攝像機(jī)，基因測序，家用門鈴，醫(yī)療系統(tǒng)(例如超聲)，光子學(xué)，機(jī)器人視覺，并且大多數(shù)情況下使用CNN，但也可以使用與圖像CNN截然不同的各種模型。

風(fēng)扇在這個(gè)市場上是不能接受的。我們與之交談的客戶渴望獲得吞吐量，他們正在尋找能夠以與今天所使用的功率/價(jià)格相同的功率/價(jià)格提供更高吞吐量和更大圖像尺寸的解決方案：當(dāng)他們獲得解決方案時(shí)，他們的解決方案將更加準(zhǔn)確/可靠并被市場采用和擴(kuò)展將加速。因此，盡管當(dāng)今的應(yīng)用程序有成千上萬個(gè)單位，但是隨著推理的可用性將迅速增長，推理將提供越來越多的吞吐量/美元和吞吐量/瓦特。

由于應(yīng)用范圍廣，隨著時(shí)間的推移，該細(xì)分市場應(yīng)成為最大的細(xì)分市場。圖像CNN要求每秒發(fā)送數(shù)百萬個(gè)MAC。僅關(guān)鍵字識別，語音處理就達(dá)到數(shù)十億個(gè)MACs /秒，甚至更低。這些應(yīng)用程序(例如Amazon Echo)在采用率和數(shù)量上已經(jīng)非常重要，但是$ / chip的價(jià)格要低得多。這個(gè)市場的參與者與上述市場完全不同。

是延遲。邊緣系統(tǒng)正在以每秒60幀的速度來決定圖像的速度。例如，在汽車中，檢測人，自行車和汽車等物體并在盡可能短的時(shí)間內(nèi)對其進(jìn)行作用顯然很重要。在所有邊緣應(yīng)用程序中，延遲為#1，這意味著批大小幾乎始終為1。
? ? ? ?