“依靠NetSpeed Orion AI的幫助，特斯拉自動(dòng)駕駛芯片從設(shè)計(jì)到流片只花了9個(gè)月的時(shí)間，這在以前是完全不可想象的。”在NetSpeed Systems大中華區(qū)銷(xiāo)售總監(jiān)黃啓弘所列出的客戶(hù)案例中，除了特斯拉，還包括3家來(lái)自中國(guó)的頂級(jí)人工智能公司：地平線機(jī)器人、寒武紀(jì)和百度。

NetSpeed Systems大中華區(qū)銷(xiāo)售總監(jiān)黃啓弘

在芯片上布一張互聯(lián)網(wǎng)

可能很多人對(duì)NetSpeed并不熟悉。這是一家專(zhuān)為移動(dòng)設(shè)備、網(wǎng)絡(luò)系統(tǒng)和高性能計(jì)算市場(chǎng)提供高擴(kuò)展性的緩存一致性片上網(wǎng)絡(luò)IP的新銳公司，2011年成立于美國(guó)硅谷，核心技術(shù)團(tuán)隊(duì)來(lái)自思科與華為，投資方則包括英特爾、Imagination、華登國(guó)際等知名企業(yè)。2016年，根據(jù)技術(shù)、目標(biāo)市場(chǎng)、財(cái)務(wù)能力和投資情況、成熟度和高級(jí)管理人員的資歷等標(biāo)準(zhǔn)，NetSpeed被EETimes列入“Silicon 60—2016年全球60家值得注意的新創(chuàng)科技公司”名單之中。

與其它競(jìng)爭(zhēng)方案不同的是，NetSpeed的片上系統(tǒng)總線設(shè)計(jì)理念是將互聯(lián)網(wǎng)的網(wǎng)絡(luò)拓?fù)渌枷胗成涞叫酒瑑?nèi)部的設(shè)計(jì)中。即采用數(shù)據(jù)路由和分組交換技術(shù)替代傳統(tǒng)總線結(jié)構(gòu)，旨在從架構(gòu)上解決由于地址空間有限導(dǎo)致的傳統(tǒng)總線結(jié)構(gòu)可擴(kuò)展性差，分時(shí)通訊引起的通訊效率低下，以及全局時(shí)鐘同步引起的功耗和面積較大等問(wèn)題。

通俗的講，“以前，我們可以把SoC中的視頻功能關(guān)掉，但總線是無(wú)論如何不能關(guān)的。但現(xiàn)在在Orion AI方案中，即便關(guān)掉一部分總線也沒(méi)問(wèn)題，芯片仍然能夠正常工作。”黃啓弘說(shuō)NetSpeed的做法，就是放棄傳統(tǒng)的總線理論，把所有的數(shù)據(jù)通過(guò)橋接模塊的形式分成數(shù)據(jù)包，然后再用互聯(lián)網(wǎng)的方法分發(fā)出去。

他將這種片上網(wǎng)絡(luò)(NoC)理念比喻成“在芯片上布了一張互聯(lián)網(wǎng)”。也就是說(shuō)，傳統(tǒng)的方法傾向于孤立地優(yōu)化各個(gè)子系統(tǒng)，從而導(dǎo)致瓶頸問(wèn)題和采用過(guò)度的系統(tǒng)設(shè)計(jì)來(lái)處理最極端的情景，這對(duì)當(dāng)前在視頻、語(yǔ)音、預(yù)測(cè)、機(jī)器人及診斷等應(yīng)用中正漸入佳境的人工智能技術(shù)來(lái)說(shuō)尤其不利。因?yàn)檫@些新興應(yīng)用對(duì)處理能力提出了進(jìn)階需求，推動(dòng)計(jì)算架構(gòu)發(fā)生天翻地覆的變化，并急劇改變著SoC的設(shè)計(jì)模式。用NetSpeed首席執(zhí)行官Sundari Mitra的話來(lái)說(shuō)，就是這些新SoC內(nèi)部體現(xiàn)出的是一種新的數(shù)據(jù)流。

“以自動(dòng)駕駛為例，這是人類(lèi)第一次如此堅(jiān)決的把身家性命交給半導(dǎo)體芯片來(lái)做決斷。”黃啓弘對(duì)《電子工程專(zhuān)輯》說(shuō)，芯片設(shè)計(jì)師為此需要大量的計(jì)算單元來(lái)實(shí)現(xiàn)快速有效的點(diǎn)對(duì)點(diǎn)數(shù)據(jù)交換，需要保證信號(hào)回路沒(méi)有任何阻斷和延遲，再加上人工智能系統(tǒng)需要任意位置數(shù)據(jù)交換和支持長(zhǎng)突發(fā)傳輸，采用中央存儲(chǔ)作為數(shù)據(jù)交換系統(tǒng)的傳統(tǒng)總線架構(gòu)在這些需求面前幾乎處于完敗的境地。

用人工智能來(lái)優(yōu)化SoC設(shè)計(jì)

于是，Orion AI出現(xiàn)了。

它是NetSpeed在AI SoC設(shè)計(jì)領(lǐng)域內(nèi)的最新嘗試，因?yàn)镹etSpeed認(rèn)為這是一個(gè)展示自身優(yōu)勢(shì)的絕佳的時(shí)間節(jié)點(diǎn)。

按照官方給出的說(shuō)法，Orion AI是業(yè)界首款以人工智能為基礎(chǔ)的SoC芯片內(nèi)部互連解決方案，由經(jīng)過(guò)硅驗(yàn)證的Orion IP構(gòu)建而成。支持多播與廣播等先進(jìn)特性，能極大提升人工智能SoC與加速器ASIC的性能與效率，可廣泛應(yīng)用于數(shù)據(jù)中心、自動(dòng)駕駛、AR/VR，以及先進(jìn)視頻分析。

Orion AI架構(gòu)

從技術(shù)角度來(lái)看，當(dāng)一顆芯片內(nèi)部集成了數(shù)百甚至上千個(gè)運(yùn)算單元時(shí)，傳統(tǒng)總線架構(gòu)需要針對(duì)不同的系統(tǒng)需求單獨(dú)進(jìn)行設(shè)計(jì)，當(dāng)系統(tǒng)功能擴(kuò)展時(shí)，需要對(duì)現(xiàn)有設(shè)計(jì)方案重新設(shè)計(jì)，研發(fā)成本與設(shè)計(jì)周期均比較長(zhǎng)，在性能、功耗、全局時(shí)鐘同步、信號(hào)完整性及可靠性等方面面臨的挑戰(zhàn)也將呈指數(shù)型增長(zhǎng)。

NetSpeed的解決方案采用分層堆疊方式將網(wǎng)絡(luò)架構(gòu)解耦，具有良好的可擴(kuò)展性。當(dāng)SoC片內(nèi)網(wǎng)絡(luò)中節(jié)點(diǎn)數(shù)量增加時(shí)，僅需要按照相應(yīng)拓?fù)浣Y(jié)構(gòu)規(guī)則繼續(xù)增大網(wǎng)絡(luò)規(guī)模即可，縮短了產(chǎn)品的設(shè)計(jì)周期，節(jié)約了研發(fā)成本。另外，傳統(tǒng)總線架構(gòu)，每次信息交互都需要驅(qū)動(dòng)全局互連線，因此總線結(jié)構(gòu)所消耗的功耗將隨SoC規(guī)模增加而顯著增加，而在NetSpeed方案中，可以將一部分信號(hào)通路關(guān)掉，從而實(shí)現(xiàn)低功耗。

授權(quán)費(fèi)用方面，盡管黃啓弘不能透露具體數(shù)字，但他承諾說(shuō)“絕對(duì)低于arm的費(fèi)用”，但也肯定高于普通接口IP的費(fèi)用，通常是根據(jù)定制的復(fù)雜度來(lái)決定該怎么收費(fèi)。NetSpeed一般會(huì)在授權(quán)完成之后對(duì)客戶(hù)進(jìn)行1-2天的培訓(xùn)，因?yàn)闊o(wú)論簡(jiǎn)單還是復(fù)雜的工具，最后都是由AI工具自動(dòng)生成RTL，所以商業(yè)模式相對(duì)比較靈活。

Orion AI由NetSpeed的圖靈機(jī)器學(xué)習(xí)引擎提供支持，該引擎使用監(jiān)督學(xué)習(xí)來(lái)探索和優(yōu)化SoC設(shè)計(jì)與架構(gòu)。據(jù)稱(chēng)這也是當(dāng)前市場(chǎng)上唯一采用機(jī)器學(xué)習(xí)方法的產(chǎn)品，能在多次迭代之后慢慢收斂，精確地進(jìn)行整體系統(tǒng)建模，以實(shí)現(xiàn)最優(yōu)的應(yīng)用性能。中國(guó)最牛的幾家互聯(lián)網(wǎng)公司之所以愿意與NetSpeed合作，也是看上了這一核心技術(shù)。

除了通過(guò)人工智能進(jìn)行SoC設(shè)計(jì)之外，Orion AI的片上帶寬高達(dá)萬(wàn)億字節(jié)每秒(TB/s)，并具備支持?jǐn)?shù)千計(jì)算引擎的底層架構(gòu)。它提供超寬數(shù)據(jù)通路，接口位寬高達(dá)1024位，可支持高達(dá)4K字節(jié)的長(zhǎng)突發(fā)傳輸，并可定制更高位寬。此外，為優(yōu)化對(duì)自動(dòng)駕駛應(yīng)用的支持，Orion AI還通過(guò)了ISO 26262標(biāo)準(zhǔn)，可支持ASIL D級(jí)別安全要求。

Linley Group首席分析師Linley Gwennap對(duì)這種以人工智能為核心的設(shè)計(jì)方法給予了極高的評(píng)價(jià)，稱(chēng)“就像有一位隨時(shí)在線的建筑大師給出設(shè)計(jì)建議。處理器架構(gòu)師可以采納圖靈的建議，然后花時(shí)間去解決SoC設(shè)計(jì)中的其他難題。”

Turn-Key模式不適合我們

把人工智能技術(shù)從云端引入到終端，會(huì)遇到一些挑戰(zhàn)。首先，云端追求的是極致性能，對(duì)功耗沒(méi)有太多要求。但對(duì)終端設(shè)備而言，能耗卻是非常重要的指標(biāo)，芯片需要滿(mǎn)足系統(tǒng)低功耗的要求。其次，是通用性與特殊性如何平衡。當(dāng)一個(gè)終端產(chǎn)品從通用產(chǎn)品變成專(zhuān)用產(chǎn)品的時(shí)候，市場(chǎng)規(guī)模會(huì)小很多，例如做血液檢查的終端產(chǎn)品就只能做血液檢查，不能做別的事情。因此，對(duì)那些有志于從事嵌入式人工智能的人士來(lái)說(shuō)，黃啓弘的建議是需要綜合考慮公司是否能做?怎么做?如何在性能、功耗和通用性三者之間找到平衡點(diǎn)等關(guān)鍵問(wèn)題。

“我拜訪過(guò)很多人工智能公司，留給我的印象是如果不開(kāi)發(fā)出幾款A(yù)I芯片，都不好意思說(shuō)自己是這個(gè)行業(yè)里的人。”黃啓弘說(shuō)從理論上來(lái)講，開(kāi)發(fā)芯片永遠(yuǎn)比賣(mài)算法要好，因?yàn)槿绻挥兴惴?，?duì)知識(shí)產(chǎn)權(quán)的保護(hù)還是相對(duì)比較弱的，一篇論文就可以讓天下人皆知。但很多公司此前之所以不愿意研發(fā)芯片，主要的顧慮在于芯片研發(fā)周期比較長(zhǎng)，一旦出錯(cuò)，上億的資金付之東流是常見(jiàn)的事情，代價(jià)太大。然而隨著中國(guó)政府對(duì)集成電路產(chǎn)業(yè)支持力度和對(duì)知識(shí)產(chǎn)權(quán)保護(hù)力度的不斷加強(qiáng)，AI公司看到了實(shí)現(xiàn)自主可控的希望，獨(dú)立開(kāi)發(fā)芯片的意愿也更加強(qiáng)烈。

但“一千個(gè)人眼里有一千個(gè)哈姆雷特”，即便是同一個(gè)應(yīng)用場(chǎng)景，不同客戶(hù)間也存在著不同的理解，導(dǎo)致芯片設(shè)計(jì)的復(fù)雜度也各不相同。因此，無(wú)論用戶(hù)采用通用還是定制化計(jì)算平臺(tái)，都可以在SoC設(shè)計(jì)中使用Orion AI解決方案，縮短研發(fā)周期，快速完成設(shè)計(jì)迭代，自然成為了NetSpeed的使命。

AI時(shí)代，傳統(tǒng)的SoC芯片高度集成，一家獨(dú)大的模式正在發(fā)生變化，由于不同場(chǎng)景對(duì)芯片、算法的需求各不相同，導(dǎo)致定制化計(jì)算平臺(tái)需求旺盛。黃啓弘說(shuō)自己認(rèn)同這樣的看法，的確是同一顆芯片，在不同的算法和應(yīng)用中，也會(huì)產(chǎn)生不同的價(jià)值。但這是否就意味著以往的Turn-Key模式走向衰落?他認(rèn)為并不一定。“因?yàn)楹芏嘧鱿到y(tǒng)的人對(duì)芯片設(shè)計(jì)并不了解，這時(shí)要能給他一個(gè)Turn-Key的方案，說(shuō)不定他就會(huì)借此把市場(chǎng)做大。但NetSpeed設(shè)計(jì)的是總線，不會(huì)參與到客戶(hù)最核心的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)之中，因此Turn-Key這種模式不適合我們。”