比現(xiàn)有解決方案高數(shù)倍的實(shí)際吞吐量，低數(shù)倍的功耗和成本

美國(guó)加州山景城，2019年4月10日 – Flex Logixa Technologies， Inc. 宣布，其在擁有數(shù)個(gè)專(zhuān)利的業(yè)界領(lǐng)先的eFPGA互連技術(shù)上，結(jié)合專(zhuān)為AI推理運(yùn)算而優(yōu)化的nnMAXtm乘加器（MAC）， 研發(fā)了 InferXtm X1邊緣推理芯片。今天在美國(guó)硅谷舉辦的Linley Processor Conference，F(xiàn)lex Logix介紹了 InferX X1芯片及其性能。作為一款針對(duì)于邊緣AI推理應(yīng)用的芯片，InferX X1有著極高的 MAC 利用率以及出眾的能效比 — 只需要一顆x32的DRAM， 就可以達(dá)到8TOPS的算力。這在邊緣推理這種只需 low batch size 的應(yīng)用場(chǎng)景中顯得極為重要。與現(xiàn)有的解決方案相比，InferX X1能以更低的功耗，更低的成本，提供更高的算力。

InferX X1可以支持語(yǔ)音，圖像，視頻等任何基于TensorFlow-Lite或ONNX的模型和算法，特別適用于大型的模型算法和實(shí)時(shí)識(shí)別。例如YOLOv3實(shí)時(shí)物體識(shí)別算法，InferX X1在batch=1的情況下，可以對(duì)1Megapixel圖像 達(dá)到25.4幀每秒（fps）的吞吐量。對(duì)2Megapixel高清圖像達(dá)到12.7幀每秒（fps）。而達(dá)到這樣的高吞吐量只需要用到一個(gè)x32的DRAM。

InferX 支持INT8，INT16，BF16并可以在不同的算法層混合使用，方便客戶(hù)根據(jù)自己的需求來(lái)優(yōu)化吞吐量和算法精度。InferX還內(nèi)置有Winograd變換來(lái)加速I(mǎi)NT8計(jì)算卷積，芯片會(huì)自動(dòng)對(duì)適用的矩陣乘法來(lái)實(shí)時(shí)轉(zhuǎn)換weights到Winograd模式，得到將近2.25倍的性能提升。由于InferX的Winograd是用12bits來(lái)計(jì)算的，所以精度不會(huì)有損失。

Flex Logix提供客戶(hù)完整的軟件開(kāi)發(fā)環(huán)境?？蛻?hù)可以直接將基于TensorFlow-Lite或ONNX的算法直接用Flex Logix的nnMAX Compiler軟件來(lái)編譯。

Flex Logix將提供InferX X1芯片。芯片可以通過(guò)擴(kuò)展口來(lái)連接數(shù)個(gè)芯片以增加算力。Flex Logix同時(shí)還會(huì)提供搭載InferX X1的半高半長(zhǎng)PCIe卡給Edge Server和gateway客戶(hù)。

“設(shè)計(jì)邊緣神經(jīng)網(wǎng)絡(luò)推理芯片的一個(gè)難題是如何降低大量的數(shù)據(jù)交換及降低功耗，而我們的可編程互連技術(shù)是接近完美的解決方案?！盕lex Logix CEO Geoff Tate說(shuō)?！痹谶\(yùn)算一層網(wǎng)絡(luò)的時(shí)候，我們利用可編程互連將InferX的MAC根據(jù)這一層網(wǎng)絡(luò)的dataflow來(lái)連接，等于是專(zhuān)為這一層運(yùn)算配置了一個(gè)ASIC。同時(shí)對(duì)下一層網(wǎng)進(jìn)行絡(luò)pre-load，以實(shí)現(xiàn)在這一層運(yùn)算完后可以最快速地配置下一層。同樣的可編程互連也與片上的SRAM連接，將這一層的輸出，快速配置成下一層的輸入，從而避免了大量的數(shù)據(jù)交換。所以InferX只需要一顆x32 DRAM就夠了。這讓我們可以將芯片設(shè)計(jì)得更小，大大降低了功耗和成本?！?/p>

Geoff Tate還說(shuō)， “我們還在芯片里加上了Winograd來(lái)加速I(mǎi)NT8的運(yùn)算，這讓客戶(hù)在選擇INT8時(shí)能得到更高的吞吐量。而同時(shí)我們也支持BF16，讓對(duì)精度更在意的客戶(hù)在需要時(shí)也能運(yùn)用?？蛻?hù)可以選擇根據(jù)自己的需求在不同的網(wǎng)絡(luò)層混合運(yùn)用來(lái)到達(dá)高精度，高吞吐量?！?/p>

一個(gè)創(chuàng)新的可編程互連技術(shù)，兩個(gè)高速成長(zhǎng)的產(chǎn)品線

Flex Logix在其擁有十余個(gè)專(zhuān)利的創(chuàng)新可編程互連技術(shù)上研發(fā)了EFLX eFPGA IP. Flex Logix已經(jīng)成為eFPGA IP市場(chǎng)的領(lǐng)先者，已有包括大唐辰芯，美國(guó)波音，SiFive RISC-V等十余個(gè)客戶(hù)正在應(yīng)用Flex Logix的eFPGA IP。

最新研發(fā)的nnMAX AI IP，即InferX芯片中使用的新推理架構(gòu)，利用了同樣的可編程互連技術(shù)，并結(jié)合了專(zhuān)為AI推理而設(shè)計(jì)的乘加器（MAC）和存儲(chǔ)單元。這些乘加器能支持INT8， INT16， BF16等AI算法里常見(jiàn)的精度數(shù)字。每一顆nnMAX IP單元擁有1024個(gè)乘加器以及相應(yīng)的SRAM，在16nm制程上可以提供2 TOPS的算力。nnmAX IP單元可以根據(jù)需求拼接成NxN的陣列，最大可以提供超過(guò)100 TOPS的算力。

Flex Logix在InferX X1芯片里集成了4個(gè)nnMAX IP單元，提供8 TOPS的算力。

InferX X1推理芯片計(jì)劃于Q3 2019流片，樣片和PCIe板可于年底提供?；谂_(tái)積電16nm的nnMAX IP將于Q3 2019提供授權(quán)給客戶(hù)用于集成到客戶(hù)自己的ASIC或SoC.