芯原商業(yè)運(yùn)營(yíng)高級(jí)副總裁汪洋表示，隨著先進(jìn)工藝發(fā)展，芯片開(kāi)發(fā)成本越來(lái)越高，因此催生新的設(shè)計(jì)方法論，越來(lái)越多的設(shè)計(jì)公司開(kāi)啟“輕設(shè)計(jì)”模式，重視IP在芯片開(kāi)發(fā)中的作用，也愿意嘗試各種加速開(kāi)發(fā)的設(shè)計(jì)方法。

4月23日，開(kāi)放標(biāo)準(zhǔn)行業(yè)組織科納斯工業(yè)協(xié)會(huì)（Khronos Group）攜手芯原股份（VeriSilicon）在上海聯(lián)合舉辦技術(shù)研討會(huì)。圍繞圖像、視覺(jué)與計(jì)算，來(lái)自科納斯、芯原、騰訊、阿里巴巴、ax株式會(huì)社、英特爾、中國(guó)移動(dòng)研究院、彌知科技以及華為等多家廠商或機(jī)構(gòu)為現(xiàn)場(chǎng)與線上專業(yè)觀眾帶來(lái)了并行處理、視覺(jué)加速和推理、3D圖像、增強(qiáng)與虛擬現(xiàn)實(shí)等多個(gè)技術(shù)話題分享。

根據(jù)中移動(dòng)的數(shù)據(jù)，2020年視頻在全網(wǎng)數(shù)據(jù)流量占比已接近70%，而這一比例在可預(yù)期的將來(lái)，仍將上升。內(nèi)容視頻化大勢(shì)所趨，對(duì)圖像/視頻等多媒體處理技術(shù)的要求也就越來(lái)越高，要實(shí)現(xiàn)更高效的多媒體（或富媒體）處理，既要強(qiáng)化對(duì)多媒體內(nèi)容處理的硬件性能——例如專用處理器或加速器，又要做好軟件優(yōu)化，從而讓多媒體內(nèi)容在不同平臺(tái)上制作或播放時(shí)都能達(dá)到優(yōu)質(zhì)表現(xiàn)。

圖：視頻技術(shù)與業(yè)務(wù)發(fā)展

2000年成立的科納斯工業(yè)協(xié)會(huì)（Khronos Group）即是為多媒體處理制定開(kāi)放標(biāo)準(zhǔn)的行業(yè)組織，該協(xié)會(huì)自成立20多年來(lái)，推出過(guò)Open GL（跨平臺(tái)計(jì)算機(jī)圖形API）、Open CL（跨平臺(tái)通用計(jì)算API）、OpenXR（開(kāi)放虛擬與增強(qiáng)現(xiàn)實(shí)標(biāo)準(zhǔn)）以及Vulkan（低開(kāi)銷、跨平臺(tái)圖像處理API）等被業(yè)界廣泛接受的技術(shù)標(biāo)準(zhǔn)庫(kù)。而芯原股份則是中國(guó)第一大IP廠商，在圖像/視頻IP方面有豐富的產(chǎn)品線，芯原可擴(kuò)展Vivante GPU IP應(yīng)用覆蓋從低功耗的可穿戴應(yīng)用（GPU Nano IP系列）到面向汽車和計(jì)算機(jī)應(yīng)用的強(qiáng)大SoC（GPUArcturus圖形IP），可滿足不同應(yīng)用中對(duì)芯片尺寸和功耗預(yù)算，極具成本效益。作為科納斯工業(yè)協(xié)會(huì)董事會(huì)成員（科納斯董事會(huì)成員有兩家中國(guó)廠商，另一家是華為公司），芯原GPU/NPU對(duì)科納斯工業(yè)協(xié)會(huì)標(biāo)準(zhǔn)支持非常完善，雙方在新技術(shù)開(kāi)發(fā)上合作也很緊密，持續(xù)為開(kāi)發(fā)人員提供更好的圖像/視頻/計(jì)算IP和標(biāo)準(zhǔn)API。

圖：強(qiáng)大的IP產(chǎn)品組合提供領(lǐng)先的技術(shù)

在開(kāi)幕致辭上，芯原商業(yè)運(yùn)營(yíng)高級(jí)副總裁汪洋表示，隨著先進(jìn)工藝發(fā)展，芯片開(kāi)發(fā)成本越來(lái)越高，因此催生新的設(shè)計(jì)方法論，越來(lái)越多的設(shè)計(jì)公司開(kāi)啟“輕設(shè)計(jì)”模式，重視IP在芯片開(kāi)發(fā)中的作用，也愿意嘗試各種加速開(kāi)發(fā)的設(shè)計(jì)方法。作為全球領(lǐng)先的設(shè)計(jì)服務(wù)與IP廠商，芯原在圖像/視頻處理方面陣容齊整，是業(yè)界僅見(jiàn)的能提供GPU、VPU、NPU、DPU、ISP、DSP、壓縮、加解密等全套圖像與視頻IP解決方案的廠商。

圖：全球半導(dǎo)體IP市場(chǎng)持續(xù)增長(zhǎng)

圖：芯片開(kāi)發(fā)成本越來(lái)越高

芯原執(zhí)行副總裁、IP事業(yè)部總經(jīng)理戴偉進(jìn)則具體介紹了芯原在圖像領(lǐng)域從攝像頭到屏幕的完整智能像素解決方案?！皩?duì)于芯片開(kāi)發(fā)來(lái)說(shuō)，API是關(guān)鍵，主要是因?yàn)橥ㄟ^(guò)統(tǒng)一API可以直接對(duì)接軟件生態(tài)系統(tǒng)，滿足從高性能云到可穿戴的要求?！贝鱾ミM(jìn)表示，芯原和Khronos工業(yè)協(xié)會(huì)合作密切，截止到2021年初，芯原支持科納斯工業(yè)協(xié)會(huì)技術(shù)標(biāo)準(zhǔn)的GPU已經(jīng)出貨超過(guò)10億顆。在GPU領(lǐng)域，芯原從2007年至今已經(jīng)取得了長(zhǎng)足的發(fā)展，算力實(shí)現(xiàn)了幾百倍進(jìn)步，在汽車領(lǐng)域，全球有數(shù)百萬(wàn)輛汽車都用到了芯原技術(shù)。

科納斯的整體情況由科納斯工業(yè)協(xié)會(huì)主席、英偉達(dá)生態(tài)系統(tǒng)開(kāi)發(fā)副總裁、OpenCL工作組主席Neil Trevett介紹?？萍{斯是由會(huì)員所驅(qū)動(dòng)的非盈利性工業(yè)協(xié)會(huì)，其目標(biāo)是大家一起開(kāi)發(fā)免版稅的標(biāo)準(zhǔn)以及蓬勃活躍的生態(tài)鏈，以把芯片加速的功效，用在要求苛刻的圖像渲染和涉及超大計(jì)算量的應(yīng)用上，通過(guò)標(biāo)準(zhǔn)化技術(shù)來(lái)減少開(kāi)發(fā)成本，加速上市時(shí)間，并通過(guò)標(biāo)準(zhǔn)加深行業(yè)溝通來(lái)推動(dòng)創(chuàng)新?？萍{斯會(huì)員來(lái)自世界各地工業(yè)界的領(lǐng)袖。目前包括Vulkan、OpenGL、WebGL、OpenCL以及OpenXR等標(biāo)準(zhǔn)都由科納斯來(lái)負(fù)責(zé)維護(hù)。

當(dāng)前科納斯工業(yè)協(xié)會(huì)共有150多家會(huì)員，其中40%為美國(guó)公司，30%為歐洲公司，30%為亞洲公司。在會(huì)員管理上，科納斯極其開(kāi)放，只要申請(qǐng)就可以成為會(huì)員，而且每個(gè)會(huì)員都有投票權(quán)。會(huì)員與非會(huì)員都可以提出自己的技術(shù)標(biāo)準(zhǔn)，Trevett表示，一個(gè)真正開(kāi)放的標(biāo)準(zhǔn)，不能以任何一個(gè)公司為主導(dǎo)，可以每個(gè)公司都貢獻(xiàn)一點(diǎn)。目前科納斯主要面向包括高性能3D圖像、3D資產(chǎn)授權(quán)和交付、可移植的XR虛擬和增強(qiáng)現(xiàn)實(shí)以及并行計(jì)算/視覺(jué)/機(jī)器學(xué)習(xí)和推理四大方向。

圖：恩智浦與VeriSilicon合作開(kāi)發(fā)機(jī)器學(xué)習(xí)技術(shù)

在正式的技術(shù)研討會(huì)環(huán)節(jié)，芯原機(jī)器學(xué)習(xí)軟件副總裁查凱南、芯原IP解決方案副總裁張慧明、芯原多媒體SoC平臺(tái)首席工程師妙維先后發(fā)表演講，對(duì)芯原NPU、GPU和AR/VR解決方案等進(jìn)行了介紹。

查凱南表示，當(dāng)前芯原的人工智能算力可滿足從0.5 TOPS到200 TOPS，具有同一套軟硬件，因此非常容易實(shí)現(xiàn)同系列產(chǎn)品的平臺(tái)遷移。查凱南表示，目前人工智能主要是三大領(lǐng)域，包括機(jī)器視覺(jué)，語(yǔ)音識(shí)別以及 像素級(jí)別的圖像處理。此外，查凱南還特別強(qiáng)調(diào)了芯原針對(duì)NPU的編譯器進(jìn)行了投資，支持在線和離線編譯，滿足客戶的不同需求。

張慧明表示，在光線追蹤方面，芯原產(chǎn)品已經(jīng)在NXP iMX8QM（采用了GC7000 GPU）上實(shí)現(xiàn)。同時(shí)，針對(duì)可穿戴領(lǐng)域，芯原和科納斯共同推廣OpenVG應(yīng)用場(chǎng)景，以輕量級(jí)IP實(shí)現(xiàn)了高性能的結(jié)果。在GPGPU上，芯原同樣用類似的架構(gòu)實(shí)現(xiàn)，開(kāi)發(fā)者可以根據(jù)不同的場(chǎng)景選擇不同規(guī)模的實(shí)現(xiàn)方式。

妙維強(qiáng)調(diào)，AR/VR系統(tǒng)要求更低延時(shí)、更低功耗的整體解決方案，因此不需要DDR的直接渲染技術(shù)，同時(shí)滿足了高性能和低功耗的需求，非常適合XR應(yīng)用場(chǎng)景。

在技術(shù)研討環(huán)節(jié)，Trevett介紹了科納斯的API，包括OpenCL、OpenVX、SYCL以及Vulkan。

Vulkan光線追蹤是業(yè)界第一個(gè)開(kāi)放、跨廠商、跨平臺(tái)的光線追蹤加速標(biāo)準(zhǔn)。Vulkan是輕量級(jí)API，大幅減少驅(qū)動(dòng)程序，并為程序員提供更多靈活性。OpenCL則是跨供應(yīng)商的標(biāo)準(zhǔn)API，是第一個(gè)面向異構(gòu)系統(tǒng)通用目的并行編程的開(kāi)放式、免費(fèi)標(biāo)準(zhǔn)，也是一個(gè)統(tǒng)一的編程環(huán)境，支持多核心CPU、GPU、NPU、DSP以及其他并行處理器。OpenVX是一種開(kāi)放的，免版稅的標(biāo)準(zhǔn)，用于跨平臺(tái)加速計(jì)算機(jī)視覺(jué)應(yīng)用程序。OpenVX可實(shí)現(xiàn)性能和功耗優(yōu)化的計(jì)算機(jī)視覺(jué)處理，這在嵌入式和實(shí)時(shí)使用情況下尤其重要。SYCL是一種免版稅，跨平臺(tái)的抽象層，它允許使用標(biāo)準(zhǔn)ISO C ++編寫異構(gòu)處理器的代碼，并在同一源文件中包含應(yīng)用程序的主機(jī)代碼和內(nèi)核代碼。

圖：OpenVX框架

同時(shí)，Trevett還介紹了SPIR-V，SPIR-V正在推動(dòng)用于表示并行計(jì)算和基于GPU的圖形的著色器和內(nèi)核語(yǔ)言編譯器的生態(tài)系統(tǒng)革命。SPIR-V使高級(jí)語(yǔ)言前端能夠以標(biāo)準(zhǔn)化的中間形式發(fā)出程序，以供Vulkan，OpenGL或OpenCL驅(qū)動(dòng)程序提取。SPIR-V消除了設(shè)備驅(qū)動(dòng)程序中對(duì)高級(jí)語(yǔ)言前端編譯器的需求，從而大大降低了驅(qū)動(dòng)程序的復(fù)雜性，使廣泛的語(yǔ)言和框架前端可以在各種硬件體系結(jié)構(gòu)上運(yùn)行，并促進(jìn)開(kāi)源分析生態(tài)系統(tǒng)，移植，調(diào)試和優(yōu)化工具。

目前，科納斯正在嘗試建立嵌入式攝像頭API小組，如今包括汽車、工業(yè)自動(dòng)化等領(lǐng)域越來(lái)越依賴于攝像頭，但并沒(méi)有廣泛的跨供應(yīng)商標(biāo)準(zhǔn)，使得新的傳感器集成到嵌入式系統(tǒng)中的成本和時(shí)間依然漫長(zhǎng)，為了保存客戶的軟硬件投資，該小組正在積極和歐洲機(jī)器視覺(jué)聯(lián)盟合作，以提供標(biāo)準(zhǔn)的跨平臺(tái)統(tǒng)一方案。

科納斯工業(yè)協(xié)會(huì)開(kāi)發(fā)者關(guān)系Kris Rose則介紹了Vulkan的技術(shù)。他表示，Vulkan更強(qiáng)調(diào)應(yīng)用層，淡化驅(qū)動(dòng)層，因此效率更高，開(kāi)發(fā)者可以與GPU更近。Vulkan支持各類平臺(tái)，因此一次渲染就可以部署到各個(gè)平臺(tái)中，并且MacOS和iOS也可以通過(guò)MoltenVK進(jìn)行移植。如今無(wú)論是在游戲，還是非游戲的工業(yè)應(yīng)用中，Vulkan都實(shí)現(xiàn)了快速發(fā)展。包括ILM、AImotive、Solidworks和Disso Systems等公司，都選擇了Vulkan。

英特爾AR/VR首席軟件架構(gòu)師，OpenXR工作小組主席Brent Insko介紹了針對(duì)AR/VR的OpenXR技術(shù)更新。Insko表示，在使用OpenXR之前，應(yīng)用程序開(kāi)發(fā)人員必須根據(jù)每個(gè)平臺(tái)的專有API進(jìn)行編程，因此無(wú)論是從開(kāi)發(fā)的角度，還是從驗(yàn)證和測(cè)試的角度，都將成為一項(xiàng)艱巨的挑戰(zhàn)。而OpenXR則允許開(kāi)發(fā)人員使用通用的高性能API，OpenXR可以與任何3D API一起使用。Insko介紹道，目前微軟已經(jīng)宣布，Minecraft的新RenderDragon渲染引擎正在通過(guò)OpenXR創(chuàng)建其桌面VR支持。目前OpenXR有手部和眼部追蹤功能，針對(duì)高級(jí)用戶界面的跨供應(yīng)商擴(kuò)展，以及試驗(yàn)性的疊加層擴(kuò)展。

圖：VeriSilicon IP產(chǎn)品組合–可擴(kuò)展IP

“我們已經(jīng)從微軟，Oculus和HTC得到了官方一致的運(yùn)行時(shí)間。我們有來(lái)自Valve、Varjo和Collabora的預(yù)覽實(shí)現(xiàn)。并且得到了Unreal, Blender, Chrome, Edge的支持?！盜nsko說(shuō)道。

在研討會(huì)中，來(lái)自騰訊、阿里巴巴、中國(guó)移動(dòng)研究院、彌知科技和華為公司的技術(shù)專家分別講述了NCNN、MNN等神經(jīng)網(wǎng)絡(luò)算法，以及XR的各種應(yīng)用落地情況。從算法、IP到應(yīng)用落地，本次技術(shù)研討會(huì)為專業(yè)觀眾帶來(lái)了一場(chǎng)多媒體處理的技術(shù)盛宴。