21世紀(jì)是視頻媒體的時(shí)代。和視頻相關(guān)的應(yīng)用，逐漸成為我們工作和生活不可或缺的組成部分。

除了傳統(tǒng)視頻業(yè)務(wù)之外，最近幾年，隨著新興技術(shù)的不斷出現(xiàn)，越來(lái)越多的新型視覺(jué)體驗(yàn)服務(wù)來(lái)到我們的身邊，例如4K/8K超高清視頻、VR/AR沉浸式體驗(yàn)、AI人臉識(shí)別、AI自動(dòng)換臉等等。

毫無(wú)疑問(wèn)，我們的視覺(jué)體驗(yàn)，正在朝平臺(tái)多樣化、內(nèi)容豐富化、交互智能化、沉浸式互動(dòng)的方向發(fā)展。

更豐富多樣的業(yè)務(wù)，意味著對(duì)系統(tǒng)及網(wǎng)絡(luò)性能有更苛刻的要求。視頻相關(guān)的核心處理流程，例如解碼、推理、渲染和編碼，都是“吃配置”的大戶(hù)。如果視頻處理平臺(tái)缺乏靈活性、擴(kuò)展性，不具備支撐高工作負(fù)荷的能力，將無(wú)法進(jìn)行高效的視覺(jué)業(yè)務(wù)服務(wù)交付。

簡(jiǎn)單來(lái)說(shuō)，性能不夠，就會(huì)影響用戶(hù)的業(yè)務(wù)體驗(yàn)，進(jìn)而影響企業(yè)業(yè)務(wù)的進(jìn)一步拓展。

于是，越來(lái)越多的企業(yè)，將自己的用戶(hù)視覺(jué)體驗(yàn)業(yè)務(wù)遷移到云端，借助云平臺(tái)，為業(yè)務(wù)提供充足動(dòng)力和安全保障。視覺(jué)云，也就隨之誕生了。

視覺(jué)云，包含一套面向遠(yuǎn)程消費(fèi)內(nèi)容和服務(wù)的功能，這些功能?chē)@高效提供直播型和文件型視覺(jué)體驗(yàn)，以及可將智能添加到視頻內(nèi)容中和利用機(jī)器學(xué)習(xí)及其它人工智能方面（例如物體識(shí)別）的應(yīng)用。

我們常見(jiàn)的視覺(jué)云業(yè)務(wù)，包括媒體處理與交付、媒體分析、沉浸式媒體、云圖形、云游戲、云VR/AR等。

那么，在目前云網(wǎng)深度融合的趨勢(shì)下，視覺(jué)體驗(yàn)服務(wù)商該如何構(gòu)建最適合自己的平臺(tái)架構(gòu)？面對(duì)媒體轉(zhuǎn)型帶來(lái)的巨大流量增長(zhǎng)，服務(wù)商又該如何應(yīng)對(duì)壓力和挑戰(zhàn)？如何進(jìn)一步提升平臺(tái)架構(gòu)的效能，降低無(wú)效成本？

2020年10月12-16日，英特爾在線上舉辦的“5G云網(wǎng)融合線上論壇”。其中的“視覺(jué)云，變革媒體體驗(yàn)”分論壇，來(lái)自行業(yè)的4位頂級(jí)專(zhuān)家，分享了各自企業(yè)在上述問(wèn)題方面的心得體會(huì)和實(shí)踐經(jīng)驗(yàn)。

Part 1

英特爾網(wǎng)絡(luò)平臺(tái)事業(yè)部市場(chǎng)開(kāi)拓總監(jiān)李進(jìn)文表示，視覺(jué)云業(yè)務(wù)各自有不同的特性，開(kāi)發(fā)部門(mén)各自有不同的考慮點(diǎn)，所以，沒(méi)有一刀切的解決方案。

李進(jìn)文首先對(duì)視覺(jué)云各個(gè)典型服務(wù)的發(fā)展趨勢(shì)進(jìn)行了預(yù)測(cè)。

他認(rèn)為，視覺(jué)云中最關(guān)鍵的應(yīng)用媒體分析，將達(dá)到130億美金的市場(chǎng)。超高清IP視頻流將在2025年達(dá)到接近整體IP視頻流的21%，這意味著4K、8K超高清內(nèi)容將會(huì)成為趨勢(shì)。增長(zhǎng)幅度最快的是直播業(yè)務(wù)，擁有15倍的爆發(fā)性增長(zhǎng)表現(xiàn)。近些年崛起的VR/AR業(yè)務(wù)也將創(chuàng)造950億美金的市場(chǎng)，這同樣是超高清IP視頻流持續(xù)增長(zhǎng)的原因之一。

面對(duì)機(jī)遇和挑戰(zhàn)，擁有一個(gè)強(qiáng)大的平臺(tái)刻不容緩。采用基于數(shù)據(jù)中心的基礎(chǔ)設(shè)施架構(gòu)來(lái)傳輸存儲(chǔ)和處理，是必然的選擇。

這類(lèi)型的計(jì)算體系結(jié)構(gòu)使大規(guī)模的視頻交互變得更容易，且具有明顯的成本優(yōu)勢(shì)，可以應(yīng)對(duì)視覺(jué)云不斷變化的需求。

提供視覺(jué)云服務(wù)需要廣泛的軟硬件架構(gòu)，針對(duì)不同的應(yīng)用快速提供創(chuàng)新服務(wù)，還需要一個(gè)廣泛的生態(tài)系統(tǒng)提供完善的端到端解決方案。這些都是英特爾的強(qiáng)項(xiàng)，英特爾擁有廣泛的軟硬件平臺(tái)和生態(tài)系統(tǒng)加速視覺(jué)云服務(wù)商的開(kāi)發(fā)和創(chuàng)新。

李進(jìn)文所在的視覺(jué)基礎(chǔ)設(shè)施部門(mén)，可以提供完整的軟硬件解決方案。在最底層，英特爾提供了廣泛硬件，比如通用的英特爾?至強(qiáng)?可擴(kuò)展處理器， Intel? Server GPU、FPGA、網(wǎng)卡等。軟件方面，英特爾的策略是優(yōu)先軟件，目的在于提供完整的解決方案來(lái)加速客戶(hù)的開(kāi)發(fā)周期。

兩個(gè)月前，英特爾發(fā)布了用于數(shù)據(jù)中心的獨(dú)立圖形處理單元，Intel? Server GPU，它最適合用于高密度的手游、云游和媒體傳流，支持廣泛的編解碼功能，可以提供低成本高性?xún)r(jià)比的解決方案，同時(shí)也降低了安卓云游戲行業(yè)的入門(mén)門(mén)檻，從而使更多的游戲企業(yè)趁著5G的浪潮邁入云游戲行業(yè)。

李進(jìn)文表示，廣泛的視覺(jué)體驗(yàn)正在云端和邊緣爆發(fā)性增長(zhǎng)，企業(yè)和服務(wù)提供商需要更具有可伸縮性的基礎(chǔ)架構(gòu)，以及一系列軟硬件和開(kāi)源工具?；谟⑻貭柕慕鉀Q方案，是平衡的產(chǎn)品組合，提供更佳的體驗(yàn)和TCO。

Part 2

來(lái)自北京華興宏視技術(shù)發(fā)展有限公司的技術(shù)總監(jiān)武宇文，重點(diǎn)分享了華興宏視基于英特爾硬件架構(gòu)的視頻AI分析系統(tǒng)——PONTUS。

該系統(tǒng)將視頻編碼技術(shù)和視頻AI分析技術(shù)相結(jié)合，能夠?qū)崿F(xiàn)多路高清視頻的實(shí)時(shí)智能分析，對(duì)視頻內(nèi)容中出現(xiàn)的異常事件進(jìn)行實(shí)時(shí)的分析報(bào)警以及場(chǎng)景的保存。

系統(tǒng)的AI能力是通過(guò)調(diào)用英特爾openVINOTM軟件平臺(tái)來(lái)實(shí)現(xiàn)的。底層硬件采用英特爾的Scalable高性能處理器以及VCAC-A高性能視頻AI卡。軟件能力能夠提供視頻圖片的編解碼與AI Inference同步進(jìn)行，每秒提供5~10幀的視頻AI實(shí)時(shí)分析，能夠確保視頻中不遺失關(guān)鍵信息。同時(shí)平臺(tái)還支持視頻流以及離線文件的接入實(shí)時(shí)分析。

在應(yīng)用案例方面，武宇文重點(diǎn)介紹了鐵塔高點(diǎn)視頻監(jiān)控（垃圾檢測(cè)、渣土車(chē)檢測(cè)）、實(shí)時(shí)視頻車(chē)牌自動(dòng)識(shí)別和視頻智能分析。

以鐵塔高點(diǎn)視頻監(jiān)控為例?；阼F塔頂端的高清攝像設(shè)備，可以部署高點(diǎn)監(jiān)控系統(tǒng)，實(shí)現(xiàn)“危險(xiǎn)場(chǎng)景的視頻實(shí)時(shí)鑒別”，實(shí)現(xiàn)本地分析，實(shí)時(shí)響應(yīng)。采用邊緣處理的方式，不僅可以提升響應(yīng)速度，還可以大幅節(jié)省帶寬。

通過(guò)對(duì)問(wèn)題內(nèi)容的實(shí)時(shí)抓取，系統(tǒng)可以實(shí)現(xiàn)實(shí)時(shí)的報(bào)警功能，快速控制危險(xiǎn)情況。例如非法排放、森林防火、秸稈焚燒、河道檢測(cè)、管道檢測(cè)、海防監(jiān)控等。

非法作業(yè)車(chē)輛監(jiān)測(cè)

這一方案將非常有利于生態(tài)環(huán)境綜合治理及國(guó)土資源安全保護(hù)。

Part 3

前面我們提到，超高清VR直播目前正處于業(yè)務(wù)快速增長(zhǎng)的狀態(tài)。 越來(lái)越多的VR應(yīng)用場(chǎng)景出現(xiàn)，大量超高清VR內(nèi)容的生產(chǎn)，進(jìn)一步刺激VR產(chǎn)業(yè)的發(fā)展。

不過(guò)，超高清VR直播目前也存在一些問(wèn)題。例如運(yùn)營(yíng)商網(wǎng)絡(luò)流量費(fèi)用高，終端下行帶寬有限，限制了終端設(shè)備能夠接收到的VR視頻的碼率，進(jìn)而影響用戶(hù)體驗(yàn)。再例如，終端設(shè)備的硬件解碼能力有限，不同設(shè)備之間的解碼能力參差不齊，即便是將高質(zhì)量的碼流傳輸?shù)搅私K端，也不一定能夠?qū)崿F(xiàn)完美的解碼和渲染，等等。

對(duì)于這些問(wèn)題，來(lái)自北京博雅睿視科技有限公司的研發(fā)經(jīng)理魏建超表示，需要從VR直播的各個(gè)環(huán)節(jié)考慮，緊密配合，提供端到端的解決方案，才能真正提高用戶(hù)的體驗(yàn)。這些環(huán)節(jié)包括：VR視頻的采集、拼接，到后期的制作，網(wǎng)絡(luò)傳輸，以及終端的解碼渲染等。

博雅睿視的端到端解決方案，輸入部分支持視頻文件用于VR點(diǎn)播的需求，支持廣電接口SDI，支持VR相機(jī)接入，配備拼接服務(wù)器用于實(shí)時(shí)拼接，預(yù)覽和后處理。這樣的話，可以支持更多的應(yīng)用場(chǎng)景，并從源端保證視頻的質(zhì)量。

另外，VR視頻的映射格式方面，方案采用CubeMap立方體映射格式，取代傳統(tǒng)的ERP經(jīng)緯圖映射格式，從源端節(jié)省VR視頻的數(shù)據(jù)量。

轉(zhuǎn)碼服務(wù)器基于英特爾的SVT技術(shù)，利用SVT-HEVC高并行化編碼器，進(jìn)行獨(dú)立的編碼，為基于FoV的VR視頻傳輸提供了支持。

分發(fā)服務(wù)器，可以最大限度的利用現(xiàn)存網(wǎng)絡(luò)的基礎(chǔ)設(shè)施，實(shí)現(xiàn)用戶(hù)基于FoV的內(nèi)容拉流，大大降低下行的流量。終端用戶(hù)根據(jù)視角拉取對(duì)應(yīng)的segments，下行帶寬和解碼壓力都大大降低。

總結(jié)起來(lái)，高效的視頻映射格式加上基于視角的傳輸，就得到了帶寬的節(jié)省和用戶(hù)體驗(yàn)的提升。

Part 4

最后，來(lái)自騰訊多媒體實(shí)驗(yàn)室的高級(jí)工程師許桂森重點(diǎn)介紹了騰訊云的SVT-AVS3編碼器。

AVS3是AVS工作組制定的我國(guó)擁有自主知識(shí)產(chǎn)權(quán)的第三代音視頻編解碼技術(shù)標(biāo)準(zhǔn)，也是中國(guó)音視頻產(chǎn)業(yè)核心技術(shù)標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)重點(diǎn)面向8K及5G產(chǎn)業(yè)應(yīng)用，技術(shù)先進(jìn)，專(zhuān)利清晰，受到行業(yè)的廣泛關(guān)注。

根據(jù)參考軟件的測(cè)試表明，AVS3視頻基準(zhǔn)檔次的性能比上一代標(biāo)準(zhǔn)AVS2和HEVC提升了約30%。通過(guò)加入AI技術(shù)，主打智能編碼，AVS3的編碼效率將比國(guó)際最新的視頻編碼標(biāo)準(zhǔn)H.266/VVC提升20%。該標(biāo)準(zhǔn)的全面普及，將引領(lǐng)未來(lái)5年到10年8K超高清和VR視頻產(chǎn)業(yè)的發(fā)展，進(jìn)而領(lǐng)跑?chē)?guó)際市場(chǎng)。

SVT-AVS3超高清視頻實(shí)時(shí)軟件編解碼系統(tǒng)，基于AVS3視頻編碼標(biāo)準(zhǔn)和英特爾SVT（可擴(kuò)展視頻技術(shù)）實(shí)現(xiàn)，能夠提供性能、延遲和視頻質(zhì)量之間的完美平衡。

騰訊SVT-AVS3的編碼框架，是基于英特爾SVT編碼框架經(jīng)過(guò)發(fā)展優(yōu)化而來(lái)的。框架主要分為幾大塊，第一部分是圖像預(yù)處理相關(guān)的模塊，第二部分是用原始像素進(jìn)行Motion Estimation的模塊，第三部分是碼率控制相關(guān)的模塊，第四部分是MD和重建模塊，第五部分是環(huán)路濾波模塊。

SVT-AVS3的編碼框架

SVT-AVS3編碼器支持視頻預(yù)分析處理，通過(guò)對(duì)編碼流程各個(gè)模塊的充分解耦，在多核處理器中可以實(shí)現(xiàn)更好的幀級(jí)或段級(jí)的高度并行編碼。在并行化處理的基礎(chǔ)上，SVT-AVS3通過(guò)對(duì)編碼算法的參數(shù)化處理，實(shí)現(xiàn)了編碼過(guò)程中速度與質(zhì)量權(quán)衡過(guò)程中的無(wú)縫切換。在更高效利用處理器與內(nèi)存資源的同時(shí)，更好地實(shí)現(xiàn)了速度與質(zhì)量的權(quán)衡。

在編碼時(shí)，SVT-AVS3還支持對(duì)圖像塊級(jí)的分類(lèi)分析。在使用低復(fù)雜度編碼邏輯時(shí)，通過(guò)引入極少量視覺(jué)效果，在大幅提升編碼速度的同時(shí)，可以保證圖像主觀上的視覺(jué)質(zhì)量。這一點(diǎn)恰好能夠滿(mǎn)足現(xiàn)在短視頻快速增長(zhǎng)對(duì)編碼速度及用戶(hù)體驗(yàn)的要求。

許桂森表示，SVT-AVS3目前已經(jīng)適用于視頻點(diǎn)播和實(shí)時(shí)編碼/轉(zhuǎn)碼應(yīng)用。騰訊多媒體實(shí)驗(yàn)室深度優(yōu)化SVT架構(gòu)的 AVS3 編碼器，大幅提升 SVT-AVS3 的編碼效率，現(xiàn)已集成到騰訊云，將其它標(biāo)準(zhǔn)碼流轉(zhuǎn)換成AVS3碼流，為相關(guān)服務(wù)提供支撐。

 結(jié) 語(yǔ)

根據(jù)數(shù)據(jù)顯示，2022年，預(yù)計(jì)全球82%的網(wǎng)絡(luò)流量將是視頻流。毫無(wú)疑問(wèn)，這背后蘊(yùn)藏著巨大的市場(chǎng)價(jià)值和商業(yè)機(jī)會(huì)。

英特爾推出的多種支持視覺(jué)云的解決方案，包括全套可擴(kuò)展硬件、軟件以及經(jīng)優(yōu)化的軟硬件組成的精選解決方案，能夠幫助云服務(wù)提供商、通信服務(wù)商及企業(yè)滿(mǎn)足不斷變化的需求。

免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn)，不代表本平臺(tái)立場(chǎng)，如有問(wèn)題，請(qǐng)聯(lián)系我們，謝謝！