（文章來源：百家號）

在場景需求的推動(dòng)下，以及背后算法、算力、數(shù)據(jù)的支撐下，AI 已經(jīng)慢慢走出實(shí)驗(yàn)室，開始擁抱產(chǎn)業(yè)，這其中也包括 RTC 行業(yè)。在實(shí)時(shí)視頻、實(shí)時(shí)音頻、實(shí)時(shí)傳輸、視頻內(nèi)容檢索與推薦、實(shí)時(shí)交互等層面，都已經(jīng)出現(xiàn)了與 AI 結(jié)合的落地應(yīng)用。

近幾年來，超分辨率在計(jì)算機(jī)視覺領(lǐng)域逐漸成為一個(gè)研究熱點(diǎn)，在圖像的增強(qiáng)、去噪、細(xì)節(jié)恢復(fù)，以及圖像放大等方面有著廣泛的應(yīng)用前景，并且也引起了無論是學(xué)術(shù)界還是工業(yè)界的重視。開場，聲網(wǎng)AI算法工程師周世付為大家進(jìn)行了"深度學(xué)習(xí)在移動(dòng)端實(shí)時(shí)視頻超分辨率的應(yīng)用和探索"的主題分享。他分別從超分是如何解決移動(dòng)RTC的一些痛點(diǎn)，超分的發(fā)展現(xiàn)狀以及存在的問題，以及超分算法在移動(dòng)RTC的落地過程中遇到的一些挑戰(zhàn)以及聲網(wǎng)在這方面做的一些工作三個(gè)方面來展開分享。

"做GAN經(jīng)常會(huì)遇到一個(gè)問題，就是對抗神經(jīng)網(wǎng)絡(luò)模型容易出現(xiàn)模式坍塌，在超分領(lǐng)域也會(huì)存在模式坍塌的問題。聲網(wǎng)Agora做了一些改進(jìn)，減少模式坍塌發(fā)生的概率。另外在圖像失真度這方面做了一些改進(jìn)。我們的效果跟ESR來對比，我們能夠比較好的去重構(gòu)，比如說像細(xì)節(jié)比較豐富的圖像。"他在分享中談到，"但是，超分的優(yōu)勢很明顯，就是它重構(gòu)出來的效果很好，它也為此要付出一個(gè)代價(jià)，就是它的運(yùn)算復(fù)雜度很高。

分享中，他重點(diǎn)介紹了聲網(wǎng)在本屆RTC大會(huì)上發(fā)布的聲網(wǎng)Agora實(shí)時(shí)超分算法。該技術(shù)可以將實(shí)時(shí)傳輸中的視頻在原有分辨率的基礎(chǔ)上實(shí)現(xiàn)兩個(gè)方向的2倍同步放大，并獲得顯著的細(xì)節(jié)增強(qiáng)。同時(shí)支持在云端和移動(dòng)終端上實(shí)時(shí)運(yùn)行，并在移動(dòng)終端達(dá)到非常出色的效果。

視頻網(wǎng)站面臨的挑戰(zhàn)之一就是視頻的分發(fā)，理解用戶，理解視頻內(nèi)容是解決目前視頻網(wǎng)站的一個(gè)關(guān)鍵的核心和要點(diǎn)。論壇上，Hulu（美國本土的在線視頻服務(wù)公司）首席研發(fā)經(jīng)理謝曉輝，為大家分享了"視頻內(nèi)容理解與推薦算法實(shí)踐"的主題分享。

推薦算法歷史的演進(jìn)過程，推薦算法其實(shí)是研究人的一種科學(xué)。我們需要有一種非常精細(xì)的刻畫，然后去真實(shí)地理解用戶的興趣和他的意圖。"其次，他從顯式的基于高階語義的標(biāo)簽刻畫、隱式的嵌入矢量表示、故事與情節(jié)的引人入勝、視覺/聽覺因素的影響四個(gè)方面闡釋了對內(nèi)容的深刻理解如何提升推薦系統(tǒng)性能，同時(shí)分享了Hulu基于內(nèi)容推薦方面做的探索和實(shí)踐，如將標(biāo)簽精細(xì)化、實(shí)現(xiàn)標(biāo)簽集合的擴(kuò)充等。

具體來說，"我們利用熱播的劇場一些相對豐富的標(biāo)簽作為標(biāo)注信息，然后對長尾的內(nèi)容做標(biāo)簽預(yù)測。我們大概最終支持180個(gè)左右的標(biāo)簽，準(zhǔn)確率在0.85左右，某種程度上很多標(biāo)簽已經(jīng)是可用的程度。這些標(biāo)簽語義其實(shí)非常高，比如大家可以看到，F(xiàn)antasy world等，類似這種語義其實(shí)已經(jīng)是非常高的語義。"謝曉輝分享到，"我們還可以利用搜索引擎找到一些初始的種子圖像，在Hulu上面跑，然后經(jīng)過人工篩選，重新構(gòu)成一個(gè)訓(xùn)練集，最終去訓(xùn)練我們的模型。"