• 第一個(gè)是視頻質(zhì)量，比如是否清晰、鏡頭是否晃動(dòng)、是否有無(wú)意義的內(nèi)容，這是基礎(chǔ)的質(zhì)量問(wèn)題。

• 第二個(gè)是視頻美學(xué)，比如色彩是否優(yōu)美，構(gòu)圖是否好，光線明暗對(duì)比度是否好。

• 當(dāng)然，有了質(zhì)量和美學(xué)還不足以說(shuō)明視頻是否有吸引力，大部分的視頻是靠情節(jié)取勝，也就是靠視頻的內(nèi)容去吸引人，不管是長(zhǎng)視頻的電視劇、電影、動(dòng)漫，還是橫版短視頻和豎版小視頻，都包含著當(dāng)前視頻是何人何地發(fā)生何事，由這樣的內(nèi)容反映精彩度。精彩度是視頻吸引力的第三點(diǎn)，也是最重要的一點(diǎn)。

01

方法及整體框架

這就促使我們?nèi)ニ伎迹绾畏治鰞?nèi)容的精彩度，這里有幾個(gè)維度：第一，內(nèi)容標(biāo)簽，比如打斗等偏感官層面的信息或者是浪漫等偏高層語(yǔ)義方面的信息，這需要理解視頻內(nèi)容。第二方面是程度等級(jí)，比如說(shuō)打斗，如果是武林高手之間的對(duì)決，相比于我們普通人之間打斗會(huì)更精彩，所以需要一個(gè)分級(jí)打分機(jī)制。還有一些信息影響到用戶對(duì)視頻的喜好，比如對(duì)明星、IP、劇集等的喜愛(ài)，都會(huì)影響用戶對(duì)其精彩度的判斷。前面這3點(diǎn)是人們對(duì)于視頻精彩度的一個(gè)理性分析，但實(shí)際上精彩度還是較主觀的看法，同一個(gè)視頻，有些人覺(jué)得精彩，有些人則不覺(jué)得。一些上映之后成為收視率“黑馬”的作品，在上映之前，人們沒(méi)有預(yù)期到其足夠精彩，上線之后，卻成為爆款，這體現(xiàn)了對(duì)精彩度主觀判斷的局限性，因此我們也要考慮視頻上線后的用戶反饋。比如用戶的播放、彈幕等行為，有些視頻片段用戶會(huì)反復(fù)播放，另一些則會(huì)被跳過(guò)。我們希望通過(guò)以上幾個(gè)方面，構(gòu)建對(duì)于精彩度的認(rèn)知。

2. 精彩度分析整體技術(shù)框架

由此，我們形成如圖的精彩度分析方案，該方案的適用對(duì)象較廣泛，不管是對(duì)完整的劇集，還是簡(jiǎn)短的花絮，都可以適用，我們這里聚焦于對(duì)電影電視劇的片段做分析。影視劇的整體精彩度比較宏觀，受參演明星，改編的小說(shuō)等已知因素的影響，所以通過(guò)算法對(duì)整體做精彩度分析收益相對(duì)較小。當(dāng)下我們更關(guān)注，對(duì)長(zhǎng)視頻局部剪輯片段的打分。精彩的局部片段的識(shí)別，有助于啟發(fā)創(chuàng)作者對(duì)于局部精彩視頻的思考，有利于后續(xù)創(chuàng)作的提升。同時(shí)，精彩片段的識(shí)別，有助于二次傳播、碎片化時(shí)間的消費(fèi)，以及廣告的投放等。如框圖所示，我們輸入的是視頻片段，然后進(jìn)行多模態(tài)的視頻特征提取，接下來(lái)分兩步，一個(gè)是基于GCN的弱監(jiān)督模型，另一個(gè)是基于多任務(wù)學(xué)習(xí)的監(jiān)督模型。

視頻精彩度分析算法

1. 精彩度監(jiān)督模型

對(duì)于精彩度的監(jiān)督模型，首先需要標(biāo)注人員對(duì)視頻精彩度進(jìn)行打分?？紤]到數(shù)據(jù)的復(fù)雜性，會(huì)充分利用多模態(tài)和時(shí)序關(guān)系去提取信息。操作中會(huì)有一些具體技巧，比如由于其標(biāo)注主觀性比較強(qiáng)，會(huì)進(jìn)行噪聲建模，從回歸分?jǐn)?shù)變成一個(gè)擬合分布。另外，評(píng)分和標(biāo)簽是高度相關(guān)性的，因此可以通過(guò)多模型、多任務(wù)學(xué)習(xí)的方式來(lái)進(jìn)行。

2. 不同模型提取特征性能對(duì)比

這張圖顯示了采用不同的模型提取特征，對(duì)最終精彩度輸出的影響。最初的方法是針對(duì)圖片信息采取2D的CNN，再去對(duì)幀級(jí)別feature進(jìn)行融合；接著考慮由時(shí)序上的3D卷積模型來(lái)提特征；然后嘗試根據(jù)預(yù)訓(xùn)練模型來(lái)進(jìn)行微調(diào)；再利用視覺(jué)+音頻的多模態(tài)的信息進(jìn)一步提升。

3.?精彩度分?jǐn)?shù)預(yù)測(cè)

監(jiān)督模型的一個(gè)分支是精彩度分?jǐn)?shù)預(yù)測(cè)。對(duì)于精彩度分?jǐn)?shù)，會(huì)先做人工標(biāo)注，但是因?yàn)橹饔^性偏向非常強(qiáng)，所以噪聲較大，可信度并不高。當(dāng)標(biāo)注為某一個(gè)分?jǐn)?shù)，那它很大概率會(huì)是以這個(gè)分?jǐn)?shù)為均值的正態(tài)或偏正態(tài)分布。比如標(biāo)注分?jǐn)?shù)是六分，那該視頻可能很大的概率是六分，但也可能會(huì)小一些的概率是五分或七分。為減少噪聲影響，會(huì)對(duì)噪聲做一個(gè)建模，直觀的假設(shè)，將標(biāo)注的分?jǐn)?shù)看做一個(gè)正態(tài)分布的均值。為了滿足概率積分的要求，實(shí)際上設(shè)計(jì)了一個(gè)偏正態(tài)分布。分布的方差通過(guò)理論分析+實(shí)驗(yàn)，來(lái)確定一個(gè)比較合適的值。有了這個(gè)分布，對(duì)于分?jǐn)?shù)的回歸，可以變成一個(gè)類(lèi)似分類(lèi)的任務(wù)，對(duì)于每一個(gè)離散值給出一個(gè)概率，這樣得到對(duì)分布的預(yù)測(cè)，從而加權(quán)得到最終預(yù)測(cè)的分?jǐn)?shù)。采取該策略后，我們發(fā)現(xiàn)對(duì)于噪聲比較大的主觀性標(biāo)注任務(wù)還是有意義的，其它一些圖片回歸任務(wù)我們也用了類(lèi)似方法，取得了不錯(cuò)的效果。

4. 看點(diǎn)多標(biāo)簽?zāi)Ｐ?/span>

接下來(lái)看第二點(diǎn)，關(guān)于視頻內(nèi)容的看點(diǎn)多標(biāo)簽。比如像打斗、爆炸，都是比較有意思的標(biāo)簽，可能是會(huì)吸引人的。對(duì)于不同類(lèi)型的視頻，看點(diǎn)的標(biāo)簽是不一樣的。比如說(shuō)對(duì)于偶像片來(lái)說(shuō)，浪漫的標(biāo)簽可能非常有吸引力；對(duì)于動(dòng)作片來(lái)說(shuō)，可能飆車(chē)、打斗、槍?xiě)?zhàn)等很有吸引力。多標(biāo)簽?zāi)Ｐ停诮鼛啄旮黝I(lǐng)域都廣泛關(guān)注，包括短視頻標(biāo)簽、圖片多標(biāo)簽、文本多標(biāo)簽等。多標(biāo)簽的難點(diǎn)，是如何對(duì)同樣的信息去生成不同的標(biāo)簽，針對(duì)這個(gè)問(wèn)題會(huì)有三個(gè)方案。第一種是利用信息不同區(qū)域?qū)?yīng)不同的標(biāo)簽，可以類(lèi)比目標(biāo)檢測(cè)。即劃分圖像的不同區(qū)域，用其本身及周邊的信息，去預(yù)測(cè)該區(qū)域的一個(gè)標(biāo)簽。那第二個(gè)是層次的關(guān)系，比如從畫(huà)面視覺(jué)內(nèi)容來(lái)說(shuō)，一男一女在西餐廳吃燭光晚餐，則需要進(jìn)行性別識(shí)別、場(chǎng)景識(shí)別、目標(biāo)檢測(cè)等，同時(shí)它是一個(gè)浪漫的約會(huì)場(chǎng)景，所以還可以推理出上層的標(biāo)簽。第三個(gè)要考慮的點(diǎn)，是標(biāo)簽之間的依賴(lài)關(guān)系，有一些標(biāo)簽很可能經(jīng)常共同出現(xiàn)，比如說(shuō)有海灘和陽(yáng)光。有一些標(biāo)簽之間不太容易共現(xiàn)，比如手機(jī)跟古裝片，可能是互斥關(guān)系。當(dāng)然如果能識(shí)別這是一個(gè)穿越片，就可認(rèn)為這兩個(gè)標(biāo)簽共現(xiàn)是比較和諧的。在很多看點(diǎn)多標(biāo)簽之間，有這種互相依賴(lài)的關(guān)系，如何去表達(dá)標(biāo)簽的關(guān)系有很多方式，比如說(shuō)CNN和RNN結(jié)合，通過(guò)RNN去顯示地表達(dá)標(biāo)簽之間的依賴(lài)。那其它一些方式，比如通過(guò)標(biāo)簽embedding，希望其去影響分類(lèi)器，而對(duì)于這個(gè)embedding，可能會(huì)通過(guò)圖的拓?fù)浣Y(jié)構(gòu)，根據(jù)相似的鄰域標(biāo)簽信息來(lái)修改embedding，從而讓這個(gè)embedding包含標(biāo)簽之間的關(guān)系，再將這個(gè)embedding以某種方式去影響分類(lèi)器。還有一種方式，就是訓(xùn)練時(shí)找到一個(gè)嵌入的空間，把ground truth的多標(biāo)簽投射到嵌入空間，利用多標(biāo)簽去生成一個(gè)feature，同時(shí)對(duì)于待處理的數(shù)據(jù)也生成一個(gè)feature，要求這兩個(gè)feature要盡可能接近，之間的某種距離可以作為loss之一。這樣，嵌入空間的音視頻feature，即表達(dá)了多標(biāo)簽的關(guān)系，可以認(rèn)為是對(duì)多標(biāo)簽的編碼，而后續(xù)的分類(lèi)過(guò)程，就是對(duì)多標(biāo)簽的解碼。

5. 多任務(wù)學(xué)習(xí)模型

評(píng)分和看點(diǎn)標(biāo)簽這兩個(gè)模型高度相關(guān)，所以用了多任務(wù)學(xué)習(xí)。因?yàn)闃I(yè)務(wù)有非常多的需求，各需求之間往往有相關(guān)性，經(jīng)常存在多任務(wù)學(xué)習(xí)的可能性。另外，海量數(shù)據(jù)下如何節(jié)省資源，也是非?，F(xiàn)實(shí)的需求。如果我們通過(guò)多任務(wù)學(xué)習(xí)能夠降低資源消耗，更好的體現(xiàn)相關(guān)性，甚至還有可能提升指標(biāo)，那會(huì)非常有動(dòng)力去做多任務(wù)學(xué)習(xí)。我們現(xiàn)在的架構(gòu)，底層共享網(wǎng)絡(luò)，上層建立評(píng)分和標(biāo)簽網(wǎng)絡(luò)。訓(xùn)練策略方面沒(méi)有標(biāo)準(zhǔn)化方式，采取一些經(jīng)驗(yàn)性的方式，動(dòng)態(tài)調(diào)節(jié)權(quán)重，比如根據(jù)每一路分支loss下降的情況進(jìn)行調(diào)整，或是動(dòng)態(tài)分析每路分支的運(yùn)行情況，修改訓(xùn)練頻次，保持一致的收斂速度。

6. 弱監(jiān)督模型

接下來(lái)我們?cè)倏匆幌拢醣O(jiān)督模型這一塊。我們有很多用戶觀影行為數(shù)據(jù)，是否可用于擬合對(duì)分?jǐn)?shù)的標(biāo)注。比如觀看行為，觀看次數(shù)越高，一般也越精彩。但是不同視頻本身熱度不一樣，同一個(gè)視頻的不同部分，單純看播放量也不公平，因?yàn)楹芏嘤脩舨粫?huì)看完整個(gè)視頻，一般前面的片段播放量會(huì)更高。所以，直接將用戶行為作為精彩度的度量，雖然相對(duì)于人工標(biāo)注的分?jǐn)?shù)更能體現(xiàn)用戶的實(shí)際偏好，但還是存在非常多的噪聲。為了減少噪聲影響，要做很多數(shù)據(jù)預(yù)處理，比如盡量避免用區(qū)分度不大的數(shù)據(jù)。除了關(guān)心絕對(duì)精彩度，也關(guān)心相對(duì)大小，即一個(gè)視頻中，哪些內(nèi)容相對(duì)其余部分更有吸引力。我們往往會(huì)從一個(gè)視頻當(dāng)中，篩選相對(duì)精彩的內(nèi)容，去做二次創(chuàng)作、投放廣告等。在這樣的訴求下，可以采用Ranking思想去設(shè)計(jì)Loss。因?yàn)樵肼曒^大，會(huì)給label計(jì)算置信度，比如可以用相似的樣本來(lái)做平滑。這里我們還可以利用圖，設(shè)計(jì)圖卷積過(guò)濾高頻信息更新樣本feature，實(shí)現(xiàn)更好的聚類(lèi)，并利用更新后的相近節(jié)點(diǎn)來(lái)修改樣本置信度，最終有效提升弱監(jiān)督模型效果。

1. 前情提要

前情提要是精彩度相關(guān)的一個(gè)應(yīng)用，運(yùn)用算法對(duì)每一集識(shí)別出精彩片段，通過(guò)一定策略剪輯。雖然前景提要本身是一個(gè)用戶產(chǎn)品，但可以在上面投放廣告，并且處于片頭這個(gè)黃金位置，實(shí)現(xiàn)了很好的商業(yè)價(jià)值。

2. 拆條

第二個(gè)應(yīng)用是長(zhǎng)視頻拆條。做一個(gè)比較好的拆條，要從長(zhǎng)視頻當(dāng)中選出比較精彩的部分，同時(shí)滿足切分方式的合理性?？梢苑奖阃斗旁谡緝?nèi)或者是站外的各種渠道上，這樣可利用用戶的碎片化時(shí)間，一方面形成對(duì)短內(nèi)容的消費(fèi)，一方面也能夠起到短帶長(zhǎng)的作用。所以要做拆條的話，不僅僅需要對(duì)內(nèi)容本身的理解，也需要對(duì)精彩度做分析。

3. 自動(dòng)生成封面

智能封面圖生成，目前線上的影視劇封面，采用自動(dòng)生成動(dòng)態(tài)圖的方式。對(duì)視頻中精彩片段進(jìn)行打分，并需要保證片段的多樣性和代表性。對(duì)于圖片也會(huì)有精彩度、美學(xué)等分析。不管是靜態(tài)封面圖還是動(dòng)態(tài)封面圖，都可以生成多個(gè)，然后去做個(gè)性化的分發(fā)，并通過(guò)線上的反饋來(lái)調(diào)整生成封面圖的策略。

4. 片段打分

還有一個(gè)應(yīng)用，是直接對(duì)片段的精彩度打分，有利于冷啟動(dòng)階段的分發(fā)；也能給創(chuàng)作者提供參考。

總結(jié)一下，當(dāng)大家思考內(nèi)容平臺(tái)的時(shí)候，會(huì)非常關(guān)注內(nèi)容是否精彩。針對(duì)精彩度分析，不只是一個(gè)單一的技術(shù)，更是一個(gè)綜合性的解決策略。可能會(huì)利用各種各樣的垂直算法、產(chǎn)品策略，工程策略等，最終形成可行方案。精彩度方案已被廣泛應(yīng)用，并會(huì)從質(zhì)量和效率兩個(gè)方面的提升來(lái)做評(píng)價(jià)。由于精彩度分析任務(wù)的特點(diǎn)，如需要用到海量數(shù)據(jù)、具有較強(qiáng)主觀性、有很多用戶行為數(shù)據(jù)等，會(huì)牽涉到很多技術(shù)方向，像弱監(jiān)督、多任務(wù)、多標(biāo)簽、圖等等。此類(lèi)偏主觀的分析，用戶標(biāo)準(zhǔn)、用戶行為以及先驗(yàn)的外部信息，這三個(gè)維度都非常重要。

后續(xù)的展望，第一方面是在特征提取上，盡量去融合更多的信息，包括文本的信息，比如臺(tái)詞、彈幕等。第二個(gè)是在模型上，比如怎么通過(guò)半監(jiān)督的方式，把有標(biāo)注和無(wú)標(biāo)注的數(shù)據(jù)，放到一個(gè)統(tǒng)一框架中來(lái)。第三點(diǎn)是如何利用各種垂直識(shí)別，不管是底層的識(shí)別，還是偏上層的推理形成高層語(yǔ)義，需要能把這些信息利用起來(lái)，從而知道為什么精彩，作出可解釋的精彩度評(píng)價(jià)。

嘉賓介紹：

劉祁躍

愛(ài)奇藝 |?科學(xué)家

特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒(méi)關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：

長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝