與圖像處理相比，從視頻當(dāng)中提取見解或使用AI技術(shù)既帶來新的挑戰(zhàn)，同時(shí)也提供可觀的優(yōu)化賒。有一種誤解認(rèn)為，視頻AI只是簡單從視頻素材當(dāng)中提取特定幀，并對各視頻幀運(yùn)行計(jì)算機(jī)視覺算法。雖然這種作法確實(shí)可行，但卻并不能真正帶來分析見解。在今天的文章中，我們將通過幾項(xiàng)實(shí)例來了解這種處理單一視頻幀方法的缺點(diǎn)。但考慮到篇幅有限，這里我不會詳細(xì)討論克服這些缺點(diǎn)所需要的其它算法。感興趣的朋友可以參考Video Indexer，其提供了多種能夠?qū)崿F(xiàn)此類目標(biāo)的特定視頻算法。

我們一起來看以下［視頻］中的前25秒

請注意，在這25秒當(dāng)中Doug一直出現(xiàn)在畫面之內(nèi)。

如果要為Doug在視頻當(dāng)中出現(xiàn)的情況繪制一條時(shí)間線，則應(yīng)該如下圖所示。

請注意，在這一過程當(dāng)中Doug并非全程面向鏡頭。在視頻的第7秒當(dāng)中，他有在盯著Emily——第23秒也出現(xiàn)了同樣的情況。

如果您在視頻中的對應(yīng)時(shí)段之內(nèi)運(yùn)行人臉檢測，則Doug的面部將無法被檢測到（請參閱以下截圖）。

換句話來說，如果只是在各視頻幀上進(jìn)行人臉檢測，大家將無法繪制出如上所示的時(shí)間線。要獲得這樣的時(shí)間線，我們必須有能力跨越視頻分段追蹤面部，并考慮其中出現(xiàn)的臉部側(cè)面視圖。Video Indexer能夠追蹤面部，這意味著您將能夠看到之前展示的完整時(shí)間軸。

請看以下兩幀內(nèi)容。

這兩幀來自主講人在舞臺上進(jìn)行演講的視頻，后面背景墻上的“Microsoft”一詞一直時(shí)隱時(shí)現(xiàn)。作為人類觀看者，我們當(dāng)然能夠輕松推斷出其顯示的是“Microsoft”。但如果在這兩張圖片上運(yùn)行OCR，輸出結(jié)果將只有“Microsc”與“crosoft”。如果在視頻剪輯當(dāng)中處理完整的視頻幀序列，您會得到大量這種殘缺不全的詞匯。為了順利從鏡頭中提取到正確且完整的詞匯，您需要對這種部分詞匯應(yīng)用算法。Video Indexer能夠?qū)崿F(xiàn)這項(xiàng)功能，并從視頻當(dāng)中獲得更好的分析見解。

人臉識別系統(tǒng)由人臉數(shù)據(jù)庫組成，而該人臉數(shù)據(jù)庫則包含一組指向不同人物對象的訓(xùn)練用圖像。其還提供一項(xiàng)查詢功能，用于從查詢圖像當(dāng)中提取面部特征，并將其與人臉數(shù)據(jù)庫相匹配。查詢函數(shù)的輸出結(jié)果包含可能的匹配列表以及置信度值。查詢功能的輸出質(zhì)量，將取決于人臉數(shù)據(jù)庫與查詢圖像的實(shí)際質(zhì)量。

在視頻處理場景下，其中將包含多個視頻幀，且人物會配合不同的頭部姿態(tài)及照明條件亮相。我們當(dāng)然可以在每位人物出場時(shí)采取逐幀處理的方式進(jìn)行人臉識別系統(tǒng)查詢，但這種作法可能導(dǎo)致各幀之間出現(xiàn)不同的人臉匹配結(jié)論與存在巨大差異的置信度值。換句話來說，我們需要使用額外的邏輯層來確定人臉匹配結(jié)果。作為優(yōu)化手段，我們可以選擇合適的幀子集進(jìn)行有針對性的人臉識別系統(tǒng)查詢，從而減少該系統(tǒng)的實(shí)際查詢次數(shù)。

在處理視頻時(shí)，我們還可以通過使用來自多個視頻幀的人物訓(xùn)練圖像整理變化趨勢，從而構(gòu)建并增強(qiáng)人臉數(shù)據(jù)庫。另外，大家也能夠建立邏輯以追蹤跨幀人物并利用啟發(fā)式算法評估其中的變化。 Video Indexer同樣能夠?qū)崿F(xiàn)這一功能，意味著用戶將能夠從當(dāng)前視頻當(dāng)中構(gòu)建起質(zhì)量更高的人臉數(shù)據(jù)庫成果。