Internet的快速發(fā)展使得網絡多媒體的需求急劇增加,這就對視頻的編碼技術提出了新的要求。網絡的異構性和缺乏QoS(服務質量)保證,使得帶寬會在一個較大的范圍內波動。傳統(tǒng)的用于解決該問題的視頻編碼方法有聯播和碼流轉換,但這兩種方法的碼率變化均被限制在幾個特定的碼率中,很難實現傳輸過程中任意碼流的動態(tài)切換,從而不能充分利用信道的容量。解決這些問題的一個有效方法就是粒度可分級視頻編碼,它將原始視頻編碼成基本層碼流和增強層碼流,其中基本層碼流是必須要傳輸的,它能夠單獨進行解碼。增強層碼流可以根據網絡當時的帶寬情況在任何一個地點截斷。但FGS獲得的這些特性都是以犧牲編碼效率為代價的[1]。在增強層中引入膚色選擇的算法,雖然能夠快速地定位出視頻中的感興趣區(qū)域,通過對其進行位平面提升和優(yōu)先編碼來改善視頻的主觀質量,但也會在一定程度上降低整體的編碼效率。因此,針對編碼效率低的問題,本文提出了在基本層中引入單環(huán)算法,以提高FGS的編碼效率。
1 基于膚色選擇的FGS視頻編碼
1.1 膚色選擇算法介紹[2]
用膚色選擇算法對FGS進行選擇增強,充分利用了人的視覺特性。相對于其他較復雜的人臉檢測算法,該算法具有復雜度低和運算簡單等特點。對于人臉和頭肩占主要部分的序列,可以認為人臉區(qū)域主要就是膚色區(qū)域。因此在這類視頻序列中,用膚色區(qū)域代替人臉區(qū)域作為感興趣區(qū)域,并對其進行位平面提升、優(yōu)先編碼和傳輸,從而提高感興趣區(qū)域的編碼效率,并改善視頻的主觀質量。
大量實驗表明,不同人種的膚色主要受到亮度信息的影響,而受色度信息的影響很小,且膚色在CbCr空間的分布具有很強的聚類特性,因此本文中直接采用通用閾值(133≤Cr≤173,77≤Cb≤127)來對膚色區(qū)域進行判斷。對于序列中的所有幀圖像的每一個像素有:
將M=1的像素定為膚色點,然后對每幀圖像中的每個宏塊內M值為1的像素點進行統(tǒng)計,將統(tǒng)計結果與預先給定的閾值T進行比較,來判斷該宏塊是否進行選擇性增強。如果大于或等于閾值T,則對該宏塊進行選擇性增強,反之,則不進行選擇性增強。圖1為Akiyo序列、Foreman序列和Carphone序列的原始圖、膚色分割圖和選擇性增強的宏塊圖。
1.2 基于膚色選擇的FGS視頻編碼
通過上述的膚色選擇算法來定位出人臉區(qū)域,并將其作為感興趣區(qū)域,引入到FGS編碼器中。與其他人臉檢測算法相比,該方法具有復雜度低、自適應選擇和運算簡單等優(yōu)點。
2 基于單環(huán)與膚色選擇的FGS視頻編碼
采用膚色選擇算法提高視頻序列感興趣區(qū)域的編碼效率和改善視頻主觀質量的同時,也降低了FGS的整體編碼效率。單環(huán)算法由于使用了更高的擴展基本層(基本層+增強層)圖像來用作基本層的參考圖像,因此能夠較好地提高整體編碼效率。所以本文提出了基于單環(huán)的FGS視頻編碼與基于膚色選擇的FGS視頻編碼相結合的方法(基于單環(huán)和膚色選擇的FGS視頻編碼)來同時提高FGS的整體編碼效率和視頻的主觀質量。其編碼原理圖如圖2所示。
[!--empirenews.page--]
對于基本層,通過使用質量更高的擴展基本層圖像作為基本層的參考圖像,來提高基本層運動補償的效率,降低基本層殘差圖像的能量,從而提高基本層的編碼效率。對于增強層,基本層殘差圖像能量下降,使得殘差圖像量化前后的差值的能量也減小了,所以增強層的編碼效率也相應地得到了提高。但由于基本層與增強層并非各自獨立,而是相互影響的,因此當網絡帶寬突然降低時,會產生預測誤差,且這種誤差會一直積累并傳播下去,直到當前GOP結束。因此當使用該結構進行FGS編碼時,將引入前端網絡估計的方法,來確定能夠正確解碼的增強層位平面數,使用于參考的增強層位平面數不多于正確解碼的位平面數,從而抑制預測誤差[3-4]。
3 試驗結果與分析
為了檢測該算法的效果,進行了仿真實驗。實驗中選擇了Carphone和Foreman 兩個QCIF視頻序列,基本層采用H.264參考軟件,幀率為30 Hz,編碼50幀,編碼幀類型為IPPP…,熵編碼方法為CABAC,允許率失真優(yōu)化宏塊模式判決,QP=35,基本層碼率為60 kb/s。增強層編碼時僅對DCT系數進行限幅處理,不作進一步量化。使用重建圖像序列的亮度分量的平均峰值信噪比(Y-PSNR)作為視頻質量的客觀評價標準。試驗中所定義的感興趣區(qū)域為用膚色選擇算法檢測出來的人臉區(qū)域,將采用該提升算法的FGS和僅采用單環(huán)算法的FGS以及未采用任何提升算法的FGS進行比較,比較結果如圖3和圖4所示。
從圖3中可知,采用了基于單環(huán)和膚色選擇的FGS視頻編碼,在人臉區(qū)域的PSNR值要明顯高于整體區(qū)域,平均高出了3 dB,且隨著碼率的增大,PSNR的差值也逐漸增大。從圖4中可以看出,相比于H.264 FGS和基于單環(huán)的H.264 FGS,本文采用的方法能夠較好地改善視頻的主觀質量。這說明在碼率一定的情況下,使用單環(huán)算法能夠較大地提高編碼效率,且由于使用了膚色選擇,感興趣區(qū)域的位平面被提升,從而使得該部分的信息能夠被優(yōu)先編碼和傳輸。當碼流截斷時,獲得的大部分數據都是感興趣區(qū)域的,所以解碼時膚色區(qū)域的主觀質量有了一定的改善。
通過上述試驗結果可知,將膚色選擇引入到FGS中,能夠快速地定位出人臉區(qū)域,通過將該區(qū)域的位平面進行提升、優(yōu)先編碼和傳輸,能夠較大地提高感興趣區(qū)域的編碼效率,改善視頻的主觀質量。但與此同時,會在一定程度上降低整體的編碼效率,因此引入了單環(huán)算法。該算法由于使用了高的擴展基本層圖像來用作基本層的參考圖像,因此能夠較好地提高整體編碼效率。試驗證明本文提出的方法對人臉和頭肩占主要部分的序列,能夠自適應地提高FGS的編碼效率,改善解碼后視頻的主觀質量。該算法對特定的領域有一定的適用性。
參考文獻
[1] 胡波. 數字電視系統(tǒng)關鍵技術研究[D].武漢:華中科技大學, 2009.
[2] 周孝, 林其偉, 楊雪婷. 基于人臉特征的自適應選擇增強FGS視頻編碼[J]. 電視技術, 2008,32(08):23-25.
[3] 江濤,張兆揚.時空域可分級的精細粒度可伸縮視頻編碼研究[D]. 上海:上海大學,2005.
[4] 楊雪婷, 林其偉.基于H.264的精細可分級編碼結構改進方案[J]. 電視技術, 2009,33(S1).