0引言

運動目標的檢測方法主要有基于運動學信息的幀差法、背景減法、光流法和依賴于單幀特征信息的檢測方法或將兩類方法結合^[1] 。幀差法^[2]和背景減法^[3]檢測過程的最后一步是通過分割二值圖像獲得目標輪廓,由于相機抖動、光照變化、目標運動不連貫、靜止背景遮擋等原因,差分閾值后的二值圖像會出現離散現象,基于二值圖像的目標分割會將一個目標誤分為多個小目標。當前,區(qū)域連通性分析多用于醫(yī)學圖像、車牌字母、工件計數等領域^[4],其目的是將粘連、堆疊的目標進行分離。在離散目標歸并領域, 目前研究文獻較少,分離與歸并本是一對問題,在歸并研究上可以借鑒分離的研究方法和思想。

離散目標歸并是完整檢測的重要一步,文獻[4]依據像素級距離信息和特征相似信息對圖像塊進行整合。文獻[5]利用HSI空間中色調、飽和度、亮度分量信息的相似性與基本形態(tài)學操作結合,定義了一種彩色形態(tài)學處理方法用于圖像邊緣提取,能夠較好地保存邊緣信息。在遙感圖像方面,文獻[6]基于 YCbCr顏色空間對亮度、藍色色度、紅色色度分量進行閾值化,初步確定候選陰影區(qū)域,基于候選區(qū)域提取紋理特征用于陰影消融;文獻[7]利用Ycbcr顏色空間特征來表征大豆粒子外觀品質特性,對大豆進行精細分類。文獻[8]提出了一種復雜布局分析的混合技術,為了連接相鄰區(qū)域和檢測分割線,將形態(tài)學操作應用于前景和背景,輪廓跟蹤用于提取形狀和大小信息以及連接部件的分類。

本文以幀差后的運動 目標二值圖像為起點,分別從小 目標區(qū)域濾除、離散目標的質心歐幾里得距離判定、HSI空間顏色特征相似度計算、前后幀離散目標位移一致性評價等方面進行歸并方法研究。

1 HSI空間顏色相似性

相機獲取的圖像是RGB顏色空間,每個通道都包含同種信息,HSI顏色空間更符合生物視覺系統(tǒng)^[9],H、S、I分別代表色調、飽和度、亮度,兩空間轉 換可表示:

式中:B表示藍色分量;G表示綠色分量;R表示紅色分量;θ為色調角度。

設一離散區(qū)域Ω,V={v ?_H，v ?_s，v ?_I}表示在HSI顏色空間下Ω的每個像素點的顏色矢量,進一步計算區(qū)域Ω內總體顏色特征矢量U={v ?_H，v ?_s，v ?_I,σH,σS,σI},其中v ?_H，v ?_s，v ?_I分別表示區(qū)域內各分量均值,σH,σS,σI表示各分量的標準差。在一幀圖像中會出現多個離散目標區(qū)域,則整幀圖像的顏色特征表示為U={u1,u2,… ,un},n為單幀圖像中離散目標區(qū)域的數量。

各離散目標的顏色相似度測算是離散目標是否歸并的重要依據,通常來講,不同類型目標在顏色特征上有較大差異,但離散目標顏色特征和完整目標顏色特征具有相似性,同屬一個整體目標的各離散目標之間距離較短,顏色特征也具有相似性。

式中:d_H、d_s、d_I為定義的色度、飽和度、亮度的相似測度函數,均以e為底數的減函數定義;下標i,j表示任意兩個離散目標;a,b,c分別為各分量測度參數,均在區(qū)間(0,+∞)保證了測度函數遞減性,對于同樣的兩個顏色向量,因為參數不同表現出不同的相似性,符合生物感知世界的模糊性。

以分量差值的絕對值為變量,保證定義域大于等于零,將其值域歸一化到[0,1]區(qū)間內,差值的絕對值越小,計算結果越向1趨近,各分量相似性越高,同屬一個目標的概率越大;否則,屬于同一目標的概率越小。

顏色總體特征的相似性由三個分量相似性共同決定:

D(ui,uj)∈[0,1],該值接近1時,表示兩個離散目標的顏色信息更加接近,同屬于一個整體目標的概率大。

2上下幀位移一致性

運動 目標在前后幀中所處的位置會有移動,但是其顏色特征保持穩(wěn)定。設當前幀和前一幀的顏色特征向量分別是Uc,UP,上下幀相似性矩陣如下:

其中,M、K分別為當前幀和前一幀離散目標數量,對相似性矩陣元素做二值化處理:

式中:D(u_cm,u_Pk)表示兩區(qū)域的顏色特征相似性;Tb 表示顏色相似閾值;o(u)表示區(qū)域的質心,p1 (x1,y1),p2(x2,y2)分別為o(u_Pm)和o(u_ck)的坐標,Euc[o(u_cm),o(u_ck)]表示兩質心間歐幾里得距離,以表征目標在前后幀的位移距離;T_D2表示當前幀和前一幀兩兩離散目標的歐幾里得距離閾值。

二值化要同時滿足兩個條件:1)顏色特征相似性高于T_b;2)雖然運動目標在前后幀中會發(fā)生位移,但是由于兩幀間隔時間較短,位移距離應小于T_D2。

當A_b中每列存在兩個及以上值為1的元素,即前一幀中的一個離散目標在當前幀中對應多個相似目標,那么對應的當前幀目標之間也具有較高的相似性。若存在多個顏色特征相似且距離較近的目標,例如正在會車的同款車輛,此時會將多個物體歸并在一起。通常情況下,一個完整目標的各部分位移的大小和方向應該一致,因此應將離散目標在上下幀的位移信息考慮進來。

δ表示從o₁位移到o₂ 的位移方向,以正右方為0°,逆時針增加至360°。定義位移向量R={r1,r2,…,rl},其中r={δ,E_uc,x2,y2},l是A_b中元素值為1的。評價位移向量ri,rj一致性依據:

式中:dx,dy表示質心點在水平和垂直方向的移動距離;d(ri,rj)由兩個方向移動距離差值合成,當其小于閾值TM則認為兩目標位移具有一致性。

3 歸并步驟

步驟1,讀入原圖像src及所對應的二值圖像 src_b,并將原圖像src由RGB顏色空間轉換為HSI空間得到src_hsi。

步驟2,對二值圖像src_b進行膨脹操作,然后查找輪廓,對輪廓面積小于閾值Ts的區(qū)域,將區(qū)域內所有像素設置為0,得到最新src—b,達到濾除小 目標作用,膨脹操作還會對微小距離的離散目標進行歸并。

步驟3,對src_b再次查找輪廓并找到其最小外接矩形框和質心,將矩形框映射到原圖像src中,計算 HSI顏色空間下映射區(qū)域顏色特征U,判斷是否為初始幀,若為初始幀,則同時保存為當前幀和前一幀。否則,更新為當前幀數據。

步驟4,計算當前幀兩兩離散目標之間的歐幾里得距離E_uc[o(u_i),o(u_j)],當其值小于當前幀中兩個離散目標的歐氏距離閾值T_D1時,近一步計算其顏色特征相似性,當D(u_i,u_j)大于相似度閾值T_C1則認為兩個離散目標間相似度高,可視為同一目標。

步驟5,依據當前幀和前一幀的顏色特征向量 U_C,U_P,求解上下幀相似矩陣A,并對矩陣二值化得到A_b,對元素值為1所對應的離散區(qū)域進行位移一致性評價,當d(ri,rj)小于閾值TM則認為目標在運動方向和距離上保持一致,可以歸并為同一目標。

步驟6,在src_b1上,將判定為同一目標的各離散區(qū)域通過連接線完成目標歸并,查找src_b1輪廓并獲得外接矩形框。

步驟7,將當前幀的顏色特征信息更新為前一幀數據。重新回到步驟1對下一幀圖像做同樣處理。

4 實驗結果及分析

選取三段視頻序列驗證算法的效果和適用性能,視頻1為靜態(tài)相機下監(jiān)控視頻,視頻2為運動相機下所拍攝的視頻,視頻3為運動相機所拍攝,但視頻中存在多個距離相近、顏色特征相似的運動目標。通過VS2017和OpenCV 4.1編程實現驗證,在PC (CPU 為8核3.5 GHz,內存8 GB)上運行。

實驗1:基于HSI顏色特征相似性對離散目標進行第一次歸并。本文中相似度測度參數a、b、c均設為10,歐氏距離閾值T_D1設為30,相似度閾值T_C1設為0.75。如圖1所示,第一行視頻目標的離散程度低,濾除小目標后的二值圖像已經呈現出比較完整的人體輪廓。第二行視頻人與相機同時運動,相機運動補償不足或過度補償導致目標不連貫,離散程度大,由于目標上下著裝顏色一白一黑,其顏色相似度低,將上下半身分別歸并,人體仍然是離散狀態(tài)。由此可見,當一個完整目標各部分顏色對比度較強時,僅依據顏色特征相似度歸并能力有限。第三行視頻飛機漆裝顏色單一,基于顏色相似度歸并效果較好。三架飛機為同一顏色,由于T_D1設置比較小,飛機之間沒有出現歸并。

實驗2:基于上下幀位移一致性進行歸并,本文中將T_D2設置為80,T_b設為0.6,T_M設為30。第二次歸并是在第一次歸并后進行,對于一個完整目標,各部分的位移距離和方向具有一致性,在視頻2中體現明顯,第一次歸并后,人體上下半身仍然分離,第二次歸并后,上下半身歸并為一體,人體輪廓檢測完整,如圖2所示。

定義準確率P=N_t/N,其中N為目標總數量,N_t為完整檢測目標的數量。準確率P1表示直接對二值圖像查找輪廓進行目標檢測,P2表示對離散目標歸并后再查找目標輪廓,由表1可知,歸并后目標完整檢測的準確率有了大幅提高,平均提高27個百分點。

5結束語

本文為提高基于二值圖像目標檢測的正確率,提出了一種基于HSI空間顏色相似度和上下幀位移一致性的目標歸并方法,首先濾除小目標區(qū)域,然后基于顏色特征的相似度對離散目標進行第一次歸并,在此基礎上,結合離散目標在前后幀中位移的一致性進行第二次歸并,達到將離散目標合體的效果。

采用三段不同場景不同拍攝條件的視頻對方法進行驗證,結果表明了方法的有效性。圖像的內涵信息是豐富的,本文只考慮了顏色特征和位移一致性,未來的研究中可加入更多的圖像特征,例如紋理特征、梯度特征等。

[參考文獻]

[1]ROZANTSEVA,LEPETITV,FUAP.Detectingflying objectsusingasinglemovingcamera [J].IEEE TransactionsonPattern Analysis andMachineIntelligence,2017,39(5): 879—892.

[2]王智文,王宇航,蔣聯源,等.基于關聯幀差分法的運動目標檢測與跟蹤[J].現代電子技術,2021,44(2):174—178.

[3]戚亞明,陳樹越,孫磊.基于改進ViBe算法的雙流CNN跌倒檢測[J].計算機工程與設計,2023,44(6):1812—1819.

[4]康世英,姚斌.快速連通域標記算法在堆疊棒材計數中的應用研究[J].機械與電子,2018,36(11):29—33.

[5]何曉軍,徐愛功,李玉.利用HSI空間相似性的彩色形態(tài)學圖像處理方法[J].計算機科學,2019,46(4):285—292.

[6]方嵐,于鳳芹.去除鬼影及陰影的視覺背景提取運動 目標檢測算法[J].激光與光電子學進展,2019,56 (13): 71—78.

[7]林萍,何堅強,鄒志勇,等.基于可見光譜圖的大豆外觀品質判別方法[J].光學學報,2019,39(8):208—215.

[8] VASILOPOULOS N,KAVALLIERATOUE.Complex layout ana—lysisbasedon contour classificationandmorpho—logicaloperations [J].EngineeringApplications ofArtificialIntelligence,2017,65:220—229.

[9]宋瑞霞,李達,王小春.基于HSI色彩空間的低照度圖像增強算法[J].圖學學報,2017,38(2):217—223.

2024年第14期第13篇