引言

裂縫是機場道面最主要的表觀結(jié)構(gòu)病害,同時也是威脅飛機安全起降的重要隱患。目前機場主要依靠人工巡檢的方式檢測道面裂縫,這種傳統(tǒng)方法精度差、效率低,且大型機場的跑道面積大使得檢測人員的工作量巨大。因此,大型機場對道面裂縫的自動化識別需求越來越強烈。

2012年,被稱為"神經(jīng)網(wǎng)絡之父"的Hinton和他的學生AlexKrizhevSky利用深度神經(jīng)網(wǎng)絡理論設計的AlexNet取得ImageNet競賽冠軍,自此之后,人工智能的深度學習方法開始蓬勃發(fā)展。到目前為止,深度神經(jīng)網(wǎng)絡在機器視覺領(lǐng)域已經(jīng)取得大量的研究成果,并在多個工業(yè)場景落地使用,如采用FaceNet等人臉識別算法進行人臉識別:GAN網(wǎng)絡用于風格化圖片的生成:HRnet等姿態(tài)檢測網(wǎng)絡用于檢測人或其他感興趣物體的行為姿態(tài):YoLo、FaSterRCNN等目標檢測模型用于行人、車輛以及其他感興趣物體的檢測:U-Net、SegNet及DeepLab等語義分割模型用于醫(yī)學影像中的病變檢測、機械制造中的缺陷檢測以及自動駕駛中的物體檢測。其中,語義分割模型可對無固定形狀的缺陷進行檢測,但最初的語義分割模型結(jié)構(gòu)復雜,檢測速度慢,不利于工業(yè)落地。2016年6月推出的ENet相對于SegNet,其檢測速度大大提高,在NVIDIATitanx顯卡上實現(xiàn)了每秒檢測46張像素尺寸為1920×1080的圖片。從2016年至今,實時語義分割模型的精度與速度不斷提高,其中2021年推出的DDRNet在NVIDIAGTx2080Ti顯卡上實現(xiàn)了每秒檢測108張像素尺寸為2048×1024的圖片,已符合工業(yè)落地的要求。

道面裂縫的檢測在機器視覺領(lǐng)域?qū)儆跈z測任務,當前主要有目標檢測和語義分割兩大類算法處理檢測任務。如圖1所示,目標檢測算法在圖片上檢測出感興趣物體后用方框標記出其在圖片上的位置:如圖2所示,語義分割算法則能夠在檢測出感興趣物體后對物體沿著輪廓進行分割。考慮到裂縫的長度、面積等外觀特征后續(xù)將用于計算道面損壞情況,本文選擇在TenSorFlow框架下復現(xiàn)和改進當前性能表現(xiàn)好的實時語義分割模型DDRNet(深度雙分辨率網(wǎng)絡),用于機場道面裂縫的自動檢測。

1DDRNet概述

1.1總體結(jié)構(gòu)

DDRNet全稱是深度雙分辨率網(wǎng)絡(DeepDual-reSolutionNetworkS),總體結(jié)構(gòu)如圖3所示,輸入圖像在經(jīng)過兩個殘差塊后,特征提取被分成兩個具有不同分辨率的平行分支:一個高分辨率分支(圖中上路分支)生成相對高分辨率的特征映射,另一個低分辨率分支通過多次下采樣操作提取豐富的上下文信息。兩個分支之間橋接多個雙邊融合以實現(xiàn)有效的信息融合,并在最后通過add的形式進行特征融合,融合后的特征經(jīng)過卷積模塊得到最終的預測結(jié)果。另外,DDRNet模型提出了能夠極大增加感受野的深度聚合金字塔合并模塊(DAPPM),該模塊比普通的PPM能更充分地提取信息。

1.2殘差塊

殘差塊(ReSidua1B1ock)是He等提出的殘差網(wǎng)絡中的基本結(jié)構(gòu),可以解決深度神經(jīng)網(wǎng)絡的退化問題。殘差塊的結(jié)構(gòu)如圖4所示,其中,X表示輸入,H(X)是期望的復雜潛在映射,當網(wǎng)絡較深時,難以直接擬合H(X)。模型已經(jīng)學習到較飽和的準確率時,后續(xù)的學習目標則轉(zhuǎn)變?yōu)楹愕扔成涞膶W習,即H(X)=X,從而確保在后面的層次中不會造成精度下降。殘差塊通過"ShortcutconnectionS"的方式,直接把輸入X傳到輸出,使輸出結(jié)果為H(X)=F(X)+X,其中F(X)稱為"殘差映射"。F(X)=H(X)-X,當F(X)=0時即實現(xiàn)恒等映射,于是,殘差網(wǎng)絡相當于將學習目標從學習復雜潛在映射H(X)變?yōu)閷W習將殘差映射F(X)的結(jié)果逼近于0,使得準確率不會隨著網(wǎng)絡的加深而下降。因此,殘差塊結(jié)構(gòu)的出現(xiàn),大大加深了深度神經(jīng)網(wǎng)絡的深度。

1.3雙邊融合結(jié)構(gòu)

雙邊融合結(jié)構(gòu)是人體姿態(tài)檢測網(wǎng)絡HRNet中的一種重要結(jié)構(gòu),通過多次重復的雙邊融合實現(xiàn)對多分辨率子網(wǎng)絡的多尺度特征融合。雙邊融合的主要結(jié)構(gòu)如圖5所示,高分辨率分支通過卷積層下采樣后與低分辨率分支融合,低分辨率分支通過插值上采樣層后與高分辨率分支融合。

1.4DAPPM模塊

如圖6所示,受MSFNet和ReS2Net的啟發(fā),DDRNet提出了將深度特征聚合與金字塔池化相結(jié)合的DAPPM模塊。該模塊首先通過大尺度的池化核和步長獲得不同分辨率的特征圖,不同分辨率的特征圖經(jīng)上采樣后再以層次殘差的方式進行信息融合,融合后的特征通過1×1卷積進行壓縮。為了便于優(yōu)化,在壓縮特征上增加了一個輸入的快捷連接。DAPPM提取的信息比PPM更加豐富。

2模型的訓練與結(jié)果處理

2.1數(shù)據(jù)的收集與增強

深度學習需要大量的數(shù)據(jù)進行訓練,故首先通過自研的道面自動檢測機器人從機場收集數(shù)據(jù)。如圖7所示,機器人主要由機器人小車、線陣相機、全景相機、雷達以及工控機組成,其中線陣相機負責采集道面的圖像數(shù)據(jù),圖像數(shù)據(jù)的尺寸為2048×2048:工控機負責機器人小車的自動/遠程控制以及采集圖片的預處理。機器人采集的圖像如圖8所示。

其次還要收集公共的裂縫數(shù)據(jù)集CFD、GAPS384和CRACK500來作為補充。為了進一步擴充訓練數(shù)據(jù),對各數(shù)據(jù)集進行了亮度調(diào)節(jié)、鏡像、旋轉(zhuǎn)、裁剪以及仿射彈性變換等數(shù)據(jù)增強操作。經(jīng)過數(shù)據(jù)的收集與增強,共獲得36912幅裂縫圖片。

2.2實驗結(jié)果

將裂縫圖片中的80%作為訓練數(shù)據(jù)對DDRNet模型進行訓練,訓練完成后用剩余的20%進行測試,部分測試效果如圖9所示。本次測試用平均交并比(M1oU)作為算法準確性評價指標,本次調(diào)優(yōu)訓練達到的最好效果為M1oU=72.8%,滿足對裂紋探測的需求,后續(xù)將通過采集更多數(shù)據(jù)提高模型檢測精度。本次測試的主機顯卡為NV1D1ARTx3090,對像素尺寸為1024x1024圖片的檢測速度為120fpS。巡檢機器人采集圖片的像素尺寸為2048×2048,可分割為4張1024×1024像素尺寸的圖片,因此,該算法每秒可檢測25張以上巡檢機器人采集的圖片,達到了實時性的要求。

3結(jié)語

針對道面裂縫病害實時檢測以及輪廓提取等問題,本文結(jié)合深度學習快速語義分割算法的最新研究成果,采用DDRNet算法對道面裂縫病害進行實時檢測。通過實驗驗證,DDRNet可實現(xiàn)對一臺2K攝像機采集圖像進行實時檢測,且對裂縫病害的檢測精度達到了應用要求。在后續(xù)的研究工作中,可繼續(xù)從快速語義分割模型的角度出發(fā),搭建道面病害實時檢測系統(tǒng)。