引言

機(jī)場道面是供飛機(jī)起飛、著陸、滑行、維修、停放的坪道,機(jī)場內(nèi)的道面有跑道、滑行道、機(jī)坪等,是機(jī)場最為重要的基礎(chǔ)設(shè)施。機(jī)場道面的健康狀況直接影響著機(jī)場航空器的飛行安全,然而,我國大多數(shù)機(jī)場其道面建設(shè)時(shí)長都達(dá)到了數(shù)十年,長期以來,這些機(jī)場道面一直處于露天環(huán)境,承受著化學(xué)試劑的腐蝕,還要不斷承受航空器帶來的各種載荷,極易產(chǎn)生各種病害,因此機(jī)場需要定期對(duì)道面進(jìn)行評(píng)價(jià)。道面表觀缺陷狀況是道面評(píng)價(jià)的重要資料,道面表觀缺陷包括裂縫、接縫破碎、板角剝落等(圖1),在過去的幾十年間,主要都是采用人工通過肉眼巡視的方式來記錄的,這樣的方式工作強(qiáng)度大,巡檢效率低。

隨著計(jì)算機(jī)硬件的革新和圖像處理技術(shù)、深度學(xué)習(xí)技術(shù)的發(fā)展,一批致力于探索機(jī)場道面表觀缺陷自動(dòng)巡檢技術(shù)的學(xué)者涌現(xiàn)出來,希望能夠提高道面表觀缺陷的發(fā)現(xiàn)效率,減少人力的投入。早期的道面表觀缺陷自動(dòng)檢測技術(shù)主要基于傳統(tǒng)的圖像處理算法。任峰利用小波變換、閾值迭代法來對(duì)圖片進(jìn)行去噪和分割以提取道面裂縫,這類采取圖像處理技術(shù)的方法其弊端在于:道面表觀缺陷基本位于露天環(huán)境下,環(huán)境情況復(fù)雜,會(huì)面對(duì)諸如積水、光照不均勻、夜間低照度等一系列問題,十分不穩(wěn)定,且難以對(duì)道面表觀缺陷進(jìn)行識(shí)別分類,算法也相對(duì)復(fù)雜,計(jì)算速度慢。為了提高算法的穩(wěn)定性,吳治龍?zhí)岢隽艘环N結(jié)合深度信息的道面裂縫識(shí)別算法,但并不能完全克服上述復(fù)雜環(huán)境帶來的問題和檢測速度慢的缺陷,同時(shí)也僅能針對(duì)裂縫這一種缺陷進(jìn)行識(shí)別提取。

近年來,深度學(xué)習(xí)發(fā)展迅速,在機(jī)場道面檢測領(lǐng)域也得到了許多應(yīng)用。如馬代鑫提出了一種利用U-net模型對(duì)道面裂縫進(jìn)行分割提取的方法,取得了較小誤差;張力波等人提出使用DDRNet的圖像分割算法來提取道面裂縫信息,但這些研究都沒有考慮表觀缺陷的分類情況,同時(shí)模型的復(fù)雜度較高,對(duì)模型計(jì)算速度有一定影響,而且巡檢過程中有大量的背景,用大規(guī)模的模型進(jìn)行全流程的分割在算力的使用上效率不高。目標(biāo)檢測算法是深度學(xué)習(xí)中的一類算法,在實(shí)現(xiàn)對(duì)目標(biāo)定位和識(shí)別分類所要求的算力上往往較分割算法更低,能夠降低工程化的成本,也能提高道面表觀缺陷檢測的速度,并對(duì)多種表觀缺陷進(jìn)行分類,因此,本文將利用目標(biāo)檢測算法,針對(duì)搜集到的幾種典型的道面表觀缺陷進(jìn)行研究。

1算法概述

1.1YOLOv7目標(biāo)檢測算法

目標(biāo)檢測算法是根據(jù)圖片全局信息分析推理出目標(biāo)位置和分類的算法,通?？梢詫⑺惴ǚ譃槎A段檢測算法和一階段檢測算法。早期目標(biāo)檢測算法都是二階段算法,算法在第一階段進(jìn)行特征提取并分析正樣本的候選區(qū)域,對(duì)目標(biāo)所在位置邊界框進(jìn)行精確地回歸,確定目標(biāo)未知區(qū)域,在第二階段進(jìn)行目標(biāo)分類的確定:而一階段算法則是直接預(yù)測出目標(biāo)的分類和位置。由于二階段算法在早期可以通過采樣的方式避免樣本的不均衡問題,因此在準(zhǔn)確度上一直優(yōu)于一階段算法,但速度上明顯慢于一階段算法。近幾年,一階段算法通過各種技巧很好地控制了樣本不均衡、樣本不一致等問題,在精度上已經(jīng)能媲美甚至超越二階段算法。

部分目標(biāo)檢測算法性能對(duì)比如圖2所示,可以發(fā)現(xiàn),一階段算法YOLOv7平均精度上高于二階段算法FaSter-RCNN,且YOLOv7在速度上也具有很大優(yōu)勢。因此,本文也采用最新的YOLOv7目標(biāo)檢測算法來進(jìn)行研究。

1.2算法整體結(jié)構(gòu)

YOLOv7算法的整體框架如圖3所示,主要包含兩個(gè)部分:骨干網(wǎng)絡(luò)和檢測頭,其中骨干網(wǎng)絡(luò)用于提取特征,檢測頭用于對(duì)目標(biāo)的位置和分類進(jìn)行預(yù)測。

1.2.1骨干網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv7的骨干網(wǎng)絡(luò)由若干基本卷積塊(BaSic-Conv-Block,以下簡稱BCB塊)構(gòu)成,如圖4所示,BCB塊包含一次卷積操作、一次批歸一化操作和一次利用SiLU激活函數(shù)激活的操作。BCB塊中卷積層的卷積操作有(1,1)、(3,1)、(3,2)三種形式,以(3,2)的BCB塊為例,其表示為用3×3的卷積核進(jìn)行步長為2的卷積操作。

池化過程如圖5所示,在整個(gè)算法網(wǎng)絡(luò)中,池化塊存在兩種形式:MP-1、MP-2,區(qū)別在于MP-1的輸出通道與輸入通道相等,MP-2的輸出通道是輸入通道的兩倍。

骨干網(wǎng)絡(luò)中還有另一種形式的卷積塊,稱作ELAN塊,如圖6所示,ELAN塊是由BCB塊按照?qǐng)D示組合而成的。

1.2.2檢測頭結(jié)構(gòu)

骨干網(wǎng)絡(luò)提取特征是自頂向下的過程,隨著卷積的不斷深入會(huì)損耗細(xì)節(jié)信息,YOLOv7的檢測頭將骨干網(wǎng)絡(luò)提取到的不同深度的特征層進(jìn)行融合,使得用于預(yù)測的特征層既包含深層的整體信息,也包含淺層的細(xì)節(jié)信息。檢測頭首先通過自底向上的方式,將深層語義信息上采樣與淺層語義信息融合,再對(duì)這幾層特征進(jìn)行一次自頂向下的卷積,以減少深層特征和淺層特征之間的距離。利用SPPCSP增大感受野,提升算法速度。

檢測頭的ELAN塊結(jié)構(gòu)和骨干網(wǎng)絡(luò)中的ELAN塊稍有不同,如圖7所示。

檢測頭中還使用了重參數(shù)化技術(shù),如圖8所示,在訓(xùn)練過程中使用多分支結(jié)構(gòu)疊加的方式以增加模型的復(fù)雜程度,使模型的性能得到提升,在部署時(shí)通過重參數(shù)化的方法將多分支結(jié)構(gòu)等效成單分支結(jié)構(gòu),起到壓縮模型參數(shù)量、提高算法效能的作用。

2模型訓(xùn)練

2.1數(shù)據(jù)集

本文從機(jī)場實(shí)際道面拍攝的圖片中篩選出3672張圖片進(jìn)行標(biāo)注。數(shù)據(jù)集標(biāo)注了3類典型的表觀缺陷:裂縫、接縫破碎、板角剝落,并隨機(jī)選出734張圖片用于驗(yàn)證,734張圖片用于測試,剩余的用于訓(xùn)練。隨后利用翻轉(zhuǎn)、顏色空間調(diào)整、仿射變換等數(shù)據(jù)增強(qiáng)方式對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充。

2.2模型訓(xùn)練

模型訓(xùn)練和測試使用的硬件包括:NVIDIARTx3090顯卡、IntelCoreI9-10900K(3.70GHz)處理器。輸入尺寸為640×640×3,初始學(xué)習(xí)率為0.01,采用余弦退火法來控制學(xué)習(xí)率的變化。

另外,該模型在訓(xùn)練時(shí)采用了多尺度訓(xùn)練,如圖9所示,即每隔一個(gè)epoch,微調(diào)訓(xùn)練圖片的尺度,以增強(qiáng)算法模型對(duì)不同大小目標(biāo)的魯棒性。

3模型評(píng)價(jià)

該模型的訓(xùn)練過程記錄如圖10所示,其中深灰色曲線表示的是未經(jīng)多尺度訓(xùn)練的模型在驗(yàn)證集上的表現(xiàn)記錄,淺灰色曲線表示的是經(jīng)過多尺度訓(xùn)練的模型在驗(yàn)證集上的表現(xiàn)記錄。

該模型在訓(xùn)練到第354個(gè)epoch時(shí)的平均精度均值(mAP)達(dá)到最高,為0.787,且使用了多尺度訓(xùn)練的模型在驗(yàn)證集上的效果在訓(xùn)練初期mAP要低于不使用多尺度訓(xùn)練的模型,而當(dāng)訓(xùn)練了一段時(shí)間以后要優(yōu)于不使用多尺度訓(xùn)練的模型。

因此,最終選擇進(jìn)行了多尺度訓(xùn)練的模型,該模型在測試集上的精確率(PreciSion)為0.809,召回率(Recall)為0.609,mAP為0.755,平均推理耗時(shí)僅為22ms。模型輸出效果如圖11所示。

4結(jié)語

根據(jù)實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),YOLOv7在針對(duì)機(jī)場道面的幾種典型表觀缺陷檢測上mAP可以達(dá)到0.755,且檢測速度較快(平均僅耗時(shí)22ms),可以實(shí)現(xiàn)機(jī)場道面表觀缺陷的快速檢測。但由于目前用于訓(xùn)練和測試的數(shù)據(jù)集較小,針對(duì)的表觀缺陷類別還不夠齊全和細(xì)化,圖像采集環(huán)境也不夠多樣,因此,模型的性能還有待提升。未來將通過搜集更多數(shù)據(jù),研究場景更復(fù)雜,目標(biāo)類別更多、更細(xì)化的機(jī)場道面自動(dòng)化巡檢計(jì)算。