神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)技術(shù)
掃描二維碼
隨時(shí)隨地手機(jī)看文章
為什么需要數(shù)據(jù)增強(qiáng) :
一般而言,比較成功的神經(jīng)網(wǎng)絡(luò)需要大量的參數(shù),許許多多的神經(jīng)網(wǎng)路的參數(shù)都是數(shù)以百萬(wàn)計(jì),而使得這些參數(shù)可以正確工作則需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練,而實(shí)際情況中數(shù)據(jù)并沒(méi)有我們想象中的那么多
數(shù)據(jù)增強(qiáng)的作用 :
① 增加訓(xùn)練的數(shù)據(jù)量,提高模型的泛化能力
② 增加噪聲數(shù)據(jù),提升模型的魯棒性
如何獲得大量的數(shù)據(jù) :
一種方法是獲得新的數(shù)據(jù),這種方法比較麻煩,需要大量的成本,而第二種方法則是對(duì)數(shù)據(jù)進(jìn)行增強(qiáng),即利用已有的數(shù)據(jù)比如翻轉(zhuǎn)、平移或旋轉(zhuǎn),創(chuàng)造出更多的數(shù)據(jù),來(lái)使得神經(jīng)網(wǎng)絡(luò)具有更好的泛化效果。
數(shù)據(jù)增強(qiáng)的分類 :
數(shù)據(jù)增強(qiáng)可以分為兩類,一類是離線增強(qiáng),一類是在線增強(qiáng)。
① 離線增強(qiáng) : 直接對(duì)數(shù)據(jù)集進(jìn)行處理,數(shù)據(jù)的數(shù)目會(huì)變成增強(qiáng)因子 x 原數(shù)據(jù)集的數(shù)目 ,這種方法常常用于數(shù)據(jù)集很小的時(shí)候
② 在線增強(qiáng) : 這種增強(qiáng)的方法用于,獲得 batch 數(shù)據(jù)之后,然后對(duì)這個(gè) batch 的數(shù)據(jù)進(jìn)行增強(qiáng),如旋轉(zhuǎn)、平移、翻折等相應(yīng)的變化,由于有些數(shù)據(jù)集不能接受線性級(jí)別的增長(zhǎng),這種方法長(zhǎng)用于大的數(shù)據(jù)集,很多機(jī)器學(xué)習(xí)框架已經(jīng)支持了這種數(shù)據(jù)增強(qiáng)方式,并且可以使用 GPU 優(yōu)化計(jì)算。
常用的數(shù)據(jù)增強(qiáng)技術(shù) :
首先定義增強(qiáng)因子 : 指的是數(shù)據(jù)做離線增強(qiáng)之后增長(zhǎng)的倍數(shù)。
① 翻轉(zhuǎn) :增強(qiáng)因子 2 或 3
數(shù)據(jù)翻轉(zhuǎn)是一種常用的數(shù)據(jù)增強(qiáng)方法,這種方法不同于旋轉(zhuǎn) 180 這種方法是做一種類似于鏡面的翻折。
② 旋轉(zhuǎn) : 增強(qiáng)因子 2 到 4
旋轉(zhuǎn)就是順時(shí)針或者逆時(shí)針的旋轉(zhuǎn),注意在旋轉(zhuǎn)的時(shí)候, 最好旋轉(zhuǎn) 90 - 180 度否則會(huì)出現(xiàn)尺度的問(wèn)題
③ 縮放 :增強(qiáng)因子任意
圖像可以被放大或縮小。放大時(shí),放大后的圖像尺寸會(huì)大于原始尺寸。大多數(shù)圖像處理架構(gòu)會(huì)按照原始尺寸對(duì)放大后的圖像 進(jìn)行裁切。我們將在下一章節(jié)討論圖像縮小,因?yàn)閳D像縮小會(huì)減小圖像尺寸,這使我們不得不對(duì)圖像邊界之外的東西做出假設(shè)。
下面是圖像縮放的例子。
④ 裁剪 :增強(qiáng)因子任意
這種方法更流行的叫法是隨機(jī)裁剪,我們隨機(jī)從圖像中選擇一部分,然后降這部分圖像裁剪出來(lái),然后調(diào)整為原圖像的大小
⑤ 平移 : 增強(qiáng)因子任意
平移是將圖像沿著 x 或者 y 方向 (或者兩個(gè)方向) 移動(dòng)。我們?cè)谄揭频臅r(shí)候需對(duì)背景進(jìn)行假設(shè),比如說(shuō)假設(shè)為黑色等等,因?yàn)槠揭频臅r(shí)候有一部分圖像是空的,由于圖片中的物體可能出現(xiàn)在任意的位置,所以說(shuō)平移增強(qiáng)方法十分有用。
⑥ 添加噪聲 :增強(qiáng)因子任意 看噪聲的類型
過(guò)擬合通常發(fā)生在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)高頻特征的時(shí)候 (因?yàn)榈皖l特征神經(jīng)網(wǎng)絡(luò)很容易就可以學(xué)到,而高頻特征只有在最后的時(shí)候才可以學(xué)到) 而這些特征對(duì)于神經(jīng)網(wǎng)絡(luò)所做的任務(wù)可能沒(méi)有幫助,而且會(huì)對(duì)低頻特征產(chǎn)生影響,為了消除高頻特征我們隨機(jī)加入噪聲數(shù)據(jù)來(lái)消除這些特征。
圖像增強(qiáng)的效果 :
圖像增強(qiáng)非常必要,我也有過(guò)親自的實(shí)驗(yàn),特別是有些論文中,如果不進(jìn)行圖片增強(qiáng),就無(wú)法達(dá)到論文中提到的效果,下面展現(xiàn)一下圖片增強(qiáng)的效果示意圖 :
圖中 :C10 和 C100 是沒(méi)有經(jīng)過(guò)圖片增強(qiáng)的,C10+ 和 C100+ 是經(jīng)過(guò)了圖片增強(qiáng)的,意識(shí)到它的神奇的效果了吧 (圖片增強(qiáng)應(yīng)該不是玄學(xué))。