計算機與人類視覺有什么差異?如何提高計算機視覺?
據(jù)報道,UCSB研究發(fā)現(xiàn)計算機與人類視覺具有很大的差異,即使機器視覺方面取得了巨大的進(jìn)步,仍然無法比得上動物在復(fù)雜場景的視覺搜索方面的能力,如何用人眼搜索策略提升計算機視覺至關(guān)重要。因此,當(dāng)目標(biāo)物體與場景的大小不一致時,看漏了目標(biāo)并不是人類的缺陷;相反,它是一種有用的策略的副產(chǎn)品,即大腦能夠快速減少潛在的干擾物的影響。
在繼續(xù)閱讀之前,請觀察下圖,找出圖中所有的牙刷。
你注意到圖中左邊那支巨大的牙刷了嗎?可能沒有。根據(jù)加州大學(xué)圣巴巴拉分校心理學(xué)與腦科學(xué)系的科學(xué)家們的說法,這是因為當(dāng)人類在尋找一個特定的物體時,經(jīng)常容易看漏大小與場景的其余部分不相匹配的物體。
加州大學(xué)圣巴巴拉分校的研究人員發(fā)現(xiàn),當(dāng)人類在尋找一個特定的物體時,經(jīng)常容易看漏大小與場景的其余部分不相匹配的物體。他們研究這一現(xiàn)象,試圖更好地理解人類和計算機在進(jìn)行視覺搜索時的區(qū)別,提出利用人類的視覺搜索策略提高計算機視覺能力。
當(dāng)人類在尋找一個特定的物體時,經(jīng)常容易看漏大小與場景的其余部分不相匹配的物體。
科學(xué)家們正在研究這一現(xiàn)象,試圖更好地理解人類和計算機在進(jìn)行視覺搜索時的區(qū)別。他們的發(fā)現(xiàn)發(fā)表在最新一期 Current Biology 雜志上。
藏在眼皮底下“當(dāng)某些東西以不同尋常的大小出現(xiàn)時,你會更經(jīng)常地看漏,因為你的大腦會自動忽略它,”UCSB教授Miguel Eckstein說,他專門研究計算人類視覺(computaTIonal human vision)、視覺注意力和搜索。
該實驗使用的是計算機生成的圖像中的普通物體的場景,這些圖像的顏色、角度和大小不一,并混進(jìn)“目標(biāo)缺失”的場景。研究人員要求60名被試者在這些圖像中搜索特定物品(例如:牙刷、停車計時器、鼠標(biāo)),并使用眼球追蹤軟件監(jiān)控他們的視線。
研究人員發(fā)現(xiàn),當(dāng)物體大小與尋常大小差別很大(太大或太?。r,人們往往會更容易忽略目標(biāo),哪怕他們已經(jīng)直直地盯著目標(biāo)對象。
相比之下,根據(jù)科學(xué)家們的報告,計算機視覺不會出現(xiàn)這個問題。但是,在實驗中,研究人員發(fā)現(xiàn),最先進(jìn)的計算機視覺技術(shù)——深度神經(jīng)網(wǎng)絡(luò)——也有其自身的局限性。
人類搜索策略可以改進(jìn)計算機視覺
深度學(xué)習(xí)算法將紅色框里的鍵盤錯誤地識別為手機(來源:UC Santa Barbara)
例如,一個CNN深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)錯誤地將計算機鍵盤識別為手機,它基于形狀的相似性,以及物體相對手的位置(手機經(jīng)常被拿在手中)。但對人類來說,這個物體的大?。ㄏ鄬τ谌说氖郑╋@然與手機是不一致的。
研究人員在論文中指出:“這種策略可以讓人在快速做決策時減少失誤。”
Eckstein說:“我們的想法是,當(dāng)你第一次看到一個場景時,你的大腦會在幾百毫秒甚至更短的時間里快速處理這個場景的信息,然后你會使用這些信息來引導(dǎo)你尋找物體出現(xiàn)的典型位置。”“同時,你也會把注意力集中在那些與你所尋找的物體大小一致的物體上。”
也就是說,人類的大腦利用物體間的關(guān)系來引導(dǎo)他們的眼睛——這是一個快速處理場景信息的有用策略,可以消除干擾,減少誤報。
根據(jù)研究人員的說法,通過利用大腦用來減少誤報的一些技巧,這一發(fā)現(xiàn)可能對改善計算機視覺有所啟發(fā)。
未來的研究Eckstein說:“有一些理論認(rèn)為,患有自閉癥譜系障礙的人更關(guān)注局部的場景信息,而不是整體的結(jié)構(gòu)。”Eckstein正在計劃一項后續(xù)研究,他說:“因此,有一種可能性是,患有自閉癥譜系障礙的人可能更不容易看漏那些被錯誤放大的物體,但在我們進(jìn)行這項研究之前,尚沒法確定這一點。”
接下來,研究人員將關(guān)注當(dāng)我們看到錯誤放大的物體時發(fā)生的大腦活動。
博士后研究員Lauren Welbourne說:“有許多研究已經(jīng)確定了大腦中處理場景和物體的區(qū)域,現(xiàn)在研究人員正在努力了解這些場景和物體的哪些特定屬性被呈現(xiàn)給大腦的這些區(qū)域。”目前的研究主要集中在物體是如何在大腦皮層上呈現(xiàn),以及場景背景如何影響物體的感知。
他說:“所以我們要做的是找出這些大腦區(qū)域?qū)υ谝粋€場景中正確或錯誤地縮放的物體是如何做出反應(yīng)的。這可能有助于我們確定哪些區(qū)域?qū)κ刮覀兛绰┍诲e誤放大的物體有影響。”