ImaginaTIon參加了上周舉辦的GDC 2018大會,今年的增強現(xiàn)實(AR)技術(shù)仍然令人興奮,我們在小矮人和emoji上做了一些有意思的嘗試。我們在人臉檢測Demo上增加整容功能——將參觀者的臉化妝成小矮人形象。
那么具體是怎么操作的呢?我們設(shè)置了一個實時反饋攝像頭,然后每一幀都能實時的檢測到包含人臉的區(qū)域。然后我們會在人臉上增加小矮人帽以及個性化的頭發(fā)和胡須。
為什么?為什么不呢?
從技術(shù)方面來看,這個Demo運行在集成了ImaginaTIon PowerVR G6430 GPU的谷歌Nexus平臺上,我們已經(jīng)進(jìn)行了適當(dāng)?shù)男薷氖顾С謱崟r的webcam視頻流輸入,采用OpenCL進(jìn)行人臉檢測,最后將結(jié)果渲染到屏幕上。這個算法沒有采用神經(jīng)網(wǎng)絡(luò),盡管它在近幾年來變得很流行。與之相反,這個Demo中檢測器的基礎(chǔ)采用的是局部二值模式(LBP)分類器,它會檢測每個相鄰的像素,并基于中心像素與四周相鄰像素的閾值差異計算出結(jié)果。
在此設(shè)置中LBP是弱分類器,這些弱分類器的輸出會被組合成級聯(lián)的強分類器,強分類器來決定檢測的結(jié)果是否確實是真正的人臉。除了核心算法之外,還有一些其他的啟發(fā),比如精確的提取含有皮膚顏色的區(qū)域以及處理有旋轉(zhuǎn)角度的人臉。如果你對PowerVR傳統(tǒng)機器視覺包括人臉檢測有濃厚的興趣,請點擊鏈接了解更多信息。
這個基于神經(jīng)網(wǎng)絡(luò)的人臉檢測Demo不僅僅具備人臉檢測功能,還能提供身份識別,第一次進(jìn)入到畫面內(nèi)的人臉會被注冊記錄,當(dāng)再次進(jìn)入畫面時就能夠識別了。這兩個Demo都是基于GPU的,如果使用我們最新的PowerVR 2NX神經(jīng)網(wǎng)絡(luò)加速器,人臉檢測采用專用的硬件來執(zhí)行,能提供更高的性能,同時也可以釋放GPU去執(zhí)行其他任務(wù)(比如渲染物理層的小矮人形象或者emoji表情)。閱讀這篇博客了解更多相關(guān)細(xì)節(jié):為什么說PowerVR 2NX NNA是神經(jīng)網(wǎng)絡(luò)加速器的未來?。