加速智能硬件開發(fā),Oculus推DeepFocus開源AI渲染器
今年5月,F(xiàn)acebook旗下的Oculus公司發(fā)布了下一代VR頭盔原型機(jī)Half Dome,其標(biāo)志性功能之一就是可變焦距顯示系統(tǒng),該系統(tǒng)實際上是將屏幕移到內(nèi)部,以模擬用戶眼睛的焦距變化。現(xiàn)在,該公司已經(jīng)發(fā)布DeepFocus,這是一種軟件呈現(xiàn)系統(tǒng),用于支持varifocus特性,同時發(fā)布了一個有趣的公告:DeepFocus的代碼和數(shù)據(jù)是開源的,因此研究人員可以了解它是如何工作的,并可能對其進(jìn)行改進(jìn)。
雖然深度聚焦的細(xì)節(jié)足夠技術(shù),只對開發(fā)人員感興趣,但結(jié)果是Oculus軟件使用人工智能創(chuàng)造了一種散焦效果,使圖像的一部分比其它部分清晰得多。該公司表示,這種效果對于全天沉浸在VR中是必要的,因為選擇性聚焦可以減少不必要的眼睛疲勞和視覺疲勞。
Oculus表示,DeepFocus是第一個能夠?qū)崟r產(chǎn)生這種效果的軟件,它提供了一個現(xiàn)實的、視線追蹤模糊的所有用戶目前沒有關(guān)注的東西。這里的關(guān)鍵字是真實的,因為以前為游戲開發(fā)的模糊系統(tǒng)是為閃光或電影效果開發(fā)的,而不是為了準(zhǔn)確性,而Half Dome的任務(wù)”是忠實地再現(xiàn)光線落在人眼視網(wǎng)膜上的方式?!?/p>
AI渲染器
為了做到這一點,公司將深度學(xué)習(xí)AI工具與游戲引擎已經(jīng)提供的基本顏色和深度RGB-D數(shù)據(jù)配對。深度聚焦開發(fā)團(tuán)隊創(chuàng)造了19.6萬張隨機(jī)填充對象的圖像,訓(xùn)練系統(tǒng)在場景中正確渲染模糊,其復(fù)雜性和可變性甚至超過了典型的VR環(huán)境。
“通過深度學(xué)習(xí),我們的系統(tǒng)能夠掌握復(fù)雜的效果和關(guān)系,如前景和背景散焦.” Oculus的研究科學(xué)家Anton Kaplanyan解釋。
雖然DeepFocus在1080p圖形上工作順利,但團(tuán)隊后來擴(kuò)大了工作規(guī)模,以處理VR設(shè)備的圖像渲染,目前,團(tuán)隊仍在努力讓DeepFocus在單個GPU上以高VR分辨率運行,這一過程仍在進(jìn)行中。
Facebook宣稱其開源DeepFocus的目標(biāo)是與VR系統(tǒng)開發(fā)者、視覺科學(xué)家和感知研究人員分享其知識,顯然,這些信息也將幫助軟件開發(fā)者準(zhǔn)備未來的VR應(yīng)用。但目前還不清楚搭載varifocal硬件的VR頭盔的實際發(fā)布時間。Oculus表示,該公司為Half Dome開發(fā)了離焦軟件,但認(rèn)為這與硬件無關(guān),并相信它將在下一代VR耳機(jī)中發(fā)揮作用。
讓開發(fā)者有機(jī)會加速渲染軟件的開發(fā),可能有助于更快地將真正的下一代VR頭盔推向市場。