英偉達(dá)Project Holodeck虛擬場(chǎng)景,用AI實(shí)現(xiàn)虛擬場(chǎng)景真實(shí)化
一年一度的北京國(guó)際廣播電影電視展(下文簡(jiǎn)稱(chēng)“BIRTV 2017”)可以說(shuō)是廣播電視行業(yè)的技術(shù)風(fēng)向標(biāo),而在今年第26屆BIRTV上,我們印象中的顯卡廠(chǎng)商英偉達(dá)帶來(lái)了諸多的驚喜。
在BIRTV 2017上,,英偉達(dá)展示旗下一系列適用于傳媒娛樂(lè)領(lǐng)域各類(lèi)專(zhuān)業(yè)工作流程的GPU渲染和VR技術(shù),包括NVIDIA Quadro視覺(jué)計(jì)算設(shè)備 (VCA) 、以及基于NVIDIA Quadro專(zhuān)業(yè)圖像解決方案的8K視頻實(shí)時(shí)編輯、VR 全景實(shí)時(shí)渲染等。
同時(shí),他們現(xiàn)場(chǎng)演示了之前推出的Project Holodeck、以及合作伙伴Foundry公司的NUKE特效合成軟件和MODO高級(jí)三維建模軟件。
在此前的SIGGRAPH 2017上,英偉達(dá)就已經(jīng)展示他們基于人工智能的強(qiáng)大圖像渲染能力,而在娛樂(lè)傳媒領(lǐng)域,神經(jīng)網(wǎng)絡(luò)和人工智能正在改變傳統(tǒng)的影像內(nèi)容制作。比如神經(jīng)網(wǎng)絡(luò)會(huì)自動(dòng)根據(jù)場(chǎng)景描述生成場(chǎng)景圖片,模仿各種藝術(shù)家的風(fēng)格,將普通的圖片內(nèi)容轉(zhuǎn)化為相對(duì)應(yīng)的風(fēng)格。
在BIRTV 2017上,英偉達(dá)中國(guó)區(qū)業(yè)務(wù)拓展總監(jiān)何猶卿介紹了他們具有強(qiáng)大光線(xiàn)追蹤功能的OptiX 5.0,“在NVIDIA DGX Station上運(yùn)行OptiX 5.0,能夠?yàn)樵O(shè)計(jì)師、藝術(shù)家和其他內(nèi)容創(chuàng)作者提供相當(dāng)于150個(gè)基于標(biāo)準(zhǔn)CPU服務(wù)器的渲染能力。”
另外借助英偉達(dá) GPU和深度學(xué)習(xí),能夠在保證計(jì)算機(jī)運(yùn)行速度和性能的同時(shí),更輕松地實(shí)現(xiàn)逼真的影視特效效果,實(shí)現(xiàn)更快地渲染圖像。在一些細(xì)節(jié)工作上,英偉達(dá)還通過(guò)大量的視頻文本訓(xùn)練,讓CG角色直接模仿出現(xiàn)實(shí)中人說(shuō)話(huà)的微表情動(dòng)作變化,不再需要后期人員再一幀幀的自己制作。
為VR而生的NVIDIA 360 Video SDK
在虛擬現(xiàn)實(shí)方面,NVIDIA 也一直致力于幫內(nèi)容開(kāi)發(fā)者更快、更高效地利用GPU制作出更好的VR內(nèi)容,這其中不得不提到他們的VRWorks SDK。VRWorks SDK主要包括四個(gè)方面的內(nèi)容:360 video、圖像渲染、音效、物理特性和觸感。
英偉達(dá)的業(yè)務(wù)人員在BIRTV 2017上著重介紹了360度視頻捕捉方面的內(nèi)容。英偉達(dá)于去年SIGGRAPH 2016時(shí)推出了LIVE 360 MONO,今年SIGGRAPH 2017上推出了LIVE 360 STEREO,相比較只能實(shí)現(xiàn)單聲道的MONO,“STEREO相當(dāng)于兩只眼睛的視覺(jué)渲染,達(dá)到更有沉浸感的效果。”
而VRWorks 360 Video SDK支持實(shí)時(shí)&離線(xiàn)視頻拼接、Mono和Stereo方案、最高支持32路的4K視頻輸入。
目前,內(nèi)容制作者可以去英偉達(dá)官網(wǎng)下載360 Video SDK。
多人協(xié)作虛擬環(huán)境Project Holodeck
在展位現(xiàn)場(chǎng),英偉達(dá)還設(shè)置了專(zhuān)門(mén)的Project Holodeck體驗(yàn)間。
今年5月推出的Project Holodeck類(lèi)似于一個(gè)虛擬現(xiàn)實(shí)環(huán)境,它讓參觀(guān)者親自體驗(yàn)其如何幫助創(chuàng)意工作者將高保真、全分辨率的模型導(dǎo)入到虛擬現(xiàn)實(shí)系統(tǒng),并融合視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等現(xiàn)實(shí)體驗(yàn),從而提供逼真的協(xié)作型工作場(chǎng)景。
相比較我們現(xiàn)在的虛擬內(nèi)容,Project Holodeck可以根據(jù)物理?xiàng)l件去模擬出包括觸覺(jué)在內(nèi)的一些物理特效,比如讓你摸到的東西是有真實(shí)物理觸覺(jué)反饋。在現(xiàn)場(chǎng)演示的“超跑demo”中,該汽車(chē)有五千多萬(wàn)個(gè)面組成,在虛擬環(huán)境中,你可以隨意調(diào)整汽車(chē)的顏色、測(cè)量車(chē)輪的大小,甚至是解剖整個(gè)汽車(chē)的零部件等。
既然是多人協(xié)作的虛擬工作環(huán)境,英偉達(dá)的工作人員表示只要網(wǎng)絡(luò)條件允許,再加上一臺(tái)強(qiáng)力的NVIDIA機(jī)器加速,就能實(shí)現(xiàn)異地協(xié)同工作。
所以Project Holodeck可以解決VR里面實(shí)時(shí)操作、多人協(xié)同的問(wèn)題。雖然現(xiàn)階段的開(kāi)發(fā)版本只針對(duì)汽車(chē)制造業(yè)。但是實(shí)際上未來(lái)是可以應(yīng)用于更多有此類(lèi)需求的其他領(lǐng)域,例如建筑行業(yè),讓更多行業(yè)領(lǐng)域從業(yè)者能夠從其中受益。