NVIDIA的DLSS深度學(xué)習(xí)采樣技術(shù)是目前顯卡界最強(qiáng)的防狗牙技術(shù)，但AI的強(qiáng)大當(dāng)然不會(huì)止于此。NVIDIA昨天發(fā)布的一篇研究論文探討了AI生成畫(huà)面與傳統(tǒng)游戲引擎結(jié)合的方法，他們也為此制作了一個(gè)混合圖形系統(tǒng)原型。

雖然NVIDIA所使用的算法和構(gòu)架思路前人早已提供，比如pix2pix、GAN(對(duì)抗生成式神經(jīng)網(wǎng)絡(luò))，不過(guò)NVIDIA在此實(shí)現(xiàn)的新突破，則是借助這些現(xiàn)有的東西，用它們制作了一個(gè)能跑起來(lái)的游戲demo，盡管這個(gè)駕駛模擬demo很簡(jiǎn)陋，而且跑的成本有些高(NVIDIA用了塊Titan V)，從無(wú)到有這一過(guò)程總有它的特殊意義在。

為實(shí)現(xiàn)該demo，NVIDIA首先喂給GAN模型一堆從自動(dòng)駕駛中獲得的開(kāi)源數(shù)據(jù)組，讓AI學(xué)習(xí)辨識(shí)畫(huà)面中的內(nèi)容如天空，車(chē)輛，樹(shù)木道路以及建筑等等，隨后交由其自己根據(jù)學(xué)習(xí)數(shù)據(jù)生成這些物體的新?tīng)顟B(tài);接下來(lái)是準(zhǔn)備虛擬環(huán)境，用虛幻4引擎以傳統(tǒng)方式構(gòu)建出車(chē)輛所處環(huán)境的基本拓?fù)?最后，GAN模型會(huì)把構(gòu)成畫(huà)面的各種元素實(shí)時(shí)生成出來(lái)傳遞給虛幻4引擎，更新畫(huà)面的模型信息。

在demo成型的初期，GAN模型的表現(xiàn)非常不穩(wěn)定，在25fps的幀率條件下它所傳遞的物體顏色和貼圖信息幾乎每幀都會(huì)改變，畫(huà)面相當(dāng)瞎眼;在為模型加入短時(shí)記憶之后，通過(guò)對(duì)比兩幀畫(huà)面，整套系統(tǒng)會(huì)自行判斷畫(huà)面內(nèi)物體的運(yùn)動(dòng)，讓整體動(dòng)畫(huà)看起來(lái)更具關(guān)聯(lián)性，更像是連續(xù)行進(jìn)中的游戲畫(huà)面。

NVIDIA強(qiáng)調(diào)稱該技術(shù)仍處于實(shí)驗(yàn)室的早期階段，沒(méi)個(gè)十年二十年恐怕不會(huì)出現(xiàn)在我們最終能玩到的游戲內(nèi)。但是這類AI玩法我們其實(shí)已經(jīng)在“根據(jù)人臉?biāo)茉熳约旱?D角色形象”，還有深度偽圖等實(shí)例中見(jiàn)過(guò)了，也許它所要花的時(shí)間，會(huì)比我們想象中的要短。