一項(xiàng)不可思議的AI技術(shù) 利用神經(jīng)網(wǎng)絡(luò)繪制漫畫(huà)
一支由斯坦福大學(xué)研究生、香港城市大學(xué)AI研究員和微軟員工組成的隊(duì)伍將于今年12月份參加由美國(guó)計(jì)算機(jī)協(xié)會(huì)計(jì)算機(jī)圖形專業(yè)組(ACM SIGGRAPH)在東京舉辦的計(jì)算機(jī)圖形學(xué)頂級(jí)年度會(huì)議SIGGRAPH Asia 2018,并將在會(huì)上展示一項(xiàng)不可思議的AI技術(shù)——利用神經(jīng)網(wǎng)絡(luò)繪制漫畫(huà)。
此AI實(shí)際上是一對(duì)生成式對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN),該研究小組將它命名為CariGANs:其中一個(gè)神經(jīng)網(wǎng)絡(luò)CariGeoGAN確定照片中人臉的幾何形狀,然后把它映射到漫畫(huà)模型;另一個(gè)神經(jīng)網(wǎng)絡(luò)CariStyGAN則進(jìn)行“風(fēng)格轉(zhuǎn)換”,或?qū)⑺囆g(shù)表現(xiàn)應(yīng)用到幾何圖形。
為了賦予CariGANs將普通肖像轉(zhuǎn)化成討喜漫畫(huà)的能力,這個(gè)研究小組用數(shù)千張手繪圖像對(duì)系統(tǒng)進(jìn)行了訓(xùn)練。
兩項(xiàng)研究分別確定了該機(jī)器的效能。第一項(xiàng)研究主要是為了確保AI繪制的漫畫(huà)能保留與原肖像畫(huà)主題的一致性,研究小組認(rèn)為,一幅好的漫畫(huà)雖然有夸張的表達(dá)形式,但必須抓住人物的本質(zhì)特征。這個(gè)小組進(jìn)行了第二項(xiàng)研究來(lái)確定這種“繪圖”方式的整體效能是否比得上人類的手繪,結(jié)果顯示,CariGANs生成的漫畫(huà)足以與手繪藝術(shù)家的作品相媲美。
CariGANs AI還可以從視頻中分解每一幀畫(huà)面并創(chuàng)建漫畫(huà),基本上,從單個(gè)幀生成的漫畫(huà)會(huì)和其他幀保持一致性,這個(gè)功能對(duì)動(dòng)畫(huà)師而言非常有用,提供了一種滑稽而準(zhǔn)確的視角來(lái)審視視頻,并證明了藝術(shù)與AI的結(jié)合能傳播某些有關(guān)人文精神的東西。此外,該AI甚至還可以逆向還原一幅漫畫(huà)來(lái)確定漫畫(huà)對(duì)應(yīng)的原型,研究人員表示他們相信這可能有助于漫畫(huà)中的面部識(shí)別技術(shù)開(kāi)發(fā)。