想象一下，你用手機拍攝一張照片，然后你不僅可以得到你拍攝時的一個角度，你還可以拖動照片來看到不同角度的視野變化。

這聽起來是在描述高大上的光場視頻，而不是通常的2D拍照技術(shù)，是吧？

今年5月，F(xiàn)acebook介紹了3D照片技術(shù)，今天Facebook正式將其3D照片功能帶到了iPhone手機上。

當(dāng)你用iPhone拍攝一張照片時，點擊狀態(tài)更新編輯器中的新3D照片選項，選擇肖像模式照片，然后Facebook會用AI計算出場景深度，使得2D照片也可以動起來，呈現(xiàn)出多個角度的景象。

這些3D照片可以在在桌面或者手機App中的Facebook實時信息流中體驗到。當(dāng)你滑動信息流時，這些照片和普通照片看起來沒有區(qū)別，而當(dāng)你點擊進入照片時，他們立刻突破平面2D的束縛，就像一個小窗口一樣，一下子把你拉進3D照片的世界。就像上圖gif一樣，拖動照片你可以你看到狗的側(cè)面和背后的巖石。

了解到，這個以AI創(chuàng)造出深度圖像的技術(shù)來自于Facebook計算攝影部門，講述這項技術(shù)的論文由倫敦大學(xué)學(xué)院的Peter Hedman和Facebook西雅圖辦公室的研究科學(xué)家Johannes Kopf合著完成，論文曾在今年8月于溫哥華舉辦的Siggraph上展出。

其實，不少巨頭都在研發(fā)計算圖像深度的技術(shù)，不過目前他們都只是應(yīng)用在人像模式中，用以虛化背景。

然而，F(xiàn)acebook的技術(shù)路徑卻是從VR開始的。Facebook以30億美元收購Oculus后就大力傾注VR，致力于創(chuàng)造一個連接虛擬與現(xiàn)實的全新社交帝國，把現(xiàn)實世界放進VR是一項關(guān)鍵任務(wù)，此前的實現(xiàn)方式主要是360度全景視頻或者是加上3D效果的360度全景視頻，然而，這些全景圖片拼接成的內(nèi)容只是2D圖片的大型化，并不具備現(xiàn)實世界的深度感和真實感。

6Dof視頻以及更完善的光場視頻是大家期望的解決方案，F(xiàn)acebook也一直在這些領(lǐng)域探索。在2017年5月的F8大會上，F(xiàn)acebook發(fā)布了兩款能記錄深度信息的 3D VR全景相機，F(xiàn)acebook 360 Surround x24和x6。今年9月，F(xiàn)acebook發(fā)布專業(yè)級全景相機 Manifold。

然而，6Dof視頻和光場視頻的制作成本極高，目前VR的發(fā)展也難以吸引大量的內(nèi)容制作者，F(xiàn)acebook選擇了更便捷更民主化的路線——3D照片。

雖然Facebook推出的這項深度圖像技術(shù)被稱為3D視頻，但是卻和大家熟悉的3D電影的3D效果不是一碼事。普通的3D只是通過雙目時差實現(xiàn)的偽3D效果，在電影院里，不管你怎么轉(zhuǎn)頭，你看到的立體影像都只有一個角度，而Facebook的3D照片的特點是可以拖動查看不同的角度信息。

說了這么多，回到重點，F(xiàn)acebook是如何實現(xiàn)這項技術(shù)的呢？

據(jù)了解，一開始，F(xiàn)acebook采用的方式是讓用戶以單攝像頭的相機拍攝，通過移動來捕捉整個場景，然后通過分析視差和手機運動，即不同距離的物體在相機移動時移動的數(shù)據(jù)，可以精確地在重建出3D場景。

但是，從單個攝像機的快速圖像中推斷出深度數(shù)據(jù)是對CPU的計算要求很高，這種方法在大多數(shù)手機都有雙攝像頭時顯得有些過時。通過同時使用兩個相機捕獲圖像，即使對于運動中的物體也可以觀察到視差差異。并且因為兩個鏡頭的設(shè)備處于完全相同的位置，所以深度數(shù)據(jù)的噪音要小得多，對運算的要求也低很多。

Facebook目前就是采用iPhone的雙攝像頭，手機的兩個攝像頭拍攝了一對圖像，設(shè)備立即自行完成計算“深度圖”，圖像編碼幀中所有內(nèi)容的計算距離。結(jié)果看起來像這樣：

蘋果、三星、華為、谷歌都在研究深度圖像技術(shù)，但是目前主要用在照片的背景模糊上面。深度圖的技術(shù)難點在于，創(chuàng)建的深度圖沒有某種絕對比例。例如，當(dāng)深紅色意味著100英尺時，淺黃色并不意味著10英尺。每張照片的比例都不相同，這意味著你需要拍攝多張照片來獲得物體實際距離，但是要將這些照片拼接在一起是一種痛苦。

這就是Kopf和Hedman及其同事所面臨的問題。在他們的系統(tǒng)中，用戶通過移動他們的手機拍攝他們周圍環(huán)境的多個圖像;它每秒捕獲一個圖像（技術(shù)上是兩個圖像和一個結(jié)果深度圖）并開始將其添加到其集合中。 在后臺，算法會查看手機運動檢測系統(tǒng)捕獲的相機的深度圖和微小運動。然后，深度圖基本上被按摩成正確的形狀以與其他照片對齊。

創(chuàng)建出深度圖之后，深度圖會被轉(zhuǎn)換為3D網(wǎng)格（這個比較抽象，可以將其想象為一個紙質(zhì)版本的景觀圖）。然后，檢查網(wǎng)格的明顯邊緣，將這些邊緣撕裂開，例如前景中欄桿遮擋背景中的景觀，就將兩者分離開。這會將各種物體隔開，使它們看起來處于不同的深度，并隨著透視的變化移動。雖然這些方法創(chuàng)造了3D效果，但是你可能已經(jīng)猜到前景看起來只不過是一個紙質(zhì)鏤空，因為，如果是直接拍攝的人臉，就沒有關(guān)于他們的頭部或背部。

那么，最后一步就很重要。通過卷積神經(jīng)網(wǎng)絡(luò)去猜測和填充圖像的其余部分。例如，如果圖像區(qū)域有頭發(fā)，那么頭發(fā)可能會繼續(xù)存在。因此，它可以令人信服地重新構(gòu)建這些紋理，并估計對象的形狀，縮小間隙。這樣當(dāng)你稍微改變視角時，你似乎真的“圍繞”對象看了一圈。

Facebook目前能在一秒鐘的時間內(nèi)完成深度圖的創(chuàng)建，因此他們將此稱為“即時3D攝影”。當(dāng)然，3D照片功能目前只能在有兩個攝像機上使用，首發(fā)這項功能的是iPhone 7+, 8+, X or XS，此后會有更多手機加入。

在論文中，F(xiàn)acebook也討論了如何用通過另一個卷積神經(jīng)網(wǎng)絡(luò)來使得單攝像頭的相機也擁有同樣功能。但是，單攝像頭不如雙攝像頭系統(tǒng)好。這還需要算法和軟件公司的繼續(xù)努力，正如前些天，曾報道，Google就用單攝像頭實現(xiàn)了超越蘋果雙攝像頭的多項計算攝影效果。