目前，出現(xiàn)在新一代智能手機(jī)上的3D傳感器，只是機(jī)器學(xué)習(xí)所引發(fā)的攝影技術(shù)浪潮的冰山一角，該類(lèi)技術(shù)將不僅僅糾正智能手機(jī)照片的缺點(diǎn)，還將為攝影帶來(lái)一些令人驚嘆的新元素。

攝影在智能手機(jī)時(shí)代已經(jīng)發(fā)生了改變，不僅拍攝姿勢(shì)不同(比如自拍)，手機(jī)攝像頭捕捉光線的整個(gè)過(guò)程也變得完全不一樣了。攝像頭不再只是一個(gè)透鏡和傳感器，它們還集成了一組算法，這些算法可以立即處理圖像，瞬間就能獲得桌面軟件耗費(fèi)數(shù)小時(shí)才能實(shí)現(xiàn)的照片效果，攝影已然成為計(jì)算領(lǐng)域的一門(mén)學(xué)問(wèn)。

人工智能機(jī)器學(xué)習(xí)形式持續(xù)不斷的進(jìn)步將會(huì)帶來(lái)更多的功能，讓今天的智能手機(jī)照片變得過(guò)時(shí)。

外媒認(rèn)為，體現(xiàn)當(dāng)今手機(jī)的尖端攝影技術(shù)的最新例子包括：Alphabet子公司谷歌的Pixel 3智能手機(jī)照片，以及蘋(píng)果iPhone X的照片。在Pixel 3上，谷歌使用機(jī)器學(xué)習(xí)在低光照條件下捕捉更多的細(xì)節(jié)，使得夜景看起來(lái)像白天。這些根本不是自然界中曾經(jīng)存在過(guò)的鏡頭，它們完全是超分辨率的圖片。

從2017年推出iPhone X開(kāi)始，蘋(píng)果公司添加了“bokeh”，巧妙地模糊了焦點(diǎn)之外的元素，這并不是像傳統(tǒng)攝影那樣通過(guò)鏡頭本身的某些方面來(lái)實(shí)現(xiàn)的，而是通過(guò)在捕捉到圖像后對(duì)像素進(jìn)行計(jì)算調(diào)整來(lái)實(shí)現(xiàn)的。

“移軸”相機(jī)

我們預(yù)測(cè)，2019年和2020年的突破性發(fā)展很有可能是通過(guò)操控圖像的視角來(lái)改善，希望這能糾正智能手機(jī)攝影中固有的失真問(wèn)題，這些失真使得智能手機(jī)在數(shù)碼單反(DSLR)相機(jī)照片面前相形見(jiàn)絀。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)試圖從一張圖片中重構(gòu)現(xiàn)實(shí)的過(guò)程

事實(shí)上，它們可以達(dá)到類(lèi)似于“移軸”相機(jī)的效果。在移軸相機(jī)中，鏡頭所成的角度可彌補(bǔ)一個(gè)人站在相機(jī)前的角度，從而糾正由于個(gè)人與場(chǎng)景之間的角度造成的圖像失真。單反相機(jī)用戶可以在由不同的供應(yīng)商提供的各種可拆卸鏡頭中實(shí)現(xiàn)移軸功能。

一般的手機(jī)攝像頭都有一個(gè)非常小的透鏡鏡筒，因此它所捕捉到的一切東西都是扭曲的。在現(xiàn)實(shí)世界中，沒(méi)有什么形狀是恰到好處的。大多數(shù)人可能不會(huì)注意到，又或者可能不會(huì)在意，因?yàn)樗麄円呀?jīng)習(xí)慣了Instagram上的自拍。但如果能改善這些畸變就更好了。這一點(diǎn)能做到的話，那么它將會(huì)是來(lái)自谷歌、蘋(píng)果等公司的下一輪智能手機(jī)主推的一個(gè)賣(mài)點(diǎn)。

iPhone和其它品牌的手機(jī)將越來(lái)越多地搭載帶有3D傳感器的后置攝像頭。這些傳感器由Lumentum Holdings和其他的芯片供應(yīng)商等公司制造，通過(guò)發(fā)出光束并計(jì)算它們?cè)谖矬w反彈后如何返回手機(jī)，來(lái)測(cè)量手機(jī)周?chē)h(huán)境的深度。“飛行時(shí)間”等技術(shù)可以讓手機(jī)詳細(xì)測(cè)量周?chē)h(huán)境的三維結(jié)構(gòu)。

那些傳感器可以利用的是，近年來(lái)為了解二維圖像和現(xiàn)實(shí)世界之間的關(guān)系而進(jìn)行的大量統(tǒng)計(jì)工作。

谷歌Pixel 3智能手機(jī)上的“夜景”功能

人們做了大量的統(tǒng)計(jì)工作來(lái)實(shí)現(xiàn)移軸鏡頭那樣的物理特性，不管是有特殊攝像裝置的，還是沒(méi)有特殊攝像裝置的。例如，一項(xiàng)名為“隨機(jī)抽樣一致性”(RANSAC)的技術(shù)可以追溯到1981年，專門(mén)用于尋找三維世界中的地標(biāo)，這些地標(biāo)可以映射到二維圖像平面上的點(diǎn)，以便了解二維圖像與三維現(xiàn)實(shí)世界之間的關(guān)系。使用這種技術(shù)，可以更好地理解二維呈現(xiàn)是如何與現(xiàn)實(shí)世界相對(duì)應(yīng)的。

2015年，佛羅倫薩大學(xué)的一組研究人員在RANSAC技術(shù)的基礎(chǔ)上，通過(guò)對(duì)相機(jī)拍攝的照片進(jìn)行逆向推理，推導(dǎo)出了一種泛傾斜變焦相機(jī)的結(jié)構(gòu)，他們能夠通過(guò)軟件來(lái)分析相機(jī)位置的不同在多大程度上引發(fā)了失真，從而有效地將控制相機(jī)的執(zhí)行機(jī)構(gòu)調(diào)至最佳狀態(tài)，他們可以將這種技術(shù)用于視頻，而不僅僅是用于靜止的圖像。

2017年，德國(guó)埃爾蘭根-紐倫堡大學(xué)和伍茲霍爾海洋學(xué)研究所的研究人員展示了一個(gè)名為CameraTransform的Python庫(kù)，該庫(kù)可讓人們通過(guò)對(duì)拍攝的圖像進(jìn)行逆向計(jì)算，來(lái)估算物體在現(xiàn)實(shí)世界中的真實(shí)尺寸。

四角觀察：研究人員創(chuàng)建的一種神經(jīng)網(wǎng)絡(luò)，由編碼器和解碼器結(jié)合生成的對(duì)抗性網(wǎng)絡(luò)組成，被用于推斷圖片中被遮擋的物體

去年，德國(guó)慕尼黑工業(yè)大學(xué)和佳能公司的研究人員表示，只需拍一張圖片就可以推斷出被另一個(gè)物體遮擋的場(chǎng)景中有什么。這種技術(shù)被稱為“分層深度圖像”，可以通過(guò)從照片中移除一個(gè)物體來(lái)創(chuàng)建新的場(chǎng)景，呈現(xiàn)相機(jī)從未見(jiàn)過(guò)的背景，但這是通過(guò)圖像計(jì)算實(shí)現(xiàn)的。該方法使用了許多神經(jīng)網(wǎng)絡(luò)應(yīng)用中常見(jiàn)的編碼-解碼器方法來(lái)估計(jì)場(chǎng)景的深度，也使用了“生成對(duì)抗網(wǎng)絡(luò)”(GAN)來(lái)構(gòu)造場(chǎng)景中在拍攝照片時(shí)從未實(shí)際出現(xiàn)在視野里的部分。

所有的這些研究正在不斷涌現(xiàn)，并將在下一代配備3D傳感器的智能手機(jī)攝像頭上達(dá)到高潮，帶來(lái)一些不可思議的功能特性。這種研究應(yīng)該會(huì)帶來(lái)令人驚嘆的成果。至少，人們可以想象，用智能手機(jī)拍攝出的人像不再會(huì)出現(xiàn)怪異的面部扭曲。超分辨率的建筑圖片將有可能通過(guò)消除鏡頭上的所有扭曲而形成平行線。隨著手機(jī)變得能夠大量產(chǎn)生精確度和逼真度皆十分驚人的照片，智能手機(jī)行業(yè)將能夠在與單反相機(jī)的交鋒中取得又一場(chǎng)勝利。

但是，智能手機(jī)攝影的長(zhǎng)期趨勢(shì)當(dāng)然是遠(yuǎn)離現(xiàn)實(shí)主義，而轉(zhuǎn)向取得更引人注目的效果。這在計(jì)算攝影誕生之前是無(wú)法想象的。因此，我們可能會(huì)看到3D傳感技術(shù)的應(yīng)用趨向于超現(xiàn)實(shí)主義。

舉例來(lái)說(shuō)，移軸相機(jī)可以用來(lái)創(chuàng)造一些出奇漂亮的效果，比如縮小景深到一個(gè)極端的程度，這會(huì)使得風(fēng)景看起來(lái)就像玩具模型，但效果還是出奇的好，有些手機(jī)應(yīng)用程序也能做到類(lèi)似的事情，但將3D傳感器與人工智能技術(shù)結(jié)合起來(lái)的效果，將遠(yuǎn)遠(yuǎn)超出那些應(yīng)用程序所能達(dá)到的效果，Photoshop中有實(shí)現(xiàn)移軸的技術(shù)，但是每次按下快門(mén)按鈕，相機(jī)都會(huì)產(chǎn)生同樣的效果，毫無(wú)疑問(wèn)會(huì)讓人更加心滿意足。

光靠人工智能可行嗎?

未來(lái)，在推進(jìn)機(jī)器學(xué)習(xí)技術(shù)方面，會(huì)有另一個(gè)重要的階段。我們有可能會(huì)放棄使用3D傳感器，而僅僅使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來(lái)推斷物體在空間中的坐標(biāo)，這將節(jié)省在手機(jī)中安裝傳感器的費(fèi)用。

然而，就像微軟的研究人員和學(xué)術(shù)合作者在本周發(fā)表的一份報(bào)告中所討論的那樣，目前這種只使用軟件的方法收效甚微。他們寫(xiě)道，只使用軟件的方法被稱為“絕對(duì)姿態(tài)回歸”(absolute pose regression)，在經(jīng)過(guò)訓(xùn)練后它并未能推而廣之，這意味著無(wú)論卷積神經(jīng)網(wǎng)絡(luò)掌握了什么技術(shù)，在用新圖像進(jìn)行測(cè)試時(shí)，它都無(wú)法準(zhǔn)確估量幾何圖形。

該報(bào)告的作者認(rèn)為，他們的研究是對(duì)純軟件方法的“一項(xiàng)重要的合理性檢查”。他們的結(jié)論是，“姿態(tài)回歸方法要變得切實(shí)可行，還長(zhǎng)路漫漫。”

這項(xiàng)工作將如何完成呢?不僅僅依靠研究人員。它將需要許許多多的智能手機(jī)用戶的參與。有了帶有3D傳感器的新型手機(jī)，他們將能夠拍攝出令人印象深刻的3D感應(yīng)增強(qiáng)圖像。當(dāng)他們這樣做的時(shí)候，他們的設(shè)備，或者云，將會(huì)跟蹤現(xiàn)實(shí)世界的幾何結(jié)構(gòu)與二維圖像之間的關(guān)系。

換句話說(shuō)，它將利用所有的這些活動(dòng)來(lái)持續(xù)進(jìn)行學(xué)習(xí)，總有一天，只要有足夠的3D圖像，卷積神經(jīng)網(wǎng)絡(luò)或任何其它被使用的算法都能足夠聰明地觀察這個(gè)世界，即使沒(méi)有3D傳感器幫助提供深度感知能力，也能準(zhǔn)確地知道這個(gè)世界是什么樣的。