今天，智能手機最吸引人的功能之一就是能捕捉正在運動的瞬間?，F(xiàn)在，Pixel 2和Pixel 2XL手機推出了全新相機功能，用戶無需在相機和錄像功能中切換選擇，每次拍攝的照片都會捕捉更多運動。當你開啟運動照片模式時，你的手機就開始錄制，并裁剪成長達3秒的視頻?；谙冗M的穩(wěn)定技術(shù)，該技術(shù)率先在安卓中的Motion Stills應(yīng)用。讓我們看看這些照片背后的技術(shù)吧!

硬件與軟件結(jié)合，生成動態(tài)照片

按下快門后，相機會拍攝一張照片和視頻，二者都是全分辨率JPEG模式，并帶有3秒視頻短片。在Pixel 2上，視頻還包含來自陀螺儀和光學(xué)圖像穩(wěn)定(OIS)傳感器的運動元數(shù)據(jù)，以幫助修建和穩(wěn)定運動照片。通過將基于視覺跟蹤和來自傳感器的元數(shù)據(jù)相結(jié)合，谷歌的研究人員為Pixel 2上的運動照片創(chuàng)建了新的混合生成器。

相比于Motion Stills或者基于純硬件傳感器的技術(shù)，這種方法能更精確地對齊背景。得益于Fused Video Stabilization技術(shù)，它可以減少由于深度圖層構(gòu)成的復(fù)雜場景或當前景物體占據(jù)大部分畫面時帶來的偽影。它還改進了基于硬件傳感器的傳統(tǒng)方法，通過改進運動估計達到更精確的效果，尤其是近距離拍攝。

捕捉的動態(tài)照片(左)和將軟硬件結(jié)合后對圖像進行穩(wěn)定處理(右)

他們在Motion Stills中引入的純基于軟件的技術(shù)使用了視頻幀中的視覺數(shù)據(jù)，檢測并跟蹤連續(xù)幀中的特征，從而生成運動向量。然后使用運動模型(例如仿射變換或一個homography)將運動向量分類為前景和背景。然而，這種分類并不完美，并且可能被復(fù)雜的場景或主要前景誤導(dǎo)。

用元數(shù)據(jù)進行前景和背景區(qū)分，橙色點表示前景，綠點表示背景

針對Pixel 2上的運動照片，研究人員用陀螺儀和光學(xué)圖像穩(wěn)定器上的運動員數(shù)據(jù)改進分類功能。這可以準確捕捉相對無窮遠處的運動，這可以認為是遠處的背景。然而，對于在較近范圍內(nèi)拍攝的照片，不同深度的圖層將會把視差作為場景元素，而不考慮陀螺儀和OIS。具體來說，他們將過于偏離運動員數(shù)據(jù)的向量標記為前景。這能更精確地區(qū)分前景和背景，也能讓相機使用更復(fù)雜的運動模型。

動態(tài)照片的背景估計過程

動態(tài)照片的穩(wěn)定和播放

一旦準確地確定了視頻背景的運動，我們就可以使用之前提到的線性編程技術(shù)來確定一個最佳的相機路徑來對齊背景。此外，該技術(shù)會自動修剪視頻，避免因手機抖動造成的意外動作。所有這些處理過程是在手機里完成的，每當點擊谷歌相冊中的“動態(tài)”按鈕時，每幀都會產(chǎn)生少量的元數(shù)據(jù)，用于GPU著色器實時渲染穩(wěn)定的視頻。另外，照片從靜態(tài)轉(zhuǎn)為視頻的過度非常自然，在靜態(tài)時呈現(xiàn)的是HDR狀態(tài)。

即使在復(fù)雜場景中，也能穩(wěn)定住移動的背景

動態(tài)圖片分享

利用谷歌照片，你可以將動態(tài)照片以視頻或gif的格式和朋友分享。這也是Pixel 2上軟硬件以及機器學(xué)習(xí)結(jié)合后創(chuàng)造出的新功能。