Adobe的研究主管Gavin Miller在本周二拉斯維加斯的NAB上呈現新的尖端技術,未來這一技術可以用于將消費級球面攝像機拍攝的平面、單視角的360度視頻完全融入VR視頻,改進融入視頻的能力,業(yè)內人士稱之為六自由度(6DoF)。
單視角的360度視頻和提供六自由度VR體驗的差異對于像Oculus Rift和HTC Vive這樣的高端VR頭顯用戶尤其重要。這些頭顯具有房間追蹤功能,這意味著頭顯知道觀察者在房間中的哪個位置,針對諸如“向前傾斜”這樣的動作準確地提供相應的視覺效果。
計算機生成的圖像能夠相對容易地實現這一效果,但是考慮到在錄制視頻的過程中,觀察者可以自由移動,所以需要前沿的圖像捕獲技術。比如光場相機系統(tǒng),Lytro曾經開發(fā)過的的一個系統(tǒng),可能花費了數十萬美元。
然而,Adobe的科學家已經找出了一種方法,他們用一種被稱為“運動恢復結構(structure-from-moTIon)”的算法分析鏡頭的移動,來推斷關于房間的關鍵信息。
接下來,該數據可用于生成新的視角來應對不同的觀察角度,為觀察者提供真正融入視頻的能力,即使是非3D的視頻。該技術還可用于將360度視頻變得更加穩(wěn)定,或生成不同版本的視頻,為偏好不同運動舒適度的用戶提供服務。
這種方法有一個很大的問題:為平面的360度視頻添加六自由度只在鏡頭實際移動時才起作用。Miller解釋說:“我們通過假設相機移動來推斷深度。如果相機在旋轉卻不從一邊移動到另一邊,我們無法計算深度,但可以使旋轉穩(wěn)定。
盡管如此,這種方法表明,搭建復雜攝像機并不是VR視頻進步的唯一解決方案。計算機視覺算法同樣重要,Miller甚至認為在生成完全身臨其境的VR視頻的過程中,可能根本不需要昂貴的攝像頭硬件。他說:“有當然好,但如果沒有這個硬件,也不是不能做到。”
Miller將在本周二NAB的小組討論上展示下一代圖像生成的研究結果,同時Light Field Lab的CEO Jon Karafin也將在會上談論下一代全息顯示技術。