虛擬現(xiàn)實（VR）允許用戶體驗或與沉浸式人工環(huán)境進行交互，使得用戶有身處現(xiàn)實中的感覺。隨著5G的到來，虛擬現(xiàn)實將發(fā)揮重要作用，但是由于當前一些VR設備沉浸式環(huán)境較差、用戶體驗不好的影響，導致雖然傳統(tǒng)VR設備的需求有所銳減。

為了解決這一問題，蘋果公司之前就申請了一項名為“眼睛跟蹤系統(tǒng)”的發(fā)明專利（申請?zhí)枮椋?01780064399.1），申請人為蘋果公司。它主要用于檢測頭戴式顯示器（HMD）中用戶眼睛的位置和運動的眼睛跟蹤系統(tǒng)。

圖1

圖2

上面兩圖展示出了用于VR/AR HMD的眼睛跟蹤系統(tǒng)。VR/AR HMD 100主要包括安裝在外殼中的顯示器110和兩個目鏡透鏡120。目鏡120在接近其光學無限遠處形成所顯示的內(nèi)容的虛擬圖像，用戶可以通過目鏡120看到顯示器110所顯示的內(nèi)容。在眼睛跟蹤相機140的操作中，我們使用了兩個不同的相機光路。如圖1所示，在第一相機光路中，相機140通過目鏡120捕獲光；而圖2所示的光路中，相機140可以直接捕獲用戶眼睛的直接視圖。但它們各自有優(yōu)缺點，比如圖1可以通過目鏡視圖允許眼睛可以看到更居中的視圖，但是必須處理由目鏡引入的眼睛圖像中的失真。而圖2的直接視圖不穿過目鏡，但是可從傾斜位置朝眼睛看，由于失真、不足的景深和遮蔽，這可引起極端注視角度處的眼睛特征的減少的檢測精度。

該系統(tǒng)主要操作流程如下所示。

圖3

首先HMD的光源發(fā)射近紅外（NIR）光以照射用戶的眼睛，然后NIR光的一部分從用戶的眼睛反射到位于HMD的光學透鏡(目鏡)面向眼睛的表面處或附近的熱鏡。接著，熱鏡會反射一部分NIR光，同時允許可見光經(jīng)過。最后再通過多個近紅外相機捕獲由熱鏡反射的用戶的眼睛的圖像。

圖4

圖4是VR/AR系統(tǒng)1900的部件框圖，它主要包括頭戴顯示器（HMD） 2000和外部設備2100。

其中HMD中的投影儀2020用來顯示左右圖像的幀，而此幀可以由用戶通過左右兩個目鏡觀看的屏幕或左右顯示器上來獲得。同時，為了在3D虛擬視圖中創(chuàng)建3D效果，兩個圖像中不同深度或距離的對象可作為距離的三角測量的函數(shù)，來進行左右偏移，其中較近的對象比更遠的對象偏移得更多。該系統(tǒng)中的控制器2030包括實現(xiàn)多種指令集架構(gòu)(ISA)(諸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合適的ISA)中的任何指令集架構(gòu)的通用處理器或嵌入式處理器。主要用于實現(xiàn)VR/AR系統(tǒng)1900的功能，并且生成由投影儀2020顯示的幀(每個幀包括左右兩張圖像)。該系統(tǒng)也包括用來存儲系統(tǒng)操作的軟件和數(shù)據(jù)的存儲器。另外頭戴式顯示器（HMD）2000主要通過有線/無線接口與外部設備2100（如：臺式計算機、筆記本、平板、智能電話、游戲系統(tǒng)等等）進行數(shù)據(jù)交互。

該系統(tǒng)可以利用VR的模擬環(huán)境為多種應用提供交互式用戶體驗，比如將虛擬內(nèi)容添加到觀看者的環(huán)境的實時視圖的應用、與虛擬訓練環(huán)境進行交互的應用、與因特網(wǎng)交互的應用等等，極大的方便了人們生活，同時小編也希望在不久的將來VR設備可以更加智能化，更加人性化，并且能盡快的應用到更多的場景中來。