虛擬現(xiàn)實(shí)（VR）允許用戶體驗(yàn)或與沉浸式人工環(huán)境進(jìn)行交互，使得用戶有身處現(xiàn)實(shí)中的感覺。隨著5G的到來(lái)，虛擬現(xiàn)實(shí)將發(fā)揮重要作用，但是由于當(dāng)前一些VR設(shè)備沉浸式環(huán)境較差、用戶體驗(yàn)不好的影響，導(dǎo)致雖然傳統(tǒng)VR設(shè)備的需求有所銳減。

為了解決這一問題，蘋果公司之前就申請(qǐng)了一項(xiàng)名為“眼睛跟蹤系統(tǒng)”的發(fā)明專利（申請(qǐng)?zhí)枮椋?01780064399.1），申請(qǐng)人為蘋果公司。它主要用于檢測(cè)頭戴式顯示器（HMD）中用戶眼睛的位置和運(yùn)動(dòng)的眼睛跟蹤系統(tǒng)。

圖1

圖2

上面兩圖展示出了用于VR/AR HMD的眼睛跟蹤系統(tǒng)。VR/AR HMD 100主要包括安裝在外殼中的顯示器110和兩個(gè)目鏡透鏡120。目鏡120在接近其光學(xué)無(wú)限遠(yuǎn)處形成所顯示的內(nèi)容的虛擬圖像，用戶可以通過目鏡120看到顯示器110所顯示的內(nèi)容。在眼睛跟蹤相機(jī)140的操作中，我們使用了兩個(gè)不同的相機(jī)光路。如圖1所示，在第一相機(jī)光路中，相機(jī)140通過目鏡120捕獲光；而圖2所示的光路中，相機(jī)140可以直接捕獲用戶眼睛的直接視圖。但它們各自有優(yōu)缺點(diǎn)，比如圖1可以通過目鏡視圖允許眼睛可以看到更居中的視圖，但是必須處理由目鏡引入的眼睛圖像中的失真。而圖2的直接視圖不穿過目鏡，但是可從傾斜位置朝眼睛看，由于失真、不足的景深和遮蔽，這可引起極端注視角度處的眼睛特征的減少的檢測(cè)精度。

該系統(tǒng)主要操作流程如下所示。

圖3

首先HMD的光源發(fā)射近紅外（NIR）光以照射用戶的眼睛，然后NIR光的一部分從用戶的眼睛反射到位于HMD的光學(xué)透鏡(目鏡)面向眼睛的表面處或附近的熱鏡。接著，熱鏡會(huì)反射一部分NIR光，同時(shí)允許可見光經(jīng)過。最后再通過多個(gè)近紅外相機(jī)捕獲由熱鏡反射的用戶的眼睛的圖像。

圖4

圖4是VR/AR系統(tǒng)1900的部件框圖，它主要包括頭戴顯示器（HMD） 2000和外部設(shè)備2100。

其中HMD中的投影儀2020用來(lái)顯示左右圖像的幀，而此幀可以由用戶通過左右兩個(gè)目鏡觀看的屏幕或左右顯示器上來(lái)獲得。同時(shí)，為了在3D虛擬視圖中創(chuàng)建3D效果，兩個(gè)圖像中不同深度或距離的對(duì)象可作為距離的三角測(cè)量的函數(shù)，來(lái)進(jìn)行左右偏移，其中較近的對(duì)象比更遠(yuǎn)的對(duì)象偏移得更多。該系統(tǒng)中的控制器2030包括實(shí)現(xiàn)多種指令集架構(gòu)(ISA)(諸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合適的ISA)中的任何指令集架構(gòu)的通用處理器或嵌入式處理器。主要用于實(shí)現(xiàn)VR/AR系統(tǒng)1900的功能，并且生成由投影儀2020顯示的幀(每個(gè)幀包括左右兩張圖像)。該系統(tǒng)也包括用來(lái)存儲(chǔ)系統(tǒng)操作的軟件和數(shù)據(jù)的存儲(chǔ)器。另外頭戴式顯示器（HMD）2000主要通過有線/無(wú)線接口與外部設(shè)備2100（如：臺(tái)式計(jì)算機(jī)、筆記本、平板、智能電話、游戲系統(tǒng)等等）進(jìn)行數(shù)據(jù)交互。

該系統(tǒng)可以利用VR的模擬環(huán)境為多種應(yīng)用提供交互式用戶體驗(yàn)，比如將虛擬內(nèi)容添加到觀看者的環(huán)境的實(shí)時(shí)視圖的應(yīng)用、與虛擬訓(xùn)練環(huán)境進(jìn)行交互的應(yīng)用、與因特網(wǎng)交互的應(yīng)用等等，極大的方便了人們生活，同時(shí)小編也希望在不久的將來(lái)VR設(shè)備可以更加智能化，更加人性化，并且能盡快的應(yīng)用到更多的場(chǎng)景中來(lái)。