隨著其他虛擬現(xiàn)實頭盔制造商有望為其即將推出的機型帶來面部和眼球追蹤功能，HTC希望通過為其Vive Focus 3提供新的配件來保持步伐。該公司表示，這些附件將提供 “更自然和沉浸式的VR體驗”，并實現(xiàn)無障礙功能，如凝視控制。

99美元的面部追蹤器使用一個單聲道相機，從佩戴者的嘴唇、下巴、臉頰、下巴、牙齒和舌頭捕捉表情。其目的是在化身上實時復(fù)制用戶的 “逼真的面部表情和嘴部動作”。

宏達電表示，面部追蹤器具有60Hz的追蹤率，并能 “以最小的延遲使嘴唇與聲音同步”--該系統(tǒng)的響應(yīng)時間低于10毫秒。該設(shè)備可插入耳機的USB-C接口，重量約為11.6克，所以它應(yīng)該不會給你的腦袋帶來負(fù)擔(dān)。

至于售價249美元的眼部追蹤器，它有一個雙攝像頭系統(tǒng)，可以捕捉到目光的方向和來源，眨眼以及你的瞳孔大小和位置。它的重量約為54克，以磁力吸附在耳機上。宏達電指出，“真實的 ”眼睛活動可以改善VR中的非語言互動。更重要的是，眼球追蹤模塊可用于研究目的。

該公司建議，演講輔導(dǎo)、培訓(xùn)和客戶服務(wù)管理是很好的使用案例。今年早些時候，HTC為頭盔發(fā)布了一個腕部追蹤器配件，它補充說，眼睛和面部追蹤可能有助于促進在虛擬社交環(huán)境中更好地參與，如活動、遠程會議和閑逛。

這些附件甚至可能被用于動作捕捉，以幫助在電視、電影和游戲中對角色的面部進行動畫處理。宏達電表示，在Vive Wave SDK和即將推出的OpenXR支持的幫助下，開發(fā)者可以將用戶的生物識別數(shù)據(jù)整合到應(yīng)用程序中。此外，還有Unity、虛幻游戲引擎和Native的整合。

人臉識別，是基于人的面部特征進行身份識別的生物識別技術(shù)，可以被用來解鎖智能手機，提供對建筑物的安全訪問，并加快機場的護照檢查等?，F(xiàn)在，人臉識別在VR中也有應(yīng)用。

來自澳大利亞、新西蘭和印度的國際研究小組將人臉識別技術(shù)提升到一個新的水平，利用人的表情在VR環(huán)境中操縱物體，無需使用手持控制器或觸摸板。

在由昆士蘭大學(xué)領(lǐng)導(dǎo)的一項世界首創(chuàng)的研究中，人機交互專家使用神經(jīng)處理技術(shù)來捕捉一個人微笑、皺眉和咬緊牙關(guān)時的樣子，并使用每種表情來觸發(fā)VR環(huán)境中的特定動作。

研究人員稱，系統(tǒng)已被設(shè)計為通過腦電圖(EEG)耳機識別不同的面部表情。微笑用來觸發(fā)“移動”命令，皺眉觸發(fā)“停止”命令，咬緊牙關(guān)觸發(fā)“行為”命令，以此代替手持控制器執(zhí)行這些動作。

研究人員設(shè)計三個虛擬環(huán)境，快樂、中性和恐懼，并測量每個人沉浸在每個場景時的認(rèn)知狀態(tài)和生理狀態(tài)。通過再現(xiàn)微笑、皺眉和咬緊牙關(guān)這三種普遍的面部表情，探索環(huán)境變化是否會觸發(fā)三種表情中的一種。

例如，在快樂環(huán)境中，參與者的任務(wù)是穿過公園，用網(wǎng)捕捉蝴蝶。用戶微笑時移動，皺眉時停止;在中性環(huán)境中，參與者的任務(wù)是在車間里穿梭，撿起散落在各處的物品。咬緊牙關(guān)會觸發(fā)一個動作，這里是撿起物品，而開始和停止的命令是由微笑和皺眉觸發(fā);在可怕的環(huán)境中也采用了同樣的面部表情，參與者在地下基地中穿梭，射擊僵尸。

總體而言，雖然手持控制器的性能可能會更好，因為它們比面部表情更直觀。但是參與者表示，感覺更沉浸在面部表情控制的VR體驗中。

最后，研究人員表示，這項技術(shù)也可用于補充手持式控制器，在那里面部表情是一種更自然的互動形式。此外，還將允許殘疾人(包括截肢者和運動神經(jīng)元疾病患者)在VR中進行免提交互。

為了使虛擬現(xiàn)實(VR)體驗高度可信，F(xiàn)acebook Reality Labs(FRL)的研究人員開發(fā)了一種名為“Codec Avatars”的系統(tǒng)，使VR用戶能夠與他人互動，同時精確地表現(xiàn)自己的形象實時動畫。Facebook的研究科學(xué)家Shih-En Wei說：“我們的工作證明，可以精確地從緊密安裝在VR頭顯上的攝像頭制作逼真的化身。”

研究人員配置了一個帶有最少傳感器的頭顯，用于面部捕捉，系統(tǒng)可以在VR中實現(xiàn)雙向，真實的社交互動。該團隊表示，VR系統(tǒng)可以使用最少的頭顯攝像頭(HMC)精確跟蹤用戶的實時面部表情，從而以非常詳細(xì)的個人形象為頭像設(shè)置動畫。

通過使用每個像素比較轉(zhuǎn)換后的圖像，不僅僅是面部特征以及3D化身的渲染，我們可以通過可微分渲染在跟蹤頭顯的圖像和3D化身的狀態(tài)之間進行精確映射。

在映射建立后，訓(xùn)練神經(jīng)網(wǎng)絡(luò)從實時的最小一組攝像機圖像中預(yù)測人臉參數(shù)。除了為VR中的化身設(shè)置動畫外，F(xiàn)acebook團隊還在構(gòu)建系統(tǒng)，使人們能夠通過一些圖像或視頻快速輕松地創(chuàng)建自己的頭像。

Facebook團隊將在7月28日至8月1日期間在洛杉磯舉行的“SIGGRAPH 2019”上展示他們的VR實時面部動畫系統(tǒng)。

研究人員還將展示人工智能(AI)技術(shù)。網(wǎng)絡(luò)(GAN)執(zhí)行一致的多視圖圖像樣式轉(zhuǎn)換，以自動將HMC紅外圖像轉(zhuǎn)換為看起來像呈現(xiàn)的化身，但具有與VR用戶相同的面部表情的圖像。

，近期Facebook也公布了一項基于容積捕捉的動態(tài)全身虛擬形象方案：可感知驅(qū)動信號的全身動態(tài)虛擬形象系統(tǒng)。其特點是采用一個根據(jù)條件變化的自動編碼模型，可以將姿態(tài)、面部關(guān)鍵點等不完整的驅(qū)動信號轉(zhuǎn)化成動畫數(shù)據(jù)，生動且逼真的體現(xiàn)人體結(jié)構(gòu)和動態(tài)外觀變化。

實際上，全身動態(tài)形象生成所面臨的困難是，包括面部在內(nèi)的全身動作捕捉信息不完整，因此通過解析動捕系統(tǒng)獲得驅(qū)動信號，來實現(xiàn)更加通用的全身動態(tài)模型效果。此外，還結(jié)合潛在空間模型，來捕捉動態(tài)虛擬形象所需的其余信息。利用驅(qū)動數(shù)據(jù)，該方案生成的變分模型將包含一小部分由缺失數(shù)據(jù)組成的不確定內(nèi)容，然后通過算法來預(yù)測和分配這一部分的數(shù)據(jù)。