蘋果向來擅長(zhǎng)把用戶界面從個(gè)人電腦推廣到手機(jī)和智能手表上。目前，蘋果的工程師正在考慮將手機(jī)觸屏轉(zhuǎn)變?yōu)榛旌犀F(xiàn)實(shí)(Mixed Reality，MR)，很可能會(huì)構(gòu)建出良好的用戶體驗(yàn)。最近，蘋果正在申請(qǐng)手勢(shì)控制專利，這似乎也透漏出了蛛絲馬跡，表明公司對(duì)混合現(xiàn)實(shí)已做出了方方面面的考量。混合現(xiàn)實(shí)是一種可穿戴系統(tǒng)，該系統(tǒng)可以在真實(shí)環(huán)境中呈現(xiàn)虛擬場(chǎng)景，通過感知手指運(yùn)動(dòng)，就能控制混合現(xiàn)實(shí)空間中的數(shù)字內(nèi)容。

過去幾年，蘋果一直在為混合現(xiàn)實(shí)的工作打基礎(chǔ)。2017年，該公司發(fā)布了ARKit框架，幫助開發(fā)人員構(gòu)建了數(shù)千個(gè)增強(qiáng)現(xiàn)實(shí)應(yīng)用。這些應(yīng)用必須通過iPhone或iPad來體驗(yàn)，所以使用起來有點(diǎn)笨重。而且，這類應(yīng)用很快就會(huì)嵌入到眼部設(shè)備中，蘋果肯定不會(huì)設(shè)計(jì)笨重的頭戴設(shè)備，所以只有等到出現(xiàn)合適的增強(qiáng)眼鏡，能把所有混合現(xiàn)實(shí)部件組合在一起時(shí)，混合現(xiàn)實(shí)應(yīng)用才能有用武之地。

控制和駕馭混合現(xiàn)實(shí)的裝置與方式雖然稍顯笨拙，但卻在不斷發(fā)展。混合現(xiàn)實(shí)領(lǐng)域中的領(lǐng)先設(shè)備(例如Hololens和Magic Leap)可以讓用戶使用手勢(shì)進(jìn)行導(dǎo)航和控制。但跟蹤所需的深度攝像頭和傳感器需要容納空間，因此這類頭戴設(shè)備并不小巧。而將手部動(dòng)作傳感器移動(dòng)到身體上的其他地方則能有效減小頭戴設(shè)備的規(guī)格。蘋果此次申請(qǐng)的專利稱為“含傳感器和觸覺反饋的指戴式設(shè)備(Finger-mounted Device with Sensors and Haptics)”，是一種包含了多種傳感器的指戴系統(tǒng)。每個(gè)手指上都配備了多種類型的傳感器，光學(xué)傳感器可以測(cè)量指尖的運(yùn)動(dòng)，加速度傳感器計(jì)有助于測(cè)量手勢(shì)。

指戴式設(shè)備讓指尖保持裸露，指節(jié)上的傳感器用于檢測(cè)指尖“按壓”或“滾動(dòng)”等操作。指戴式設(shè)備可以通過內(nèi)置的觸覺反饋單元響應(yīng)用戶的觸摸或手勢(shì)。專利稱，指戴式設(shè)備可用于控制虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)系統(tǒng)，當(dāng)用戶在桌面上進(jìn)行手指點(diǎn)擊時(shí)，可以為用戶提供在物理鍵盤上進(jìn)行交互的感覺。

蘋果并不是唯一一家考慮混合現(xiàn)實(shí)輸入問題的大公司。谷歌近幾年來一直在開發(fā)一種基于手勢(shì)的控制系統(tǒng)“Project Soli”。Soli的傳感器使用微型雷達(dá)系統(tǒng)捕獲三維空間內(nèi)的手部運(yùn)動(dòng)。到目前為止，谷歌已經(jīng)將雷達(dá)傳感器應(yīng)用在智能手表和電視等中，實(shí)現(xiàn)了手勢(shì)控制，所以該技術(shù)有望在更復(fù)雜的現(xiàn)實(shí)背景下跟蹤手勢(shì)。一位專家表示，像智能手表這樣的可穿戴設(shè)備也有可能嵌入雷達(dá)傳感器，然后雷達(dá)傳感器會(huì)向用戶的手發(fā)出雷達(dá)波束以檢測(cè)手勢(shì)。谷歌顯然對(duì)Soli非?？粗?，公司最近請(qǐng)求聯(lián)邦通信委員會(huì)(Federal Communications Commission，F(xiàn)CC)批準(zhǔn)項(xiàng)目在更高功率的頻段上運(yùn)行，以獲得更精確的手勢(shì)。去年年底，聯(lián)邦通信委員會(huì)批準(zhǔn)了這一請(qǐng)求。

三星也在積極開發(fā)混合現(xiàn)實(shí)的手勢(shì)控制系統(tǒng)。美國(guó)專利局公布了三星的專利申請(qǐng)，該專利提出了一款虛擬現(xiàn)實(shí)頭戴設(shè)備，結(jié)合三維傳感器和紅外傳感器來檢測(cè)用戶手部的復(fù)雜動(dòng)作。三星提交了另一份專利申請(qǐng)，其中也使用了類似的技術(shù)來控制增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的內(nèi)容。

目前，蘋果的ARKit和谷歌的ARCore都是借助手機(jī)背面的普通2D攝像機(jī)，實(shí)現(xiàn)了基于手機(jī)的增強(qiáng)現(xiàn)實(shí)(如Pokémon Go)。不過，把增強(qiáng)現(xiàn)實(shí)從手機(jī)推向眼鏡之前，仍存在可開發(fā)的空間。目前，3D攝像頭已能繪制出3D數(shù)字內(nèi)容，智能手機(jī)制造商顯然也希望將它們用作后置攝像頭。彭博社去年12月的報(bào)道稱，華為計(jì)劃在2019年將索尼3D攝像頭用作幾款新手機(jī)的后置攝像頭。報(bào)道援引消息人士的話，3D攝像頭不僅僅能用于拍攝3D照片和空間掃描，還能用于跟蹤手勢(shì)。

iPhone X把3D攝像頭用作前置攝像頭進(jìn)行面部識(shí)別，也因此誕生了Animoji和Memoji。但如果把3D攝像頭用作后置攝像頭，則能實(shí)現(xiàn)更多功能。如果房間的3D圖更加精確，那么ARKit應(yīng)用程序就能以更逼真和功能性更強(qiáng)的方式來部署內(nèi)容。與之類似，3D攝像頭也可用于跟蹤手勢(shì)。

蘋果專利中的技術(shù)常常沒有進(jìn)入市場(chǎng)，即便成功了，最終的形式也與專利中所描述的截然不同。蘋果的“指戴式”設(shè)備專利是公司所解決過的最有趣的問題。蘋果正在認(rèn)真考慮用戶界面的下一個(gè)潮流，期待憑借合適的時(shí)機(jī)和技術(shù)引領(lǐng)混合現(xiàn)實(shí)，就像最初引領(lǐng)移動(dòng)體驗(yàn)一樣。