VR技術(shù)實現(xiàn)手勢識別還需要攻克哪些方面的難點
(文章來源:yivian)
VR終極手部交互范式并不是單純的“手勢識別”,它要滿足4個基礎條件,這些條件同時也是需要攻克的難點:1. 空間定位:理想的空間定位能力,得到手部與人眼(頭顯)的精準相對位置關(guān)系,是正確渲染及交互的基礎;2. 手部追蹤:一只正常人手大概有二十多自由度,加上手腕小臂總計約28個,追蹤需要精準,可靠,低延遲。
3. 觸覺反饋:給人以更明確更加符合直覺的反饋效果(基于視覺原理的裸手操作難以給人明確的反饋);4. 工業(yè)設計:(實體外設需輕便以降低疲勞,同時不會影響手部自身活動等,以及符合人體工程學佩戴舒適等)四個基礎條件中有時可作為一個整體討論,統(tǒng)稱為追蹤定位能力,是手部交互的基石,也是通常學術(shù)界所看重的技術(shù)難點。
手部追蹤定位能力決定了人在虛擬世界能否像現(xiàn)實世界中一樣自由使用靈巧的雙手。低品質(zhì)的追蹤定位增加了用戶疲勞度,降低了輸入效率(要將手置于可識別區(qū)域以減少追蹤失效,增大動作幅度以彌補精度不足或自由度的缺失),以及帶來不確定性輸入的困擾。同時追蹤定位能力前置條件,決定了能否在準確的位置和時間觸發(fā)產(chǎn)生反饋效果。所有VR手部追蹤產(chǎn)品只需對照這四點基礎條件進行判斷。
LeapMotion,微軟HL2的手部追蹤,OC6上Oculus Quest推出的手部追蹤,代表了人類在以計算機視覺為基礎的手部追蹤的最高水準。已經(jīng)展示出了雙手自然交互的魅力,并已經(jīng)在許多低交互需求的場景產(chǎn)生價值。然而依舊受原理機制的天花板所限制,低品質(zhì)的追蹤定位能力并不能提供真正可靠舒適的交互體驗。LeapMoTIon公司從融資近億美金到最終3000萬被收購,已經(jīng)充分說明了基于計算機視覺的手部交互技術(shù)的局限性。
需要說明的是AR環(huán)境與VR有所差異,為了開放的外部現(xiàn)實環(huán)境,即使體驗相對較差,AR也會優(yōu)先采取裸手方案。相比VR環(huán)境已成為基礎配置的6DoF手柄交互以及專門設計優(yōu)化的OculusTouch和Knuckles手部控制器,當今AR頭顯更多采用效果差強人意的3DoF遙控器和基于計算機視覺的裸手方案。CTRL—Labs現(xiàn)正與Facebook談被收購事宜,擬5-10億美金。是當今唯一融資額度巨大,對外宣稱想把此技術(shù)運用于VR/AR交互控制的公司。
經(jīng)過近幾年的行業(yè)發(fā)展,較好的VR頭顯均實現(xiàn)了6DoF的手柄空間定位,很好地完成了這項基礎而又重要的條件要求。數(shù)據(jù)手套是個一言難盡的話題。很多人的偏見是認為手套形態(tài)設備就會很“準”,同時也認為使用數(shù)據(jù)手套會降低舒適度?,F(xiàn)實并非如此,數(shù)據(jù)手套形態(tài)與“準”并無因果關(guān)系,市面上充斥的是大量低水準昂貴的雞肋產(chǎn)品;而工業(yè)設計及傳感方案的好壞決定最終舒適程度。
基于數(shù)據(jù)手套捕捉人手姿態(tài)時主要使用的傳感器類型(技術(shù)原理),包括且不限于機械外骨骼傳感器式、光纖傳感器式,彎曲傳感器式,磁感應式,慣性傳感器(一般為包括加3軸速度計、3軸陀螺儀和3軸磁力計的九軸IMU)式等。每一種類別情況要考慮的問題均不相同,但總的來說,任何一種方案想要做好絕非易事。這也是為什么長久以來沒有誕生一種低成本完成的可靠精細手部動作捕捉的技術(shù)。
當今即便普通商用版數(shù)據(jù)手套,有時用于一些低水平的影視動作捕捉,需要復雜耗時的人工后期修正處理。若基礎追蹤定位能力都無法達標,在此基礎上去追求更是是本末倒置的做法。僅從動作捕捉效果考量,當今紙面參數(shù)最好的數(shù)據(jù)手套,是頂配級別的光纖式數(shù)據(jù)手套,售價大概在15-20W人民幣每套,成本約在數(shù)萬人民幣。其追蹤效果大概與排除了可靠性和視野問題的頂級計算機視覺手部動捕方案相當。
過去很長時間,計算機視覺有了長足的發(fā)展,人們總想把一切問題都交由計算機(視覺)去解決。計算機目前是一個相對低進入門檻卻高產(chǎn)出門檻的行業(yè),吸收了大量資源,也導致流向其它重要行業(yè)的資源十分有限。數(shù)據(jù)手套在看似無限前景的計算機視覺行業(yè)的夾縫里艱難進步,各種方案層出不窮卻未能出現(xiàn)真正好的大一統(tǒng)式的產(chǎn)品變革。可以說當今的數(shù)據(jù)手套方案與諸如Valve Knuckles和Oculus Touch這樣的新型手柄相比,并無優(yōu)勢可言。
? ? ?