有些人喜歡邊說話邊打手勢。借助加拿大研究人員研制的一種特殊手套,未來他們或許能夠用手勢說話甚至譜曲。
新式“手語”
加拿大不列顛哥倫比亞大學(xué)的電子和計算機工程教授悉尼·費爾斯研制出一種3D交互式手套,戴上它,使用者做出的各種手勢可合成為樂曲或一段話。他們在溫哥華參加美國科學(xué)促進會年會時展示了相關(guān)成果。
在英語體系中,以元音結(jié)尾的音節(jié)叫做開音節(jié),以輔音結(jié)尾的音節(jié)叫做閉音節(jié)。人說開音節(jié)時喉嚨和嘴唇會張開,研究人員力圖通過程序復(fù)制出人說話時喉嚨和舌頭的位移,從而達到用手勢說話。
手套上有3D位置傳感器,可以追蹤手勢信號,然后傳至電腦。根據(jù)設(shè)計好的程序,兩只手的不同手勢代表不同聲音片段。比如,右手握緊代表輔音,張開代表元音;左手控制音節(jié)的長短;右手抬起時代表高聲調(diào),處于水平位置時是平聲調(diào)。
3D交互
費爾斯等人給這個項目取名“電子口技表演者”。演示視頻中,一名研究人員戴上特制手套,一會兒把手指相對或張開,一會兒揮動手臂,隨著手勢變化,與電腦相連的揚聲器中傳出高低起伏的不同聲音。另一段視頻中,一名戴著手套的女歌唱家邊演唱邊做手勢,于是,清唱演變成一段配樂演唱。
手套基于3D交互輸入技術(shù)研制。研究顯示,手勢不僅由骨骼肌肉驅(qū)動,而且受人的信念、意識的驅(qū)使,是涉及人的思維活動的高級行為。在虛擬現(xiàn)實系統(tǒng)中,手是用戶模型中十分重要的動作與感知關(guān)系模型,而手勢則是3D交互任務(wù)和技術(shù)的手段。
費爾斯先前開發(fā)出“手套交談”系統(tǒng),采用神經(jīng)網(wǎng)絡(luò)將用戶手勢轉(zhuǎn)換成手勢語言參數(shù),通過語言合成器合成為語言輸出。
實際應(yīng)用
研究人員說,他們的研究初衷是幫助失去語言能力的人“說話”。
加拿大電視網(wǎng)19日援引研究人員的話報道,“它讓傳統(tǒng)意義上不能講話的人發(fā)出聲音,但又不同于手語,因為使用者不必特意去學(xué)習(xí)手勢的含義”。
隨著研究的深入,他們?yōu)樗x予音樂才能,“讓人們用手勢唱歌”。
這項技術(shù)現(xiàn)階段還存在不足,比如,說出帶有情感色彩的詞時,它的聲音還不夠擬人,而是像機器人講話。此外,學(xué)習(xí)如何操作需要大約100小時。
費爾斯說,這項發(fā)明未來的應(yīng)用還包括引入生物力學(xué)模型,挪動重型機械設(shè)備等。