用樹(shù)莓派DIY低配版谷歌眼鏡，自定義手勢(shì)操控
[導(dǎo)讀]通過(guò)帥氣的手勢(shì)，操控投影在眼前的電子成像，這不就是科幻片里的基礎(chǔ)配置嘛?，F(xiàn)在，有人把它從科幻電影中帶入了現(xiàn)實(shí)。動(dòng)動(dòng)手指，實(shí)現(xiàn)對(duì)眼前世界的掌控。熱衷于制作智能小物件的油管博主TeemuLaurila，利用樹(shù)莓派DIY了一副可識(shí)別自定義手勢(shì)的AR眼鏡。將自己想設(shè)置的手勢(shì)錄入裝置，即可...
通過(guò)帥氣的手勢(shì)，操控投影在眼前的電子成像，這不就是科幻片里的基礎(chǔ)配置嘛。
現(xiàn)在，有人把它從科幻電影中帶入了現(xiàn)實(shí)。動(dòng)動(dòng)手指，實(shí)現(xiàn)對(duì)眼前世界的掌控。
熱衷于制作智能小物件的油管博主Teemu Laurila，利用樹(shù)莓派DIY了一副可識(shí)別自定義手勢(shì)的AR眼鏡。
將自己想設(shè)置的手勢(shì)錄入裝置，即可實(shí)現(xiàn)炫酷操作。
我有了一個(gè)大膽的想法！
自制AR眼鏡中的世界
先開(kāi)始表演吧！
捏住手指上下拉，就可以完成調(diào)整亮度指令。（這是你的第一人稱(chēng)視角）
對(duì)手勢(shì)識(shí)別，疊加顯示在鏡頭成像中。
再來(lái)一個(gè)更直觀點(diǎn)的視角，通過(guò)眼鏡看看效果。
DIY過(guò)程
AR眼鏡本身就充滿(mǎn)了科技感，讓現(xiàn)實(shí)世界充滿(mǎn)賽博朋克的味道。
那不如更炫酷一點(diǎn)。打個(gè)響指，就能運(yùn)行命令，這不必博人傳燃？
說(shuō)干就干，首先需要設(shè)計(jì)出，裝置會(huì)包含有哪些部分。
除了本體眼鏡框架，硬件部分還包括了透鏡組，0.6 mm PETG投影鏡片，配件部分由聚乳酸材料3D打印制成。
畢竟它是智能裝置的DIY，怎么可以不請(qǐng)萬(wàn)能迷你電腦樹(shù)莓派出場(chǎng)。
而軟件部分，手勢(shì)識(shí)別程序依賴(lài)于python開(kāi)源項(xiàng)目MediaPipe。
除此之外，Teemu Laurila還寫(xiě)了兩個(gè)程序腳本。
一個(gè)是通過(guò)捏手指控制亮度的應(yīng)用示例，另一個(gè)是捕獲實(shí)時(shí)視頻中的手勢(shì)傳送到電腦進(jìn)行處理，并通過(guò)智能眼鏡疊加顯示。
條件都齊了，那么動(dòng)手組裝起來(lái)試試。
經(jīng)歷多次調(diào)整，各部分零件最終組合成如下裝置。
想讓程序在裝置上可用，首先，需要一個(gè)樹(shù)莓派作為程序支持。
隨后設(shè)置好內(nèi)存、驅(qū)動(dòng)、運(yùn)行環(huán)境、多媒體接口、網(wǎng)絡(luò)等條件，讓整個(gè)裝置超頻運(yùn)行。
硬件軟件環(huán)境都準(zhǔn)備好以后，調(diào)試應(yīng)用程序。
應(yīng)用程序功能的核心——手勢(shì)識(shí)別模型由3個(gè)框架組成，包括手掌識(shí)別模型BlazePalm（用于識(shí)別手的整體框架和方向）、Landmark模型（識(shí)別立體手部節(jié)點(diǎn)）、手勢(shì)識(shí)別模型（將識(shí)別到的節(jié)點(diǎn)分類(lèi)成一系列手勢(shì)）。
識(shí)別算法的訓(xùn)練過(guò)程中，BlazePalm模型識(shí)別手掌初始位置，對(duì)移動(dòng)端的實(shí)時(shí)識(shí)別進(jìn)行優(yōu)化。
在BlazePalm識(shí)別到的手掌范圍內(nèi)，Landmark模型識(shí)別其中21個(gè)立體節(jié)點(diǎn)坐標(biāo)。
手勢(shì)識(shí)別模型則在此基礎(chǔ)上，根據(jù)關(guān)節(jié)角度識(shí)別每根手指狀態(tài)，將狀態(tài)映射到預(yù)定義的手勢(shì)上，預(yù)測(cè)基礎(chǔ)靜態(tài)手勢(shì)。
通過(guò)樹(shù)莓派Zero W，對(duì)手勢(shì)信息捕獲。圖像信息傳輸?shù)诫娔X中，由手勢(shì)識(shí)別AI進(jìn)行處理。之后再傳達(dá)給裝置，發(fā)出對(duì)應(yīng)的手勢(shì)命令，并同步在投影圖像中。
它的前世今生
等一下，有攝像頭，有微型投影儀，還有電腦處理器，并且還是一側(cè)投影顯示。這樣的AR眼鏡好像在哪里見(jiàn)過(guò)。
沒(méi)錯(cuò)，就連用到的手勢(shì)識(shí)別代碼也都是谷歌開(kāi)源的。
雖然沒(méi)有谷歌智能眼鏡類(lèi)似智能手機(jī)的功能，但是相比其語(yǔ)音控制和觸控功能，Teemu Laurila的智能眼鏡選擇了使用自定義手勢(shì)觸發(fā)命令，更多一分黑科技的味道。
另外，谷歌眼鏡攝像頭只用來(lái)拍照錄像，Teemu Laurila的攝像頭還承擔(dān)了接受手勢(shì)指令、傳達(dá)指令功能。同時(shí)，投影也選擇了更大尺寸的方形鏡片，方便視野觀察。
這款裝置已經(jīng)是Teemu Laurila完成的第二版智能眼鏡，在外觀和性能上均有優(yōu)化。
材料的選擇上，采用了0.6mm厚度投影鏡片替代1mm厚度；以聚乳酸材料代替丙烯酸；增加了螺栓固定支架，棄用膠水。
最重要的優(yōu)化是，照相機(jī)使用方形透鏡讓畫(huà)面更清晰。
Teemu Laurila將自己補(bǔ)充的兩段代碼，分享在了GitHub平臺(tái)，供感興趣的觀眾自己復(fù)刻。
參考鏈接：
https://www.tomshardware.com/news/raspberry-pi-smart-glasses-recognize-hand-gestures
https://www.youtube.com/watch?v=60Os5Iqdbsw
https://www.youtube.com/watch?v=Gu4oOYo38rQ
GitHub鏈接：
https://github.com/Teneppa/CameraStream
https://github.com/Teneppa/HandTrackingBrightnessControl
END
來(lái)源：量子位版權(quán)歸原作者所有，如有侵權(quán)，請(qǐng)聯(lián)系刪除。
▍
下載文檔
