本節(jié)詳細(xì)介紹了官方演示評(píng)估過(guò)程和效果演示手勢(shì)檢測(cè)和RTSP人臉識(shí)別。

手勢(shì)識(shí)別

通過(guò)加載神經(jīng)網(wǎng)絡(luò)(NN)訓(xùn)練模型實(shí)現(xiàn)手勢(shì)跟蹤、提取、仿真和識(shí)別。

代碼

注：修改WiFi名稱(chēng)和密碼。

上傳

1. 長(zhǎng)按BOOT鍵，再按EN鍵進(jìn)入下載模式。

2. 選擇對(duì)應(yīng)的串口，單擊“下載”。等待上傳成功提示。

3. 重新按EN鍵運(yùn)行程序。

配置

上傳完成后，打開(kāi)串口監(jiān)視器。檢測(cè)到WiFi連接后，攝像頭的IP地址會(huì)顯示出來(lái)。

在VLC軟件中輸入rtsp://192.168.1.104:554實(shí)現(xiàn)rtsp流。

人臉識(shí)別

使用BW21-CBV-Kit開(kāi)發(fā)板來(lái)識(shí)別檢測(cè)到的人臉。

代碼

詳細(xì)信息請(qǐng)參見(jiàn)：神經(jīng)網(wǎng)絡(luò)-人臉識(shí)別- Realtek IoT/Wi-Fi MCU解決方案

上傳

上傳完成后，打開(kāi)串口監(jiān)視器。檢測(cè)到WiFi連接后，攝像頭的IP地址會(huì)顯示出來(lái)。在VLC軟件中輸入rtsp://192.168.253.1:554實(shí)現(xiàn)rtsp流。

把目標(biāo)臉對(duì)準(zhǔn)攝像機(jī)。當(dāng)人臉被檢測(cè)到并被紅色框包圍時(shí)，在串口中輸入REG=Bean來(lái)注冊(cè)該人。框的顏色會(huì)變成綠色，表示對(duì)應(yīng)的人的名字

效果

動(dòng)態(tài)識(shí)別

已經(jīng)觀察到，人臉識(shí)別的準(zhǔn)確率在距離越遠(yuǎn)的地方越高，而當(dāng)人臉占據(jù)畫(huà)面的較大部分時(shí)，準(zhǔn)確率就會(huì)下降。

另外，在運(yùn)行過(guò)程中，模塊溫度會(huì)明顯升高，因此需要考慮適當(dāng)?shù)纳帷?

可能的因素包括：

代碼中人臉信息采集分辨率設(shè)置為192x192，對(duì)于動(dòng)態(tài)場(chǎng)景可能不夠，限制了模型處理不同人臉大小和表情的能力;相機(jī)分辨率限制;以及處理能力的限制。

改進(jìn)方案：增強(qiáng)硬件計(jì)算能力，實(shí)現(xiàn)冷卻解決方案，擴(kuò)大樣本量，增加訓(xùn)練迭代，完善模型。

注意：如果串口顯示錯(cuò)誤信息error: vipnn not applied，請(qǐng)重新安裝開(kāi)發(fā)板包。

本文編譯自hackster.io