小型AI設(shè)備能檢測作弊嗎?

上周，我收到了一個男人的信息，他擔(dān)心他女朋友出去抽煙時從陽臺發(fā)來的語音留言。他希望有人幫他破解她的WhatsApp，以消除一些疑慮?，F(xiàn)在，我相信感情問題應(yīng)該通過交談來解決，而不是竊聽別人的電話。也就是說，我對為這樣一個荒謬的目的建造一個自主的人工智能小工具的想法很感興趣。

所以，我創(chuàng)建了Guamp應(yīng)用程序(不是一個應(yīng)用程序)——一個概念驗證設(shè)備，它：

?偵測到女友在陽臺上

?記錄她的語音信息

?轉(zhuǎn)錄音頻

?使用人工智能分析內(nèi)容是否聽起來可疑

?將結(jié)果通過電報發(fā)送給男友

硬件

起初，我考慮使用帶有Python的樹莓派。但后來我收到了ESP32S3 AI Cam模塊，它讓我思考：這個小板能處理整個工作嗎?

什么是AI相機(jī)模塊1.0 DFR1154?

這是一個1.5“x1.5”esp32為基礎(chǔ)的板，具有：

一個200萬像素的OV3660寬紅外攝像頭，一個板載I2S PDM麥克風(fēng)，microSD卡插槽，內(nèi)置led和揚聲器輸出放大器。(我沒有微型揚聲器，但我們這個項目不需要。)

一般工作流程

用照片訓(xùn)練機(jī)器學(xué)習(xí)模型，將其部署到相機(jī)上，每隔幾秒鐘拍一張照片，然后運行推理。如果結(jié)果超過了置信閾值，就假定是她。錄制環(huán)境音頻觸發(fā)圖像檢測時開始錄制音頻。

將錄制的音頻發(fā)送到OpenAI的語音到文本API (Whisper)。

分析轉(zhuǎn)錄將文本(加上一些上下文，如名稱)發(fā)送到ChatGPT，查看是否有任何可疑內(nèi)容。

使用機(jī)器人遠(yuǎn)程通知你的男朋友。

計算機(jī)視覺

在我的演示中，我使用了一個通用的人物檢測模型。要復(fù)制它：

下載這個ZIP文件：persondetectioninference . ZIP

在Arduino IDE：去素描>包括庫>添加。zip庫并添加它。

用特定的人物照片訓(xùn)練你自己的模型。這里有一個示例項目展示了這個過程：Alvik機(jī)器人的計算機(jī)視覺

訓(xùn)練后:

移動到Documents/Arduino/libraries/modelFolder/examples

在Arduino IDE中打開示例并編輯標(biāo)題以指向您的模型，例如#include

如果演示運行良好，將相同的include集成到主草圖中：guampAppUpload.ino

軟件設(shè)置

安裝通用電報機(jī)器人庫。

你需要:

OpenAI API密鑰(用于轉(zhuǎn)錄+分析)Telegram bot令牌(用于發(fā)送通知)這里是一個項目指南，解釋如何創(chuàng)建一個Telegram bot并獲得令牌。

軟件配置

使用串行監(jiān)視器調(diào)試工作流程：Wi-Fi連接，人員檢測，錄音，轉(zhuǎn)錄和分析。

外殼

我在Fusion 360中設(shè)計了外殼，并使用Bambu Lab A1 mini PLA打印了它。這是一個用3毫米螺釘固定的2件式外殼，包括一個標(biāo)準(zhǔn)的照片三腳架支架。

最后指出

如果你想改進(jìn)或重新利用這個項目，你可以通過添加一個3.7V電池和一個TP4056充電器使它更小。你還可以使用音頻閾值來記錄完整的對話，而不是固定的時間，并考慮在分析音頻的同時分析照片。

除了起始點(這一點與軼事一樣值得懷疑)之外，它仍然令人著迷的是，一個18美元的模塊可以在本地運行ML模型來檢測人員，記錄和轉(zhuǎn)錄音頻，發(fā)送消息，甚至使用人工智能分析語音。

本文編譯自hackster.io