在本文中，我們將看到關(guān)于DFRobot ESP32-S3 AI相機(jī)模塊

DFRobot ESP32-S3-AI- camera是一款基于強(qiáng)大的ESP32-S3芯片的高性能智能攝像頭模塊，專為高級(jí)AI、視頻處理和語(yǔ)音交互應(yīng)用而設(shè)計(jì)。它具有一個(gè)用于夜視的OV3660 300萬(wàn)廣角紅外攝像頭，一個(gè)用于語(yǔ)音命令和音頻輸出的機(jī)載麥克風(fēng)和揚(yáng)聲器，8MB PSRAM用于要求苛刻的AI模型和圖像緩沖，并支持Wi-Fi和藍(lán)牙5.0 (BLE)連接。該模塊非常適合邊緣AI應(yīng)用，如圖像識(shí)別(YOLO, edge Impulse, OpenCV)，語(yǔ)音助手(甚至與ChatGPT集成)，智能家居設(shè)備和先進(jìn)的監(jiān)控系統(tǒng)，在緊湊的外形中提供豐富的功能。

設(shè)備帶有以下組件

ESP32-S3 AI Camera是一款基于高性能ESP32-S3芯片的尖端智能攝像頭模塊，旨在實(shí)現(xiàn)高效的視頻處理、邊緣AI和語(yǔ)音交互。它具有廣角紅外攝像頭，板載麥克風(fēng)和揚(yáng)聲器，非常適合電子窺視孔，嬰兒監(jiān)視器和車牌識(shí)別等應(yīng)用。

人工智能助手

憑借強(qiáng)大的人工智能處理能力，它無(wú)縫集成到物聯(lián)網(wǎng)生態(tài)系統(tǒng)中，通過(guò)Wi-Fi連接支持邊緣圖像識(shí)別和在線人工智能模型交互，使其成為物聯(lián)網(wǎng)應(yīng)用的重要組成部分，從安全監(jiān)控到人工智能助手。

ESP32-S3 AI相機(jī)的主要特性

?處理器：Xtensa®雙核32位LX7微處理器，240 MHz

?內(nèi)置OV3660 300萬(wàn)像素?cái)z像頭。

?16mb閃存，8MB PSRAM平滑圖像捕獲

?機(jī)載麥克風(fēng)和工具包配有揚(yáng)聲器

?USB: USB 2.0 OTG全速接口

?SD卡插槽

?ALS: lr -308環(huán)境光傳感器

?4個(gè)LED用于IR：紅外線照明

相機(jī)規(guī)格

ESP32-S3 AI camera上的廣角紅外攝像頭，結(jié)合紅外照明和光傳感器，即使在低光或完全黑暗的情況下，也能確保出色的圖像清晰度。無(wú)論白天還是夜晚，ESP32-S3 AI Camera都能保證監(jiān)控畫(huà)面的穩(wěn)定性和清晰度，為安防和監(jiān)控系統(tǒng)提供可靠的支持。

?傳感器型號(hào)：OV3660

?像素：300萬(wàn)像素

?靈敏度：可見(jiàn)光，940nm紅外線

?視野：160°

?焦距：0.95

?光圈:2.0

?失真:< 8%

這都是關(guān)于這個(gè)很棒的硬件。你可以在它的維基頁(yè)面上了解更多。他們解釋了詳細(xì)的細(xì)節(jié)，功能，規(guī)格，引腳，入門(mén)指南等。

DFRobot ESP32-S3-AI-Camera vs AI Thinker ESP32-CAM

有幾種基于ESP32的相機(jī)板可供選擇。你可能已經(jīng)使用了AI思考者ESP32-CAM模塊。

那么DFRobot ESP32-S3-AI-Camera和AI Thinker ESP32-CAM有什么區(qū)別呢?讓我們簡(jiǎn)單地比較一下這兩個(gè)模塊

我們可以看到，這些模塊之間有幾個(gè)不同點(diǎn)

與AI Thinker ESP32-CAM相比，DFRobot ESP32-S3-AI-CAM具有幾個(gè)關(guān)鍵優(yōu)勢(shì)，使其更適合高級(jí)和用戶友好的應(yīng)用。

?它具有更強(qiáng)大的ESP32-S3芯片，內(nèi)置用于AI加速的矢量指令，

?8?MB板載PSRAM和16?MB閃存，支持復(fù)雜的邊緣計(jì)算任務(wù)。

?與AI思考者板不同，它包括一個(gè)具有紅外功能的廣角OV3660攝像頭，用于夜視

?機(jī)載麥克風(fēng)和揚(yáng)聲器用于音頻交互，以及USB-C端口，無(wú)需外部FTDI即可輕松開(kāi)發(fā)。即插即用包

?BLE 5.0

雖然DFRobot ESP32-S3-AI-CAM功能豐富，但我發(fā)現(xiàn)了一個(gè)可能影響某些項(xiàng)目類型的限制。

它缺乏標(biāo)準(zhǔn)的暴露GPIO頭，這極大地限制了與外部傳感器，繼電器或定制硬件的接口能力-不像AI Thinker ESP32-CAM，它提供了多個(gè)可訪問(wèn)的GPIO墊。

如何開(kāi)始使用DFRobot ESP32-S3-AI-CAM

開(kāi)始使用DFRobot ESP32-S3-AI-CAM涉及幾個(gè)關(guān)鍵步驟，主要側(cè)重于設(shè)置開(kāi)發(fā)環(huán)境，然后上傳示例代碼。最常見(jiàn)的編程方式是使用Arduino IDE，但MicroPython和ESP-IDF也是一種選擇。

以下是對(duì)一般流程的簡(jiǎn)要概述：

安裝Arduino IDE：如果您還沒(méi)有安裝，請(qǐng)從Arduino官方網(wǎng)站下載并安裝最新版本的Arduino IDE。

添加ESP32板管理器URL：在Arduino IDE中，轉(zhuǎn)到File > Preferences并將ESP32板管理器URL添加到“附加板管理器URL”字段。

安裝ESP32- s3單板軟件包：進(jìn)入Tools > Board > Boards Manager目錄，搜索“ESP32”，安裝最新版本的“ESP32”軟件包。該包包括對(duì)ESP32-S3的支持。

選擇板：安裝后，轉(zhuǎn)到Tools > Board，導(dǎo)航到ESP32 Arduino部分，并選擇“ESP32S3 Dev Module”(或類似的ESP32- s3板，具有8MB PSRAM，具體取決于特定的軟件包版本和板的確切名稱)。

配置板設(shè)置：至關(guān)重要的是，您需要在Tools下設(shè)置一些板選項(xiàng)：

USB CDC On Boot：如果您想使用USB Type-C端口進(jìn)行串行通信(打印到串行監(jiān)視器)，請(qǐng)將此設(shè)置為Enabled。

分區(qū)方案：選擇合適的分區(qū)方案，通常包括支持8MB PSRAM的分區(qū)方案(例如，“巨大的應(yīng)用程序(3MB No OTA/1MB SPIFFS)”或類似的分區(qū)方案，具體取決于確切的固件和示例)。PSRAM配置至關(guān)重要，通常需要“OPI PSRAM”模式。您也可以將其保留為默認(rèn)值。

PSRAM(偽靜態(tài)RAM)通過(guò)在芯片有限的內(nèi)部SRAM之外提供額外的高速內(nèi)存，為基于esp32的應(yīng)用程序提供了顯著的優(yōu)勢(shì)。它可以處理高分辨率圖像緩沖、視頻流、運(yùn)行機(jī)器學(xué)習(xí)模型以及實(shí)時(shí)處理大型音頻或傳感器數(shù)據(jù)等內(nèi)存密集型任務(wù)。如果沒(méi)有PSRAM，這些應(yīng)用程序?qū)⒂捎趦?nèi)存短缺而崩潰或性能不佳。

在ESP32-S3-AI-Camera等板中，8?MB板載PSRAM允許順利執(zhí)行AI推理，來(lái)自相機(jī)的幀緩沖，以及使用復(fù)雜的庫(kù)，如TensorFlow Lite或ESP-DSP，使其成為高級(jí)邊緣計(jì)算和多媒體任務(wù)的必要條件。

我們選擇的PSRAM設(shè)置為-“OPI PSRAM”

連接主板：使用USB Type-C電纜將DFRobot ESP32-S3-AI-Camera模塊連接到計(jì)算機(jī)。確認(rèn)您選擇了正確的單板——ESP32-S3 Dev Module

選擇端口：進(jìn)入Tools > Port，選擇ESP32-S3-AI-Camera對(duì)應(yīng)的COM端口

示例代碼-

該DFRobot ESP32- s3 - ai - cam板有一些特定的引腳定義和配置，因此我們需要修改ESP32內(nèi)核中的CameraWebServer代碼。

加載示例代碼：從簡(jiǎn)單的示例開(kāi)始，以確認(rèn)一切正常。一個(gè)常見(jiàn)的起點(diǎn)是CameraWebServer示例，它允許您通過(guò)Wi-Fi從相機(jī)流式傳輸視頻。

進(jìn)入“File > Examples > ESP32 > Camera > CameraWebServer”目錄。

一旦從Arduino IDE加載了CameraWebServer的示例。下面的附件部分給出了代碼。復(fù)制該代碼并替換為默認(rèn)的CameraWebServer代碼。您也可以轉(zhuǎn)到我們的存儲(chǔ)庫(kù)。在那里，您將獲得完整的項(xiàng)目源代碼文件夾。

在代碼中，你需要輸入你的WiFi證書(shū)

一旦輸入你的WiFI證書(shū)。然后點(diǎn)擊“上傳”按鈕。(可選-如果代碼沒(méi)有上傳或任何上傳錯(cuò)誤發(fā)生-在上傳期間，您可能需要在連接/重置時(shí)按下板上的“BOOT”按鈕，按照DFRobot的說(shuō)明，將其置于閃爍模式。)

監(jiān)視器串行輸出：以115200的波特率(或示例代碼中指定的波特率)打開(kāi)串行監(jiān)視器(Tools > Serial Monitor)。在代碼上傳和電路板重置之后，它應(yīng)該打印IP地址，您可以使用該IP地址在web瀏覽器中訪問(wèn)攝像機(jī)流。

打開(kāi)任何網(wǎng)頁(yè)瀏覽器并進(jìn)入上述IP地址。請(qǐng)注意，根據(jù)您的網(wǎng)絡(luò)DHCP設(shè)置，IP可能會(huì)有所不同。您將在串行監(jiān)視器上看到您的CameraWebServer IP地址。

DFRobot在其wiki頁(yè)面上為ESP32-S3-AI-Camera提供了廣泛的文檔和示例代碼，涵蓋基本設(shè)置，相機(jī)流，音頻功能和更高級(jí)的AI應(yīng)用程序(Edge Impulse, YOLOv5， ChatGPT集成)。強(qiáng)烈建議您參考其官方wiki，以獲取您的模塊的最新和具體說(shuō)明。

項(xiàng)目

我們也用這個(gè)ESP32-S3 AI Camera Module做了一個(gè)項(xiàng)目。這個(gè)項(xiàng)目是關(guān)于“使用DFRobot的ESP32-S3 AI Cam & Gemini API的AI- powered ANPR”。你也可以觀看它的演示

本文編譯自hackster.io