智能監(jiān)控：自動(dòng)車牌識(shí)別系統(tǒng)，用于智能交通和安全系統(tǒng)，具有實(shí)時(shí)車輛洞察

什么是ANPR系統(tǒng)

自動(dòng)車牌識(shí)別(ANPR)系統(tǒng)是一種使用專用攝像頭和軟件從圖像或視頻流中自動(dòng)檢測(cè)、讀取和記錄車輛車牌的技術(shù)。

它的工作原理是：捕獲印版圖像，對(duì)其進(jìn)行處理以隔離印版區(qū)域，然后應(yīng)用光學(xué)字符識(shí)別(OCR)將印版字符圖像轉(zhuǎn)換為數(shù)字文本數(shù)據(jù)。這些數(shù)據(jù)通常用于執(zhí)法(識(shí)別被盜車輛或交通違規(guī))、收費(fèi)、停車管理、交通監(jiān)控和安全區(qū)域的訪問(wèn)控制等應(yīng)用。

世界各地的汽車牌照

世界各地的汽車牌照差異很大，反映了政府法規(guī)、用途和設(shè)計(jì)美學(xué)的差異。一般來(lái)說(shuō)，車牌可以根據(jù)功能分為幾種類型：私人車輛號(hào)牌、商業(yè)號(hào)牌、外交號(hào)牌、軍用號(hào)牌和臨時(shí)或過(guò)境號(hào)牌。在許多國(guó)家，出租車、出租車輛、警察和公共交通工具都有專用車牌。它們通常在背景顏色、字母數(shù)字格式、前綴或符號(hào)方面有所不同。

例如，在印度，私家車使用白色背景和黑色字母，而商用車輛使用黃色車牌和黑色文字。同樣，在英國(guó)，外交車牌有一個(gè)明顯的“D”或大使館代碼，而在美國(guó)，軍用車牌通常帶有各自武裝部隊(duì)的標(biāo)志。

在設(shè)計(jì)方面，盤子的形狀、大小和字體各不相同。歐盟國(guó)家通常使用左邊有藍(lán)色歐盟帶的標(biāo)準(zhǔn)化車牌，而北美車牌則更加多樣化，通常包括州/省名稱和獨(dú)特的圖形元素。像日本這樣的一些國(guó)家使用漢字和彩色車牌來(lái)指示車輛類別和發(fā)動(dòng)機(jī)大小。

此外，隨著科技的興起，一些地區(qū)已經(jīng)開始試驗(yàn)數(shù)字車牌，這些車牌可以電子更新，并可以集成跟蹤或防盜功能。這些全球性的變化使得車牌識(shí)別系統(tǒng)在計(jì)算機(jī)視覺(jué)領(lǐng)域尤其具有挑戰(zhàn)性和吸引力。

項(xiàng)目的靈感

你有沒(méi)有想過(guò)，一個(gè)口袋大小的設(shè)備是否可以識(shí)別汽車號(hào)牌并將結(jié)果發(fā)送到云端?隨著邊緣計(jì)算和AI api(如Gemini)的蓬勃發(fā)展，現(xiàn)在可以在沒(méi)有繁重GPU設(shè)置的情況下構(gòu)建ANPR系統(tǒng)。我想將谷歌的Gemini AI的強(qiáng)大功能與DFRobot的緊湊型ESP32-S3 AI相機(jī)模塊結(jié)合起來(lái)，構(gòu)建一個(gè)便攜式、低成本、實(shí)時(shí)的車牌檢測(cè)系統(tǒng)。

現(xiàn)有的技術(shù)

在深入研究之前，讓我們看看傳統(tǒng)的ANPR系統(tǒng)是如何工作的：

我們這個(gè)項(xiàng)目的實(shí)現(xiàn)屬于最后一類-邊緣相機(jī)+云AI，在成本，可移植性和性能方面取得了很好的平衡。

介紹

該項(xiàng)目采用DFRobot的ESP32-S3 AI攝像頭模塊和谷歌Gemini Vision API，是一款智能、經(jīng)濟(jì)高效的自動(dòng)車牌識(shí)別(ANPR)系統(tǒng)。它捕獲車輛圖像，使用基于云的人工智能處理它們，并可選擇將識(shí)別的車牌數(shù)據(jù)與時(shí)間戳和Base64圖像一起發(fā)送到Firebase。

與傳統(tǒng)的樹莓派或繁重的Linux環(huán)境不同，它使用一個(gè)支持?jǐn)z像頭的微控制器，幾乎可以在邊緣運(yùn)行所有東西。

我非常感謝DFRobot為我提供了他們出色的硬件，并支持我的項(xiàng)目構(gòu)想與ESP32-S3 AI相機(jī)模塊

現(xiàn)在讓我們?cè)敿?xì)看看項(xiàng)目的實(shí)現(xiàn)。

硬件

在這個(gè)項(xiàng)目中，我們將使用以下設(shè)備——ESP32-S3 AI Camera Module

ESP32-S3 AI攝像頭模塊-(視頻由DFRobot提供和提供)

設(shè)備帶有以下組件

ESP32-S3 AI Camera是一款基于高性能ESP32-S3芯片的尖端智能攝像頭模塊，旨在實(shí)現(xiàn)高效的視頻處理、邊緣AI和語(yǔ)音交互。它具有廣角紅外攝像頭，板載麥克風(fēng)和揚(yáng)聲器，非常適合電子窺視孔，嬰兒監(jiān)視器和車牌識(shí)別等應(yīng)用。

人工智能助手

憑借強(qiáng)大的人工智能處理能力，它無(wú)縫集成到物聯(lián)網(wǎng)生態(tài)系統(tǒng)中，通過(guò)Wi-Fi連接支持邊緣圖像識(shí)別和在線人工智能模型交互，使其成為物聯(lián)網(wǎng)應(yīng)用的重要組成部分，從安全監(jiān)控到人工智能助手。

ESP32-S3 AI攝像頭模塊主要特性

?處理器：Xtensa®雙核32位LX7微處理器，240 MHz

?內(nèi)置OV3660 300萬(wàn)像素?cái)z像頭。

?16mb閃存，8MB PSRAM平滑圖像捕獲

?機(jī)載麥克風(fēng)和工具包配有揚(yáng)聲器

?USB: USB 2.0 OTG全速接口

?SD卡插槽

?ALS: lr -308環(huán)境光傳感器

?4個(gè)LED用于IR：紅外線照明

相機(jī)規(guī)格

ESP32-S3 AI camera上的廣角紅外攝像頭，結(jié)合紅外照明和光傳感器，即使在低光或完全黑暗的情況下，也能確保出色的圖像清晰度。無(wú)論白天還是夜晚，ESP32-S3 AI Camera都能保證監(jiān)控畫面的穩(wěn)定性和清晰度，為安防和監(jiān)控系統(tǒng)提供可靠的支持。

?傳感器型號(hào)：OV3660

?像素：300萬(wàn)像素

?靈敏度：可見光，940nm紅外線

?視野：160°

?焦距：0.95

?光圈:2.0

?失真:< 8%

這都是關(guān)于這個(gè)很棒的硬件。你可以在它的維基頁(yè)面上了解更多。他們解釋了詳細(xì)的細(xì)節(jié)，功能，規(guī)格，引腳，入門指南等。

開始使用DFRobot ESP32-S3 AI相機(jī)

查看我們?cè)贖ackster上的博客文章，了解有關(guān)ESP32-S3 AI相機(jī)模塊的更多信息。

項(xiàng)目如何運(yùn)作

現(xiàn)在讓我們看看這個(gè)項(xiàng)目是如何運(yùn)作的。以下是重要的步驟

?捕獲：ESP32-S3使用板載OV3660傳感器捕獲圖像。

?Encode：將圖像轉(zhuǎn)換為Base64格式。

?AI檢測(cè)：向Gemini Vision API發(fā)送請(qǐng)求，檢測(cè)并提取車牌號(hào)碼。

?驗(yàn)證：邏輯濾波和驗(yàn)證輸出，以確保板的質(zhì)量。

?存儲(chǔ)(可選)：將結(jié)果與日期/時(shí)間和圖像一起推送到Firebase Realtime DB。

?重復(fù)：每20秒周期性運(yùn)行一次。

在這個(gè)項(xiàng)目中，ESP32-S3 AI攝像頭捕獲車輛圖像并將其轉(zhuǎn)換為base64編碼的字符串，然后將其嵌入到JSON有效載荷中，并伴有請(qǐng)求提取車牌的自然語(yǔ)言提示。此有效負(fù)載通過(guò)HTTP POST請(qǐng)求發(fā)送到b谷歌的Gemini API (generateContent端點(diǎn))。Gemini API處理圖像并返回json格式的響應(yīng)，其中提取的車牌(或相關(guān)消息)在嵌套的文本字段中找到。ESP32然后使用ArduinoJson解析這個(gè)JSON響應(yīng)，提取純文本號(hào)牌，如果有效，將其記錄下來(lái)或?qū)⑵浒l(fā)送到Firebase進(jìn)行存儲(chǔ)和進(jìn)一步監(jiān)控。

軟件

在這個(gè)項(xiàng)目中，我們需要以下軟件組件-

?Arduino IDE(帶ESP32板包)

?用于圖像理解的Gemini Vision API

?Firebase實(shí)時(shí)數(shù)據(jù)庫(kù)(可選)

圖書館使用:

?Wi-Fi - Wi-Fi連接

?h - REST API通信

?ArduinoJson.h - JSON解析

?esp_camera.h -攝像頭接口

?time.h -通過(guò)NTP同步日期和時(shí)間

獲得Gemini API密鑰

為什么我們需要Gemini API ?

Gemini API是自動(dòng)車牌識(shí)別(ANPR)系統(tǒng)的智能核心。雖然ESP32-S3 AI相機(jī)可以捕獲高質(zhì)量的圖像，但它缺乏準(zhǔn)確執(zhí)行光學(xué)字符識(shí)別(OCR)和解釋復(fù)雜圖像數(shù)據(jù)所需的計(jì)算能力和深度學(xué)習(xí)模型。Gemini通過(guò)使用其強(qiáng)大的多模式功能來(lái)分析圖像、理解內(nèi)容和提取車牌文本，填補(bǔ)了這一空白。與傳統(tǒng)的OCR庫(kù)不同，Gemini利用先進(jìn)的視覺(jué)語(yǔ)言模型健壯而靈活地執(zhí)行這項(xiàng)任務(wù)——所有這些都來(lái)自一個(gè)簡(jiǎn)單的API請(qǐng)求。它只需一個(gè)HTTP調(diào)用就可以將原始圖像轉(zhuǎn)換為可操作的洞察(車牌)，使其成為低功耗邊緣設(shè)備的理想選擇。

Firebase實(shí)時(shí)數(shù)據(jù)庫(kù)

為什么我們需要Firebase實(shí)時(shí)數(shù)據(jù)庫(kù)?

Firebase實(shí)時(shí)數(shù)據(jù)庫(kù)作為一個(gè)安全的、基于云的存儲(chǔ)系統(tǒng)，用于記錄和監(jiān)控檢測(cè)到的車牌以及相關(guān)的時(shí)間戳和圖像。由于ESP32是一種瞬時(shí)設(shè)備，板載內(nèi)存有限，沒(méi)有持久存儲(chǔ)，因此Firebase可以確保保留有價(jià)值的檢測(cè)數(shù)據(jù)，以供將來(lái)參考、分析或警報(bào)系統(tǒng)使用。它允許多個(gè)利益相關(guān)者(如管理員、安全人員或應(yīng)用程序)從任何地方實(shí)時(shí)訪問(wèn)數(shù)據(jù)。此外，F(xiàn)irebase與其他谷歌服務(wù)無(wú)縫集成，并提供可擴(kuò)展性，使其成為在智能停車、訪問(wèn)控制或監(jiān)視場(chǎng)景中部署該項(xiàng)目的理想后端。

代碼

一旦你得到Gemini API Key和Firebase數(shù)據(jù)庫(kù)(Realtime)的URL，然后將它們輸入到代碼中。

你還需要輸入你的WiFi證書。

對(duì)于Firebase數(shù)據(jù)庫(kù)實(shí)現(xiàn)-我們將其保留為可選的。

如果不想使用Database，可以將上述定義設(shè)置為false。

如果您使用谷歌Firebase Database -那么不要忘記輸入正確的URL

在上面的URL中不要忘記添加data.json

在Firebase實(shí)時(shí)數(shù)據(jù)庫(kù)中，只有在通過(guò)REST API訪問(wèn)數(shù)據(jù)庫(kù)時(shí)才需要URL末尾的.json，這正是ESP32使用HTTPClient所做的。這是在你的臺(tái)詞里的意思：

Data指的是要在數(shù)據(jù)庫(kù)中存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)或路徑。您可以輸入任何名稱。例如：numberplate。Json或車牌。json等

.json是Firebase REST API指定發(fā)送或接收json格式數(shù)據(jù)所必需的。

這個(gè)URL告訴Firebase：

“訪問(wèn)數(shù)據(jù)庫(kù)根節(jié)點(diǎn)中的數(shù)據(jù)，并將請(qǐng)求體視為JSON?！?

NTP定時(shí)設(shè)置

以上代碼以秒為單位設(shè)置與GMT/UTC的時(shí)區(qū)偏移量。值為0表示您正在使用GMT/UTC時(shí)間(沒(méi)有偏移)。

所以對(duì)于印度，我們遵循印度標(biāo)準(zhǔn)時(shí)間(IST)，即UTC +5小時(shí)30分鐘。

所以把它設(shè)為印度，把5小時(shí)30分鐘換算成秒：

這確保您的ESP32將同步并顯示正確的當(dāng)?shù)貢r(shí)間為印度時(shí)，使用NTP服務(wù)器。

代碼的解釋

項(xiàng)目代碼運(yùn)行在DFRobot ESP32-S3 AI Camera模塊上，并使用谷歌的Gemini API執(zhí)行自動(dòng)車牌識(shí)別(ANPR)。它首先連接到Wi-Fi，并通過(guò)NTP同步實(shí)時(shí)時(shí)鐘。相機(jī)用正確的GPIO引腳初始化，并定期捕獲圖像

每個(gè)圖像都是base64編碼的，并作為HTTP POST請(qǐng)求的一部分發(fā)送給Gemini API，并提示它檢測(cè)車輛的車牌。

響應(yīng)從JSON中解析，如果提取出有效的車牌號(hào)，代碼將檢測(cè)時(shí)間和車牌號(hào)記錄到串行監(jiān)視器中。如果啟用了Firebase集成，結(jié)果(車牌號(hào)碼、時(shí)間戳和圖像)也會(huì)發(fā)送到Firebase實(shí)時(shí)數(shù)據(jù)庫(kù)。這為實(shí)時(shí)車輛監(jiān)控和記錄創(chuàng)造了一個(gè)緊湊但智能的邊緣人工智能管道。

當(dāng)ESP32使用generateContent端點(diǎn)(例如，對(duì)于模型Gemini -2.0-flash)向Gemini API發(fā)送圖像和提示時(shí)，返回的響應(yīng)是JSON格式的。

但是，您感興趣的實(shí)際車牌文本(或任何ai生成的響應(yīng))都嵌入在特定字段下的JSON中。以下是一個(gè)示例回復(fù)格式：

在ESP32上，我們：

從http.getString()獲取字符串形式的響應(yīng);

使用ArduinoJson解析它

使用以下命令提取有用的文本值：

因此我們的最后

響應(yīng)是JSON

號(hào)牌是嵌套在JSON中的純文本字符串

項(xiàng)目演示

如下圖所示，系統(tǒng)正確檢測(cè)到車牌號(hào)/車牌

在firebase實(shí)時(shí)數(shù)據(jù)庫(kù)中，我們使用時(shí)間戳獲取車牌號(hào)

項(xiàng)目的潛在應(yīng)用

有幾個(gè)地方/領(lǐng)域可以使用這個(gè)項(xiàng)目

?智能停車系統(tǒng)

?執(zhí)法和交通監(jiān)控

?出入口自動(dòng)化

?住宅智能監(jiān)控

?車隊(duì)管理系統(tǒng)

?AI 驅(qū)動(dòng)的邊緣圖像測(cè)試平臺(tái)

未來(lái)的改進(jìn)

在未來(lái)，我想升級(jí)這個(gè)項(xiàng)目與車庫(kù)門打開器的下一個(gè)應(yīng)用。但這塊板沒(méi)有分離引腳接口。因此，我們必須使用帶有MQTT接口的另一個(gè)ESP32板。

本文編譯自hackster.io