該項(xiàng)目旨在開(kāi)發(fā)一種設(shè)備，以提高視障游泳者在不熟悉的室內(nèi)游泳池中的安全性。該設(shè)備將使用機(jī)器學(xué)習(xí)來(lái)繪制泳池環(huán)境地圖，實(shí)時(shí)檢測(cè)障礙物，并向游泳者提供音頻反饋。

為了解決視障游泳者在不熟悉的室內(nèi)游泳池中安全航行的問(wèn)題，我將制作一個(gè)配備傳感器(如IMU和攝像頭)的設(shè)備，利用機(jī)器學(xué)習(xí)來(lái)繪制游泳池環(huán)境并檢測(cè)障礙物。它將在兩種模式下運(yùn)行：學(xué)習(xí)模式(用于繪制地圖)和游泳模式(通過(guò)音頻反饋進(jìn)行實(shí)時(shí)導(dǎo)航)。

該解決方案與現(xiàn)有的解決方案不同，它結(jié)合了池映射、實(shí)時(shí)障礙物檢測(cè)和個(gè)性化音頻反饋。它更能適應(yīng)不同的泳池環(huán)境和游泳者的喜好。

這個(gè)裝置很有用，因?yàn)樗岣吡艘曊嫌斡菊叩陌踩院酮?dú)立性，使他們能夠自信地在不熟悉的游泳池中航行，享受充實(shí)的游泳體驗(yàn)。

詳細(xì)的解決方案和PSoC?6 AI開(kāi)發(fā)套件集成

我的解決方案采用了多方面的方法來(lái)指導(dǎo)視力受損的游泳者。我認(rèn)為主要特點(diǎn)是：

泳池測(cè)繪(學(xué)習(xí)模式)：一名視力正常的助手，使用連接在沖浪板上的設(shè)備，將沿著泳池的周邊移動(dòng)，允許攝像頭、IMU和雷達(dá)傳感器捕捉視覺(jué)和運(yùn)動(dòng)數(shù)據(jù)。這些數(shù)據(jù)將用于訓(xùn)練機(jī)器學(xué)習(xí)模型，創(chuàng)建游泳池布局的數(shù)字地圖，包括墻壁和車(chē)道線。

實(shí)時(shí)指導(dǎo)(游泳模式)：游泳者將握住設(shè)備(可能集成到可穿戴設(shè)備中)。相機(jī)將持續(xù)捕捉圖像，并將其輸入訓(xùn)練好的ML模型以進(jìn)行對(duì)象檢測(cè)。IMU和雷達(dá)將跟蹤游泳者的動(dòng)作和方向。

音頻反饋：基于ML模型的分析和攝像頭、IMU和雷達(dá)數(shù)據(jù)，該設(shè)備將向游泳者提供實(shí)時(shí)音頻反饋。這將包括關(guān)于靠近墻壁、車(chē)道邊界和潛在障礙物的提示。不同的音頻信號(hào)將指示所需行動(dòng)的方向和緊迫性。

碰撞檢測(cè)：碰撞檢測(cè)功能將提供額外的安全層，如果設(shè)備(因此游泳者)與物體碰撞，將立即觸發(fā)警報(bào)。

PSoC?6 AI開(kāi)發(fā)套件將有助于我的解決方案，因?yàn)樗哂袕?qiáng)大的功能和多功能性：

機(jī)器學(xué)習(xí)加速：該套件的專(zhuān)用AI功能將使訓(xùn)練有素的機(jī)器學(xué)習(xí)模型能夠在Swim模式下進(jìn)行實(shí)時(shí)對(duì)象檢測(cè)和分類(lèi)。

傳感器集成：該套件的眾多外設(shè)和接口將促進(jìn)與相機(jī)，IMU和其他傳感器的無(wú)縫集成，確保準(zhǔn)確的數(shù)據(jù)收集和處理。

低功耗運(yùn)行：該套件的低功耗特性對(duì)于延長(zhǎng)電池壽命至關(guān)重要，可以在不頻繁充電的情況下進(jìn)行更長(zhǎng)時(shí)間的游泳。

音頻處理：該套件的音頻處理能力可以用來(lái)生成和輸出游泳者指導(dǎo)所需的各種音頻線索。

可定制設(shè)計(jì)：該套件的靈活性將允許定制硬件和軟件，以滿足游泳輔助的特定要求，優(yōu)化性能和用戶體驗(yàn)。

我正在探索使用PSoC?6 AI開(kāi)發(fā)套件的潛力，以創(chuàng)建一個(gè)創(chuàng)新的解決方案，提高視障游泳者的安全性和獨(dú)立性。該設(shè)備可以利用先進(jìn)的技術(shù)，如機(jī)器學(xué)習(xí)和傳感器融合，為游泳者提供實(shí)時(shí)反饋和指導(dǎo)，提醒他們潛在的危險(xiǎn)，協(xié)助導(dǎo)航，并優(yōu)化他們的游泳技術(shù)。

開(kāi)發(fā)的組件和工具

結(jié)合PSoC?6 AI Kit(包括板載傳感器)、Deepcraft Studio和ModusToolbox，我打算利用安富利的IoTConnect平臺(tái)。我對(duì)PSoC 6 AI評(píng)估套件與安富利IoTConnect平臺(tái)集成的潛力很感興趣。我渴望探索這種集成如何促進(jìn)云連接、數(shù)據(jù)可視化和邊緣人工智能應(yīng)用程序的遠(yuǎn)程監(jiān)控。

培訓(xùn)數(shù)據(jù)收集

訓(xùn)練數(shù)據(jù)將由在學(xué)習(xí)模式下捕獲的傳感器數(shù)據(jù)組成。這包括雷達(dá)數(shù)據(jù)：加速計(jì)和陀螺儀讀數(shù)捕捉設(shè)備的運(yùn)動(dòng)和方向，因?yàn)樗灰龑?dǎo)沿著池的周長(zhǎng)。這些數(shù)據(jù)將用于訓(xùn)練機(jī)器學(xué)習(xí)模型，以便在游泳模式下識(shí)別和分類(lèi)這些特征，從而為游泳者提供準(zhǔn)確和實(shí)時(shí)的障礙物檢測(cè)和指導(dǎo)。

機(jī)器學(xué)習(xí)推理將如何使用

確定與障礙物的距離：通過(guò)分析檢測(cè)到的物體(墻壁、車(chē)道線)及其與游泳者的距離，該設(shè)備可以評(píng)估游泳者與潛在碰撞的距離。生成音頻反饋：根據(jù)障礙物的距離和類(lèi)型，該設(shè)備將觸發(fā)特定的音頻提示，如蜂鳴聲、音調(diào)或語(yǔ)音提示，以指導(dǎo)游泳者。引導(dǎo)游泳者：音頻反饋將告知游泳者采取必要的行動(dòng)，例如改變方向，減速或停止，以避開(kāi)障礙物并安全航行。

開(kāi)發(fā)的組件和工具

將使用到以下組件和工具：

?PSoC 6 AI評(píng)估套件(CY8CKIT-062S2-AI

?ModusToolbox軟件v3.2或更高版本

?DEEPCRAFT Studio -邊緣設(shè)備上的人工智能/機(jī)器學(xué)習(xí)開(kāi)發(fā)平臺(tái)。注意：DEEPCRAFT工作室僅適用于Windows操作系統(tǒng)

?DEEPCRAFT就緒模型-生產(chǎn)就緒的AI /機(jī)器學(xué)習(xí)模型

?安富利iot連接英飛凌的模塊工具箱和框架。

?PSOC 6人工智能評(píng)估工具包

?PSoC?6 MCU - CY8C624ABZI-S2D44

?村田L(fēng)BEE5KL1YN模塊和基于AIROC CYW43439的藍(lán)牙®功能

?512 Mbit外部四路SPI NOR閃存，為數(shù)據(jù)和代碼提供快速、可擴(kuò)展的內(nèi)存

?用于PSoC?6 MCU的兩個(gè)用戶led，一個(gè)用戶按鈕和一個(gè)復(fù)位按鈕

機(jī)載傳感器：

?6軸運(yùn)動(dòng)傳感器BMI270

?磁力儀(BMM350)

?高性能數(shù)字MEMS麥克風(fēng)(IM72D128)

?氣壓傳感器(DPS368)

?雷達(dá)傳感器(BGT60TR13C)

調(diào)試代碼:

KitProg3板載SWD編程器/調(diào)試器，具有USB-UART和USB-I2C橋功能。一個(gè)模式選擇按鈕和一個(gè)狀態(tài)LED為KitProg3

電源:

PSoC?6 MCU 1.8 V和3.3 V工作

使用ModusToolbox， DEEPCRAFT Studio和安富利的IoTConnect開(kāi)發(fā)代碼

開(kāi)發(fā)與PSoC 6 AI：資源和指導(dǎo)

本次網(wǎng)絡(luò)研討會(huì)將深入探討端到端機(jī)器學(xué)習(xí)(ML)模型的開(kāi)發(fā)過(guò)程，采用業(yè)界領(lǐng)先的PSOC?6 AI套件和英飛凌的AI/ML軟件，并由英飛凌的Clark Jarvis介紹

探索可用的代碼示例(ML示例)

使用KitProg3板上調(diào)試器直接調(diào)試開(kāi)發(fā)代碼

通過(guò)使用ModusToolbox中的IoTConnect庫(kù)，使用安富利的IoTConnect軟件

測(cè)試IoTConnect儀表板，以便輕松可視化DEEPCRAFT就緒模型，尚未在網(wǎng)絡(luò)研討會(huì)中演示。

通過(guò)回顧和跟蹤演示，從提供的網(wǎng)絡(luò)研討會(huì)的38分鐘開(kāi)始，我獲得了開(kāi)始實(shí)施AquaGuide項(xiàng)目的必要技能。這包括學(xué)習(xí)如何利用PSoC 6 AI評(píng)估工具包、ModusToolbox和DEEPCRAFT Studio為邊緣設(shè)備開(kāi)發(fā)和部署機(jī)器學(xué)習(xí)模型，特別是在傳感器數(shù)據(jù)處理和實(shí)時(shí)推理的背景下。這種親身實(shí)踐的學(xué)習(xí)方法使我能夠理解開(kāi)發(fā)工具的工作流程和功能，然后我將其應(yīng)用于為視力受損的游泳者創(chuàng)建導(dǎo)航輔助設(shè)備的特定需求。隨后的部分將詳細(xì)介紹具體的實(shí)現(xiàn)步驟，以及如何將這些學(xué)到的技能應(yīng)用于構(gòu)建AquaGuide設(shè)備。

本文編譯自hackster.io