1. 引言

第七次人口普查公報[1]結果顯示，全國人口中65歲及以上人口為190,635,280人，占總人口數(shù)的13.50%，其中65歲以上的獨居老人人口總數(shù)為1988萬人，占65歲以上老人總數(shù)的10.43%。65歲以上老年人的前4大死亡原因分別是呼吸系統(tǒng)疾病、循環(huán)系統(tǒng)疾病、腫瘤和意外傷害[2]，而獨居老人在面對上述各種疾病或意外傷害時具有更高的死亡率[3]，這說明獨居老人具有更大的健康風險。同時由于老年人生理機能變化，活動量減少，行動不便，缺乏照顧，他們發(fā)生意外傷害的可能性隨年齡的增長而不斷上升，研究表明意外跌倒是我國老年人意外死亡的第一因素[4]，當獨居老人發(fā)生意外跌倒時，若無法及時得到救助，可能危及生命，導致悲劇的發(fā)生。

本文設計的面向獨居老人的智能居家監(jiān)護系統(tǒng)可以通過語音識別聯(lián)動服務機器人實現(xiàn)對老人的需求做出相應反應；還能采用基于毫米波雷達點云數(shù)據(jù)的深度學習方式檢測老人的姿態(tài)，并聯(lián)動服務機器人；在出現(xiàn)老人摔倒或呼救等危險情況時，系統(tǒng)會及時通過前端交互界面給家人發(fā)送警報，同時機器人能夠自動導航至老人所在房間，提供應急服務。該系統(tǒng)實現(xiàn)具體包含了五個功能模塊：云端服務器模塊、語音識別模塊、姿態(tài)檢測模塊、機器人聯(lián)動服務模塊、前端交互模塊。

1.1. 研究現(xiàn)狀

隨著第四次科技革命推動的物聯(lián)網(wǎng)、信息技術、大數(shù)據(jù)和云計算等技術的發(fā)展，養(yǎng)老服務水平也被極大地提升，部分智能家居技術也被用于養(yǎng)老服務中[5]。基于養(yǎng)老的智能家居服務用于滿足老年人安全、獨立、健康和援助等需求，在照顧老年人方面發(fā)揮著重要作用[6]。當前的智能家居的適老化研究主要集中在對老人身體健康指標的監(jiān)測和老人異常狀態(tài)檢測，例如突然跌倒等。其中，在健康監(jiān)測方面有不少研究將智能手環(huán)與智能家居系統(tǒng)結合，實現(xiàn)對老年人的健康檢測[7]，通過讓老年人佩戴包含加速度計、陀螺儀、脈搏傳感器和體溫傳感器的智能手環(huán)，采集這些數(shù)據(jù)送往中控平臺進行分析，以獲得老年人的體溫和心跳頻率的健康狀態(tài)，同時通過分析加速度計和陀螺儀的時序數(shù)據(jù)，推斷老年人的運動姿態(tài)，判斷其是否有摔倒的跡象。同時國內(nèi)外也有利用視覺檢測技術結合深度學習來檢測老人是否發(fā)生跌倒[8] [9]。但是調(diào)查顯示，穿戴類設備并不適合給老年人使用[10]，一是老年人容易遺忘佩戴設備；二是穿戴類設備容易丟失。基于視覺檢測的視頻監(jiān)控能夠完成非接觸式的摔倒檢測任務，但近幾年因為家庭網(wǎng)絡攝像頭遭到入侵而造成隱私泄露的事件層出不窮，大部分老年群體也并不希望時刻有攝像頭監(jiān)控自己。對于老人的緊急求助需求，目前的主流產(chǎn)品均為一鍵呼叫器，求助按鈕或隨身佩戴，或固定在房間某處，而固定在房間某處的呼叫器更是不便于甚至無法為突發(fā)危險情況的老人提供緊急求助服務。調(diào)研市場發(fā)現(xiàn)，目前面向老人的監(jiān)護產(chǎn)品還存在著功能單一、不成系統(tǒng)，只“監(jiān)”無“護”，即無法為發(fā)生危險情況的獨居老人及時提供應急服務的問題。從關心獨居老人的健康狀況出發(fā)，針對上述的不足，本文設計實現(xiàn)了一個可以實時監(jiān)測突發(fā)危險情況，且能根據(jù)需求提供便利服務的面向獨居老人的智能居家監(jiān)護系統(tǒng)。

1.2. 本系統(tǒng)特色

本文面向獨居老人的智能居家監(jiān)護系統(tǒng)的特色有以下三點：

第一，我們采用毫米波雷達實現(xiàn)老人的姿態(tài)檢測，克服了主流摔倒檢測產(chǎn)品的局限性?；诤撩撞ɡ走_的姿態(tài)檢測是非接觸式的檢測方式，克服了穿戴類設備的不足；同時也解決了基于視覺的視頻監(jiān)控的痛點，既防止隱私泄露，也滿足了老人不愿意被監(jiān)視的心理需求。

第二，我們使用語音識別的方式解決獨居老人的求助需求。只要在房間內(nèi)布置一個語音識別模塊，老人在該房間內(nèi)的求助語音都能夠被接收并發(fā)送給家人，相比按鈕求助類產(chǎn)品更加方便。

第三，我們將姿態(tài)檢測功能和語音識別功能組成系統(tǒng)，并在系統(tǒng)內(nèi)添加了機器人聯(lián)動服務模塊。服務機器人能夠根據(jù)姿態(tài)檢測模塊和語音識別模塊檢測到的信息提供相應的服務，解決了只“監(jiān)”無“護”的問題。

2. 系統(tǒng)總體方案設計

本文基于云–邊–端架構，實現(xiàn)了面向獨居老人的智能居家監(jiān)護系統(tǒng)，其主要功能有云端服務器、感知控制和應用服務，總體功能架構如圖1所示。

Figure 1. Overall functional architecture diagram of the system

圖1. 系統(tǒng)總體功能架構圖

云端服務器為系統(tǒng)內(nèi)部各模塊提供通信服務。

感知控制方面，語音識別模塊主要對老人的語音需求進行感知，采用R329開發(fā)板[11]作為開發(fā)平臺來實現(xiàn)。該模塊可以識別到老人的關鍵詞需求，比如喝水、救命等，并向云端服務器下的相應話題發(fā)布對應的需求信息。

姿態(tài)檢測模塊主要負責以非接觸式檢測識別老人在房間內(nèi)的姿態(tài)，采用毫米波雷達以及基于RK3399芯片的EAIDK610開發(fā)平臺[12]進行實現(xiàn)。該模塊可以識別房間內(nèi)老人是否摔跤以及一些常見姿態(tài)，并向云端服務器下的相應話題發(fā)布對應的姿態(tài)信息。

機器人聯(lián)動服務模塊主要負責在老人有相應需求或者有危險時能夠及時提供幫助或發(fā)送警報。通過使用EAIDK610開發(fā)平臺控制機器人，實現(xiàn)機器人聯(lián)動服務模塊。它可以訂閱語音識別模塊和姿態(tài)檢測模塊的話題，從云端服務器接收到對應話題的信息，然后控制服務機器人做出對應行動。

應用服務方面，前端交互模塊由微信小程序實現(xiàn)，用戶可以進入房間頁面查看各房間狀況、語音需求以及危險情況報警等，使家人能夠遠程關注老人在對應房間的狀態(tài)信息。

3. 語音識別模塊

語音識別模塊使用到的硬件設備為采用ARM v8架構的R329開發(fā)板。它基于全志R329芯片設計，搭載雙核ARM CortexTM-A53，同時內(nèi)置高性能的周易AIPU處理器，使得它支持智能語音和視頻圖像處理，也能夠直接跑一些人臉識別模型、語音識別模型等。在本模塊中，R329主要用于部署語音識別模型實現(xiàn)關鍵詞識別功能，能夠在識別老人關鍵詞需求后發(fā)送相應需求信息給云端服務器的對應話題下。

考慮了多種老人在家可能提出的需求，并借助關鍵詞識別功能實現(xiàn)了對這些需求的幾種不同關鍵詞的識別，語音識別模塊在識別到關鍵詞后向云端服務器下的相應話題發(fā)布該關鍵詞對應的需求信息。比如，當老人在房間1發(fā)出“喝水”“送水”“渴了”等需求時，語音識別模塊會識別這三個關鍵詞，并向服務器下的“room1_sr”話題發(fā)布信息“drink”；當老人在房間2發(fā)出“救命”“有人嗎”等需求時，語音識別模塊會識別這兩個關鍵詞，并向服務器下的“room2_sr”話題發(fā)布信息“help”。

選取到適合居家助老服務環(huán)境下的模型參數(shù)，采用了不同尺寸的語言模型和不同的模型輸入長度，并對其識別錯誤率和延遲時間進行比較，得出最后的模型參數(shù)選擇。

1) 模型輸入長度選擇。取聲學模型am_7332，語言模型lmS，語音聲音在50 dB左右，我們修改模型輸入長度分別為128，192，256進行實驗，得到結果如表1所示。

Table 1. Average error rate and delay time under different model input lengths

表1. 不同模型輸入長度下的平均錯誤率和延遲時間

通過分析表1結果，當模型輸入長度選取192時，識別率和長度為256時一樣高，同時相比之下也具有更及時的響應。因此將模型輸入長度設置為192。

2) 模型尺寸選擇。取聲學模型am_7332，語音聲音在50 dB左右，模型輸入長度為192，我們修改語言模型尺寸進行實驗，得到結果如表2所示。

通過分析表2結果，三種尺寸識別率相差不大。因此，我們選擇模型lmS部署到開發(fā)板上，這樣可以占用最少的內(nèi)存，同時該模型0.862的識別率也較高，足夠滿足識別語音的需求。

Table 2. Average error rate and delay time for different language model sizes

表2. 不同語言模型尺寸下的平均錯誤率和延遲時間

3) 為了使該模塊根據(jù)關鍵詞識別概率向服務器發(fā)送對應消息，需要設定一個概率限值來標識確實成功識別到關鍵詞。取聲學模型am_7332，語言模型lmS，模型輸入長度為192，用不同分貝音量，在不同距離下進行實驗，得到結果如表3所示。

Table 3. Recognition probabilities at different decibel volumes and distances

表3. 不同分貝音量和不同距離下的識別概率

由表3中數(shù)據(jù)可見，當聲音較小時識別概率會大幅降低，當距離較遠時模塊也能采取到關鍵詞但識別概率都低于0.01。因此，考慮到老人遇到緊急情況身體較虛弱聲音不大，同時排除房間外的其他聲音干擾，我們將概率限值設為0.1。當模塊的關鍵詞識別概率高于0.1，語音識別模塊就會向服務器發(fā)送相應信息。

4. 姿態(tài)檢測模塊

姿態(tài)檢測模塊所需要使用的硬件設備主要是TI公司型號為IWR6843ISK的毫米波雷達和采用ARM架構的RK3399芯片人工智能開發(fā)平臺EAIDK610開發(fā)板。在本模塊中EAIDK610用于部署姿態(tài)檢測模型，完成從毫米波雷達獲取數(shù)據(jù)、數(shù)據(jù)預處理，推理得出姿態(tài)檢測結果并通過云端服務器將報警信息發(fā)送到用戶客戶端的功能。

Figure 2. Overall architecture of attitude detection module

圖2. 姿態(tài)檢測模塊總體架構

姿態(tài)檢測模塊的總體結構如圖2所示，毫米波雷達通過發(fā)射一定頻率的電磁波并利用多普勒效應檢測區(qū)域內(nèi)物體的運動趨勢，即當范圍內(nèi)的物體靠近雷達時會收到頻率更高的回波，遠離時會受到頻率更底的回波，以此計算物體與毫米波雷達之間的位置關系及物體的速度，這類計算在硬件內(nèi)部即可完成，生成四元組數(shù)據(jù)。EAIDK610開發(fā)板接收毫米波雷達所發(fā)布的話題獲得該四元組，并通過數(shù)據(jù)預處理之后獲得固定大小的網(wǎng)絡輸入后送入輕量CNN分類網(wǎng)絡進行推理。推理結果發(fā)送至云端服務器，并通過服務器將該結果發(fā)送至應用服務層的微信小程序，以實現(xiàn)提示、報警功能。

4.1. 數(shù)據(jù)集的構建與數(shù)據(jù)預處理

毫米波雷達被設定為只檢測并發(fā)送范圍內(nèi)活動物體的四元組信息，這使得在開發(fā)板訂閱毫米波雷達所發(fā)送的四元組數(shù)據(jù)并推理的時候會出現(xiàn)數(shù)據(jù)截斷的可能?？紤]到人體姿態(tài)活動是一種具有時序性之的一系列連續(xù)活動，在網(wǎng)絡推理的過程中需要利用到序列的信息，并且神經(jīng)網(wǎng)絡數(shù)據(jù)的輸入需要固定維度大小，因此在訓練網(wǎng)絡階段和推理預處理階段都設計了一種等待隊列如下圖3所示，保證在收到固定大小為的N = 90個四元組數(shù)據(jù)點之后才打包成[90, 4]的矩陣，作為網(wǎng)絡的輸入送至神經(jīng)網(wǎng)絡中進行推理，提高了網(wǎng)絡推理的穩(wěn)定性與推理結果的準確性。

Figure 3. Waiting queue

圖3. 等待隊列

4.2. 神經(jīng)網(wǎng)絡的結構與訓練

神經(jīng)網(wǎng)絡的具體結構如下圖4所示。神經(jīng)網(wǎng)絡主干由7個部分構成，四元組點云數(shù)據(jù)經(jīng)過等待隊列打包之后作為神經(jīng)網(wǎng)絡的輸入傳入至網(wǎng)絡之中，以此經(jīng)過批標準化、卷積層、池化層、Dropout層、Flatten層和全連接層后輸出最終的四分類結果。

Figure 4. Neural network structure

圖4. 神經(jīng)網(wǎng)絡結構

實驗所使用的硬件配置為：AMD Ryzen 9 5900HS，主頻3.3 GHz，8核16線程；加速顯卡NVIDIA GeForce RTX3050Ti 8 GB顯存。使用后端為TensorFlow-GPU v2.11.0的Keras v2.11.0作為訓練模型的深度學習庫。訓練使用的數(shù)據(jù)集總數(shù)為24,404個，4個不同的標簽各占6101個。訓練開始前，先用shuffle函數(shù)對從ROSBAG中處理得到的數(shù)據(jù)集進行隨機打亂，然后使用train_test_split函數(shù)對數(shù)據(jù)集切分，數(shù)據(jù)集總數(shù)的80%作為訓練集，20%作為測試集。在訓練過程中，將訓練集的20%作為驗證集以評估模型的訓練效果。訓練中設置學習率為0.0005，epochs設定為40，batch_size設定為128。模型訓練過程中的損失函數(shù)如圖5所示，在驗證集上的loss為0.00897，準確率達到99.63%。

Figure 5. Loss function diagram

圖5. 損失函數(shù)圖

4.3. 神經(jīng)網(wǎng)絡的測試

經(jīng)過訓練階段的拆分，得到的測試集分布為falling、sitting、standing、walking的標簽各有1194、1286、1189、1212個。將測試數(shù)據(jù)集和標簽輸入到訓練好的網(wǎng)絡之中進行測試，得到預測結果如下圖6所示。訓練得到的神經(jīng)網(wǎng)絡在測試集上的總體準確率達到99.63%，其錯報的幾率不足0.5%，能夠滿足對身處臥室、浴室或客廳等各種場所的老人進行姿態(tài)檢測的需要。

Figure 6. Test set prediction results

圖6. 測試集預測結果

為了試驗姿態(tài)檢測模塊識別準確率，還設置了七輪測試：測試者在每一輪的測試中以隨機順序做站、坐、走、摔倒四個動作，并記錄下當時的識別結果，如表4所示。由表中數(shù)據(jù)可以看出，姿態(tài)檢測模塊的識別率較高，只發(fā)生了一次誤判，該次誤判可能是因為測試者測試時動作之間銜接過快。

Table 4. Recognition results of testers’ actions in different test wheels

表4. 不同測試輪中對測試者動作的識別結果

綜上所述，本文設計的神經(jīng)網(wǎng)絡對于基于毫米波雷達點云數(shù)據(jù)的人體活動識別有較高的準確率，可以完成對人體姿態(tài)進行檢測的任務，并與其他模塊結合進行系統(tǒng)的測試實驗。

5. 機器人聯(lián)動服務模塊

機器人服務功能主要分為兩類。一類為語音服務，即機器人通過語音識別模塊響應老人的語音指令，目前實現(xiàn)了機器人送水到老人所在房間、老人不需要機器人后命令其返回充電座兩個功能用于展示。一類為老人異常應急服務，即在語音識別模塊或姿態(tài)檢測模塊識別到老人出現(xiàn)異常狀況時，能夠自動導航至相應房間，送來急救藥物、拍攝現(xiàn)場照片并上傳至服務器，使家人能通過小程序及時了解老人狀態(tài)并采取緊急措施。

EAIDK610微處理器平臺主要負責控制機器人的邏輯行為，機器人的功能建立在導航的基礎上，導航需要地圖，因此首先需要在家中通過激光雷達掃描建立平面地圖。成熟的建圖方法眾多，根據(jù)任務場景選擇了在小場景下建圖算力消耗較少且地圖精度較高的Gmapping算法。選擇Navigation Stack作為導航框架，該框架由多個導航組件構成，其中核心組件map_server用于加載建圖算法創(chuàng)建的地圖；amcl算法估計機器人在地圖中的位姿；move_base用于路徑規(guī)劃和控制機器人的行動，其中包括了全局路徑規(guī)劃器(A*算法)和局部軌跡規(guī)劃器(TEB算法)。這些組件共同工作，令機器人能夠在復雜環(huán)境中實現(xiàn)自主導航。

服務機器人的部署分兩步，一是創(chuàng)建家里的平面地圖，二是手動標記各個房間的導航目標點以及機器人的充電座。首先開啟激光雷達和Gmapping節(jié)點，遙控機器人在家中各個房間探索，探索完畢后保存地圖。然后開啟編寫好的房間標記節(jié)點，通過可視化工具RVIZ依次標記各個房間的目標點，這些目標點會保存至文檔中，供后續(xù)聯(lián)動服務使用。至此，機器人的前期部署完成。

機器人的聯(lián)動時序圖如圖7。

當老人發(fā)出正常的語音指令，比如“送水”時，語音識別模塊能夠識別出來并通過云端服務器轉發(fā)指令至機器人控制模塊，機器人控制模塊則會發(fā)布導航目標點，使服務機器人導航到老人所在的房間；當老人希望機器人離開房間時，說一聲“回去”，機器人就會收到相應指令并導航至充電座；而當老人發(fā)生意外，比如心臟不舒服，呼喊“救命”時，或者是摔倒時，語音識別模塊或姿態(tài)檢測模塊能夠及時檢測到異常并上報服務器，服務器將相關消息轉發(fā)至微信小程序和機器人控制模塊，此時機器人控制模塊收到求救指令并控制帶著急救藥物的機器人導航至指定房間，拍攝照片并上傳至服務器，家人可以及時通過小程序看到老人的情況，以便及時采取相應措施幫助老人脫離險境。

Figure 7. Sequence diagram of robot linkage service

圖7. 機器人聯(lián)動服務時序圖

6. 云端服務器

采用MQTT (Message Queuing Telemetry Transport)協(xié)議作為系統(tǒng)內(nèi)部通信方式，同時把mqtt服務器和用于反向代理的nginx服務器都采用docker容器的方式部署在云服務器中。

mqtt服務器與各模塊通信如圖8。mqtt服務器與語音識別模塊、姿態(tài)檢測模塊、機器人聯(lián)動服務模塊之間可以直接使用mqtt協(xié)議通信。

Figure 8. Schematic diagram of communication between mqtt server and various modules

圖8. mqtt服務器與各模塊通信示意

mqtt服務器與前端通信較為復雜。由于微信小程序必須使用wss (Secure WebSocket)協(xié)議保證通信安全，因此我們首先需要在mqtt服務器中將mqtt協(xié)議封裝在ws (WebSocket)協(xié)議中(配置mqtt overwebsocket功能)，由域名經(jīng)過ssl認證的反向代理服務器nginx將ws協(xié)議升級為wss協(xié)議，最終完成mqtt服務器與微信小程序的通信。

7. 前端交互模塊

前端交互模塊基于微信小程序實現(xiàn)了創(chuàng)建/刪除房間、查看房間狀態(tài)、調(diào)整房間狀態(tài)、查看歷史記錄、查看現(xiàn)場等功能，如圖9所示。

Figure 9. Front end function display

圖9. 前端功能展示

8. 系統(tǒng)測試

在測試之前，需要先對兩個實驗房間進行部署，其中語音識別模塊在兩個房間都有部署，姿態(tài)檢測模塊只部署在房間1，機器人的充電基座(起始出發(fā)點)設置在走廊，各模塊實驗場景部署如圖10所示。

Figure 10. Experimental scene diagram

圖10. 實驗場景圖

Figure 11. The robot arrives at Room 2 and delivers water to the target navigation point

圖11. 機器人到達房間2目標導航點送水

1) 語音識別與機器人聯(lián)動功能

進行語音服務需求的測試，測試者坐在房間2說“喝水”，語音識別模塊識別到關鍵詞，并將對應需求發(fā)到云端服務器的“room2_sr”話題下。機器人訂閱到信息后，導航至房間2為測試者送水。機器人到達目標導航點，并且小程序收到信息，如圖11所示。

進行異常情況的語音需求測試，測試者在房間1呼喊“救命”，語音識別模塊識別到關鍵詞，并將對應需求發(fā)到云端服務器的“room1_sr”話題下。機器人訂閱到信息后，就會導航到房間1為測試者送藥，并將目標導航點處的照片通過云端服務器發(fā)送到小程序。在小程序中長按房間1卡片，點擊“查看現(xiàn)場”，可以看到現(xiàn)場照片，如圖12所示。

Figure 12. Testers shout “help”, robots deliver medicine and take photos on site

圖12. 測試者呼喊“救命”，機器人送藥以及現(xiàn)場拍照

2) 姿態(tài)檢測與機器人聯(lián)動功能

主要測試姿態(tài)檢測與機器人聯(lián)動的功能，測試方法為在實驗場地部署毫米波雷達和載有姿態(tài)檢測模塊的EAIDK610開發(fā)板，測試者在實驗場地做走、站、坐、摔倒四個動作，觀察系統(tǒng)是否正確識別到姿態(tài)信息并將對應信息發(fā)送到云端服務器，以及機器人是否及時、準確地去到對應房間的目標導航點。

前期部署完成后，當機器人訂閱到摔倒(“fall”)信息時，機器人聯(lián)動服務模塊便會控制攜帶藥品的機器人到房間1的目標導航點為摔倒的測試者送藥，并將警報信息和現(xiàn)場照片通過云端服務器發(fā)送到小程序顯示，如圖13所示。

Figure 13. Detecting a person’s fall and issuing an alarm through millimeter wave radar

圖13. 通過毫米波雷達檢測到人摔倒并警報

通過以上實驗測試，整個系統(tǒng)能較好的實現(xiàn)獨居老人居家監(jiān)護功能。

9. 結束語

針對社會老齡化程度的不斷加深的背景，本文提出并設計實現(xiàn)了一種面向獨居老人的智能居家監(jiān)護系統(tǒng)，基于云–邊–端架構來設計系統(tǒng)的總體功能框架，包括了云端服務器，部署到端設備上的語音識別、姿態(tài)檢測、機器人聯(lián)動服務、前端交互等功能模塊，并進行了測試驗證。