0 引 言

人類具有社會屬性，總是會夸張地表現(xiàn)感情，人的認知會受自己的情緒影響。而情緒又會影響人類的認知過程，包括感覺和記憶的組成、分類和喜好、目標(biāo)生成、評估、戰(zhàn)略規(guī)劃和決策等。先前的研究表明，人們在與計算機的交互中也會夸張地表現(xiàn)感情。考慮到人機交互所涉及的情緒和情感與識別之間牢固的界定，我們希望機器的感知能夠捕獲相應(yīng)的現(xiàn)象， 并采取相應(yīng)措施，以加強我們?nèi)粘C器的使用。

開車是人們?nèi)粘Ｉ钪械囊豁椫匾顒?，在一次研究中表明，司機在駕駛汽車時會夸張地表現(xiàn)感情，且其情緒會影響駕駛。眾所周知，憤怒會極大地影響一個人的駕駛。當(dāng)司機的憤怒情緒影響他們正常的思維和判斷時，他們對事件看法的改變會導(dǎo)致對結(jié)果的誤判，其他擁有類似效果的情緒是沮喪、焦慮、恐懼、壓力。為了在公路上成為一個更安全的司機，他們需要更好的注意自己的情緒，并需有能力有效管理它們。

一旦司機意識到了自己的情緒狀態(tài)，那他們選擇一個安全的應(yīng)對方式就變得相對容易，但司機往往缺乏這種認識。例如一些司機往往缺乏讓自己平靜下來的能力，尤其是當(dāng)他們感到憤怒或沮喪時。而困倦是最危險的狀態(tài)之一。在開車時， 當(dāng)人們發(fā)現(xiàn)他們昏昏欲睡時他們卻經(jīng)常強迫自己繼續(xù)開車，而非停下來休息。

美國學(xué)者詹姆斯和拉森[1] 討論了如何利用司機的技術(shù)能力來管理自己的情緒。包括通過放松技巧來減少物理喚醒和對精神狀況的重新評價。而我們的目標(biāo)是創(chuàng)建一個情感智能汽車界面，通過促進自然地人機交互幫助司機提高駕駛安全， 從而幫助其更好地意識到其在開車時的情緒狀態(tài)。例如，當(dāng)智能系統(tǒng)識別到司機的憤怒情緒時，可以建議司機進行呼吸練習(xí)。同樣，當(dāng)系統(tǒng)識別到司機的困倦情緒時，它可以自動改變電臺頻道，切換不同的曲調(diào)或搖下窗戶使新鮮空氣進入車內(nèi)。該系統(tǒng)在尊重司機個人喜好的同時會提高駕駛的防范措施，使司機感覺好像車上存在一個真實的人在幫助他們安全駕駛。

駕駛員的情感狀態(tài)可以通過兩方面解釋，即在心理和生理評估后，還經(jīng)歷了由驅(qū)動程序控制的特定情緒組件。生理組件可以通過接收傳感器以不同的方式來識別和觀察，包括視覺（面部表情），動覺（自主神經(jīng)系統(tǒng)的覺醒和機能活動），聽覺（說話的語調(diào)，即 V，K，A）。

目前，我們正專注于通過收集和分析他們的生理信號來識別駕駛者情感狀態(tài)的研究。

1 相關(guān)研究和初步實驗

1.1 情感識別的生理信號

有些研究建立在對情感和生理覺醒之間的關(guān)系理解的基礎(chǔ)上。皮卡德 [2] 等人用個性化的意象和加載情感的圖片引出快樂，悲傷，憤怒，恐懼，厭惡，驚訝，中立等情緒。測量到的生理信號是皮膚電反應(yīng)、心跳、呼吸和心電圖。用于分析數(shù)據(jù)的算法是連續(xù)正向浮動選區(qū)（SFFS）和費歇爾投影這兩種方法的混合，此法擁有 81% 的整體精度。而希利[3] 專注于對司機的壓力測量并分析其生理信號（皮膚電導(dǎo)、心臟活動、呼吸和肌肉活動）。本研究的實驗參與者分別在停車場、城市、高速公路上開車。結(jié)果表明，司機的壓力信號可能會分別被識別為停止（在停車場休息）、城市（行駛在波士頓的街道）和高速公路（在高速公路上兩個車道合并），此準確率高達 96%。

1.2 初步情感啟發(fā)和識別實驗

在我們的情感誘導(dǎo)實驗中，我們用電影片段和困難的數(shù)學(xué)問題來引出 6種情緒：悲傷，憤怒，驚訝，恐懼，沮喪和高興。我們使用一個非植入性的無線可穿戴電腦 BodyMediaSense Wear臂帶來收集參與者的生理信號，包括皮膚電反應(yīng)，心臟速率和體溫。

數(shù)學(xué)問題被用來引起挫折情緒，電影片段被用來引起其他情緒。在關(guān)于導(dǎo)致引發(fā)目標(biāo)情緒的研究中，發(fā)現(xiàn)電影場景能夠更高程度引起特定的情緒。此外，我們選擇多通道刺激情感啟發(fā)，在電影片段和數(shù)學(xué)問題之后還提出了讓參與者觀看幻燈片的建議。在他們觀看幻燈片和進行自我報告的過程中，繼續(xù)對參加者的生理信號進行收集。對收集的生理信號進行標(biāo)準化，以減少參與者之間的個體差異并進行最小值、最大值、平均值、方差等處理。從生理數(shù)據(jù)中提取每個生理數(shù)據(jù)類型（共 12 個特征）。有三個監(jiān)督學(xué)習(xí)算法可以對這 12 個特點的分析進行實現(xiàn)，即 k- 最近鄰（KNN），判別函數(shù)分析（DFA），馬夸特 - 反向傳播（MBP）算法。KNN，DFA，和 MBP 這三種算法識別情緒的準確率分別為 72.3％，75.0％和 84.1％。

2 虛擬現(xiàn)實駕駛模擬器實驗

上述討論的情感啟發(fā)實驗的結(jié)果表明，通過分析駕駛員的生理信號可以了解人們所經(jīng)歷的情感。虛擬現(xiàn)實駕駛模擬器實驗的目的是要引起駕駛員有關(guān)的情緒和狀態(tài)，包括驚恐 / 恐懼，沮喪/ 憤怒和無聊/ 困倦。駕駛模擬器被用作虛擬現(xiàn)實的駕駛環(huán)境，這種駕駛模擬器使用虛擬現(xiàn)實技術(shù)創(chuàng)建并通過中心先進的交通系統(tǒng)仿真設(shè)施來運行。

實驗會設(shè)計一系列事件并使其在模擬器上實現(xiàn)并運行， 從而引起本實驗參與者的恐慌 / 恐懼，沮喪/ 憤怒和無聊/ 困倦情緒。參與者的生理信號（皮膚電反應(yīng)，溫度和心臟速率） 通過非植入性的穿戴式計算機 Body Media Sense Wear 臂帶被收集。與此同時，對參與者進行視頻記錄，為方便以后對每個司機加以注釋和未來對面部表情的識別。分析這些記錄， 以找到與獨特的生理信號相關(guān)的情緒模式。

2.1 駕駛模擬器實驗場景

為了引出參與者駕駛時的有關(guān)情緒，我們創(chuàng)建了包含一系列事件的交通場景。該事件通過命令的方式使他們先引起恐慌 / 恐懼，然后無奈/ 憤怒，最后無聊/ 困倦?；€插入之前和之后都會有情緒被誘發(fā)。

(1) 恐慌和恐懼 ：事故現(xiàn)場是在開車下坡，一個孩子突然走到路中間并停住，司機不可避免地擊中他。即使司機試圖避免觸及孩子，但由于實驗設(shè)置為禁用汽車的制動，所以參與者無法選擇剎車，且在道路兩旁設(shè)置了路障，使司機不能變換車道。

(2) 失望/憤怒：撞過孩子后下山，挫敗感和憤怒刺激了司機直接開到城市。因為只有一個事件不足以引起目標(biāo)創(chuàng)建無奈/憤怒情緒，因此引起無奈/憤怒情緒要通過一系列事件。

第一個司機在路中間停止，等兩個一起拿著大玻璃的男人過馬路，但二人與另一個人在聊天，擋住了路。當(dāng)拿玻璃的男人們通過后，司機被要求在下一個十字路口向右轉(zhuǎn)，然而司 機此時又被一輛汽車阻礙，所以需要花費更多的時間到紅綠燈 處右轉(zhuǎn)。當(dāng)司機終于右轉(zhuǎn)，行駛約 20 英尺后，道路再次受阻，有一個大垃圾車正試圖做一個直角轉(zhuǎn)彎且暫時?？?。此外，在參與者的車后還有出租車在不斷按喇叭激怒司機。

經(jīng)過垃圾車的停放后，司機被指示在紅綠燈處左轉(zhuǎn)。而此時有一個白色的車等候在參與者的車前面。當(dāng)對司機的燈變成綠色時，幾個行人開始橫穿馬路到對面，并且在司機左轉(zhuǎn)前燈光再次變?yōu)榧t色。

行人路過后，車開始在狹窄的道路上駕駛，一輛公交車一直在參與者的車輛右邊，且他們即將碰撞，但公交車司機在最后一刻剎住了公交車，但他在經(jīng)過參與者時辱罵了他。

(3) 無聊/困倦 ：離開城市，在令人沮喪的事件發(fā)生后， 參與者一直在一條直線上駕駛，漫長的道路再沒有事件發(fā)生。

基線：基線包含一個平凡的和愉快的情緒誘發(fā)事件，駕駛者在此之間駕駛。

希利的研究和我們研究的最大區(qū)別在于在哪里進行實驗。在希利的實驗中，真實的交通被用在一個虛擬現(xiàn)實模擬器駕駛環(huán)境的對立面。虛擬現(xiàn)實環(huán)境完全受控，在該控制環(huán)境中對比不可預(yù)知的真實交通環(huán)境，優(yōu)點如下：

(1) 每一位參與者經(jīng)歷完全相同，因此可以在參與者之間進行比較，并得出平均結(jié)果。

(2) 錯誤選項如噪聲和運動影響的生理信號在每個場景中保持平等，包括基線，這使得它可以捕獲由于參與者的情緒狀態(tài)變化而響應(yīng)的變化。

2.2 駕駛模擬器實驗設(shè)置

樣品：樣本包括 41名學(xué)生（5名女性和 36名男性），他們的年齡從18 歲到 25 歲不等，由于對年齡沒有特定的要求， 因此不用計算平均年齡。

過程 ：參與了這項研究的每個會話期間都有一個主題。簽署則同意表格，填寫預(yù)研問卷后，非植入性的Body Media Sense Wear 臂章被放置在參與者的左臂（收集皮膚電反應(yīng)和溫度值）。臂章被激活后，極地胸帶，連接臂章被放置在參與者的胸部（收集心率值）。一旦胸帶暗示，它開始與臂章通信， 參與者被告知如下信息：

1)他們在虛擬現(xiàn)實環(huán)境中駕駛自動變速器，即模擬汽車。

2)預(yù)計他們會遵守常規(guī)交通規(guī)則，如遇到紅燈和停止標(biāo)志時停車，開車速度不超過限制。

3)該模擬器畫面上的紅色和黃色箭頭將分別向哪個方向轉(zhuǎn)動。

4)汽車會運動，因此駕駛者可能會出現(xiàn)暈車現(xiàn)象。為防止出現(xiàn)這種情況，他們應(yīng)該停車，而非繼續(xù)實驗。

當(dāng)參與者坐到模擬器上的駕駛座位時，他們被告知扣好安全帶；打開點火鑰匙啟動汽車；把檔位放在 ' D（'開始駕駛。驅(qū)動），處右轉(zhuǎn)。當(dāng)司機終于右轉(zhuǎn)，行駛約 20 英尺后，道路再次受阻，

一旦打開點火鑰匙，駕駛模擬器的場景便被激活。參與者駕駛汽車時，將對其臉部進行記錄的數(shù)碼攝像機安裝在模擬器的儀表板上。保存這些視頻是為了未來對面部表情識別的研究。該場景持續(xù)了 12 ～16 min，而時間長短則取決于每個參與者的駕駛速度。模擬器會在場景結(jié)束時用聲音警告參與者。停車后，被測試者的胸背帶和臂章被移除，并將臂章收集的數(shù)據(jù)下載到電腦。

2.3 情感識別和機器學(xué)習(xí)

生理信號在駕駛模擬器實驗中測量，用 k 近鄰（KNN）、馬夸特 - 反向傳播（MBP）和彈性反向傳播（RBP）算法找到生理信號，通過模式匹配得到與駕駛相關(guān)的情緒。

2.3.1 特征提取

在確定對應(yīng)時間點的駕駛場景發(fā)現(xiàn)某預(yù)期情緒是最有可能被激發(fā)的，上述實驗導(dǎo)致的生理記錄 ：29 恐慌 / 恐懼，30 沮喪/ 憤怒，27 無聊/ 嗜睡。每個情感數(shù)據(jù)集的數(shù)量不同于總樣本量，因為沒有完整收集這些參與者的數(shù)據(jù)，他們并未完成每一個情感。對數(shù)據(jù)進行存儲和標(biāo)準化，從數(shù)據(jù)中得到最小值， 最大值，平均和標(biāo)準偏差，及每個生理信號類型（皮膚電反應(yīng)、溫度和心率）的平均值。這些特性將作為模式識別算法的輸入。

2.3.2 KNN、MBP 和彈性的反向傳播算法的情感識別精度

第一次我們只采用KNN 和MBP 算法分析數(shù)據(jù)。MBP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)使用反向傳播算法，它有 12 個節(jié)點的輸入層，17 個隱藏節(jié)點和 3 個節(jié)點的輸出層。在對由情感引出實驗電影片段引起的 6 個情緒的識別方面，MBP 算法效果不理想。故在第二次識別中采用神經(jīng)網(wǎng)絡(luò)算法與彈性反向傳播（RBP）算法。

評估在實際生活中應(yīng)用算法性能的一個重要問題是假陰性結(jié)果（即系統(tǒng)不能識別用戶的消極情緒狀態(tài)）和假陽性結(jié)果（即系統(tǒng)可以識別的一種消極的情緒狀態(tài)，雖然用戶沒有產(chǎn)生這種狀態(tài)），得到用戶的生理信號。

鑒于情感識別問題的本質(zhì)，無法防止一切假陰性和假陽性出現(xiàn)，但假陰性和假陽性率可以借助各種技術(shù)來降低。而結(jié)合不同的模式識別算法便可以達到更高的識別準確率。

3 結(jié) 語

為了使生理信號映射到相關(guān)情緒，駕駛實驗在嚴格設(shè)計和控制的虛擬現(xiàn)實環(huán)境中進行。駕駛場景創(chuàng)建包括各種交通事件引起的恐慌 / 恐懼、沮喪和憤怒等情感。Body Media Sense Wear 臂章和極地胸帶被用來測量皮膚電反應(yīng)、心率、皮膚溫度。KNN 和彈性反向傳播（RBP）算法被用于分類相應(yīng)生理信號的情緒?？偠灾?，KNN 能夠以 66.3％的成功率劃分這三種情感，MBP 可以用 76.7％的成功率進行分類，而 RBP 的分類準確率高達 91.9％。

所有本文討論的實驗是在完全受控的環(huán)境中進行的，并在所有這些實驗中，分析生理數(shù)據(jù)的實驗已經(jīng)完成。下一步， 我們將收集、分析生理數(shù)據(jù)，以實時進行情感識別。另一項改進是我們的研究將采用不同的特征提取技術(shù)，并結(jié)合不同的模式識別算法來提高情感識別的精度。