結(jié)合音頻和生命體征數(shù)據(jù)，AI深度學習系統(tǒng)不僅將可能成為焦慮人群的“社交教練”，而且有望在未來能夠研發(fā)出“情感智能”，大大改善人們的社交質(zhì)量。

有一個不爭的事實，那就是人們對某一次對話內(nèi)容可以有迥然不同的理解方式。舉例而言，對于焦慮人群而言，這會使他們的社會交往變得極具挑戰(zhàn)。但是，如果有一套客觀的方法來測度和理解我們交流時所流露出的情緒，情況是否會變得不同?

麻省理工學院計算機科學與人工智能實驗室(CSAIL)和醫(yī)學工程與科學研究所(IMES)的研究人員已近乎給出我們一個潛在的解決方案：一種可穿戴式AI系統(tǒng)，根據(jù)人的講話方式和生命體征來預測交談是快樂的、悲傷的還是中性的。

Tuka Alhanai是該團隊主要成員之一，他也將出席下星期在舊金山舉行的國際人工智能協(xié)會(AAAI)第31屆大會。他表示：“想象一下，在對話結(jié)束時，你可以像倒帶一樣，重現(xiàn)令你周圍人感到最焦慮的時刻。而我們的研究只是朝這個方向邁出了一小步，但也表明，人們離出門時隨身裝一個AI社交教練的時代可能不遠了。”

當參與者講述一個故事時，系統(tǒng)開始對音頻、音頻的文本轉(zhuǎn)錄和身體信號進行分析，并對故事整體基調(diào)做判定，準確率達到了83%。使用深度學習技術(shù)，該系統(tǒng)還能為會話內(nèi)的每個五秒間隔打出“情緒分數(shù)”。

研究團隊的另外一位核心成員MohammadGhassemi表示：“據(jù)我們所知，這是第一個以被動但可靠的方式收集對話者身體數(shù)據(jù)和語音數(shù)據(jù)的實驗，即使受試者進行自然的、非結(jié)構(gòu)化的對話，而我們的研究結(jié)果表明，利用收集到的數(shù)據(jù)為對話的情緒語調(diào)進行實時分類是可行的。”

研究人員還表示，若能在多人對話情境中，使用裝有這一系統(tǒng)的智能穿戴設(shè)備，比如智能手表，從而能夠產(chǎn)生更多可供系統(tǒng)算法分析的數(shù)據(jù)，將有助于系統(tǒng)性能的進一步提高。

德國帕紹大學教授兼復合智能系統(tǒng)主席BjörnSchuller雖沒有參與本研究，但他這樣評價此項成果：“該團隊使用面向消費者的可穿戴設(shè)備收集生理數(shù)據(jù)和語音數(shù)據(jù)，顯示出我們在日常設(shè)備中擁有這種工具即將成為現(xiàn)實。技術(shù)本身很快會顯得更加情感智能，甚至成為“情感智能”。

背后的工作原理

許多情緒檢測研究是讓參與者觀看“快樂”和“悲傷”的視頻，或要求他們?nèi)藶榈乇憩F(xiàn)出特定的情感狀態(tài)。但該研究團隊為了努力引出更多的情緒，要求受試者講一個他們自選的或快樂、或悲傷的故事。

受試者佩戴裝有本系統(tǒng)的三星Simband智能腕帶——這是一種能捕捉高分辨率生理波形以測量運動、心率、血壓、血流量和皮膚溫度等體征的研究設(shè)備。系統(tǒng)則捕獲音頻數(shù)據(jù)和文本轉(zhuǎn)錄，從而分析說話者的語氣、音調(diào)、精力和詞匯。

以三星智能腕帶對31組持續(xù)數(shù)分鐘的不同對話收集的數(shù)據(jù)為材料，研究人員對兩個算法進行了訓練：一種只將會話的總體性質(zhì)分辨成“快樂”或“悲傷”;第二種則是將每段會話按5秒間隔標記為“正”、“負”或“中性”。

Alhanai指出，在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，數(shù)據(jù)的所有特征都被提供給基于網(wǎng)絡(luò)的算法進行分析。與此相反，他們團隊發(fā)現(xiàn)，對網(wǎng)絡(luò)的不同層次組織不同的特征可以提高算法性能。

“系統(tǒng)在不斷學習——例如，文本轉(zhuǎn)錄中表達的情緒遠比原始加速器數(shù)據(jù)抽象得多。Al在研究人員沒有進行有效輸入時，機器可以模仿我們?nèi)祟惛兄@些交流中包含的感情色彩，這絕對是意義非凡的事情。”

持續(xù)開發(fā)出能夠準確把握人類情緒脈搏的技術(shù)

事實是，該算法得到的結(jié)果與我們?nèi)祟惪赡芷谕^察到的結(jié)果高度匹配。例如，長時間的停頓和單調(diào)的聲調(diào)與悲傷的故事有關(guān)，而精力充沛、變化的講話方式則與快樂的故事有關(guān)。在身體語言方面，煩躁不安和心血管活動的增加，以及某些姿勢，如一個人把手放在臉上，往往與悲傷的故事密切相關(guān)。

平均來說，該模型對每五秒間隔的情緒分類有18%以上的準確度，比現(xiàn)有的方法高出7.5%。

目前，算法雖然還不能可靠到成為一名稱職的社交教練，但Alhanai表示，他們正積極地朝著這個目標努力。對于未來的工作，研究團隊計劃擴大數(shù)據(jù)的收集規(guī)模，考慮使用商業(yè)設(shè)備，如Apple Watch，讓全世界的人們都能更容易地用上這一系統(tǒng)。

“我們的下一步是改進算法在辨別對話情緒方面的準確度，使其能準確辨別諸如無聊、緊張和激動等情緒，而不是僅僅將其標記為‘正’或‘負’。”Alhanai說，“開發(fā)能夠準確把握人類情緒脈搏的技術(shù)，有可能大大改善我們的社交質(zhì)量。”

這項研究部分由三星戰(zhàn)略與創(chuàng)新中心完成。