情感分析或情感人工智能，在商業(yè)應用中通常被稱為意見挖掘，是自然語言處理（NLP）的一個非常流行的應用。文本處理是該技術最大的分支，但并不是唯一的分支。情緒AI有三種類型及其組合。它們都面臨著各自的挑戰(zhàn)，目前都處于不同的發(fā)展階段。在本文中，筆者將簡要介紹這三種類型以及它們在實際應用中的挑戰(zhàn)。

文本情感分析

作為NLP的一個子集，文本分析和書面意見挖掘是迄今為止最簡單和最發(fā)達的情緒分析類型。它們的需求量大，發(fā)展歷史長，也是企業(yè)和公共部門最常采用的技術。

基本的情緒分析，尤其是用于商業(yè)用途的，可以概括為將句子、段落、帖子或文檔分為消極、中性或積極三類。其中，更復雜的情緒和態(tài)度處理、意義提取、意圖分類和基于語言學的情感分析也越來越受歡迎。

自動情緒分析通常是通過監(jiān)督式深度機器學習、基于詞典的非監(jiān)督過程或兩者的結合來實現的。

我們有許多現成的數據集，如社交媒體、各種評論平臺和公開的問答服務。爬取受歡迎的網站（在受允許的情況下）來提取新數據也很受歡迎，Twitter和亞馬遜是特別受歡迎的選擇。

視覺情感分析

作為多媒體情感分析的一部分，與基于文本的分析相比，視覺情感AI在開發(fā)和商業(yè)整合方面還遠遠不夠。

當前情感分析應用的一個好例子是數字圖像存儲庫中通過情感標識符（“幸?！?、“愛”、“喜悅”、“憤怒”）進行視覺內容搜索，以及自動的圖像和視頻標簽預測。即將出現的應用是出于教育、政治、文化、安全及其他目的，對人們情感的自動理解。

目前，視覺/文本分析，以及圖像注釋和伴隨文本的分析仍然是機器學習進程的主要來源，旨在創(chuàng)建用于視覺情感分析的人工智能。

視覺情緒分析的數據也可以來自社交媒體：來自Flickr、Twitter、Tumblr的圖片;公共托管視頻平臺（YouTube等）

得益于許多著名的帶注釋的靜態(tài)圖像數據集，我們可以很容易地對面部表情進行解釋和分類。復雜或抽象的圖像以及視頻和實時視覺的情感分析是一個更大的問題，特別是遇到缺少具體標簽，或強行做出的和不準確的表情等這些情況時。

復雜的視覺情感分析需要更高層次的抽象、文化知識，以及對主體性、概念和線索的理解。獲得已標記的數據集是很難的，為學習提取和預測所表達的含義這一目的而創(chuàng)建模型也是很難的。

盡管最近的研究讓我們看到了很多希望，但更重要的是它們首先也表明了這樣一個事實：在我們發(fā)明視覺測謊儀和威脅檢測安全系統，能夠結合下意識的面部表情和肢體語言來分析潛在的危險情況之前，還有很長的路要走。

音頻情感分析

語音聊天機器人正在成為我們生活中越來越重要的一部分，比如客戶服務電話中常聽見的某種“固定”的響應或問候。這些語音助手要么已經在使用，要么即將使用情感分析技術，雖然還遠非完美。

從語音語調和環(huán)境中檢測壓力、沮喪和其他情緒是機器已經能夠完成的任務之一。理解和模擬韻律和調性的能力是目前語音處理和合成的一個重要部分。

現有的用于音頻情緒分析的情緒檢測方法通常與語音識別相結合。這種分析的參數是一組可檢測的聲學特征：音調、音強、節(jié)奏、頻譜系數等等。

慕尼黑開源情感與情感識別工具包（openEAR）是最受認可的情感分析工具包之一，能夠提取4000多個特征（56個聲學低級別描述符中的39個功能）。

情緒分析和情感AI的主要挑戰(zhàn)是什么？

情感AI開發(fā)者仍然需要克服幾個挑戰(zhàn)。

現在機器學習的一個普遍概念是：情感人工智能“訓練”的成功總是取決于輸入數據的質量。更大、更好、更干凈的數據集對于避免“垃圾in、垃圾out”的情況是必要的，由這一情況引起的挑戰(zhàn)如：

文本情感分析面臨的挑戰(zhàn)：無法識別雙重含義、笑話和影射;無法解釋語言和非母語語音結構的區(qū)域差異。

例如：對于情感AI來說，處理書面演講中的諷刺可能是一項艱巨的任務，可能會存在對意義和意圖的歪曲理解。雖然社交媒體通常是機器學習算法挖掘意見和意圖的來源，但其中的語言無可否認是特定的，不一定是現實生活中的真實演講?！癆I聊天機器人在推特上呆了一天就變成了種族主義者”這類臭名昭著的事件很滑稽，但仍然很常見。

視覺情感分析的挑戰(zhàn)：無法區(qū)分真實的和強迫的或夸張的情緒表達;不包括肢體語言;處理概念和抽象圖像的問題。

例子：情感和情緒分析的一個顯著應用是安全和防衛(wèi)應用，例如，視覺測謊儀。到目前為止，與算法感知水平相關的問題在于理解真實情感的領域，或者缺乏真實情感的領域。雖然最近有一些成功的研究和發(fā)展，旨在識別真實和虛假的面部表情，但這些研究和發(fā)展仍然是相對小規(guī)模的，非常細分的，比如只涉及微笑時）。

語音情感分析的挑戰(zhàn)：不考慮各種口音、地區(qū)語言模式、個人發(fā)音習慣等等。

許多非母語人士在說第二語言時仍保留著口音。在其他方面，口音可以表現為過渡調性、語速和停頓變化，而這些變化并不是第一語言所特有的。我們需要對其進行明確的解釋，否則這些轉變可能導致對情緒和意圖的誤解。

在我們開發(fā)更好的聊天機器人、智能助手、家庭和商業(yè)環(huán)境中的機器人向導，以及最終實現自我意識、移情和真正理解人類表達的人工智能的道路上，這些問題都是需要重點克服的。