美教授以Youtube視頻為素材研究計(jì)算機(jī)情感識(shí)別
當(dāng)Louis-Philippe Morency還在南加州大學(xué)教授人類行為學(xué)的分析課程時(shí),他就已經(jīng)不遺余力地尋找人們之間彼此交談和表達(dá)觀點(diǎn)的優(yōu)秀視頻了,直到他靈光一閃,想到了YouTube。忽然之間就有數(shù)百萬(wàn)充滿個(gè)人觀點(diǎn)的視頻以供分析,這些例子涵蓋的話題包羅萬(wàn)象,從美容乳液到棒球,而且都是免費(fèi)的。忘掉那些不自然且呆板的采訪吧,“最棒的是,即使采訪環(huán)境有些嘈雜,在攝像機(jī)面前,所有人都是如此直接地描述了自己的感受和自己的喜好。”Morency解釋道。
Morency是美國(guó)南加州大學(xué)科技創(chuàng)新技術(shù)學(xué)院的一名科學(xué)家,主要工作是教計(jì)算機(jī)識(shí)別和理解人類傳達(dá)感情的方式,對(duì)他而言,YouTube上的寶貴資源不僅僅為他的學(xué)生提供了巨大的數(shù)據(jù)資料,同時(shí)也具有提升日益增長(zhǎng)的觀點(diǎn)挖掘產(chǎn)業(yè)的潛力,這遠(yuǎn)遠(yuǎn)領(lǐng)先于對(duì)只有文字的亞馬遜產(chǎn)品評(píng)論和Facebook狀態(tài)更新的深入研究。 “通過(guò)集中精力研究在線視頻,我們?cè)谶@個(gè)領(lǐng)域領(lǐng)先了一步,因?yàn)樵诰€視頻可以提供語(yǔ)言和非語(yǔ)言的交流線索,而不僅僅是話語(yǔ)。”Morency說(shuō)道。
美國(guó)南加州大學(xué)教授 Morency
為了進(jìn)行研究,Morency和他的同事們對(duì)上百個(gè)來(lái)自Youtube的視頻進(jìn)行了梳理,這些視頻充滿了各種抱怨和誹謗,比方其中包括來(lái)自20個(gè)憤世嫉俗者各種各樣的抱怨吐槽,從小型鳥(niǎo)類到火氣大的司機(jī)等等。Morency將一份具有50個(gè)視頻資料分析結(jié)果的驗(yàn)證類數(shù)據(jù)資料輸入自己開(kāi)發(fā)的計(jì)算機(jī)程序中進(jìn)行分析,該程序可以將說(shuō)話人的語(yǔ)言、說(shuō)話模式和面部表情等以圖像的形式進(jìn)行覆蓋,用以判斷說(shuō)話者想要表達(dá)觀點(diǎn)的類型。
“這個(gè)對(duì)樣本分析的小方法勝過(guò)單獨(dú)的文本分析。”Morency說(shuō)道,“因此這種方法可以提供交流溝通中哪怕是最不明顯細(xì)枝末節(jié)的線索。”Morency還發(fā)現(xiàn),除了明顯愉悅時(shí),人們?cè)谧约旱挠^點(diǎn)得到認(rèn)同的時(shí)候會(huì)更多地看著鏡頭,同時(shí)聲調(diào)也會(huì)變得更高。當(dāng)人們持中立態(tài)度的時(shí)候,人們說(shuō)話更容易停頓。“眼中的微笑最為真實(shí)。”他補(bǔ)充道,“在很多例子中會(huì)出現(xiàn)一個(gè)完美的表情,但是如果這個(gè)表情消失的很快,那么有可能就不是真實(shí)的。”
對(duì)人造情感的檢測(cè)和分辨帶來(lái)了更多的啟示和思考,F(xiàn)ast Company邀請(qǐng)Morency對(duì)《甜蜜布朗》新聞錄影帶的片段進(jìn)行分析。她對(duì)從失火公寓中艱難逃生戲劇般的講述不僅讓攝影師為之動(dòng)容,同時(shí)也引發(fā)了無(wú)數(shù)網(wǎng)民的觀看(目前已有三百七十萬(wàn)瀏覽量,這個(gè)數(shù)字還在繼續(xù)上升),隨后這一事件演變成了使用電子合聲器而走紅的互聯(lián)網(wǎng)快速傳播事件。但是布朗當(dāng)時(shí)真的是沒(méi)有穿鞋而逃命的嗎?
Morency承認(rèn)自己并非是一個(gè)欺騙高手,不過(guò)從他的角度來(lái)說(shuō),布朗女士是一個(gè)老練的(或者是天生的)講故事高手。 “她從一開(kāi)始就牢牢抓住了采訪者的注意力,接著通過(guò)不斷的搖頭和揚(yáng)眉毛強(qiáng)調(diào)自己故事的重要線索,并且這些身體語(yǔ)言和她的話語(yǔ)很一致。同時(shí)她通過(guò)時(shí)不時(shí)的具有目的性的微笑將這個(gè)本該是難過(guò)的故事講述成了一個(gè)有趣的故事。”Morency說(shuō)他需要親自和她見(jiàn)面會(huì)談才能做出更準(zhǔn)確的判斷,不過(guò)根據(jù)另一份來(lái)自 KFOR的報(bào)告表明Morency的看法是對(duì)的,布朗女士確實(shí)是這樣的人。
Morency將他的模型帶到了在西班牙舉行的多模態(tài)交互國(guó)際會(huì)議,之后宣布他已經(jīng)將自己的數(shù)據(jù)資料庫(kù)擴(kuò)展到包含了接近500個(gè)視頻的規(guī)模,并將在今年年底宣布從這個(gè)更大的樣本庫(kù)得出的分析結(jié)果。
除了學(xué)術(shù)界,Morency的發(fā)現(xiàn)還吸引了YouTube和谷歌高層人員的興趣,目前Morency正在準(zhǔn)備一份和搜索引擎巨頭合作的提議,并重申是出于“科學(xué)研究和創(chuàng)造技術(shù)”的動(dòng)機(jī)。一旦提議得到許可,那么公司將金額他的團(tuán)隊(duì)一起工作,“用行動(dòng)影響世界”。
除了研究?jī)?nèi)容讓熱愛(ài)科學(xué)的Morency心潮澎湃以外,他還看到了在各領(lǐng)域中巨大的實(shí)際應(yīng)用,包括為心理學(xué)家提供分析解釋行為的新工具,以及為企業(yè)和消費(fèi)者提供更好的眾包方式等等。“當(dāng)人們想要嘗試一家新餐館或者看一部電影的時(shí)候,多多少少都會(huì)受到網(wǎng)絡(luò)上人們的影響。”他解釋道:“增加視頻分析可以將最真實(shí)的意見(jiàn)和看法放到首位,不然用戶看到的不僅是通過(guò)關(guān)鍵詞還有正面負(fù)面評(píng)價(jià)得到的網(wǎng)絡(luò)搜索結(jié)果。”
企業(yè)測(cè)試版本最遲也會(huì)在3年內(nèi)完成,不過(guò)科技創(chuàng)新技術(shù)學(xué)院已經(jīng)在他們的虛擬人研究中運(yùn)用了該技術(shù),該技術(shù)可以改進(jìn)虛擬人和真實(shí)人的交流方式。
作為法裔加拿大人,Morency同時(shí)希望研究非英語(yǔ)講話者的視頻。
從西班牙語(yǔ)入手,Morency研究了基于不同文化背景下的來(lái)自不同國(guó)家的人們是如何表達(dá)觀點(diǎn)的,“我們可以將視頻結(jié)合語(yǔ)境進(jìn)行分析,同時(shí)對(duì)視頻進(jìn)行分類,然后找尋天生行為中的差異。”跨文化領(lǐng)導(dǎo)訓(xùn)練,有人愿意參加嗎?
說(shuō)道領(lǐng)導(dǎo)力和協(xié)同工作,Morency的工作也幫助學(xué)生在集體中認(rèn)清具有領(lǐng)導(dǎo)力的人,同時(shí)也分辨學(xué)生是融入其中、充滿困惑還是不斷學(xué)習(xí)。評(píng)估這些不確定因素可以創(chuàng)造更好的培訓(xùn)系統(tǒng)以便在需要的時(shí)候提供更多建議和積極的影響,Morency相信這項(xiàng)技術(shù)能夠?qū)⒓彝プ鳂I(yè)更加互動(dòng)同時(shí)鼓勵(lì)學(xué)生之間的合作。
“我們正在培養(yǎng)下一代,”Morency說(shuō)道:“好的學(xué)校應(yīng)該盡早在課程體系中安排類似的課程,我非常希望和更多的公司合作以便將其付諸實(shí)踐。
更多相關(guān)新聞?wù)堦P(guān)注:21ic計(jì)算機(jī)與外設(shè)頻道