該研究與已知的“雞尾酒會(huì)效應(yīng)（cocktail party effect）”有關(guān)。所謂“雞尾酒會(huì)效應(yīng)”，指的是人的一種聽(tīng)力選擇能力，在這種情況下，注意力集中在某一個(gè)人的談話(huà)之中而忽略背景中其他的對(duì)話(huà)或噪音，該效應(yīng)揭示了人類(lèi)聽(tīng)覺(jué)系統(tǒng)中令人驚奇的能力，即我們可以在噪聲中談話(huà)。
 

同理，谷歌的這項(xiàng)研究可以讓人工智能模仿大腦，在一個(gè)充滿(mǎn)干擾的環(huán)境中（例如到處都有其他的人在說(shuō)話(huà)），將注意力集中在一個(gè)單獨(dú)的物體（例如某一個(gè)人）的能力。

人工智能模型通常很難以相同的效果調(diào)整外部輸入，特別是當(dāng)涉及包含多個(gè)聲音的音頻流時(shí)更是如此。這已被證明是語(yǔ)音識(shí)別領(lǐng)域的主要挑戰(zhàn)，這是當(dāng)今神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用領(lǐng)域之一。

谷歌表示，其研究人員通過(guò)開(kāi)發(fā)一種考慮到不同類(lèi)型信息的深度學(xué)習(xí)模型的做法克服了這一障礙：視覺(jué)輸入。該技術(shù)被設(shè)計(jì)用于處理視頻，該人工智能可以分析剪輯中顯示的人物的嘴部動(dòng)作，以使每個(gè)人都能與他們發(fā)出的聲音進(jìn)行匹配。一旦它建立起了必要的關(guān)聯(lián)關(guān)系，模型就可以將單個(gè)的語(yǔ)音軌道分開(kāi)。

教會(huì)人工智能有效地完成這項(xiàng)任務(wù)并不是一件容易的事。谷歌的研究人員從YouTube上收集了100，000個(gè)視頻，提取了每個(gè)包含每個(gè)發(fā)言人聲音的音頻片段，然后將這些片段拼接成具有多個(gè)音軌的“合成雞尾酒會(huì)”。該小組使用這個(gè)數(shù)據(jù)集來(lái)訓(xùn)練模型，以便在各種條件下都能夠?qū)⒄f(shuō)話(huà)者的聲音與其他聲音分開(kāi)。

谷歌表示，結(jié)果是用戶(hù)可以點(diǎn)擊他們希望聽(tīng)到的人的臉部，并讓視頻中的其他說(shuō)話(huà)的人自動(dòng)靜音。該技術(shù)對(duì)這家搜索巨頭來(lái)說(shuō)有很多潛在的用途。

對(duì)于初學(xué)者來(lái)說(shuō)，谷歌可以在YouTube中使用這個(gè)人工智能版本，讓用戶(hù)調(diào)出剪輯中的一些聲音。對(duì)于在嘈雜的環(huán)境中錄制的視頻來(lái)說(shuō)，這可能是一個(gè)特別大的便利，在這樣的環(huán)境中有時(shí)候會(huì)難以聽(tīng)到發(fā)言者的聲音。

該人工智能也有可能會(huì)改善Hangouts和Meet——谷歌的視頻會(huì)議服務(wù)——的用戶(hù)體驗(yàn)，它能夠讓會(huì)議的參與者更容易地專(zhuān)注于特定的人的語(yǔ)音。該搜索巨頭甚至相信這項(xiàng)技術(shù)可以應(yīng)用于醫(yī)療領(lǐng)域，例如可以開(kāi)發(fā)出更復(fù)雜的助聽(tīng)器。