參與者說(shuō)出50句話(huà)時(shí)會(huì)收集他們的神經(jīng)活動(dòng)。機(jī)器學(xué)習(xí)算法可以預(yù)測(cè)所收集數(shù)據(jù)的含義。該系統(tǒng)的精度各不相同，但結(jié)果令人鼓舞。

這只是一個(gè)開(kāi)始，但是卻非常令人興奮：將大腦活動(dòng)轉(zhuǎn)化為文本的系統(tǒng)。對(duì)于那些無(wú)法說(shuō)話(huà)的人，例如患有鎖定綜合征的人，這將改變生活。目前，這有點(diǎn)像看大霧，但是舊金山加利福尼亞大學(xué)Chang實(shí)驗(yàn)室的研究人員已經(jīng)訓(xùn)練了一種機(jī)器學(xué)習(xí)算法，可以從神經(jīng)元數(shù)據(jù)中提取含義。該研究的合著者約瑟夫·馬金(Joseph Makin)告訴《衛(wèi)報(bào)》：“我們還沒(méi)有到那兒，但是我們認(rèn)為這可能是言語(yǔ)假肢的基礎(chǔ)。”該研究發(fā)表在《自然神經(jīng)科學(xué)》雜志上。

為了訓(xùn)練他們的AI，Makin和合著者Edward F. Chang試聽(tīng)了四名參與者的神經(jīng)活動(dòng)。作為癲癇病患者，每個(gè)參與者都植入了腦電極以監(jiān)測(cè)癲癇發(fā)作。

向參與者提供了至少要朗讀三遍的50句話(huà)。正如他們所做的那樣，研究人員收集了神經(jīng)數(shù)據(jù)。(還進(jìn)行了錄音。)

該研究列出了參與者列舉的少數(shù)句子，其中包括：

“那些音樂(lè)家和諧地融為一體?！薄八┲鴾嘏难蛎蛎ぷ鞣??！薄澳切┬⊥低底吡巳w珠寶?！薄皬N房里亂七八糟?！?/p>

該算法的任務(wù)是分析收集的神經(jīng)數(shù)據(jù)，并預(yù)測(cè)何時(shí)生成數(shù)據(jù)。(與參與者音頻記錄中捕獲的非語(yǔ)言聲音相關(guān)的數(shù)據(jù)首先被剔除。)

研究人員的算法很快就學(xué)會(huì)了預(yù)測(cè)與神經(jīng)數(shù)據(jù)塊相關(guān)的單詞。AI預(yù)測(cè)說(shuō)出“一只小鳥(niǎo)在看著騷動(dòng)”時(shí)生成的數(shù)據(jù)將意味著“那只小鳥(niǎo)在看著騷動(dòng)”非常接近，而“用梯子救貓和那只男人”被預(yù)測(cè)例如，“將使用哪個(gè)梯子來(lái)營(yíng)救貓和人?！?/p>

準(zhǔn)確性因參與者而異。Makin和Chang發(fā)現(xiàn)，基于一個(gè)參與者的算法在訓(xùn)練另一個(gè)參與者方面具有先機(jī)，這表明隨著時(shí)間的推移和重復(fù)使用AI的訓(xùn)練會(huì)變得更加容易。

衛(wèi)報(bào)與專(zhuān)家克里斯蒂安·赫爾夫(Christian Herff)進(jìn)行了交談，后者發(fā)現(xiàn)該系統(tǒng)令人印象深刻，因?yàn)樗鼮槊總€(gè)參與者使用不到40分鐘的訓(xùn)練數(shù)據(jù)，而不是其他嘗試從神經(jīng)數(shù)據(jù)中提取文本所需的大量時(shí)間。他說(shuō)：“通過(guò)這樣做，它們可以達(dá)到迄今為止尚未達(dá)到的精確度?！?/p>

先前從神經(jīng)活動(dòng)中獲取語(yǔ)音的嘗試主要集中在構(gòu)建語(yǔ)音的音素上，而Makin和Chang則專(zhuān)注于整體單詞。該研究說(shuō)，盡管肯定有比音素更多的單詞，因此這構(gòu)成了更大的挑戰(zhàn)，“連續(xù)語(yǔ)音中任何特定音素的產(chǎn)生都受到其前音素的強(qiáng)烈影響，從而降低了其可分辨性?！?為了最大程度地降低基于單詞的方法的難度，口頭句子總共使用了250個(gè)單詞。

顯然，還有改進(jìn)的空間。AI還預(yù)言“那些音樂(lè)家很棒的和諧”是“菠菜是著名的歌手”?！八┲鴾嘏难蛎蛎ぷ鞣北徽`認(rèn)為“綠洲是海市rage樓”?！澳切┬⊥低底吡巳w珠寶”被誤解為“哪個(gè)劇院放映了鵝媽媽”，而算法預(yù)測(cè)的數(shù)據(jù)“廚房里亂了”表示“有幫助他偷了餅干”。

當(dāng)然，這項(xiàng)研究涉及的詞匯是有限的，句子范例也是如此。Makin指出，“如果您嘗試使用的[50個(gè)句子]之外，解碼會(huì)變得更加糟糕?！?另一個(gè)明顯的警告來(lái)自這樣一個(gè)事實(shí)，即AI是根據(jù)每個(gè)參與者大聲說(shuō)出的句子來(lái)訓(xùn)練的，這對(duì)于被鎖定的患者是不可能的。

Makin和Chang的研究仍然令人鼓舞。對(duì)于其中一位參與者的預(yù)測(cè)，只需進(jìn)行3%的微小修正即可。這實(shí)際上比人類(lèi)轉(zhuǎn)錄中發(fā)現(xiàn)的5%錯(cuò)誤率要好。