2012年，人工智能研究人員發(fā)現(xiàn)，通過向一個名為ImageNet的數(shù)據(jù)庫提供數(shù)以百萬計的標(biāo)簽圖像，計算機識別圖像的能力會有很大的提高。這使得計算機視覺進入了一個激動人心的階段，因為很明顯，使用ImageNet訓(xùn)練的模型可以幫助解決各種圖像識別問題。六年后，這種進步為自動駕駛汽車在城市街道上導(dǎo)航鋪平了道路，并且使得Facebook用戶可以在照片中對人物進行智能標(biāo)記。

然而，在人工智能研究的其他領(lǐng)域，比如理解語言方面，類似的模型則被證明是難以實現(xiàn)的。但是，來自fast.ai、OpenAI和艾倫研究所(Allen Institute)的最新研究表明，這是一個潛在的突破點，有更強大的語言模型可以幫助研究人員解決一系列尚未解決的問題。其中一種新模型背后的研發(fā)人員塞巴斯蒂安·魯?shù)?Sebastian Ruder)稱其為該領(lǐng)域的“ImageNet時刻”。

這些改進可能是戲劇性的。到目前為止，被最廣泛測試的語言模型是ELMo(Embeddings from Language Models)。今年春天，當(dāng)艾倫研究所發(fā)布ELMo的時候，以往的各種挑戰(zhàn)迅速被顛覆了，比如在閱讀理解方面，人工智能回答了關(guān)于一段文章的SAT式的問題并進行了情緒性分析。在一個進步往往是漸進的領(lǐng)域，ELMo的加入使得結(jié)果的正確率提高了25%。今年6月，這項進步在一次大型會議上獲得了最佳論文獎。

加州大學(xué)伯克利分校的計算機科學(xué)教授丹·克萊因(Dan Klein)是早期采用者之一。他和一名學(xué)生正在研究一個“選區(qū)解析器”，這是一種基本的工具，它涉及到對句子的語法結(jié)構(gòu)進行映射。ELMo的加入使得克萊因突然擁有了世界上最好的系統(tǒng)，最精確的同時擁有驚人的寬限度。他說：“如果你幾年前問我，是否有可能性達(dá)到這么高的水平，我并不能確定。”

像ELMo這樣的模型，解決了一個使用語言的語言學(xué)家的核心問題：缺乏標(biāo)簽的數(shù)據(jù)。為了訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)能夠做決定，許多語言問題都需要人工來精心標(biāo)記數(shù)據(jù)。但是，制作這些數(shù)據(jù)需要時間和金錢，甚至很多信息也無法捕捉到我們說話和寫作中不可預(yù)測的方式。對于除英語以外的語言，研究人員通常沒有足夠的標(biāo)記數(shù)據(jù)來完成基本的任務(wù)。

“我們永遠(yuǎn)無法獲得足夠的標(biāo)簽數(shù)據(jù)，”艾倫研究所ELMo項目團隊領(lǐng)導(dǎo)者的研究人員馬修·彼得斯(Matthew Peters)說。“我們真的需要開發(fā)出一種模型，它可以處理雜亂的、沒有標(biāo)簽的數(shù)據(jù)，并且從中學(xué)習(xí)到盡可能多的信息。”

幸運的是，多虧了互聯(lián)網(wǎng)，研究人員得以從維基百科、書籍和社交媒體等來源獲得了大量的雜亂數(shù)據(jù)。我們的策略是將這些詞輸入到一個神經(jīng)網(wǎng)絡(luò)中，并允許它自己識別模式，即所謂的“無監(jiān)督”方法。我們希望這些模式能夠捕捉到語言的一些基本方面——一種單詞的含義，或者是語法的基本輪廓。與使用ImageNet訓(xùn)練的模型一樣，這樣的語言模型可以被精確地調(diào)整以掌握更具體的任務(wù)——比如總結(jié)一篇科學(xué)文章，將電子郵件歸類為垃圾郵件，甚至為一個簡短的故事生成一個令人滿意的結(jié)尾。

這種直覺基礎(chǔ)并不新鮮。近年來，研究人員利用一種叫做“文字嵌入(word embeddings)”的技術(shù)來深入研究無標(biāo)簽的數(shù)據(jù)，這一技術(shù)可以根據(jù)它們在大量文本中出現(xiàn)的方式來映射單詞之間的關(guān)系。新模式的目標(biāo)定位到更深層，捕捉從文字到更高層次的語言概念的信息。魯?shù)乱呀?jīng)寫過關(guān)于這些更深層次的模型對各種語言問題而言的巨大潛力，希望新模型能成為簡單的“單詞嵌入”的替代品。

例如，ELMo通過整合更多的上下文，以句子的規(guī)模來看待語言，而不是詞匯，從而改進了單詞的嵌入。這種額外的上下文使模型能夠很好地解析“May”作為“五月”和動詞之間的區(qū)別，也意味著它學(xué)習(xí)了語法。ELMo通過理解單詞的子單元，如前綴和后綴，來獲得額外的提升。像彼得斯的團隊所做的那樣，為神經(jīng)網(wǎng)絡(luò)提供十億個單詞，而這種方法是非常有效的。

目前還不清楚的是，在分析所有這些詞的過程中，這個模型到底學(xué)到了什么。由于深度神經(jīng)網(wǎng)絡(luò)的工作方式不透明，所以要回答這個問題十分棘手。研究人員仍然對圖像識別系統(tǒng)工作如此出色的原因有一個模糊的理解。在10月份的一次會議上，彼得斯采用了一種經(jīng)驗主義的方法，在不同的軟件設(shè)計和不同的語言任務(wù)中試驗了ELMo。彼得斯說：“我們發(fā)現(xiàn)這些模型學(xué)習(xí)了語言的基本屬性。”但他警告說，其他研究人員將需要測試ELMo，以確定該模型在不同任務(wù)中的穩(wěn)健程度，以及它可能包含的隱藏意外情況。

一種風(fēng)險是：用于訓(xùn)練它們的數(shù)據(jù)出現(xiàn)了編碼偏差，因而醫(yī)生被貼上男性的標(biāo)簽，而護士則是女性，就像之前的文字嵌入一樣?？巳R因說，雖然通過點擊ELMo和其他模型產(chǎn)生的最初結(jié)果令人興奮，但目前還不清楚這些結(jié)果可以被推進到什么程度，也許是通過使用更多的數(shù)據(jù)來訓(xùn)練模型，或者增加一些限制，迫使神經(jīng)網(wǎng)絡(luò)更有效地學(xué)習(xí)。從長遠(yuǎn)來看，的要讓人工智能像我們這樣流暢地閱讀和交談，可能需要一種全新的方法。