OpenAI能作詞,我們輸入?yún)且喾驳摹按笸雽捗妗痹嚵艘幌?/h1>
OpenAI能作詞,我們輸入?yún)且喾驳摹按笸雽捗妗痹嚵艘话?/p>
幾十年來(lái),機(jī)器一直在努力學(xué)習(xí)人類(lèi)語(yǔ)言的微妙之處,深度學(xué)習(xí)的出現(xiàn)加速了這一進(jìn)程。
今年2月,OpenAI發(fā)布了一款令人印象深刻的語(yǔ)言模型GPT-2,它可以寫(xiě)短篇小說(shuō)、詩(shī)歌,甚至輕松辨別《哈利波特》和《指環(huán)王》中的角色。最近,一位加拿大工程師用它創(chuàng)建了一個(gè)向公眾開(kāi)放的文本生成器,只需提供一個(gè)句子,機(jī)器便能自動(dòng)生成一則完整的新聞、故事、歌詞、詩(shī)歌、食譜和代碼等文本。
我們用吳亦凡在綜藝節(jié)目《七十二層奇樓》中的一段freestyle(即興說(shuō)唱)“你看這個(gè)面它又長(zhǎng)又寬,就像這個(gè)碗它又大又圓”進(jìn)行了創(chuàng)作。一起來(lái)看看人工智能的freestyle水平吧。
芒果TV綜藝《七十二層奇樓》
人工智能版《大碗寬面》
這個(gè)名為talktotransformer的文本生成器由加拿大工程師亞當(dāng)金(Adam King)創(chuàng)建,它脫胎于OpenAI的大規(guī)模無(wú)監(jiān)督語(yǔ)言模型GPT-2。talktotransformer使用的是GPT-2的精簡(jiǎn)版本,這個(gè)版本過(guò)去只開(kāi)放給特定的科學(xué)家和記者。
在talktotransformer中輸入文本“你看這個(gè)面它又長(zhǎng)又寬,就像這個(gè)碗它又大又圓”后,人工智能創(chuàng)作出的歌詞大意為:
你看這個(gè)面它又長(zhǎng)又寬,
就像這個(gè)碗它又大又圓。
只需嘗一口,你就知道是面條。
我的臉上,露出懷疑的表情。
這是真的,我的碗它變成了面條。
這簡(jiǎn)直太棒了。
當(dāng)我回到家,我得到一些雞翅。
我怎么會(huì)變得這么好?誰(shuí)知道呢?
我從朋友和家人那里得到足夠的愛(ài),
我的味蕾開(kāi)始變大。
當(dāng)我要吃飯的時(shí)候,
它不再只是食物,它是我的想法。
我想要吃好喝好的生活。
talktotransformer模型的輸出結(jié)果
通過(guò)閱讀上述由人工智能模型輸出的文字,我們很容易發(fā)現(xiàn),機(jī)器輸出了一些看似語(yǔ)義完整的句子,但其中的意思卻讓人摸不著頭腦。這就是自然語(yǔ)言處理(NLP)的難題由于缺乏常識(shí),機(jī)器并不真正理解語(yǔ)言的含義。
就如2018年圖靈獎(jiǎng)獲得者約書(shū)亞本吉奧(Yoshua Bengio)在接受澎湃新聞()采訪時(shí)所言,目前的自然語(yǔ)言系統(tǒng)其實(shí)并不理解句子的真正含義,機(jī)器“會(huì)犯一些非常愚蠢的錯(cuò)誤,甚至沒(méi)有兩歲小孩的理解能力”。
文思泉涌的OpenAI GPT-2語(yǔ)言模型
2019年2月,OpenAI發(fā)布了擁有15億參數(shù)的大規(guī)模無(wú)監(jiān)督語(yǔ)言模型GPT-2,它擅長(zhǎng)處理語(yǔ)言建模和文本預(yù)測(cè)任務(wù),還具備閱讀理解、總結(jié)、翻譯等能力。只要給出一個(gè)開(kāi)頭的句子,GPT-2就能生成一篇小文章、一則新聞故事,甚至在文本中使用引語(yǔ)和統(tǒng)計(jì)數(shù)據(jù)。如果給出的句子是一個(gè)短篇小說(shuō)的開(kāi)頭,它會(huì)告訴你接下來(lái)在這些角色身上會(huì)發(fā)生什么事。
OpenAI 加利福尼亞州實(shí)驗(yàn)室工程副總裁David Luan對(duì)美國(guó)科技媒體《邊緣》(THE VERGE)表示,GPT-2能寫(xiě)出“非常合理的”、“稱(chēng)職的”論文,“是可以提交給美國(guó)大學(xué)入學(xué)資格考試(SAT)并取得好成績(jī)的東西”。
GPT-2在人工智能社區(qū)引起了不小的關(guān)注,但OpenAI當(dāng)時(shí)并沒(méi)有開(kāi)源這個(gè)系統(tǒng)。一方面,研究人員對(duì)該算法能做什么、不能做什么尚不明確;另一方面,他們擔(dān)心這項(xiàng)技術(shù)被濫用開(kāi)源之后,如果有人向GPT-2提供種族主義、暴力、歧視女性或者辱罵性的文本,GPT-2將自動(dòng)學(xué)習(xí)并持續(xù)地輸入類(lèi)似的內(nèi)容。
不開(kāi)源的決定引發(fā)了人工智能社區(qū)的不滿(mǎn),畢竟,開(kāi)源是人工智能領(lǐng)域的優(yōu)良傳統(tǒng)。也許是反對(duì)的聲音太大,OpenAI在5月初表示將逐步公開(kāi)GPT-2,并開(kāi)源了345M的預(yù)訓(xùn)練模型。后續(xù),OpenAI將分析該語(yǔ)言模型對(duì)社會(huì)的影響。