針對(duì)當(dāng)下深度學(xué)習(xí)的技術(shù)瓶頸，包括清華大學(xué)張鈸在內(nèi)的多位院士、教授給出了自己的研究思路。

【前言】

在剛剛結(jié)束的CCF-GAIR大會(huì)上，來(lái)自清華、加州大學(xué)伯克利、斯坦福、哈工大等多所國(guó)內(nèi)外頂級(jí)理工科院校的院士齊聚深圳，分享了自己最新的研究。雖然各自研究的細(xì)分領(lǐng)域有所不同，但是透過(guò)貫穿始終的技術(shù)講演，避不開(kāi)的事實(shí)是，多位院士都在或直接或間接的去“批判”深度學(xué)習(xí)算法。

演講中，他們?cè)俅蚊鞔_指出深度學(xué)習(xí)的缺陷，進(jìn)而點(diǎn)出，在可以預(yù)見(jiàn)的未來(lái)里，隨著研究的推進(jìn)，當(dāng)下的深度學(xué)習(xí)算法將會(huì)逐步被拉下神壇。

不過(guò)，順著學(xué)術(shù)界走入產(chǎn)業(yè)應(yīng)用，會(huì)發(fā)現(xiàn)產(chǎn)業(yè)界的關(guān)注重點(diǎn)是在技術(shù)的落地。所謂落地，本質(zhì)上就是無(wú)數(shù)應(yīng)用場(chǎng)景的聚合。所以對(duì)于AI企業(yè)而言，對(duì)業(yè)務(wù)的探索和用恰當(dāng)?shù)募夹g(shù)去解決實(shí)際問(wèn)題才是首當(dāng)其沖的。

因此，深度學(xué)習(xí)存在缺陷，這一問(wèn)題短期內(nèi)并不會(huì)妨礙AI當(dāng)下不可阻擋的發(fā)展之勢(shì)，技術(shù)的局限也不意味著AI公司們將會(huì)無(wú)事可做。

但陽(yáng)春白雪的研究始終引領(lǐng)著AI產(chǎn)業(yè)的技術(shù)走向，也是企業(yè)盈利和產(chǎn)業(yè)變革的關(guān)鍵驅(qū)動(dòng)力。

所以，在深度學(xué)習(xí)被過(guò)度炒熱的當(dāng)下，我們理應(yīng)試著站在院士們的“肩膀”上，看的更遠(yuǎn)。而企業(yè)家們?cè)谀_踏實(shí)地的同時(shí)，也應(yīng)當(dāng)不忘仰望星空。

盡管這已不是什么新鮮的話題，但是行業(yè)內(nèi)一直沒(méi)有可以解決問(wèn)題的辦法。本文旨在傳達(dá)學(xué)術(shù)界研究者們提供的一些新思路。

機(jī)器學(xué)習(xí)的弊病--源于對(duì)“大”的誤解

當(dāng)下，最常被提起的名詞就是機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)，用數(shù)學(xué)上集合里的概念去理解這三者之間的聯(lián)系，他們之間依次是包含的關(guān)系，即機(jī)器學(xué)習(xí)包含深度學(xué)習(xí)，深度學(xué)習(xí)包含神經(jīng)網(wǎng)絡(luò)。其中，四層以上的神經(jīng)網(wǎng)絡(luò)就可以稱之為深度學(xué)習(xí)，而深度學(xué)習(xí)是一種典型的機(jī)器學(xué)習(xí)。

上世紀(jì)五十年代，神經(jīng)網(wǎng)絡(luò)這一算法結(jié)構(gòu)出現(xiàn)，當(dāng)時(shí)，它的正式名稱應(yīng)叫做感知機(jī)，但已經(jīng)包含了輸入層、隱含層和輸出層這一經(jīng)典的通用結(jié)構(gòu)，并且隨著隱含層層數(shù)的加深，對(duì)事情的描述就愈加精準(zhǔn)。

但是，神經(jīng)網(wǎng)絡(luò)是一種以輸入為導(dǎo)向的算法，所以優(yōu)質(zhì)的結(jié)果一定取決于接近“無(wú)窮”量級(jí)的數(shù)據(jù)。因而，在2000年互聯(lián)網(wǎng)革命沒(méi)有爆發(fā)之前，它一直都處在無(wú)人問(wèn)津的階段。

正如大家所知道的，互聯(lián)網(wǎng)時(shí)代積累的大量數(shù)據(jù)和云計(jì)算帶來(lái)的算力的大幅提升，極大地釋放了深度學(xué)習(xí)算法(深層的神經(jīng)網(wǎng)絡(luò))的潛力，因而也讓人工智能時(shí)代全面爆發(fā)，產(chǎn)業(yè)應(yīng)用得以蓬勃發(fā)展。數(shù)據(jù)顯示，2017年我國(guó)人工智能市場(chǎng)規(guī)模達(dá)到216.9億元，同比增長(zhǎng)52.8%，預(yù)計(jì)2018年市場(chǎng)規(guī)模將達(dá)到339億元。

然而，隨著產(chǎn)業(yè)應(yīng)用的成熟，以及大家對(duì)真正“智能”的渴求，讓算力和深度學(xué)習(xí)算法本身的局限性，顯露無(wú)疑。

圖 | 加州大學(xué)伯克利分校電子工程與計(jì)算機(jī)系教授 馬毅

“老百姓概念里的‘大數(shù)據(jù)’和我們所認(rèn)為的大數(shù)據(jù)是完全不一樣的，就拿圖像處理來(lái)說(shuō)，數(shù)十億的數(shù)據(jù)量看似量級(jí)很高，但對(duì)我們來(lái)說(shuō)，它其實(shí)是‘小樣本’。因?yàn)檎嬲軌蛴?xùn)練出好的模型的數(shù)據(jù)量，應(yīng)當(dāng)是趨于無(wú)窮的，所以即便是擁有了大量數(shù)據(jù)去訓(xùn)練模型，和理想的智能模型之間，也有著本質(zhì)的差別。”從算法性質(zhì)出發(fā)，加州大學(xué)伯克利分校電子工程與計(jì)算機(jī)系教授馬毅也點(diǎn)出了當(dāng)下這項(xiàng)火熱技術(shù)的局限性。

因而從學(xué)者、投資人到AI頭部企業(yè)，尋找新的技術(shù)和方向成為了現(xiàn)在的重點(diǎn)。

在會(huì)議的開(kāi)場(chǎng)報(bào)告中，清華大學(xué)張鈸院士呼吁大家思考的“如何走向真正的人工智能”成為了為期三天會(huì)議的基調(diào)，同時(shí)也反映了行業(yè)發(fā)展至當(dāng)下階段，眾人的訴求。

新方向探索--數(shù)據(jù)處理方法、基本思想和技術(shù)思路 ●數(shù)據(jù)處理層面，語(yǔ)義向量空間或進(jìn)一步拓寬入口

看見(jiàn)了技術(shù)的“天花板”，很多專家學(xué)者開(kāi)始提出“小數(shù)據(jù)”的概念，然而清華大學(xué)人工智能學(xué)院院長(zhǎng)張鈸院士卻不認(rèn)為數(shù)據(jù)量的大小是當(dāng)下的根本問(wèn)題所在，他指出，傳統(tǒng)的人工智能三要素將不能帶來(lái)真正的智能。

圖 | 清華大學(xué)人工智能學(xué)院院長(zhǎng)、中國(guó)科學(xué)院院士 張鈸

“評(píng)價(jià)人工智能獲得的成果，我們可以從這五件事來(lái)看：深藍(lán)打敗人類國(guó)際象棋冠軍;IBM 在電視知識(shí)競(jìng)賽中打敗了美國(guó)的前兩個(gè)冠軍;2015 年微軟在ImageNet 上做圖象識(shí)別，誤識(shí)率略低于人類;百度、訊飛也都宣布在單句的中文語(yǔ)音識(shí)別上識(shí)別準(zhǔn)確度略低于人類和AlphaGo 打敗了李世石。前兩件事歸為一類，后三件事可歸為另一類。

大家一致認(rèn)為，這五件事得以發(fā)生的三要素是：大數(shù)據(jù)、算力的提升和非常好的人工智能算法。但我認(rèn)為大家忽略了一項(xiàng)因素，就是這所有的成果必須建立在一個(gè)合適的場(chǎng)景下。”

換言之，當(dāng)下人工智能的發(fā)展避不開(kāi)種種限制條件，因而智能的機(jī)器也只能夠照章辦事，沒(méi)有任何靈活性，也達(dá)不到人們想要的智能，而這也就是當(dāng)下AI的發(fā)展?fàn)顟B(tài)。

“我們現(xiàn)在的人工智能基本方法有缺陷，而我們必須走向具有理解能力的AI，這才是真正的人工智能。”張鈸院士在演講中指出。

那解決辦法是什么呢?通過(guò)循序漸進(jìn)，張?jiān)菏吭谘葜v中給出了思路，并指明語(yǔ)義向量空間這一技術(shù)方向。

“首先，需要明確的是，現(xiàn)有的機(jī)器缺乏推理能力的原因在于它沒(méi)有常識(shí)。”

張鈸院士通過(guò)實(shí)驗(yàn)驗(yàn)證，常識(shí)的建立確實(shí)會(huì)極大程度的提升機(jī)器的性能。而為機(jī)器建立常識(shí)庫(kù)也成為人工智能企業(yè)進(jìn)一步提升系統(tǒng)性能的第一步。“美國(guó)在1984 年就搞了這樣一個(gè)常識(shí)庫(kù)的工程，做到現(xiàn)在還沒(méi)完全做出來(lái)。可見(jiàn)，要走向真正的人工智能，有理解的人工智能，是一條很漫長(zhǎng)的路。”

但即使在建立常識(shí)庫(kù)的基礎(chǔ)上，做到有理解能力的人工智能依然不容易。想要提升智能的第二步，在張?jiān)菏靠磥?lái)，就是將感性和知識(shí)的世界統(tǒng)一起來(lái)，而這將為人工智能的發(fā)展帶來(lái)一次質(zhì)的飛躍。

“深度學(xué)習(xí)之所以能夠極大的促進(jìn)人工智能的發(fā)展，技術(shù)上的關(guān)鍵在于人們能夠?qū)@取的標(biāo)量數(shù)據(jù)轉(zhuǎn)變?yōu)橄蛄浚瑥亩玫綑C(jī)器上。但至今為止，將行為(特征向量)和數(shù)據(jù)(符號(hào)向量)結(jié)合起來(lái)使用始終是科研的難點(diǎn)，而這就限制了機(jī)器變得更‘智能’。”

不僅如此，從安全層面來(lái)看，純數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)也存在很大問(wèn)題——魯棒性很差，易受到很大的干擾。因而，在大量樣本的訓(xùn)練下，系統(tǒng)仍會(huì)犯重大的錯(cuò)誤。如商湯、曠視等頭部企業(yè)也表示，即便訓(xùn)練出的系統(tǒng)模型準(zhǔn)確率高達(dá)99%，但在實(shí)際應(yīng)用中，系統(tǒng)仍然會(huì)犯很多“弱智”的錯(cuò)誤。

“我們現(xiàn)在想出的解決辦法是這樣的，就是把這特征向量空間和符號(hào)向量投射到一個(gè)空間去，這個(gè)空間我們把它叫做語(yǔ)義向量空間。”

怎么做?

張?jiān)菏恐赋觯谝?，要通過(guò)Embedding(嵌入)把符號(hào)變成向量，盡量保持語(yǔ)義不丟失;第二就是Raising(提升)，結(jié)合神經(jīng)學(xué)科，把特征空間提升到語(yǔ)義空間。

“只有解決這些問(wèn)題，我們才能夠建立一個(gè)統(tǒng)一的理論。因?yàn)樵谶^(guò)去，對(duì)感知和認(rèn)知的處理方法是不同的，因而兩者不在同一維度，無(wú)法統(tǒng)一處理。但如果我們能夠?qū)⒏兄驼J(rèn)知投射到同一空間，我們就可以建立一個(gè)統(tǒng)一的理論框架，并在語(yǔ)義向量空間里解決理解問(wèn)題。這是我們的目標(biāo)，但是這項(xiàng)工作是非常艱巨。”

●基本思想的顛覆，模糊計(jì)算或是未來(lái)

“無(wú)論是知識(shí)圖譜，語(yǔ)義向量空間還是當(dāng)下的其他深度學(xué)習(xí)訓(xùn)練，它們都是基于概率統(tǒng)計(jì)理論，而模糊邏輯不是，它是以模糊集理論為基礎(chǔ)的。”非常大膽的，從思想層面，美國(guó)猶他州立大學(xué)計(jì)算機(jī)系終身教授承恒達(dá)給出了顛覆性的想法。

圖 | 美國(guó)猶他州立大學(xué)計(jì)算機(jī)系終身教授 承恒達(dá)

其實(shí)模糊邏輯并非全新的概念。1931年，Kurt Gödel發(fā)表論文證明了形式數(shù)論(即算術(shù)邏輯)系統(tǒng)的“不完全性定理”，模糊邏輯誕生。而在1965年，美國(guó)加州大學(xué)的L.A.Zadeh博士發(fā)表的關(guān)于模糊集的論文，標(biāo)志著人類首次用數(shù)學(xué)理論成功描述了不確定性。

“現(xiàn)在的計(jì)算機(jī)領(lǐng)域，不是0就是1，而我們描述的是0到1之間的很多不確定性成分，其實(shí)，這一過(guò)程描述的是導(dǎo)致結(jié)果的原因。以兩瓶水為例，一瓶水上標(biāo)記‘是純凈水的概率是0.91’，而另一瓶水上標(biāo)記的是‘水的純凈程度是0.91’，你會(huì)選擇哪一瓶呢?顯然，你會(huì)選擇后者。這里的思考判斷過(guò)程就是模糊邏輯，因?yàn)楹笳邔?duì)于程度的描述本質(zhì)上就是模糊的。”

目前，類似于經(jīng)典邏輯體系(微積分、線性代數(shù)、生物學(xué)等衍生學(xué)科)，模糊邏輯也逐步形成了自己的邏輯體系。

然而再好的技術(shù)，都需要結(jié)合應(yīng)用去展現(xiàn)它的優(yōu)勢(shì)。在這一方面，承教授也是格外重視，于是他選擇了乳腺癌的早期診斷研究領(lǐng)域。“到目前為止，我們的設(shè)計(jì)樣本已經(jīng)被全世界二十多個(gè)國(guó)家，五十多個(gè)團(tuán)隊(duì)用來(lái)使用。”

在承教授看來(lái)，現(xiàn)有的技術(shù)存在著非常明顯的不足，需要大家沉下心來(lái)去分析問(wèn)題，從而探索到改進(jìn)的方法。“現(xiàn)在大家都在模擬腦波中的電信號(hào)，但其實(shí)大腦里存在的不僅僅是電信號(hào)，還有化學(xué)反應(yīng)。而很多人在做的醫(yī)學(xué)圖像處理，實(shí)際上只是做圖像處理，卻不是醫(yī)學(xué)圖像處理，它們之間是有著非常大的不同。”

●技術(shù)思路：大繁至簡(jiǎn)

當(dāng)下，面對(duì)技術(shù)的毫無(wú)進(jìn)展，AI公司的焦慮顯而易見(jiàn)。不同于上面院士教授們給出的具體技術(shù)思路，馬毅教授更像是科技界的“魯迅”，他用PPT中一張張演講稿中的優(yōu)質(zhì)論文做例，只為重新喚醒大家對(duì)于AI的思考。

圖 | 馬毅教授現(xiàn)場(chǎng)PPT選

“神經(jīng)網(wǎng)絡(luò)，導(dǎo)入的數(shù)據(jù)有一個(gè)很小的改動(dòng)，分類就會(huì)有很大的變化，這不是什么新發(fā)現(xiàn)，2010年，大家就遇到這樣的問(wèn)題，但至今沒(méi)有解決。”演講一開(kāi)始，馬毅就拎出了“老生常談”，毫不留情的將一盆冷水澆到了眾多對(duì)AI盲目樂(lè)觀的人身上。

對(duì)技術(shù)的不正確認(rèn)知，馬毅也在極力得糾正。

“在人臉識(shí)別領(lǐng)域，要讓算法具有魯棒性，比寫(xiě)個(gè)AlphaGo要困難千倍。”

“都說(shuō)神經(jīng)網(wǎng)絡(luò)越大越好，這簡(jiǎn)直是胡說(shuō)八道。”

嬉笑怒罵間，從事研究數(shù)年，馬毅給出了自己的思考方向：“真正的優(yōu)質(zhì)算法一定是最簡(jiǎn)單的，比如迭代、遞歸，還有經(jīng)典的ADMM，這些簡(jiǎn)單的算法就很好，也很有用。”

結(jié)語(yǔ)

接下來(lái)，人工智能技術(shù)的發(fā)展并不會(huì)樂(lè)觀，尤其是產(chǎn)業(yè)發(fā)展將進(jìn)入一個(gè)平緩期，但是這并不意味著學(xué)術(shù)界和產(chǎn)業(yè)界將無(wú)事可做。

圖 | 張鈸院士現(xiàn)場(chǎng)PPT選

正如張鈸院士指出的，“我們正在通往真正AI的路上，現(xiàn)在走得并不遠(yuǎn)，在出發(fā)點(diǎn)附近。但人工智能永遠(yuǎn)在路上，大家要有思想準(zhǔn)備，而這也就是人工智能的魅力。”