本文作者曾經(jīng)多次預測了技術(shù)發(fā)展的趨勢，最近的一次預測是“2011年軟件發(fā)展的趨勢與預測”。10項預言中，準確地命中了6項，比如JavaScript VM、NoSQL、大數(shù)據(jù)分析、私有云、Scala語言等等。今年，他對深度學習的發(fā)展趨勢做了一個預測，主要是研究領(lǐng)域的趨勢預測，而不是工業(yè)界的應用。

　　以下是對2017年度的預測內(nèi)容。

　　1、硬件將加速倍增摩爾定律

　　作者根據(jù)其觀察到Nvidia和Intel的發(fā)展動態(tài)，認為這是顯而易見的趨勢。由于Nvidia具有完整的深度學習生態(tài)系統(tǒng)，它們在整個2017年都將主導占據(jù)主導地位。在另一個深度學習生態(tài)系統(tǒng)成熟之前，沒有人會拋棄Nvidia而追求其它的平臺。Intel的Xeon Phi方案中途夭折，預計要到2017年年中才能在性能上追趕上Nvidia，那時基于Nervana的芯片才推向市場。Intel的FPGA方案可能因為成本原因而被云提供商所采納。降低功耗是頭等大事。預計到2017年年中，Intel的Nervana芯片每秒可完成30萬億次浮點運算。作者個人猜測，Nvidia目前已經(jīng)能夠?qū)崿F(xiàn)每秒20萬億次浮點運算，他打賭Intel在2018年之前不會有太多動作。Intel手中的唯一可能的一張王牌是3D XPoint技術(shù)。這將有助于提高整個硬件堆棧，但不一定是提升核心能力。

　　2、卷積神經(jīng)網(wǎng)絡(luò)（CNN）將會統(tǒng)治而RNNs和LSTM將被淘汰

　　作者認為CNN模型將成為深度學習系統(tǒng)的主流模型。RNN和LSTM模型及其遞歸設(shè)置和嵌套的記憶節(jié)點將越來越少地使用，因為它們無法與CNN所抗衡。就如同GOTO在代碼中消失一樣，作者希望RNN和LSTM模型也被淘汰。

　　3、簡單的調(diào)參工作將被元學習取代

　　當作者剛開始接觸深度學習時，他認為優(yōu)化算法，特別是二階的算法能夠有巨大的提升。如今，已經(jīng)有替我們優(yōu)化模型的深度學習模型了。我們不在需要費盡心思改進SGD算法了，作者認為重要的一個原因是元學習（meta-learning）能夠根據(jù)領(lǐng)域自適應地優(yōu)化學習過程。

　　4、可微分記憶網(wǎng)絡(luò)將更常見

　　記憶模塊將從核心節(jié)點中抽取出來，只是作為計算機制的一個獨立組件，作者覺得這是一個很自然的結(jié)果或者說架構(gòu)。他認為LSTM的遺忘門、輸入門和輸出門沒有必要，它們可以被輔助的可微分記憶模塊所取代。這呼應了作者對CNN模型的預測。

　　5、強化學習只會變得更具創(chuàng)造性

　　對于現(xiàn)實的觀察永遠是不完美的。我們身邊存在著大量SGD無法解決的問題。因此，任何實踐性的深度學習系統(tǒng)都必須包含某些形式的強化學習。除此之外，強化學習將會出現(xiàn)在各種深度學習的訓練過程中。作者認為強化學習極大地促進了元學習。

　　6、對抗與合作學習將成為王牌

　　在過去，我們的深度學習系統(tǒng)都只有單一的目標函數(shù)。今后，作者希望看到兩個或兩個以上的網(wǎng)絡(luò)合作或競爭來實現(xiàn)一個最佳的解決方案。參見“博弈論揭示了深度學習的未來”。

　　7、轉(zhuǎn)移學習引領(lǐng)產(chǎn)業(yè)化

　　Andrew Ng認為這非常重要，作者也表示贊同！

　　8、更多的應用程序?qū)⑹褂蒙疃葘W習組件

　　在2016年，我們已經(jīng)看到深度學習在更大的搜索算法中用作一個功能評價組件。alphago采用深層學習來評估策略。谷歌的Gmail自動回復系統(tǒng)將深度學習與集束搜索（beam search）結(jié)合。作者希望看到更多的這類混合算法，而不是新的end-to-end的被訓練的DL系統(tǒng)。

　　9、更多的采用設(shè)計模式

　　深度學習只是眾多需要抽象結(jié)構(gòu)的復雜領(lǐng)域之一。盡管它用到了很多高深的數(shù)學知識，仍有很多未經(jīng)證明和模糊的概念可以借鑒在其它復雜領(lǐng)域已被證明是有效的方法，比如在軟件開發(fā)領(lǐng)域有效。作者認為人們最終會從深度學習與模式設(shè)計中得到啟發(fā)。

　　10、工程將超過理論

　　作者認為研究人員的背景和他們所使用的數(shù)學工具會給他們的研究方法帶來偏見。深度學習系統(tǒng)和無監(jiān)督學習系統(tǒng)等等這些新的東西可能我們從來沒有遇到過。因此，他覺得沒有證據(jù)表明我們的傳統(tǒng)分析工具將對解開深度學習的謎團提供任何幫助。幾十年來，物理學中大量的動態(tài)系統(tǒng)一直困擾著作者，他將此類比于深度學習系統(tǒng)。

　　然而，盡管我們?nèi)狈α私馄浔举|(zhì)，但是將不會阻止工程上的應用。作者覺得深度學習幾乎就像是生物技術(shù)或基因工程。我們已經(jīng)創(chuàng)建了模擬學習機，我們不知道他們是如何工作的，但是這并沒有阻止任何人進行創(chuàng)新。