今天，機器學習諸多理論的主要奠基人、美國三院院士Michael I. Jordan受聘為清華大學訪問教授，同時發(fā)表主題報告。Jordan認為，大數(shù)據(jù)的增長對傳統(tǒng)的數(shù)據(jù)科學理論提出了改變的需求，特別是統(tǒng)計學和計算學的相關(guān)理論，應(yīng)該呈融合式的發(fā)展。Jordan特別提到，要在明年1月正式發(fā)布他們研究室的分布式機器學習框架Ray，集統(tǒng)計推理、機器學習、大數(shù)據(jù)處理、計算等為一體，超越Spark。

12月20日，清華大學正式宣布聘請計算機科學機器學習領(lǐng)域頂級學者Michael I. Jordan為訪問教授，聘請儀式在清華大學主樓進行。

除了清華大學校領(lǐng)導(dǎo)，來自人大、北大等高校的代表，以及企業(yè)界代表——百度副總裁王海峰出席了聘請儀式。

Michael I. Jordan是美國國家科學院院士、美國國家工程院院士以及美國藝術(shù)與科學院院士。Jordan教授也是美國加州大學伯克利分校Pehong Chen特聘教授，擔任大數(shù)據(jù)實驗室（AMPLab）共同主任、統(tǒng)計人工智能實驗室（SAIL）主任、統(tǒng)計系系主任。長期引領(lǐng)著機器學習、統(tǒng)計學的理論、方法與系統(tǒng)研究，是貝葉斯網(wǎng)絡(luò)、概率圖模型、層次隨機過程等多個重要方向的主要奠基者之一，也是統(tǒng)計學與機器學習交叉融合的主要推動者之一。

機器學習領(lǐng)域的“邁克爾·喬丹”

2016年4月，位于美國西雅圖的艾倫人工智能研究院（AI2）名叫SemanTIc Scholar的程序基于400萬份計算機領(lǐng)域的論文，計算出了最有影響力的學者排名。其中在機器學習領(lǐng)域的Michael I. Jordan以1185的得分位居第一。

2015年秋天，由微軟聯(lián)合創(chuàng)始人保羅·艾倫創(chuàng)立的艾倫人工智能研究所（Allen InsTItute for ArTIficial Intelligence）發(fā)布了一款名為SemanTIc Scholar的搜索服務(wù)，其瞄準的競爭對手是Google Scholar、PubMed和其他在線學術(shù)搜索引擎。這項計劃最初的目標是讓這款由人工智能驅(qū)動的搜索引擎能在一定程度上真正理解搜索出來的論文。但后來，Semantic Scholar有了一個新目標：衡量一位科學家或一所研究機構(gòu)對之后研究的影響。

根據(jù)Science報道，Semantic Scholar將不僅僅為論文排名，也會根據(jù)某一影響因素為作者、機構(gòu)排名。例如，Semantic Scholar發(fā)現(xiàn)，MIT是當今計算機科學領(lǐng)域影響力最大的機構(gòu)——這并不奇怪。不過，誰是計算機科學領(lǐng)域影響力最大的科學家呢？

如果你要看原始引用次數(shù)最高的人，那么計算機科學領(lǐng)域當前頂尖科學家是加州大學伯克利分校的Scott Shenker。但使用Semantic Scholar得出的結(jié)果是，影響力最大的是Shenker的同事——同樣在加州大學伯克利分校工作的Michael I. Jordan。Jordan是人工智能領(lǐng)域的先驅(qū)，但他的名字極少為外人所知。艾倫人工智能研究所所長、Semantic Scholar的研發(fā)負責人Oren Etzioni戲稱其為“機器學習領(lǐng)域的邁克爾·喬丹”。

使用Semantic Scholar搜索Michael I. Jordan的結(jié)果

聘請儀式結(jié)束后，Michael I. Jordan現(xiàn)場作了題為《On Computational Thinking, Inferential Thinking and Data Science》的報告分享。

Jordan演講核心：融合計算理論與統(tǒng)計理論

科學和技術(shù)界中數(shù)據(jù)集大小和規(guī)模的快速增長，已經(jīng)創(chuàng)造了關(guān)于數(shù)據(jù)科學的、新穎的基礎(chǔ)性視角的需求，這種視角應(yīng)該是融合了推理（Inferential）和計算機科學的。

這些領(lǐng)域中傳統(tǒng)的視角和思路不足以解決“大數(shù)據(jù)”中凸顯的難題，這顯然是由于在基礎(chǔ)性的層面，二者存在突出的分歧。在計算機科學中，數(shù)據(jù)點數(shù)量的增長是”復(fù)雜性“的來源，必須通過算法或者硬件來訓練。而在統(tǒng)計學中，數(shù)據(jù)點數(shù)量的增長是”簡單性“的來源，它能讓推理在總體上變得更強大，引出漸進式的結(jié)果。

在形式層上，核心的統(tǒng)計學理論中缺乏計算機理論中的概念，比如“runtime”（運行時）的作用，而在核心的計算理論中，又缺乏統(tǒng)計學概念，比如“risk”的作用。二者之間的差異（Gap) 顯而易見。

演講展示了幾個研究，用以為計算學和統(tǒng)計學搭建起橋梁，其中包括在隱私和交流限制下的推理問題，以及推理的速度和準確率之間達成平衡的方法。

值得一提的是，在演講完后的問答環(huán)節(jié)中，有兩位提問的人總想讓Jordan在圖模型（graph model）和深度神經(jīng)網(wǎng)絡(luò)（DNN）上選擇一種。不過，Jordan 認為，兩種方法都同樣屬于將統(tǒng)計融入了計算理論，因此——他不做選擇。

此前，新智元特邀編輯小猴機器人2011年曾對話Michael I. Jordan 教授，并在InfoQ 發(fā)表文章《對話機器學習大神 Michael Jordan：深度模型》。

在5年以前，喬丹教授就認為，統(tǒng)計或者機器學習需要更加深入的與計算機科學系統(tǒng)和數(shù)據(jù)庫接觸，并不僅僅與具有人工智能的人。這一直是過去的幾十年里正在進行的，并且直到現(xiàn)在仍然保持著“機器學習”的熱點。在當時的采訪中，小猴機器人了解到，喬丹教授從2006年到2011年在伯克利分校“RAD實驗室”，直到現(xiàn)在在“AMP實驗室”，在這段時間里一直都做著這樣的事情。

采訪中提到，喬丹教授相對于術(shù)語“神經(jīng)網(wǎng)絡(luò)”用法的重塑形象，更偏向于“深度學習”。在其他的工程領(lǐng)域里，利用流水線、流程圖和分層體系結(jié)構(gòu)來構(gòu)建復(fù)雜系統(tǒng)的想法非常根深蒂固。而在機器學習的領(lǐng)域，尤其應(yīng)該研究這些原則來構(gòu)建系統(tǒng)。這個詞“深”僅僅意味著——分層，喬丹教授深深的希望這個語言最終演變成如此簡單的文字。他希望并期待看到更多的人開發(fā)使用其他類型模塊、管道的體系結(jié)構(gòu)，并不僅僅限制在“神經(jīng)元”的層次。

神經(jīng)科學——在接下來幾百年的重大科學領(lǐng)域之一——我們?nèi)匀徊皇呛芰私庠谏窠?jīng)網(wǎng)絡(luò)中想法是如何產(chǎn)生的，仍然看不到作為思想的主要產(chǎn)生器的神經(jīng)科學，如何能夠在細節(jié)上打造推理和決策系統(tǒng)。相比之下，計算機領(lǐng)域的一些假設(shè)，比如“并行是好的”或者“分層是好的”，已經(jīng)足以支撐人們對大腦工作機制的理解。

喬丹教授補充舉例道，在神經(jīng)網(wǎng)絡(luò)的早期他還是一個博士研究生，反向傳播算法還沒有被發(fā)現(xiàn)，重點在Hebb規(guī)則和其他的“神經(jīng)合理”的算法，任何大腦不能做的事情都被避免了。他們需要變得很純粹來發(fā)現(xiàn)人們思考的新形式。接著Dave Rumelhart開始探索反向傳播算法——這顯然是跳出于神經(jīng)合理約束的——突然這個系統(tǒng)變得如此強大。這對他產(chǎn)生了很深刻的影響。這告訴我們，不要對主題和科學的模型強加人工的限制，因為我們?nèi)匀贿€不懂。

喬丹教授的理解是，許多“深度學習成功案例”涉及了監(jiān)督學習（如反向傳播算法）和大量的數(shù)據(jù)。涉及到大量線性度、光滑非線性以及隨機梯度下降的分層結(jié)構(gòu)似乎能夠記住大量模式的數(shù)字，同時在模式之間插值非常光滑。此外，這種結(jié)構(gòu)似乎能夠放棄無關(guān)緊要的細節(jié)，特別是如果在合適的視覺領(lǐng)域加上權(quán)重分擔。它還有一些總體上的優(yōu)點總之是一個很有吸引力的組合。但是，這種組合并沒有“神經(jīng)”的感覺，尤其是需要大量的數(shù)據(jù)標簽。

事實上，無監(jiān)督學習一直被認為是圣杯。這大概是大腦擅長什么，和真正需要什么來建立真的“大腦啟發(fā)式電腦”。但是在如何區(qū)分真正的進步和炒作上還存有困難。根據(jù)喬丹的理解，至少在視覺方面，非監(jiān)督學習的想法并沒有對最近的一些結(jié)果負責，很多都是機遇大量數(shù)據(jù)集的監(jiān)督訓練的結(jié)果。

接近非監(jiān)督學習的一種方式是將好的“特征”或者“表示”的各種正式特點寫下來，并且將他們與現(xiàn)實世界相關(guān)的各種假設(shè)捆綁在一起。這在神經(jīng)網(wǎng)絡(luò)文學上已經(jīng)做了很久，在深度學習工作背景下的也做出了更多的工作。但是喬丹認為，要走的路是將那些正式的特征放進放進優(yōu)化函數(shù)或者貝葉斯先驗，并且制定程序來明確優(yōu)化整合它們。這將是很困難的，這是一個持續(xù)的優(yōu)化的問題。在一些近期的深度學習工作中，有一個不同的策略——使用自己喜歡的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來分析一些數(shù)據(jù)，并且說“看，這表達了那些想要的、并沒有包括進去的性質(zhì)”。這是舊式的神經(jīng)網(wǎng)絡(luò)推理，它被認為僅僅是“神經(jīng)”，僅僅包含了某種特殊的調(diào)料。這個邏輯是完全沒有用的。

最后，喬丹教授談到了哲學的層面，他認為神經(jīng)網(wǎng)絡(luò)是工具箱中重要工具之一。但當他被業(yè)界咨詢的時候，卻很少提到那種工具。工業(yè)界里人往往期望解決一系列的問題，通常不涉及上文所說的神經(jīng)網(wǎng)絡(luò)的“模式識別”的問題。比如說如下這些問題：

（1） 該怎樣建立一段時間內(nèi)的預(yù)算的模型，能夠讓我得到想要精確程度的結(jié)果，并且不管我有多少數(shù)據(jù)？

（2） 怎樣才能獲得我的數(shù)據(jù)庫所有查詢的表現(xiàn)的有意義的錯誤信息或者其他衡量方法的信息？

（3） 怎樣才能與數(shù)據(jù)庫思維（如連接）合并統(tǒng)計思維，以使我能夠有效地清除數(shù)據(jù)和合并異構(gòu)數(shù)據(jù)源？

（4） 該如何可視化數(shù)據(jù)，一般我該如何減少我地數(shù)據(jù)并且將我的推論展示給別人，讓他們理解這是怎么回事？

（5） 該如何做診斷，這樣我就不會推出一個有缺陷地系統(tǒng)，或者找出一個現(xiàn)有地系統(tǒng)被損壞了？

（6） 該如何處理非平穩(wěn)性？

（7） 該如何做一些有針對性地實驗，其中合并了我巨大地現(xiàn)有數(shù)據(jù)集，以使我能夠斷言一些變量有一些因果關(guān)系？

以下是今天 Jordan 教授清華大學演講部分演講PPT（編注：部分PPT標題顯示不完整，原本如此，非拍攝或后期處理原因）：

Jordan 從一個職位描述講起，介紹大數(shù)據(jù)帶來的挑戰(zhàn)，引出演講主題：“大數(shù)據(jù)”時代同時需要計算思維和推理思維。

計算思維指的是：提娶建模、擴展性、魯棒性等等

推理思維指的是：思考數(shù)據(jù)背后的真實世界現(xiàn)象；考慮抽樣模型；開發(fā)能從數(shù)據(jù)“回饋”到潛在現(xiàn)象的程序。

隱私與推理：差分隱私

計算與推理

推理質(zhì)量與經(jīng)典的計算資源，比如時間和空間，如何平衡？

很難！

計算與推理的機制和邊界

Jordan 所在研究機構(gòu)與合作伙伴

大數(shù)據(jù)軟件的增長情況

Spark 之后的下一個平臺：Ray

Jordan 介紹說，他們研究室開發(fā)的 Ray 將于明年一月份左右發(fā)布。Ray 集統(tǒng)計推理、機器學習、大數(shù)據(jù)處理、計算等為一體。

動力源于構(gòu)建更好的分布式機器學習框架

目標：

在單機上運行相同的代碼和簇；對既有的代碼進行最小化的修正，讓其變得可分布；有效地支持大量的小任務(wù)；在任務(wù)間有效地分享數(shù)據(jù)

運行模型

例子：遞歸神經(jīng)網(wǎng)絡(luò)計算的依存圖

代碼運行案例

系統(tǒng)架構(gòu)

應(yīng)用：商品檢測、欺詐檢測、認知助手、物聯(lián)網(wǎng)。

特點：低延遲、個性化和快速變化。