英偉達是一家美國技術公司。他們的主要產品是用于游戲市場的圖形處理器(GPU)，以及用于移動計算和汽車市場的片上系統(tǒng)(SoC)。但是，最近其公司方向隨著GPU在人工智能領域計算優(yōu)勢的到來正發(fā)生著一個較大的變化。GPU現在正扮演著計算機、機器人和自動駕駛汽車這些能夠察覺和理解世界的設備的大腦。目前，英偉達正以“人工智能計算公司”的身份迅速為大眾所知。

為了使新的聲譽實至名歸，英偉達正在人工智能計算研究中投入大量精力。去年，英偉達與紐約大學的深度學習團隊合作，并在新澤西的新汽車技術辦公室開展研究合作[2]。這個團隊包括技術專家如 Urs Muller，英偉達的自動駕駛首席架構師、紐約大學教授 Yann LeCun，一位深度學習技術的先驅和學習卷積神經網絡的發(fā)明者，以及英偉達的機器學習顧問和前DARPA項目經理 Larry Jackel。所有這些人聚在一起，他們將超越英偉達當前的技術和工程，創(chuàng)建開創(chuàng)性的自動駕駛技術。

在講座期間，Larry 分享了一些關于他作為人工智能研究人員的生活經歷。早在1986年，當他還在貝爾實驗室工作時，當時的人工智能技術非常原始，循環(huán)網絡很呆板和低效率。 1988年，Yann LeCun 加入他們并建立了第一個具有學習功能的 “LeNet” OCR 引擎。它的表現很出色，但他們仍然沒有系統(tǒng)性的理解究竟是什么決定了學習過程。 “這真的是深度學習開始的地方，” Larry Jackel 說。后來，在20世紀90年代初，在 Vladimir Vapnik 的幫助下，團隊對學習的過程及其應用獲得了更好的理解。

Larry也分享了一些過往的有趣故事，像他和 Vapnik 打的賭。

圖1 Larry 和 Vapnik 的賭注

圖2 1995年賭注的結果

從圖片中，我們可以看到，這些賭注都投射出了深度學習發(fā)展方式的影子。神經網絡在它第一次被創(chuàng)建的幾十年后仍然相當流行。

2016年6月：英偉達自動駕駛汽車的端對端學習

如前所述，Larry 是前 DARPA 項目經理。有很多 DARPA 的挑戰(zhàn)，如沙漠駕駛的大挑戰(zhàn)(2003，2005)，DARPA城市挑戰(zhàn)(2007)和 DARPA 機器人挑戰(zhàn)(2015)。城市挑戰(zhàn)與自動駕駛的研究直接相關，卡內基梅隆大學(CMU)最終獲勝，其方法成為了許多自動駕駛設計的核心。它需要高清映射，障礙物檢測，成本地圖和路徑規(guī)劃。雖然卡內基梅隆大學的表現在當時相當搶眼，但它是在一個有非常詳實數據的路徑上行駛的，因此那時距離真正的自動駕駛仍然有很長的路要走。

Larry 提供了一個自動駕駛汽車通常方法的流程圖。從傳感器開始，然后移動到特征提取和物體識別(通常結合使用卷積網絡)，然后數據進行成本映射，并且通過使用詳細的地圖來幫助定位汽車的位置。這些合在一起，定位的位置和成本圖將提供路徑規(guī)劃和驅動所需的輸入。

圖3 自駕駛汽車常用方法流程圖

雖然，在 Yann 的幫助下，Larry 在 DARPA 時采用這種類型的方法，但它最終演變成了端對端學習。端對端學習是一種 卷積神經網絡(convolutional neural network)的結構，直接將前置攝像頭和轉向命令連接起來，以幫助訓練自駕駛汽車使其駕駛得更聰明和更自主化。通過使用三個攝像機，系統(tǒng)可以看到駕駛員的所見所為，然后記錄下這個場景、駕駛員的命令以及周圍環(huán)境。通過使用該數據，系統(tǒng)接下來可以計算出一個理想的駕駛策略以實現完全自主的自駕駛。

Larry 解釋說，在三個攝像機中，主攝像機具有駕駛員的視野，側攝像機有助于訓練和內插角度。在駕駛時，網絡將首先作出決定，將其與人類駕駛員的決定進行比較，然后調整自身并且一次次重復該過程。研究團隊還引入了側攝像機的隨機移動旋轉，不是因為它有助于訓練，而是因為沒有這種設置，駕駛方向將不合需要地偏斜：或者說，汽車可能行駛得太接近車道的邊緣。

圖4 端對端學習系統(tǒng)的流程圖

為了避免不必要的開銷，學習系統(tǒng)可以在模擬器中檢查各種事情(策略、情景)，然后將其應用于道路上。通過將預先記錄的測試視頻和駕駛指令的庫饋送到網絡中以及構建輸出命令網，系統(tǒng)可以使用它來更新汽車的位置信息，然后由數據庫創(chuàng)建計算框架。 英偉達的GPU在所有的訓練過程里發(fā)揮著至關重要的作用。

更多的細節(jié)可以在論文中找到：自動駕駛汽車的端對端學習。 [3]

在講座結束時，觀眾也提出了一些有趣的問題。一個人問為什么英偉達從所有類型的傳感器中選了攝像頭，而不是激光雷達或者其它選擇。Larry 的回答是，在駕駛時，激光雷達掃描可以在一秒鐘獲得一百萬點(如果幸運)，但相機可以一次快照獲得超過30倍數據。相機也比激光雷達傳感器便宜得多。但 Larry 也提到當前的設計不是最終的，任何能有助于駕駛系統(tǒng)的事情都會被考慮。

在2016年CES大會上，英偉達推出了用于自主交通的人工智能超級計算機Xavier。 Larry提到這個超級計算機將在今年晚些時候推出，而且英偉達對Xavier的表現非常有信心。在未來，不僅研究人員，而且客戶也可能有機會體驗英偉達的解決方案。

源自英偉達的人工智能計算領導力

隨著英偉達繼續(xù)將自己定義為一個人工智能計算公司，自動駕駛汽車并不是他們唯一的機器學習項目。 英偉達的CEO Jen-Hsun Huang 在 CES 2016 上宣布了其他與人工智能相關的產品：Geforce Now —— 一款游戲云，個人通過使用瀏覽器，可以在低規(guī)格計算機上播放高清游戲;新盾(new shield) —— 一家庭娛樂平臺;Nvidia spot —— 一個使你家里所有的小電器自主化的工具。正如 Jen-Hsun Huang 在 CES 上所解釋的，英偉達將專注于四個領域：視頻游戲、VR / AR / MR、云計算/數據中心和自動駕駛。

英偉達還在人工智能教育方面付出了很多努力：GPU教學計劃和免費的CUDA源代碼(GPU并行編程語言)。就在最近的2月5日，英偉達推出了一系列基于其 Pascal? 架構的 Quadro? 產品，運用來自多產業(yè)專業(yè)工作流程的突破性能力，將桌面工作站轉變?yōu)槌売嬎銠C