12月6-8日，為期三天的“2019世界創(chuàng)新者年會”在北京順利舉辦。本次大會由中國企業(yè)聯合會指導，由億歐·EqualOcean、工業(yè)和信息化科技成果轉化聯盟聯合主辦，本次大會以“科創(chuàng)4.0：共建全球化新未來””為主題，集結了來自美國、英國、印度、新加坡、印尼、尼日利亞、巴西、日本、以色列等十余個國家或地區(qū)的6000名創(chuàng)新者，總結2019年世界科技與產業(yè)創(chuàng)新的成果，預測2020年最新創(chuàng)新

其中，“科學企業(yè)家”論壇邀請了華為諾亞方舟實驗室計算視覺首席科學家田奇教授、小鵬汽車首席科學家郭彥東博士、氪信科技創(chuàng)始人兼CEO朱明杰博士、文安智能創(chuàng)始人陶海教授、魔琺科技創(chuàng)始人兼CEO柴金祥教授、MINIEYE創(chuàng)始人兼CEO劉國清博士、聯想創(chuàng)投董事總經理王光熙、達觀數據創(chuàng)始人兼CEO陳運文博士、踏歌智行創(chuàng)始人兼首席科學家余貴珍教授，共同探討和分享作為科學家創(chuàng)業(yè)者在創(chuàng)業(yè)路上的收獲與感悟，探索科學技術與商業(yè)化的結合機會，助推產學研領域協(xié)同發(fā)展。

其中，小鵬汽車首席科學家郭彥東在大會發(fā)表題為《智能感知的車載量產之路》的演講，他認為：

1、近年來，基于深度學習，人工智能在諸多領域中都取得了突破性的進展。但是自動駕駛技術在量產落地實際應用中有遇到長尾效應的挑戰(zhàn)。需要“科學企業(yè)家”，利用有限的資源，高效的并有優(yōu)先級的解決可能有 “無限多種”現實場景的實際問題。

2、自動駕駛技術落地離不開算法、數據、與硬件平臺。在“源動力”數據方面，為了兼顧數據量，場景覆蓋度，成本，以及真實度，小鵬汽車有機整合了公開的互聯網大數據、仿真數據、測試車隊數據以及本土真實用戶的脫敏數據形成閉環(huán)；并合理構建知識圖譜。

3、就自動駕駛技術落地路徑而言，其基礎是感知，核心是人機交互，難點是駕駛主體的切換?！翱茖W企業(yè)家”不僅需要推動新技術落地，也需要從落地中提煉新問題。

4、在將人工智能落地到現實場景中時，不僅需要量產為先，快速高效進行新功能落地，更需要通過新功能推動安全駕駛。“科學企業(yè)家”需要通過量產正向影響社會駕駛習慣。

以下為演講實錄（有刪改）：

今天演講的內容更多集中在智能汽車自動駕駛領域，比如智能感知在落地時需要應對哪些挑戰(zhàn)。

首先簡單回顧一下，為什么人工智能這些年這么受關注？我列了幾個事件，2014年，在人臉識別的一個被廣泛認可的任務（Labeled Faces in the Wild，（LFW））上，Facebook等公司的視覺模型首次超過了人類的表現；2015年，微軟研究院研發(fā)的神經網絡在通用圖像分類的經典任務ImageNet上超越了人類的表現； 2016年，谷歌人工智能在下圍棋的時候擊敗人類；同年，微軟的深度學習模型在對話語音識別方面首次達到了人類的水平。

人工智能已經在這么多特定領域表現得比人更好了，為什么車不能讓機器去開，為什么人工智能落地還有很多挑戰(zhàn)？這是我今天和大家分享的重點。

其實人工智能之所以能這么好的表現，主要來自于深度學習技術，大量的訓練數據，以及高速并行運算硬件的發(fā)展。但是，如果計算機面對一個沒有見過的不同的場景時，他在認知方面的推廣能力常常遜于人類。以上這些人工智能超越人類的表現的特定任務中，測試用例往往是有限的。比如在人臉識別領域長期被廣泛使用的LFW Verification Set，只有6000對圖像做比對。從多樣性跟真實性來說，跟很多工業(yè)中的實際挑戰(zhàn)有一定的差距。比如在智能座艙中的人臉識別問題，在成像波段，遮擋的嚴重性，極限光照，奇怪姿勢，極限曝光等等方面都會有新的挑戰(zhàn)，遠遠超出了LFW中的測試情況。這也是為什么現在有越來越多的新的測試任務被設計、發(fā)表，而定義針對指定應用的測試集合非常有必要。

再繼續(xù)討論自動駕駛中科研探索與量產落地的狀態(tài)有多大的區(qū)別。幾十年前美國的LIFE雜志就有一篇文章暢想道，通過車路協(xié)同技術和自動駕駛技術，車就不需要司機了。早在2005年、2007年的第二、第三次Darpa挑戰(zhàn)賽上，就已經有多個車隊可以完成Darpa設計的任務。然而，在現在頭部企業(yè)的量產車，仍然停留在輔助駕駛階段，要求司機用手抓著方向盤，如果司機手不抓方向盤就會從自動駕駛當中退出來，所以很多人在方向盤上面加個橘子等物品，就可以騙過車輛實現脫手。從上面三個側面，我們看到在文學作品的暢想，科研探索，以及量產落地上，自動駕駛的形態(tài)有很大的不同。原因也是在于在科研探索上，對于成本，可覆蓋場景，耐久，或者是美觀上，與量產落地的考量都有不同。

就自動駕駛需要應對的場景多樣性方面，我再來舉幾個例子。第一個圖片是一臺加州的油罐車。因為天氣很好，油罐車表面光滑，就有很多其他汽車的倒影，如果使用單目視覺技術而不做傳感器融合或者立體視覺的話，就很容易有一些誤識別是非常危險的；第二個是某個頭部企業(yè)把一臺貨運車識別成了云彩，發(fā)生了慘案；最邊上的是美國農村拍的行人照片，因為行人穿了很奇怪的服裝，造成有些識別技術有障礙，因為從來沒有見過這樣的訓練樣本。阻礙人工智能賦能自動駕駛困難和挑戰(zhàn)來自于長尾分布，每一種情況發(fā)生的事件數量很少，但是事件種類卻非常多，這樣就給人工智能落地帶來了最大的挑戰(zhàn)。

除此之外，中國本土化的場景跟自動駕駛技術主要起源的美國本地場景會有很多不同，例子包括一些特殊極端的天氣狀況、城市內的人車混流、駕駛習慣包括但不限于遠光燈的使用等。另外一個例子是交通牌。中國的交通牌安裝、擺放方式跟美國有很多不同。此外，交通牌的內容、形狀也有不同的地方。中文的交通牌，需要中文的OCR模型來識別。為了應對這些挑戰(zhàn)，我們設計了能夠識別所有中國國家標準定義的交通標志的模型，巧妙的把多種類型的模型（分類，識別等）融合在一個完整的框架中去。這個跟很多學術研討里選擇一些特定種類的交通標志來識別有很大的不同，難度也上了一個臺階。

正式因為以上挑戰(zhàn)的存在，我們把自動駕駛分了級，從L0級到L5級。很多人也都知道L0到L3級的時候都需要人，L3雖然可以解放雙手解放雙腳，但還需要把注意力集中在路面，只有L4級人才可以不看路面，駕駛的主體從人切換到車。近期，量產L3普遍進入了攻堅階段，并且能夠通過L3的部署，大量得到用戶使用反饋，拓寬使用場景數據，實現數據閉環(huán)。這也是技術到量產的必由之路，分階段實現，最后達成目標。

為了應對以上挑戰(zhàn)，，兼顧數據量，場景覆蓋度，成本，以及真實度，我在小鵬汽車有機整合了公開的互聯網大數據、仿真數據、測試車隊數據以及本土真實用戶的脫敏數據；并合理構建知識圖譜。第一，互聯網大數據，最近20年人類在努力把所有事情都數字化，都放在互聯網上，互聯網本身就提供了大量數據；第二，仿真數據；第三，自有測試車隊數據；第四，本土用戶的脫敏數據形成閉環(huán)。

我們在仿真數據生成這個方向上做了很多的努力。第一個例子是為了DMS（駕駛員分神預警系統(tǒng)）生成訓練數據。因為駕駛員注意力識別中很重要的一個模塊就是從人臉圖像/視頻中估計人的頭部姿態(tài)（另一個是眼球方向）。然而，在采集頭部姿態(tài)的訓練數據時，我們很難要求被采集人很精確的把腦袋轉到某一個指定的角度。我們通過視覺生成技術（3D reconstrucTIon + GAN），可以從一張人臉圖片出發(fā)，精確的生成多個特定頭部姿態(tài)的人臉圖像，從而得到大量的訓練數據。此外，仿真數據的生成還包括一個相對比較新的技術就是跨模態(tài)數據生成。為了讓智能駕艙功能在不同的光照條件下都可用，需要采集大量近紅外的圖像做訓練。但是近紅外外采集成本比較大，因此我們可以通過一些技術，把更常見的RGB圖象轉化為近紅外的圖像來低成本的獲得大量訓練數據。

第二個構建仿真數據的例子是識別車外環(huán)境識別。因為很多汽車的特殊場景是比較難采集的：在真實場景下，我們很難要求真實車輛嚴格按照我們的方式行駛、擺放，甚至有些場景是帶有危險性的。為了解決這個問題，我們就可以生成一些汽車放在路面上。需要注意的是路面的圖像生成也是比較困難的，包括路面紋理、磨損程度、特殊光照等。因為路面有多種多樣變化。大家可以看到現有技術路面的生成和真實的分布相差比較遠。但是車輛的分布相對集中，對應的生成技術比較成熟。所以我們在需要生成車外環(huán)境數據時候，路面的圖像是真實的，再在上面生成仿真出來的車輛，用這樣一種方式產生大量低成本的訓練數據，提高訓練數據的場景豐富度。

在真實路測方面，2019年Waymo的測試公里數達到2000萬公里，在所有自動駕駛技術公司里面排名第一。做為量產車交付企業(yè)，我們采用了影子模式來豐富測試，把模型部署在交付車輛上來收集采集數據來做生產驗證，這能幫助我們發(fā)現非常多之前想象不到的例子。

以基于智能雨量識別的雨刮功能來探討影子模式。我們不需要像傳統(tǒng)車一樣搭載一個傳感器，只要用車的攝像頭就能看到有沒有雨滴，這樣可以減少一個額外傳感器的成本，并且準確率要遠遠優(yōu)于傳統(tǒng)的雨量傳感器。第二個好處自動駕駛像守門員一樣能夠告訴你攝像頭成像的效果好不好，是不是符合自動駕駛的工況。特斯拉前一段時間發(fā)推特把這個作為非常重要的工作來做。但是這樣的功能遇到的場景束縛非常多，雨滴也有很多的不規(guī)則性。右邊的圖可以看到某種馬賽克墻磚的紋理和雨滴非常像，包括特定的落葉造成的光影也會和雨滴比較像，這樣的情況（corner case）在實驗室做，不真實的去量產車上去跑，人是想象不出來的。只有通過大量量產車驗證，才能夠把人想象不出來的案例收集回來，快速迭代，在用戶真正使用之前把這些問題都解決掉。以智能雨量識別功能研發(fā)為先導，我們搭建了自動駕駛整體的數據閉環(huán)系統(tǒng)，在中國量產車企業(yè)內是首批實現的

此外，做落地一定要落到車上去，就離不開模型優(yōu)化、量化到車載芯片。車能夠選擇的芯片種類目前是小于手機的，根據不同車配置的成本和定位的不同，我們聚焦在三款芯片上：TI、Qualcomm、Nvidia。其中，我們選擇了一款低成本的TI芯片，算力比較弱。但是我們通過模型優(yōu)化和定點化技術，就可以在10幾個M的空間里面放進去幾十個模型，并且能夠保持較高的精度。

實際上，模型的優(yōu)化和量化，不僅僅是優(yōu)化量化本身，實際上是根據車不同的芯片種類來有針對性的量化，在量產車上跑得快的算法才是好算法。其中核心工作就是利用非常有限的資源，實現高效創(chuàng)新和迭代，解決無線的問題，實際的生產生活中，人工智能要實現落地，要解決的問題是無窮無盡的。

落地路徑的基礎是感知，核心是人機交互，難點是切換。為什么基礎是感知？因為前面有沒有車，知道安全線在哪是行車最基礎的信息，包括車內感知要做到千人千面，以及對司機疲勞分神的感知，這些都是做汽車的基礎。為什么交互是核心？L3級自動駕駛中，人還是駕駛的主體，人和機器是在不停交互的，如何做好交互是產品力的核心所在。那為什么切換是難點？因為L3級自動駕駛車在行駛過程中，會遇到一些車覺得自己控制不了的突發(fā)情況，就要把駕駛主體換到人。什么時候做切換，需要汽車對于自己駕駛的可靠性、對于檢測的可靠性以及執(zhí)行度都有比較清晰的判斷，同時對司機狀態(tài)也有清晰的判斷。切換是難點，切換的基礎就是對車的理解。

對于科學家，或者科研工作者而言，在企業(yè)中要做的不僅是現有科技成果的轉化，還要從實際落地場景中找到一些新的問題，從新的問題中再去探索新的答案，這本身也是科技創(chuàng)新的重要方面。