人工智慧論壇如今浩如煙海，有硬貨、有乾貨的講座卻百裡挑一。“AI未來說·青年學術論壇”系列講座由中國科學院大學主辦，承辦單位為中國科學院大學學生會，協辦單位為中國科學院計算所研究生會、網路中心研究生會、人工智慧學院學生會、化學工程學院學生會、公共政策與管理學院學生會、微電子學院學生會，百度為支援單位，讀芯術、PaperWeekly為合作自媒體。“AI未來說·青年學術論壇”第七期“自動駕駛”專場已於2019年7月22日下午在中科院舉行。清華大學鄧志東教授為大家帶來報告《自動駕駛的“感”與“知” - 挑戰與機遇》。

鄧志東，清華大學計算機系教授，博士生導師。現為中國自動化學會會士，中國人工智慧產業創新聯盟專家委主任，第一屆科創板諮詢委委員，中國自動化學會智慧自動化專委會主任，中國自動化學會智慧製造專委會副主任，新興產業百人會專家等。曾任美國華盛頓大學（WashU）客座教授（2001-2003，對方聘用），香港理工大學ResearchAssociate（1996-1997，對方聘用），國家863計劃智慧機器人主題專家組組長助理（1998－2001），深圳市拓邦電子科技股份有限公司（上市公司）獨立董事（2006－2012）等。先後主持973專案一級課題、NSFC重大研究計劃重點專案、863計劃重點專案、國家重點研發計劃課題等科研專案30餘項。發表學術論文250餘篇，其中被WOS收錄85篇，EI收錄123篇，參編教材或專著5本。目前的研究方向包括：人工智慧（深度神經網路、深度強化學習）、計算神經科學、無人駕駛汽車、先進機器人等。

報告內容：在人工智慧、道路交通大資料、高精地圖、5G、車聯網、邊緣計算、雲平臺、智慧道路以及智慧城市等的合力支撐下，自動駕駛的全球產業生態正在快速形成之中。結合特定細分應用場景，在大資料與大計算能力的支撐下，人工智慧正日益成為自動駕駛環境感知、自主導航、資訊融合、自主決策等的基礎性技術。但目前視覺人工智慧只有“感“。不但缺乏舉一反三的小樣本學習能力，而且不能完成認知水平的理解，也缺乏常識與推理，即不具有所謂的”知“，這就從根本上限制了自動駕駛的產業落地速度與水平。在自動駕駛落地實踐中，探索具有理解能力和小樣本學習能力的新一代視覺人工智慧，突破自動駕駛之“感”與“知“難題，則既是挑戰也是機遇。

自動駕駛的“感”與“知” - 挑戰與機遇

鄧志東老師首先介紹了自動駕駛產業生態已初具規模的現狀，以新“四化”趨勢（電動化→ 資訊化 → 智慧化 → 共享化）引入，並引出了自動駕駛如何落地的主題。由於開放式的道路交通環境和形形色色的不遵守交通規則者，使自動駕駛面臨的環境具有不確定性和高動態的特點，同時，安全性問題更是自動駕駛發展的黃金標準。自動駕駛要滿足絕對的安全性要求，因此，其產品落地非常艱難。此外，自動駕駛生態建設也非常關鍵。

自動駕駛產業存在跨界融合、鏈條太長、落地時間太久以及高階人才稀缺等問題，因此產業生態建設正在成為國際競合的關鍵。鄧志東老師在報告中給出了推動中國自動駕駛生態建設的建議：1）加快5G組網，推動“5G×AI+自動駕駛”建設；2）加快自動駕駛政策法規建設，如：由政府定期釋出路測“脫離”報告；3）使自動駕駛投融資活動更趨活躍與多樣化，如：孵化風投，多輪融資，戰略投資以及科創板上市；4）推動戰略合作聯盟，如：鼓勵新老車企與國內外跨界科技企業結成各種戰略創新聯盟；5）加強百度構建的世界最大的Apollo開源開放自動駕駛生態建設。

自動駕駛產業的佈局分為上游、中游和下游。其中，上游包括車規級全固態鐳射雷達，自動駕駛晶片及域控制器，自動駕駛作業系統，資訊化汽車平臺，大資料，邊緣計算，雲平臺，高精地圖，V2X（基於5G,NB-IOT/LoRa）等；中游包括主動安全（如AEB），高階智慧輔助駕駛，L3量產汽車，L4低速汽車（無人物流、無人末端配送、無人擺渡、無人移動服務/MaaS等），L4量產汽車（RoboTaxi、無人長途貨運、無人公交）等；下游包括共享無人貨運，共享無人出行，共享MaaS，智慧增值服務，自動駕駛遠端安全監控與雲管端服務，自動駕駛測試基地/小鎮，智慧道路，智慧城市等。

然後介紹了SAE（Society of Automotive Engineers）標準中的 L2-L4等級：1）SAE L2是初級自動駕駛，需要隨時接管，在駕駛的過程中需要安全和監控駕駛員，不能處理極端、緊急情況下的感知與決策問題；2）SAEL3是中級自動駕駛，需要人輔助，在駕駛過程中僅需要監控駕駛員，可以處理極端與緊急情況下的感知問題，但不能處理決策問題；3）SAE L4是高階自動駕駛，能夠自主處理各種極端環境與緊急狀況，在駕駛時不需要人類安全員，但限定區域或功能。

此外，自動駕駛產業生態已初具規模還表現為商業模式逐漸明晰，全固態鐳射雷達與自動駕駛晶片和車規量產成為主要目標，人工智慧成為基礎技術以及相關的產業支撐。自動駕駛落地的主要瓶頸是環境感知、自主導航與資訊融合，歸結起來就是感知或者說“感”與“知”的問題，而其核心則是視覺智慧。相關的產業支撐包括：人工智慧×5G加持的“雲邊端”，高精（柵格/認知）地圖構建的釐米級精度的環境模型，專用車道的開闢以及智慧道路的建設等。

接著鄧志東老師介紹了視覺感知智慧成為自動駕駛的基礎性技術的現狀。視覺感知智慧主要涉及演算法（深度卷積神經網路+GAN+深度強化學習等），大資料（場景大資料、目標大資料、行為意圖大資料、駕駛行為決策大資料、駕駛軌跡大資料等），算力（如移動端、邊緣端、雲端；離線訓練深度學習加速器），細分場景（場景/目標/行為意圖感知、認知地圖與導航、資訊融合、自主決策、智慧控制等）和垂直整合等5個維度。進而介紹了基於人工智慧的創新性演算法，主要包括共性關鍵技術和前沿核心技術。其中，共性關鍵技術包括：1）深度學習+環境感知；2）深度學習+自主導航；3）深度學習+資訊融合；4）深度學習+決策/控制。前沿核心技術包括：1）基於深度學習的目標/行為意圖檢測與識別；2）基於深度學習的認知地圖建立與自主導航；3）基於深度學習的多模態資訊融合；4）基於深度強化學習的自主決策、規劃與控制。並進一步介紹了相關的應用，如：在環境感知中的應用，包括基於視覺深度學習的道路交通場景語義分割、基於視覺深度學習的道路感知、基於視覺深度學習的交通標識檢測與識別、基於視覺深度學習的地面交通標識檢測與識別、基於視覺深度學習的障礙物檢測與識別以及基於視覺深度學習的行為意圖預測等；在自主導航技術中的應用，包括基於視覺深度學習的多模態自主導航等；在資訊融合中的應用，包括基於視覺深度學習的多模態資訊融合等。

由傳統計算機視覺方法、基於資料驅動的視覺深度學習方法和人類視覺能力的對比引入，介紹了目前自動駕駛所取得的主要進展，但同時也指出了自動駕駛落地面臨的主要挑戰：1）缺乏認知水平的理解能力；2）缺乏知識推理能力；3）缺乏記憶、常識、經驗、技巧與知識學習能力；4）缺乏舉一反三的小樣本學習能力；5）缺乏可解釋性以及高層規劃、決策與組織能力。

由自動駕駛落地所面臨的主要挑戰出發，引出了探索具有理解能力的視覺認知智慧（Visual Cognition Intelligence, VCI）主題。視覺智慧由視覺感知智慧和視覺認知智慧組成，其中，視覺認知智慧是知覺和認知的整體反映，即通過概念的抽象、延伸及基於知識的記憶、學習與推理等獲得的可理解性以及進一步獲得的可解釋性與規劃決策等。在闡述視覺認知智慧方法時介紹了圖卷積神經網路，與以前的方法相比，該方法從特徵學習拓展到了知識學習，並介紹了其中的幾個重要的概念：1）圖卷積神經網路，即在圖卷積神經網路架構下，結合概率圖模型（知識圖譜）抽象、延伸概念，賦以其內涵與外延，關聯其關係，以實現認知水平下的理解；2）知識表達，即圖卷積神經網路通過學習進行時空遞迴，獲得知識（例項/實體及其關係）的表達、記憶與載入功能；3）無監督神經網路，即以深度學習+無監督學習方式進行實體識別，提升小樣本條件下的檢測與識別效能；4）知識學習，即語言智慧，關鍵是如何自動從資料中析構出語言模型的實體、關係及其生成式規則，獲得學習能力；5）因果/知識推理，即規則+常識+經驗。

最後，鄧志東老師對所講的內容進行了總結與概括：1）自動駕駛產業生態正在快速形成之中，AEB、自主泊車、智慧艙、L3的MaaS、L4的RoboTaxi等成為全球自動駕駛產業關注的焦點；2）全球估值最高的4大自動駕駛巨頭，均聚焦於L4級別的無人駕駛出租車RoboTaxi；3）結合特定細分應用場景，視覺感知智慧日益成為自動駕駛環境感知、自主導航、資訊融合、自主決策、智慧規劃與自主學習的基礎性技術；4）較之傳統的計算機視覺技術，在大資料與大計算能力的支撐下，由監督式深度學習演算法獲得的視覺感知能力，從檢測、分割與識別的角度來看，已更加接近於人類的水平；5）現有的視覺感知智慧缺乏認知水平的理解能力，缺乏知識推理能力，缺乏記憶、常識、經驗、技巧與知識學習能力，缺乏舉一反三的小樣本學習能力，因而也無法獲得如同人類一樣的安全、可靠、可信的自動駕駛能力；6）亟需探索具有理解與知識推理能力等的新一代視覺認知智慧理論與方法，以從源頭上推動中國自動駕駛產業的創新發展與大規模商業落地應用。更多精彩內容請關注視訊分享。

留言 點贊 關注

我們一起分享AI學習與發展的乾貨

歡迎關注全平臺AI垂類自媒體 “讀芯術”

（新增小編微信：dxsxbb，加入讀者圈，一起討論最新鮮的人工