詳解百度Apollo感知技術、高精地圖和小度車載系統

用戶1914672199 2018-01-05 18:51

近期，百度在深圳舉辦了第二期“Hello Apollo 自動駕駛公開課”。Apollo 運營與開發者生態負責人張輝，無人車感知核心算法技術負責人陳世佳，高精地圖編譯團隊技術負責人王健，車聯網語音語義整體技術負責人陳聰四位重量級嘉賓出席活動，在現場分享了 Apollo 最新的產品與技術幹貨，與開發者進行了深度交流互動。

本期公開課分享包括百度 Apollo 開放框架、自動駕駛感知現狀、高精地圖的技術與應用、小度車載系統語音語義設計思路和核心架構，這四個模塊的精彩內容。

第一部分:Apollo 開放框架介紹

作為本次活動的開篇，百度 Apollo 運營與開發者生態負責人張輝，先給大家整體介紹了 Apollo 生態的戰略目標和開放框架。

在 7 月 5 日的百度 AI 開發者大會上，百度董事會副主席、百度集團總裁兼 COO 陸奇用“開放能力、共享資源、加速創新、持續共贏”16 字宣言概述了 Apollo 生態的戰略目標，將以開放對抗封閉，打造汽車界的安卓系統。

Apollo 開放路線圖主要包括能力和資源開放兩部分，按照時間順序大致可以分為如下幾個階段:

2017.7:封閉場地循跡自動駕駛、數據平臺 1.0、障礙物、Road hackers 數據等;

2017.9:固定車道自動駕駛、人工編程仿真場景數據等;

2017.12:簡單城市路況自動駕駛、數據平臺 2.0、2D 障礙物標註數據、日誌提取仿真場景數據等;

2018.12:特定區域高速和城市道路自動駕駛;

2019.12:高速和城市道路自動駕駛 Alpha 版;

2020.12:高速和城市道路全路網自動駕駛;

Apollo 是一個開放的、完整的、安全的平臺，將幫助汽車行業及自動駕駛領域的合作夥伴結合車輛和硬件系統，快速搭建一套屬於自己的自動駕駛系統，從整體架構上 Apollo 平臺可以分為以下四層來理解:

車輛平臺:支持線控的車輛 ;

硬件平臺:計算單元、攝像頭、LiDAR、GPS/IMU、毫米波雷達、HMI、Black Box 等 ;

軟件平臺:實時系統框架、定位、控制、路線規劃模塊等 ;

雲服務平臺:仿真模擬環境、DuerOS、安全模塊、OTA、高精地圖等 ;

張輝表示:“我們需要幾個共同語言，一是 Apollo 宣言，這 16 字宣言是我們內心相信和每天遵從的東西;二是路線圖，我們會在承諾的時間內開放;三是架構圖，將來跟我們交流 Apollo 時，只要說出這三個共同點，大家就是朋友，我們有共同的認知。”

第二部分:Apollo 自動駕駛感知技術

感知技術是什麽?

感知屬於自動駕駛核心技術，本期沙龍，百度無人車感知核心算法技術負責人陳世佳首次對外公開宣講了這部分內容。

為了讓大家更好地理解，陳世佳老師將汽車上的感知與人類感官進行了類比:人有感知，通過感官器官獲取外界信息，傳達感知功能區，把形象化的東西抽象成概念性或者更高層的語義，供我們思維記憶、學習、思考或者決策，讓我們運動控制功能區，讓我們身體對外界進行反饋。無人車類似這樣的結構，這是強相關的東西，我們無人車也是一樣。下圖所示這輛車是 2016 年 12 月烏鎮演示車隊的其中一臺，它有傳感器、雷達、攝像頭，這是覆蓋比較全面的設置，包括視覺、觸覺、嗅覺等信息。它需要大腦處理，大腦是無人車裏的感知功能模塊。

由於感知範圍是廣泛的，它依賴於人工駕駛或者自動駕駛需要的環境匹配，工況復雜度越高，感知復雜度越高。自動駕駛不同級別裏，感知的復雜度也不同。Apollo 目前開放的定位是 Level3 或者 Level4，感知、決策、控制是三位一體的過程。

感知與傳感器系統緊密結合，獲取外部環境信息，比如有沒有障礙物，障礙物的距離、速度等，把數據交給感知處理模塊，我們會收集信息，構成人開車時理解的環境。這些信息會被我們決策模塊進行分析和提取，在周圍環境車輛行駛狀況下，下一步怎麽走才是安全的。控制模塊會讓車向前行，感知模塊獲得新的信息，不停循環，應對更新的環境狀態，實現整體良性的循環。

核心:感知用來做什麽?

感知的輸入跟環境相關。只要符合條件，都可以被列為感知。在 Level3 和 Level4 裏定義的細分任務，把輸入輸出具體化。

障礙物檢測，包括人、車、石頭、樹木等。上圖是點雲輸出，下圖是圖像感知示例。Level3 檢測結果障礙物，對於 Level4 來說，不僅知道這是車，而且可以將其按大車、小車分類，因為大車和小車的開車方式不一樣。不同的車，做出的決策規劃不一樣。你可以超小車，但無法超大車。

我們需要一個很細的障礙物分類，這根據輸入的不同劃分，有點雲分類和障礙物中的分類。著名例子是紅綠燈的識別，你需要判斷交通燈的顏色。障礙物檢測分類，我們得出障礙物信息，這樣有利於我們做後續決策。我們要知道每個障礙物可能運行的軌跡，它會不會超車、插入車道或者無故變線，這需要障礙物跟蹤。障礙物跟蹤是很重要的模塊。我們要運用障礙物，也有對場景的分析，我們點雲也用到這個。

我們在圖像級別會做類似的分割，目的是我們做場景建模和語義化的描述。我們有很多任務，每個任務輸入是多源的，包括激光雷達、圖像等。如果要用 Apollo 搭建感知系統，如何選擇傳感器、傳感器配置?希望它做什麽任務。

這是三種基本傳感器的效果對比，LiDAR 是激光雷達，Radar 是汽車通用毫米波雷達，Camera 是攝像頭。綠色代表做得好，黃色代表做得普通，紅色代表做得差。最後，說明了三種傳感器融合效果是最好的。

那麽 ，感知系統開放模塊怎麽做?

點雲感知。開放了 LiDAR 點雲檢測，可以判斷點雲裏的每個點是否為障礙物，障礙物的類型是什麽。

感知框架。用的是深度學習，它可以做到精準檢測和識別。而深度學習非常耗費計算量。需要依靠搭建的車載智能系統，來支撐深度學習模型，以達到毫秒級感知。

高精地圖。先以當前的激光雷達作為坐標系核心，把地圖中的點投到坐標系裏。然後建立快速的表格，根據感知的距離擴大坐標區域。之後對俯視圖進行網格化，網格化參數可以在 Apollo 進行配置。最後輸送給障礙物檢測。

障礙物檢測。分為特征抽取、點雲檢測、點雲聚類、後處理、閉包提取。特征抽取，就是建立一個網格，每一個網格提取的信息對應一個值，每一個網格都有一個特征，拼接形成一張圖;點雲聚類，是用可信的網格做結果預測;後處理，是由於預測不準，對障礙物的判斷會存在誤差，所以要通過後處理來精確障礙物。閉包提取，是據朝向補全障礙物的形狀。

障礙物跟蹤。與障礙物檢測相結合，檢測結果和歷史障礙物進行信息匹配，得出新障礙物列表。並且輸出下一幀以什麽速度怎樣行駛，得出列表。

視覺感知。Apollo 之前版本的視覺感知數據，主要是紅綠燈的數據。已發布的 Apollo2.0 同時開放紅綠燈檢測和識別算法，可以作為視覺感知的典型代表。

紅綠燈識別。是根據當前車的位置查找高精地圖，判斷前方是否有紅綠燈。如果有，高精地圖會返回紅綠燈的物理位置，同時采集視頻圖像。如果並排很多燈，需要準確判斷影響決策的燈。

Apollo 2.0

Apollo2.0 在感知方面有三項新增功能，一是點雲分類，二是多傳感器融合，三是紅綠燈識別。

第三部分:Apollo 高精地圖的技術與應用

百度是國內唯一一家既擁有高精地圖領先技術，又能提供自動駕駛完整解決方案的全面布局的公司。百度 Apollo 擁有國內最領先的自動駕駛技術，以及國內最大的自動駕駛車隊，因此 Apollo 高精地圖堪稱“最懂自動駕駛”。

公開課裏，百度高精地圖編譯團隊技術負責人王健老師為大家分享了“高精地圖技術與應用”。

主要包含三個方面的內容:

高精地圖在自動駕駛系統中如何發揮最大的作用;

百度高精地圖如何制作、制作流程以及制作數據量的大小;

百度制作出的高精地圖，百度開放了 Apollo 平臺，願意把地圖一起開放，供做自動駕駛的公司和學術單位不需要重復造輪。

高精地圖在自動駕駛中如何發揮作用?

Apollo 開放框架中，高精地圖排在雲服務的第一位，高精引擎排在開放軟件平臺的第一位。這是一個巧合，但也是重要性的顯示。

從雲端平臺來看，仿真系統無法離開高精地圖，仿真系統構建真實道路、真實路況，沒有高精地圖無法模擬真實路況，車無法從中訓練和模擬。高精引擎，通過和雲端高精地圖聯網，它可以為其他模塊提供豐富的數據，主要從四方面對自動駕駛提供支持:一是定位，二是感知，三是決策，四是規劃。

關於感知--很多地方離開高精地圖就沒有信號燈，沒有參考的“老司機”。高精地圖給感知帶來的，除了“老司機”，還有探測範圍。傳感器可以探測 500 米還是 1 公裏，只要高精地圖有的都可以給你。比如匯入匯出時，你錯過一個高速路出口需要多繞幾十公裏。有了高精地圖，你可以提前 5-10 公裏感知距離。高精地圖不僅包含數據，如果把地圖理解為數據，有一定的局限性。高精地圖是語義性的數據，這是圖標，但這個圖標代表什麽意思，高精地圖在制作過程中賦予語義信息。路燈、交通信號燈，交通信號燈到底有幾個燈，帶箭頭還是不帶箭頭的燈，提前預知感知模塊，減少運算量，提高感知算法的準確率，降低算法設計難度。如果傳感器突然壞了，無法感知，如果有高精地圖，它可以根據高精地圖這個“老司機”繼續行駛一段，直到安全的地方。這是高精地圖的作用。

關於定位--高精地圖如何定位?如果一輛車沒有地圖，只有相機、雷達，很難知道自己在哪個精確的位置。高精地圖提供標準的位置，現在有一種低成本的設計方案，采用單目相機拍攝虛線和實線，把采集的圖像和高精地圖做比對，通過算法可以知道我當前在道路面的第幾個車道。算出車道後解決定位問題，這是橫向定位。縱向定位可以借助交通信號燈、路燈、燈桿等實現定位。

關於規劃--如果車在路上發現前面有事故或者施工路面，這時候需要變道，高精地圖提供了有利的支持。

關於決策--車到了十字路口，高精地圖會采集安全島的信息，復雜十字路口有安全島，車在決策過程中需要參考安全島等重要要素，否則這輛車沖上安全島，導致行人發生交通事故。

在自動駕駛的幾個重要模塊，包括定位、決策、規劃和感知。這幾個模塊離不開高精地圖的支持，有了高精地圖可以節省很多傳感器的成本，這是加速量產的方法。在自動駕駛行業，暫時離不開高精地圖的支持，如果在座各位提出低成本量產方案，可以離開高精地圖，基本可以引領自動駕駛行業。

百度高精地圖制作流程:

這些年百度和寶馬、奔馳、大眾和福特等 OEM 進行聯合研發，側面證明車廠對百度高精地圖的認可。經過多年的研究和車廠聯合開發，百度簡化為以下流程:

一是外業采集，傳送到內業借助 AI 算法，後來會談到 AI 算法如何處理要素;

二是根據采集車采集回來的數據進行分類，校驗準確性等;

三是人工驗證階段，算法只能保證 90%，為了保證百分百，必須加入人工校驗步驟，人工校驗結束後可以發布。現在有三級別產品，包括高精地圖，三維地圖可以滿足自動駕駛需要;

四是 ADAS 地圖應用廣泛在卡車行業和乘用車行業。卡車拉著四五十噸貨物，如果它能提前預知前方 1 公裏外有一個大坡或者小坡，它可以靈活的控制發動機，進行節能技術的開發，我們跟 OEM 合作中有一定的項目經驗。結合 ADAS 地圖的卡車能耗節省 30%。地圖需要持續的更新。

百度開放高精地圖服務:

百度從 2013 年開始高精地圖的研究，是國內唯一具備完整的自主知識產權，擁有從采集設備到數據加工全流程自主技術研發能力的高精地圖數據提供商。百度 Apollo 平臺的高精地圖具備“精細化程度最高、生產效率最高以及覆蓋最廣”三大優勢。

2017 年 9 月，百度對外發布了 Apollo1.5，對外開放了包括高精地圖服務在內的五大能力。通過開放高精地圖服務，Apollo 將幫助合作夥伴實現精準的自主定位，並為決策規劃提供精確、充分的數據支持，讓自動駕駛車輛掌握“全局視角”。

第四部分:Apollo 小度車載系統語音語義設計思路和核心架構

在 2017 年的百度世界大會上，發布了全球首款人車 AI 交互系統--Apollo 小度車載系統。百度車聯網語音語義整體技術負責人陳聰，帶大家從車外走到車內，揭秘 Apollo 小度車載系統語音語義設計思路和核心架構。

每次談到 AI，我們都感覺它是一堆冷冰冰的算法和模型，如何把 AI 的能力轉換成帶有人性化的產品?這是 Apollo 在思考的。

我們希望基於 Apollo 小度車載系統做到“四個你”:聽懂你，看懂你，關愛你，守護你。

想打造好的語音語義系統，關鍵路徑要解決三個問題，一是聽清，二是聽懂，三是滿足。百度是做搜索起家，語音語義理解是百度比較擅長的事情。關於語音，小度的目標非常明確，就是喚醒識別夠精準。百度擁有情感語音識別系統，同時還有靠機器學習生成的語音系統。關於語義，小度能夠很好的理解用戶的意圖，在理解意圖的基礎上，通過對話、場景做更人性化、擬人化的對答。

在聽清方面，百度目前做到的核心指標，一是識別上，字準率 97%;二是擁有全球首個超大規模情感合成系統;三是喚醒上，目前在高速 100 邁開窗的喚醒率達到 95%。

在聽懂方面，要談一下百度語義系統背後的一套對話系統。通常說語義包含三方面:技術、數據和內容。包括小度車載系統中的前端對話服務、技能框架和技能數據。數據足夠多，技術足夠深，是打造對話系統的必要條件。

在滿足方面，百度體系內支持 1 萬種信息垂類，在百度搜索框裏搜索到的東西，都可以在小度的搜索語義中用到。百度挑選了 100 種原生對話技能，是在車載場景下典型使用的原生的對話技能，包括優質資源、知識體系、百億級知識實體關系。

從分層的角度看看我們這套架構做了什麽:

第一層是設備層，面對所有車載設備提供標準解決方案;

第二層是核心層，是小度車載系統的核心能力，用於保證 TTS、ASR、IOV 大腦;

第三層是技能層，是需要可以滿足需求的技能。百度目前在全球有 1.4 億 POI，已經部分開放給行業和開發者。

陳聰老師總結:Apollo 小度車載系統希望做最能聽懂用戶的對話系統，談到數據、技術、內容層面。我一直說 AI 能力的賦能，百度第一期開放七大 AI 能力，接下來百度越來越多的 AI 能力會被融入，我們希望做百度 AI 能力的集大成者。

寫在最後

Apollo 2.0 已經於 12 月 30 號開放，該版本將支持簡單城市道路自動駕駛，可以在 GitHub 獲取到代碼。美國時間 2018 年 1 月 8 號(中國時間 1 月 9 日淩晨 6:00)，將在美國 CES 舉行 Apollo2.0 發布會，敬請關註!

詳解百度Apollo感知技術、高精地圖和小度車載系統