1.鐳射雷達與攝像頭效能對比

在無人駕駛環境感知裝置中，鐳射雷達和攝像頭分別有各自的優缺點。


攝像頭的優點是成本低廉，用攝像頭做演算法開發的人員也比較多，技術相對比較成熟。攝像頭的劣勢，第一，獲取準確三維資訊非常難（單目攝像頭幾乎不可能，也有人提出雙目或三目攝像頭去做）；另一個缺點是受環境光限制比較大。


鐳射雷達的優點在於，其探測距離較遠，而且能夠準確獲取物體的三維資訊；另外它的穩定性相當高，魯棒性好。但目前鐳射雷達成本較高，而且產品的最終形態也還未確定。


就兩種感測器應用特點來講，攝像頭和鐳射雷達攝像頭都可用於進行車道線檢測。除此之外，鐳射雷達還可用於路牙檢測。對於車牌識別以及道路兩邊，比如限速牌和紅綠燈的識別，主要還是用攝像頭來完成。如果對障礙物的識別，攝像頭可以很容易通過深度學習把障礙物進行細緻分類。但對鐳射雷達而言，它對障礙物只能分一些大類，但對物體運動狀態的判斷主要靠鐳射雷達完成。

2.鐳射雷達和攝像頭分別完成什麼工作

無人駕駛過程中，環境感知資訊主要有這幾部分：一是行駛路徑上的感知，對於結構化道路可能要感知的是行車線，就是我們所說的車道線以及道路的邊緣、道路隔離物以及惡劣路況的識別；對非結構道路而言，其實會更加複雜。


周邊物體感知，就是可能影響車輛通行性、安全性的靜態物體和動態物體的識別，包括車輛，行人以及交通標誌的識別，包括紅綠燈識別和限速牌識別。

對於環境感知所需要的感測器，我們把它分成三類：


感知周圍物體的感測器，包括鐳射雷達、攝像頭和毫米波雷達這三類；


實現無人駕駛汽車定位的感測器，就是 GPS 、IMU 和 Encoder；


其他感測器，指的是感知天氣情況及溫、溼度的感測器。


今天主要講的是感知周圍物體的感測器，即：鐳射雷達、毫米波雷達和攝像頭。其實他們都有各自的優缺點。

在無人駕駛環境感知中，攝像頭完成的工作包括：


*車道線檢測；
*障礙物檢測，相當於把障礙物識別以及對障礙物進行分類；
*交通標誌的識別，比如識別紅綠燈和限速牌。

對車道線的檢測主要分成三個步驟：

第一步，對獲取到的圖片預處理，拿到原始影象後，先通過處理變成一張灰度圖，然後做影象增強；

第二步，對車道線進行特徵提取，首先把經過影象增強後的圖片進行二值化（ 將影象上的畫素點的灰度值設定為 0 或 255，也就是將整個影象呈現出明顯的黑白效果），然後做邊緣提取；

第三步，直線擬合。

車道線檢測難點在於，對於某些車道線模糊或車道線被泥土覆蓋的情況、對於黑暗環境或雨雪天氣或者在光線不是特別好的情況下，它對攝像頭識別和提取都會造成一定的難度。

另一個是障礙物檢測。上圖是我們在十字路口做的實驗，獲取到原始影象後，通過深度學習框架對物體進行識別。在這當中，做訓練集其實是主要的難點。

還有一個是道路標識的識別，這一部分的研究比較多，這裡不再贅述。

3.鐳射雷達能夠完成什麼工作

第一是路沿檢測，也包括車道線檢測；第二是障礙物識別，對靜態物體和動態物體的識別；第三是定位以及地圖的建立。

對於路沿檢測，分為三個步驟：拿到原始點雲，地面點檢測、提取路沿點，通過路沿點的直線擬合，可以把路沿檢測出來。

接下來是障礙物識別，識別諸如行人、卡車和私家車等以及將路障資訊識別出來。

障礙物的識別有這樣幾步，當鐳射雷達獲取三維點雲資料後，我們對障礙物進行一個聚類，如上圖紫色包圍框，就是識別在道路上的障礙物，它可能是動態也可能是靜態的。

最難的部分就是把道路上面的障礙物聚類後，提取三維物體資訊。獲取到新物體之後，會把這個物體放到訓練集裡，然後用 SVM 分類器把物體識別出來。

如上圖，左上角、左下角是車還是人？對於機器而言，它是不清楚的。右上角和右下角（上圖）是我們做的訓練集。做訓練集是最難的，相當於要提前把不同物體做人工標識，而且這些標識的物體是在不同距離、不同方向上獲取到的。

我們對每個物體，可能會把它的反射強度、橫向和縱向的寬度以及位置姿態作為它的特徵，進行提取，進而做出資料集，用於訓練。最終的車輛、行人、自行車等物體的識別是由SVM分類器來完成。我們用這種方法做出來的檢測精確度還是不錯的。

利用鐳射雷達進行輔助定位。定位理論有兩種：基於已知地圖的定位方法以及基於未知地圖的定位方法。

基於已知地圖定位方法，顧名思義，就是事先獲取無人駕駛車的工作環境地圖（高精度地圖），然後根據高精度地圖結合鐳射雷達及其它感測器通過無人駕駛定位演算法獲得準確的位置估計。現在大家普遍採用的是基於已知地圖的定位方法。

製作高精度地圖也是一件非常困難的事情。舉個例子，探月車在月球上，原來不知道月球的地圖，只能靠機器人在月球上邊走邊定位，然後感知環境，相當於在過程中既完成了定位又完成了製圖，也就是我們在業界所說的 SLAM 技術。

鐳射雷達是獲取高精度地圖非常重要的感測器。通過 GPS、IMU 和 Encoder 對汽車做一個初步位置的估計，然後再結合鐳射雷達和高精度地圖，通過無人駕駛定位演算法最終得到汽車的位置資訊。

高精地圖可分為基礎層、道路資訊層、周圍環境資訊層和其他資訊層。

比如基礎層，有車道的寬度、坡度、傾斜角、航向、高程、車道線資訊、人行道和隔離帶等等。之後還有資訊層，相當於告訴每一個道路上限速的標記、紅綠燈標記，還有一個就是環境資訊層，相當於周圍建築物的三維模型。其他資訊層，比如說天氣資訊、施工資訊等等，天氣資訊非常重要，它提供一個場景資訊，比如說天氣非常惡劣的時候，比如下雨天，如果高精度地圖能提供天氣資訊，或者無人駕駛汽車車身所攜帶的感測器，能夠感知到下雨資訊，這時非常有利於指導無人駕駛汽車做一些決策。

現在對高精度地圖的定義，不同地圖廠家有不同定義的方式。做高精度地圖是為了輔助無人駕駛，所謂高精度地圖就是相比之前的導航地圖，前者精確度更高，可以達到釐米級；另一個就是高精度地圖包含更多的資訊量，比如說車道的寬度、傾斜度等資訊。

4.鐳射雷達與攝像頭的融合

鐳射雷達與攝像頭融合，其實相當於是鐳射雷達發揮鐳射雷達的優勢，攝像頭髮揮攝像頭的優勢，他們在某些地方是做得不夠好，需要兩個感測器甚至多個感測器資訊進行底層的融合。

在融合的時候，首先第一步，標定。比如說左上角（上圖），我看到凳子，左下角鐳射雷達也看到的是凳子，那麼我通過標定的方式告訴它，其實兩個是同一個物體。

其實攝像頭髮現同一個物體是非常容易的，比如做人的跟蹤或車的跟蹤。對於鐳射雷達而言， 要去識別前後幀是否同一輛車和同一個行人是非常困難的。

鐳射雷達有一個好處：如果可以通過攝像頭告訴它前後兩幀是同一個物體，那麼通過鐳射雷達就可以知道物體在這前後兩幀間隔內：運動速度和運動位移是多少。這是非常關鍵的，因為只有做運動物體的跟蹤才能做一些預測。

人在駕駛的過程中，他得時刻知道周圍物體的運動狀態。對於無人駕駛，除了對車輛進行位置的估計以及導航之外，其實還需要對周邊物體、運動物體的跟蹤和預測，這是非常有意義的。

5.演算法

由相機捕獲的影象資料由(U,V)表示，鐳射雷達捕獲的3維點陣雲用(X,Y,Z)表示，我們的目標是建立一個轉化矩陣M，將3維點(x,y,z)對映到2維點(u,v)，即：

矩陣(fu，fv，u0，v0)是相機引數，fu以及fv是XY軸方向尺度因子（水平方向和垂直方向的有效焦距），u0，v0是像平面（image plane）的中心點，又稱主點座標。R為旋轉矩陣，t為平移向量。

根據不同姿態下定標板平面，可得到一系列的線性方程，解得標定引數。

6.ros中的聯合校準包

這個包用於Velodyne鐳射雷達和相機聯合校準，適用於VLP-16及以上，依賴於aruco_ros包和輕微修改的aruco_mapping包

1）構建

clone程式碼從https://github.com/ankitdhall/lidar_camera_calibration.git，把該程式碼倉庫, dependencies/aruco_ros and dependencies/aruco_mapping 目錄放到 path/to/your/ros/workspace/src ， 執行下面的命令：

1. catkin_make -DCATKIN_WHITELIST_PACKAGES="aruco_ros;aruco_mapping"

2. catkin_make -DCATKIN_WHITELIST_PACKAGES=""

如果，沒有安裝velodyne包需要先安裝該包，make aruco_ros時首先要先安裝aruco_msgs和aruco

2）開始

為了相機與鐳射雷達進行聯合校準，兩個配置檔案需要進行修改，配置檔案在lidar_camera_calibration/conf目錄下。

config_file.txt

1280 720
-2.5 2.5
-4.0 4.0
0.0 2.5
0.05
2
0
611.651245 0.0 642.388357 0.0
0.0 688.443726 365.971718 0.0
0.0 0.0 1.0 0.0
1.57 -1.57 0.0

檔案格式：

image_width image_height
x- x+
y- y+
z- z+ //去除點陣雲中不想要 的點
cloud_intensity_threshold
number_of_markers
use_camera_info_topic? //是否使用camera_info topic
fx 0 cx 0
0 fy cy 0
0 0 1 0

MAX_ITERS

initial_rot_x initial_rot_y initial_rot_z

3）使用

通過如下命令進行啟動：

roslaunch lidar_camera_calibration find_transform.launch

參考文獻

【1】在無人駕駛中，鐳射雷達給攝像頭填了哪些坑*https://www.leiphone.com/news/201611/qffizZw13gxoND6Z.html

【2】Calibration between Color Camera and 3D LIDAR Instrumentswith a Polygonal Planar Board

【4】ros聯合校準包*https://github.com/ankitdhall/lidar_camera_calibration