車輛的可行駛區域包括了結構化的路面、半結構化的路面、非結構化的路面。結構化的路面一般是有道路邊緣線，路面結構單一，比如城市主幹道，高速、國道、省道等，這個路面的結構層執行一定的標準，面層的顏色和材質統一。半結構化的路面是指一般的非標準化的路面，路面面層是顏色和材質差異較大，比如停車場，廣場等，還有一些分支道路。非結構化的路面沒有結構層，天然的道路場景。自動駕駛需要實現路徑規劃，就必須要實現對可行駛區域的檢測。對於城市車輛，自動駕駛解決結構化路面和非結構化路面的檢測和識別就可以，對於野外的無人駕駛車輛，需要解決非結構化路面的檢測。本文主要講基於視覺的路面檢測方法，有些方法中結合了雷達進行可行駛區域的輔助檢測。當前最熱門的基於視覺和雷達的道路場景三維重建是自動駕駛的技術最成熟的方案，該方法已經脫離的傳統的純視覺路面檢測方法（三維重建直接得到三維道路場景資訊，可行駛區域作為三維重建中的一個面，不需要再做檢測），這裡不做介紹。

        可行駛區域的檢測主要是為自動駕駛提供路徑規劃輔助，可以實現整個的路面檢測，也可以只提取出部分的道路資訊，比如前方一定區域內的道路走向或者道路中點等，只要能結合高精度地圖實現道路路徑規劃和障礙物躲避，不一定要完全的提取出完整的路面可行駛區域。

        對不同的環境，有很多不同的檢測方法，從當前的一些論文來看，不同場景中使用的方法有相同的地方，基本的方法有基於路面顏色、道路模型、路面紋理特徵等獲取路面的基本結構特徵，通過這些特徵進一步的獲得滅點、道路邊緣線、道路的基本方向（直走、左轉、右轉、左急轉、右急轉）等潛在資訊。對這些特徵使用傳統的分割提取方法或者機器學習的方法進行可行駛區域的最終提取。現有的論文中每種路面的檢測方法融合了以上的一種或者多種基本資訊提取方法。下面主要分析一下這些基本的方法（只做具體方法介紹，每個演算法的原理不詳解，太多了）。

一、直接特徵：顏色

       對於結構化和半結構化的路面，顏色特徵是非常明顯的，結構化的瀝青路面，顏色集中均勻，對於影象常用的RGB顏色空間，提取這些顏色特徵相對來講比較簡單。在機器學習中，可以使用監督學習，通過手動標註的路面資料集，學習出非路面和路面顏色分割區域，手動標註時給路面和非路面區域貼上標籤，通過學習得到路面的分割結果，當然，在這個過程中學習的不僅僅是路面與非路面的顏色差異，還有其它特徵。傳統的路面顏色提取的方法還有高斯模型，分離出背景路面與前景物體，這種方法的侷限性在於前景的物體太多，顏色分佈範圍太廣，前景和背景分割成兩個部分比較難，在路面區域內車輛較少，前景與背景之間分割效果較好。除此之外根據顏色特徵來提取路面的基本區域時，光照不變性方法使用的最為廣泛，該方法可以消除光照的不均勻和遮擋產生的陰影問題。

在俯檢視中基於顏色分割實現路面檢測

基於光照不變性的路面檢測

二、直接特徵：紋理

       不管是結構化的路面還是非結構化的路面，道路路面連續性決定了路面的紋理能夠基本保持一致，對於路面的微小差異，這種一致性仍然非常明顯。紋理提取的最基本的方法就是使用Gabor濾波器，Gabor特徵對於邊緣比較敏感，可提取出邊緣的方向，受光照影響較小，同時具有尺度不變性。利用Gabor濾波器，可以很好的提取道路邊緣特徵，另一方面車輛在行駛過程中，在路面上留下的擠壓和痕跡都有沿著道路方向的紋理特徵，Gabor特徵可以很好的提取這些特徵的方向，這些方向就能夠表達一些基本的路面區域特性。

                                                      Gabor特徵

三、直接特徵：邊緣

        對於結構化和半結構化的路面，有明顯的道路邊緣分界，提取這些道路的邊緣分界，可以分割出道路路面，常用的邊緣檢測運算元有sobel、prewitt等運算元，使用運算元來進行提取邊緣的核心思想就是將一個待檢測的畫素與周圍的畫素關聯起來，通過設定運算元的水平、豎直方向的權重，計算待檢測畫素的左右、上下的畫素差值的和，判斷待檢檢測畫素的水平與豎直的畫素差異性，判斷該畫素點是否是邊緣點。實際上影象的邊緣是一個連續過度的區域，使用運算元的思想利用了這個過渡區域中待判斷的畫素點兩邊畫素值差別較大的特點，即待判斷畫素點與領域的畫素灰度值差別有關。canny邊緣檢測演算法結合了影象畫素點與周圍點的一階導數和高斯二階導數，得到更準確的邊緣點資訊更加準確。提取到邊緣後，對道路邊緣內部的噪點進行去除，提取出更加準確的路面區域。

                                                          基於邊緣檢測的道路路面檢測

                                            這個也是基於邊緣和顏色的路面檢測方法

四、間接提取：滅點

       滅點又叫消失點，是平行透視變換的一個交點，通俗的理解就是在透視變換中，視場中的平行線都會相交與一點，這個點就是滅點。標準的馬路道路邊緣存在平行直線，平行直線在影象中的交點在滅點附近，通過提取取多對平行直線（道路邊緣線、車道線）的交點，求取這些交點的中心位置，可以近似的估計出滅點。對於非結構化的路面，使用Gabor提取的方向進行統計估計出滅點。求出滅點後，可以使用滅點約束提取的道路邊緣線，去除一些干擾的邊緣直線，對於標準的路面，直行的路面邊緣線平行度更高，滅點距離道路的邊緣直線距離更近。對於非結構化的路面，提取到滅點後可以使用滅點來找大概的道路邊緣，快速的提取一個三角形的路面可行駛區域。

                                                               只使用滅點來進行的道路路面估計

       滅點是間接提取的，要藉助前面的邊緣等特徵進行處理後獲得。

五、分割方法：道路模型

       道路模型的分割方法出發點是，沿著車輛前進方向，道路的方向和區域在變換中存在這一些不變的大輪廓特徵，這些大輪廓特徵概括為道路的走向，主要為直行、拐彎。根據拐彎的程度可以分為急拐彎和緩拐彎。利用這個基本的思想，我們可以提前設定一些基本的道路模型，在提取一定的道路特徵基礎上，拿已有的道路模型去“匹配”，也可以變換基本道路模型適應更多的路面場景。在提取基本特徵的基礎上獲得準確度道路路面區域。

      針對道路路面遮擋時，一般的路面模型不在適用，還有學者提出了有車輛的判別方式，從而保證前方車輛非常多，路面遮擋嚴重時，依然能夠給出當前可行駛區域，避免了一般道路模型的不適應性。

六、分割方法：機器學習（SVM與深度捲進神經網路）

       SVM：支援向量積在路面分割的學習中非常有效，也是使用的非常多的方法之一，主要策略是標註一幅圖中的路面區域和非路面區域，通過SVM的學習，得到路面區域的檢測分類器，載入分類器檢測出可行駛區域的路面。

                                                                       支援向量機的路面檢測結果

       深度卷積神經網路：語義分割是深度學習做自動駕駛場景識別的一個非常有效的方法，基本的原理是通過顏色進行聚類，分割出路面，行人等。跑過的模型中PSPNet效果非常好，實時性也比較好。一般的深度學習方法比如CNN等進行訓練識別可行駛區域的方法還是需要標註的資料集，通過監督學習實現路面的分類提取。

七、影象變換方法：俯檢視

       在路面檢測的方法中，影象的變換對於路面的提取非常有利，前檢視變換到鳥瞰圖，再提取道路路面區域，比較直觀，方便進行路面提取的準確率評估。從前檢視變換到俯檢視中間存在一個透視變換，對每一個攝像頭引數不同、攝像頭的安裝高度角度不同，都需要通過標定實驗求出一組特定的變換矩陣，使用變換矩陣變換得到鳥瞰圖。

                                                  在鳥瞰圖中評估道路路面檢測的準確性

八、總結

       混合多個特徵進行檢測，結果比使用單個特徵檢測方法要好

                               基於顏色和滅點提取的非結構化可行駛區域

                                            基於道路模型和滅點的路面檢測方法

最後，我自己做了一下路面的檢測，針對的是結構化道路和非結構化道路，使用安裝在前保險槓上的攝像頭提取路面

這是結果：

                        
原文：https://blog.csdn.net/liaojiacai/article/details/77211692