基於點雲描述子的立體視覺里程計快速魯棒的位置識別方法
點雲PCL免費知識星球，點雲論文速讀。
文章：A Fast and Robust Place Recognition Approach for Stereo Visual Odometry Using LiDAR Descriptors
作者：Jiawei Mo and Junaed Sattar
翻譯：particle
本文僅做學術分享，如有侵權，請聯絡刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈分享快樂。
論文閱讀模組將分享點雲處理，SLAM，三維視覺，高精地圖相關的文章。公眾號致力於理解三維視覺領域相關內容的乾貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯絡微信
●論文摘要
位置識別是同步定位與構建地圖（SLAM）演算法的核心組成部分。特別是在視覺SLAM系統中，通過計算代表不同位置的影象之間的外觀相似性來識別先前訪問過的位置。然而，這種方法對視覺資訊的變化很敏感，而且計算成本也很高。在這篇論文中，我們提出了一種新的方法，將鐳射雷達描述子應用於立體視覺里程計所獲得的三維點，以進行位置識別。對於環境變化（例如，可變照明），3D點雲可能比2D視覺特徵（如2D特徵）更可靠，這可能有利於長距離的場景中的視覺SLAM系統。立體視覺里程計生成具有絕對比例的三維點，這使得我們能夠使用鐳射雷達描述符進行高效率的地點識別。通過對標準資料集的廣泛評估，我們證明了使用三維點進行位置識別的準確性、效率和魯棒性。
其實就是使用鐳射雷達獲取的點雲端計算全域性的點雲描述子，並記錄成個一個數據集，而使用雙目視覺三角化生成點雲作為輸入將這些三角化出來的三角點計算三種描述子，不斷的與資料集進行檢索和對比，最終匹配上的則是迴環檢測成功。
程式碼開源：
https://github.com/IRVLab/so_dso_place_recognition
●相關工作與介紹
在GPS訊號接收弱或者不可用的情況下，基於視覺的SLAM就顯得十分重要，視覺VO被用來建立區域性地圖和估計自我運動來輔助機器人進行導航，然而在這個過程中無法避免的存在累計誤差，導致里程計估計偏離正確的路徑，此時就需要有迴環檢測來識別曾經訪問過的地方，將此約束引入到系統中，以獲得全域性一致的地圖和軌跡，因此基於位置識別的迴環檢測可以提高視覺VO的穩定性。
來自RobotCar資料集的不同季節的影象。注意外觀上的顯著變化。
傳統的基於視覺系統的位置識別方法通常依賴於二維影象。每個位置都由在該地方獲取的影象來表示。為了確定兩個位置是同一個位置的可能性，需要評估它們對應影象的相似性 。然而，本文提出的視覺里程計方法提供了可用於地點識別的附加資訊。二維影象上點的深度（即這些點到攝像機的距離）可以通過單目或多攝像機視覺里程計進行部分或全部恢復。場景的三維結構可能為位置識別提供重要資訊，然而二維位置識別方法忽略了這一點。在動態環境中（例如，在不同的光照下），3D結構比2D影象更健壯。另一方面，關於利用鐳射雷達（Light Detection and Ranging，LiDAR）感測器的3D點進行位置識別的文獻資料非常豐富。鐳射雷達感測器掃描的是環境的三維結構，而不是其視覺外觀，使得基於鐳射雷達的地點識別更能抵禦環境變化，如外觀和亮度的變化。
在這項工作中，我們將LiDAR位置識別方法，特別是LiDAR點雲的描述子，應用到視覺里程計系統中，以實現位置識別。其目標是在動態環境中，以一種計算效率高的方式，使基於視覺的系統能夠準確而穩健地進行位置識別。
文章的主要貢獻有
•計算鐳射雷達點雲資料全域性描述子適應基於視覺的位置識別系統中；
•實現對視覺外觀發生變化時位置識別的精度和魯棒性;
•與現有方法相比，實現更低的計算成本。
我們在KITTI資料集和Oxford RobotCar資料集上評估了所提出的方法。通過對RobotCar資料集的分析，證明了該方法對季節變化的魯棒性，並證明了該方法比現有方法具有更高的精度和計算效率。通過使用影象強度資訊增強鐳射雷達描述子，進一步提高了效能。
● 內容精華
論文方法概述。其基礎在於“點雲預處理”模組，利用立體VO獲得的三維點模擬鐳射雷達掃描，從而可以進行有效的位置識別。
由於相機視野狹窄，立體視覺里程計生成的三維點位於由攝像機姿態決定的視錐上。如果我們直接在視錐內部應用全域性描述符，那麼位置識別將對視角非常敏感。為了解決這一問題，我們提出了一種簡單而有效的方法，即將立體視覺里程計中的三維點轉換成全向的LiDAR形狀（球形）三維點雲。如圖3所示。立體視覺里程計生成關鍵幀與相機姿勢和相關的三維點。其中保留區域性點列表。對於每個傳入的關鍵幀，我們將其所有3D點儲存到列表中。為了模擬鐳射雷達對當前關鍵幀的掃描，迭代區域性點列表：如果點的距離在所需的鐳射雷達範圍內，則通過當前姿勢將其轉換為當前關鍵幀座標，然後將其放入球形點列表中。
KITTI 資料集部分模擬鐳射雷達掃描結果的照片
點雲描述子：該方法的是利用鐳射雷達點雲資料的全域性描述子來描述濾波後的點雲並得到關鍵幀的位置特徵。使用這種計算方式的原因有兩個：第一個原因是計算點雲描述子和匹配點雲時的計算效率；第二個原因是我們所得到的點雲是通過視覺里程計影象中點三角化生成的，它們不像鐳射雷達那樣一致和密集。許多區域性描述符（如 Spin Image ）依賴於曲面法線，對於曲面法線，需要密集的點雲，這在本例中是有問題的。我們選擇DELIGHT[5]、M2DP[15]和Scan Context[19]作為全域性描述符，因為它們是用於位置識別的最先進的鐳射雷達描述子，對稀疏和不一致的點雲具有魯棒性。它們的演算法思想如圖5所示。
展示本文使用的點雲描述子：DELIGHT,M2DP, and Scan Context.
DELIGHT：是一種根據點雲的鐳射雷達強度的點雲描述子，根據鐳射雷達掃描點雲按半徑、方位角和仰角分為16個基元。每個bin由內部的鐳射雷達強度直方圖描述，這些直方圖連線起來形成代表整個鐳射雷達掃描的特徵，該描述子對旋轉和平移不太敏感，具有一定的魯棒性。
M2DP：是一個具有高精度和高效率的全域性描述子。將點雲投影到多個平面上，並根據半徑和方位角將每個平面劃分為單獨的儲存單元。將投影到面元上的分佈連線起來，形成點雲的特徵。為了提高計算效率和儲存效率，採用奇異值分解（SVD）對描述子進行壓縮。
Scan Context：點雲上下文是一個簡單而有效的描述子，用於城市地區的鐳射雷達掃描。鐳射雷達掃描與外部測量的重力軸對齊（例如，使用IMU）。然後根據半徑和方位角將水平圓平面分割成多個基元。在每個箱子中，找到最大高度並將其連線起來，以形成當前位置的描述子。
位置識別：
基於位置的描述子，確定位置之間的相似性，通過計算每個位置到參考資料庫中每個位置描述子的最短距離獲取相似性。為了評估所提出的方法，我們在演算法中比較了DELIGHT、M2DP和Scan Context, 以及BoW, GIST。
●實驗結果
基於RobotCar資料集的位置識別精度統計
●總結
本文提出了一種新的立體視覺里程計位置識別方法。我們不需要二維影象的相似性，而是依靠視覺里程計生成的三維點來確定地點之間的相關性。立體系統的三維點以絕對比例被用來模擬鐳射雷達掃描，這些掃描點被輸入到三個鐳射雷達獲取的點雲全域性描述子資料集中，分別是DELIGHT、M2DP和 Scan Context。我們用灰度強度資訊來增強描述子。在KITTI資料集和RobotCar資料集上的實驗表明了該方法的準確性、高效性和魯棒性。
參考文獻
[5] Konrad P Cop, Paulo VK Borges, and Renaud Dub´e. DELIGHT: An Efficient Descriptor for Global Localisation using LiDAR Intensities. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 3653–3660. IEEE, 2018
[15] Li He, Xiaolong Wang, and Hong Zhang. M2DP: A Novel 3D Point Cloud Descriptor and its Application in Loop Closure Detection. In 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 231–237. IEEE, 2016.
[19] Giseop Kim and Ayoung Kim. Scan Context: Egocentric Spatial Descriptor for Place Recognition within 3D Point Cloud Map. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4802–4809. IEEE, 2018.
資源
三維點雲論文及相關應用分享
【點雲論文速讀】基於鐳射雷達的里程計及3D點雲地圖中的定位方法
3D-MiniNet: 從點雲中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）
PCL中outofcore模組---基於核外八叉樹的大規模點雲的顯示
更多文章可檢視：點雲學習歷史文章大彙總
SLAM及AR相關分享
往期線上分享錄播彙總
點雲PCL更多活動請檢視：點雲PCL活動之應屆生校招群
掃描下方微信視訊號二維碼可檢視最新研究成果及相關開源方案的演示：
如果你對本文感興趣，請點選“原文閱讀”獲取知識星球二維碼，務必按照“姓名+學校/公司+研究方向”備註加入免費知識星球，免費下載pdf文件，和更多熱愛分享的小夥伴一起交流吧！
以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯絡刪除
掃描二維碼
關注我們
讓我們一起分享一起學習吧！期待有想法，樂於分享的小夥伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限於三維視覺，點雲，高精地圖，自動駕駛，以及機器人等相關的領域。
分享及合作方式：微信“920177957”（需要按要求備註） 聯絡郵箱：[email protected]，歡迎企業來聯絡公眾號展開合作。
點一下“在看”你會更好看耶
