2. 程式人生 > >視覺 SLAM 十四講 - 7 (下)

視覺 SLAM 十四講 - 7 (下)

阿新 • • 發佈：2019-01-06

7.7 3D-2D: PnP

PnP（Perspective-n-Point）是求解 3D 到 2D 點對運動的方法。它描述了當我們知道 n 個 3D 空間點以及它們的投影位置時，如何估計相機所在的位姿。前面已經說了， 2D-2D 的對極幾何方法需要八個或八個以上的點對（以八點法為例），且存在著初始化、純旋轉和尺度的問題。然而，如果兩張影象中，其中一張特徵點的 3D 位置已知，那麼最少只需三個點對（需要至少一個額外點驗證結果）就可以估計相機運動。特徵點的 3D 位置可以由三角化，或者由 RGB-D 相機的深度圖確定。因此，在雙目或 RGB-D 的視覺里程計中，我們可以直接使用 PnP 估計相機運動。而在單目視覺里程計中，必須先進行初始化，然後才能使用 PnP。 3D-2D 方法不需要使用對極約束，又可以在很少的匹配點中獲得較好的運動估計，是最重要的一種姿態估計方法。

PnP 問題有很多種求解方法，例如用三對點估計位姿的 P3P[45]，直接線性變換（DLT），EPnP（Efcient PnP） [46]， UPnP[47] 等等）。此外，還能用非線性優化的方式，構建最小二乘問題並迭代求解，也就是萬金油式的 Bundle Adjustment。我們先來看 DLT，然後再講 Bundle Adjustment。

7.7.1 直接線性變換

考慮某個空間點 P，它的齊次座標為 P = (

X , Y , Z , 1 ) T
P = (X, Y, Z, 1)^T 。在影象 I 1 I_1 中，投影到特徵點 x 1 = ( u 1 , v 1 , 1 ) T x_1 = (u_1, v_1, 1)^T （以歸一化平面齊次座標表示）。此時相機的位姿 R , t R, t 是未知的。與單應矩陣的求解類似，我們定義增廣矩陣 [ R ∣ t ] [R|t] 為一個 3 × 4 的矩陣，包含了旋轉與平移資訊。我們把它的展開形式列寫如下：
s [ u 1 v 1 1 ] = [ t 1 t 2 t 3 t 4 t 5 t 6 t 7 t 8 t 9 t 10 t 11 t 12 ] [ X Y Z 1 ] . s \begin{bmatrix} u_1 \\ v_1 \\ 1 \end{bmatrix} = \begin{bmatrix} t_1 & t_2 & t_3 & t_4 \\ t_5 & t_6 & t_7 & t_8 \\ t_9 t_{10} & t_{11} & t_{12} \\ \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}.
用最後一行把 s 消去，得到兩個約束：
u 1 = t 1 X + t 2 Y + t 3 Z + t 4 t 9 X + t 10 Y + t 11 Z + t 12 , v 1 = t 5 X + t 6 Y + t 7 Z + t 8 t 9 X + t 10 Y + t 11 Z + t 12 . u_1 = \frac{t_1X + t_2Y + t_3Z + t_4}{t_9X + t_{10}Y + t_{11}Z + t_{12}}, v_1 = \frac{t_5X + t_6Y + t_7Z + t_8}{t_9X + t_{10}Y + t_{11}Z + t_{12}}.
為了簡化表示，定義 T T 的行向量：
t 1 = ( t 1 , t 2 , t 3 , t 4 ) T , t 2 = ( t 5 , t 6 , t 7 , t 8 ) T , t 3 = ( t 9 , t 10 , t 11 , t 12 ) T , t_1 = (t_1, t_2, t_3, t_4)^T, t_2 = (t_5, t_6, t_7, t_8)^T, t_3 = (t_9, t_{10}, t_{11}, t_{12})^T,

相關推薦

視覺 SLAM 十四講 - 7 (下)

7.7 3D-2D: PnP PnP（Perspective-n-Point）是求解 3D 到 2D 點對運動的方法。它描述了當我們知道 n 個 3D 空間點以及它們的投影位置時，如何估計相機所在的位姿。前面已經說了， 2D-2D 的對極幾何方法需要八個或八個以上的點對（以八點法為例

特徵提取、匹配以及位姿計算（2D-2D）--參考視覺SLAM十四講7.4

#include <iostream> #include <opencv2/core/core.hpp> #include <opencv2/features2d/features2d.hpp> #include <opencv2/h

《視覺SLAM十四講》第7講 程式碼編譯g2o初始化出錯修改

1. pose_estimation_3d3d.cpp // 初始化g2o typedef g2o::BlockSolver< g2o::BlockSolverTraits<6,3> > Block; // pos

視覺slam十四講ch5 joinMap.cpp 代碼註釋（筆記版）

iterator 實驗 article ons 如果 false 結果 插入 智能指針類 1 #include <iostream> 2 #include <fstream> 3 using namespace std; 4 #in

《視覺SLAM十四講》課後習題—ch7（更新中……）

一個 main slam 為什麽 技術分享 .com span point fde 參考：https://blog.csdn.net/zilanpotou182/article/details/66478915（SIFT、SURF、ORB三種特征點的區別） 1.除了本書

《視覺SLAM十四講》筆記（ch10）

bundle gin ont 學習 重建 16px 方程 進行 img ch 10—— 後端1 主要目標：1.理解後端的概念 　　　　 2.理解以EFK為代表的濾波器後端工作原理 　　　　　3.理解非線性優化得後端，明白稀疏性是如何利用的 　　　　 4.使用g2

視覺SLAM十四講（二）——SLAM 學習資料

（1) orb_slam 官網（網站最後有5篇論文，價值很高） http://webdiis.unizar.es/~raulmur/orbslam/ （2)半仙居士blog（可以都看，很經典） http://www.cnblogs.com/gaoxiang12/ （3) 賀一加 blog（m

視覺SLAM十四講學習筆記——第二講

2.1引子：小蘿蔔的例子 　　1. 慣性測量單元（Inertial Measurement Unit, IMU） 　　2. 按照工作方式的不同，相機可以分為單目相機（Monocular）、雙目相機（Stereo）、和深度相機（RGB-D）三大類。 　　3. RGB-D除了能夠採集到彩色圖片之外，還能夠讀

視覺SLAM十四講學習筆記——第三講--三維空間剛體運動

3.1 旋轉矩陣 　　3.1.1 點和向量，座標系 　　內積可以描述向量之間的投影關係。 　　外積的方向垂直於這兩個向量，是兩個向量張成的四邊形的有向面積。還能用外積表示向量的旋轉。 　　3.1.2 座標系間的歐式變換 　　旋轉矩陣是行列式為1的正交矩陣。旋轉矩陣可以描述相機的旋轉。SO（n）是特殊

視覺SLAM十四講學習筆記——第四講--李群與李代數

4.1李群與李代數基礎 　　旋轉矩陣和變換矩陣對加法是不封閉的。換句話說，對於任意兩個旋轉矩陣R1, R2,按照矩陣加法的定義，和不再是一個旋轉矩陣。 　　SO(3) 和 SE(3)對乘法是封閉的。兩個旋轉矩陣相乘，表示做了兩次旋轉。對於這種只有一個運算的集合，我們稱之為群。 　　4.1.1 群 　　

視覺SLAM十四講學習筆記——第五講--相機與影象

5.1 相機模型 　　5.1.1 針孔相機模型 　　畫素座標系與成像平面之間，相差了一個縮放和一個原點的平移。 　　內參數矩陣（Camera Intrinsics）K 　　標定：自己確定內參。 　　5.1.2 畸變 　　由透鏡形狀引起的畸變稱為徑向畸變。 　　桶形畸變是由於影象放大率隨著與光軸之

視覺SLAM十四講學習筆記——第六講--非線性優化

6.1 狀態估計問題 　　6.1.1 最大後驗與最大似然 　　貝葉斯法則 　　似然是指"在現在的位姿下，可能產生怎樣的觀測資料"。 　　最大似然估計“在什麼樣的狀態下，最可能產生現在觀測到的資料”。 　　6.1.2 最小二乘的引出 6.2 非線性最小二乘 　　6.2.1 一階和二階梯度法 　　

《視覺SLAM十四講精品總結》12 迴環檢測建立字典

  這部分並不難，主要用到了一個詞袋模型（BoW），對兩幅影象的特徵點進行匹配。 建立字典：一個單詞是某一類特徵的集合，字典生成是個聚類問題，可使用K-meams演算法。 匹配相似性：暴力計算量太大，可用二分查詢提升效率，以及k叉樹表達字典（層次聚類） 目錄：

《視覺slam十四講》之第３講－三維剛體運動

  第三講：三維空間剛體運動 旋轉的幾種表達方式 向量 關於向量： 注：其中e１，e2，ｅ3為線性空間下的一組基。 向量的內積： 注：向量的內積表示向量間的投影關係。 向量的外積 注：可以使用外積表示向量的旋轉。 注：^ 記成一個反對稱符

視覺SLAM十四講（三）——A星演算法詳解

點開全文 點開全文 點開全文 A* 尋路演算法 原文地址： http://www.gamedev.net/reference/articles/art

SLAM學習小組 : 視覺SLAM十四講 第三講 + 視覺SLAM理論與實踐 第二節

一、熟悉Eigen矩陣運算 Wiki Eigen 設線性⽅程 Ax = b，在 A 為⽅陣的前提下，請回答以下問題： 1. 在什麼條件下，x 有解且唯⼀？ 線性方程組的矩陣滿秩（非奇異矩陣） 2. 高斯消元法的原理是什麼？ 高斯消元法是將方程組中的一方程的未知數用含有另一

《視覺SLAM十四講》課後習題—ch6

7.請更改曲線擬合實驗中的曲線模型，並用Ceres和g2o進行優化實驗。例如，可以使用更多的引數和更復雜的模型 　　Ceres：以使用更多的引數為例：y-exp(ax^3+bx^2+cx+d) 　　僅僅是在程式中將模型引數增加到4維，沒什麼創新而言 　　 1 #include <iost

視覺SLAM十四講課後習題—ch8 《視覺SLAM十四講》筆記（ch8）

1.除了LK光流之外，還有哪些光流方法？它們各有什麼特點？ 　　參考：https://blog.csdn.net/on2way/article/details/48953975 1）LK(Lucas-Kanada)光流： 一種經典的方法，基於區域性特徵計算光流2）Horn-Schunck光流方法：全域性性

SLAM學習--視覺SLAM十四講第三方庫安裝

echo "安裝eigen3" sudo apt-get --yes --force-yes install libeigen3-dev cd ~/ThirtyLib echo "安裝Sopus" g

視覺slam十四講ch5 joinMap.cpp 程式碼註釋（筆記版）

1 #include <iostream> 2 #include <fstream> 3 using namespace std; 4 #include <opencv2/core/core.hpp> 5 #include