一、影象預處理

影象預處理的目的在於改善影象的視覺效果，提高影象的清晰度，有選擇的突出某些感興趣的資訊，抑制  無用的資訊，以提高影象的使用價值。

影象平滑處理：中值濾波、形態學濾波、雙邊濾波、自適應均值濾波、自適應中值濾波、自適應加權濾波。

 有關的改進方法：椒鹽噪聲過濾演算法：GA-BP神經網路噪聲檢測的自適應濾波演算法。

遺傳演算法：Genetic AlgorithmGA

反向傳播神經網路：Back BP   BP

二、特徵點檢測與匹配

特徵點問題主要包括特徵點的提取和特徵點的匹配。特徵點的通常理解為：某些鄰域變化比較大的點。如角點和噪聲，因此特徵點的     本質問題可以歸結為：在抵抗一定的影象畸變的情況下，保證特徵點的正確提取和匹配。

特徵點提取的方法：

1. 加權平均Harris-Laplace特徵點提取演算法。

   使用harris角點運算元存在很多誤檢。此方法對harris方法有一定改進。

2. 基於SIFT運算元的特徵提取演算法。尺度不變特徵轉換 SIFT(Scale-invariant feature transform)用來偵測與描述影像中的區域性性特徵，它在空間尺度中尋找極值點，並提取出其位置、尺度、旋轉不變數。該運算元具有對影象旋轉、縮放、光照變化和仿射變換保持不變性的特點。SIFT方法的主要思想為：首先建立高斯差分金字塔表徵，然後將每個畫素點與它周圍的八個點，以及上下相鄰層的十八個鄰域點，總共 26個點作比較。如果該點是極值點，那麼就認為該點為特徵點，同時計算出該特徵點的主方向。由此，就可以將特徵點提取出來了。

3. 基於SURF運算元的特徵提取演算法。加速魯棒特徵（Speeded-Up Robust Features）借鑑SIFT簡化思想，藉助積分圖和harr小波技術的使用，使模板對影象的卷積可以通過加減運算線上性時間內完成。經實驗證明，SURF的檢測效率要明顯高於演算法，且具備較優的綜合性能。目前SURF演算法在特徵提取與匹配鄰域比較流行。 

1. NCC特徵匹配

   歸一化互相關（normalizes cross correlation）方法的優點是它可以抵抗全域性的亮度變化和對比度變化，並且速度快。

   缺點是：(a)不抗影象縮放。(b)不抗大的視角的變化。(c)當初始匹配點的錯誤匹配率高於

   40%的時候以上兩種方法失效。

2. SIFT特徵匹配

   主要思想是用特徵點的 16×16的鄰域計算該鄰域的每個點的梯度。然後將 16×16的區域劃分為 4×4的小區域，每個小區域的點向 8個方向投影。這樣總共可以得到 4×4×8=128維的特徵向量描述符。特徵點的匹配首先需要將特徵點旋轉到它的主方向上，然後計算匹配點的 128維特徵描述符的歐式距離。距離最小的匹配點為正確匹配點。

3. SURF特徵匹配

   與Sift特徵點匹配類似，Surf也是通過計算兩個特徵點間的歐式距離來確定匹配度，歐氏距離越短，代表兩個特徵點的匹配度越好。不同的是Surf還加入了Hessian（黑塞矩陣）矩陣跡的判斷，如果兩個特徵點的矩陣跡正負號相同，代表這兩個特徵具有相同方向上的對比度變化，如果不同，說明這兩個特徵點的對比度變化方向是相反的，即使歐氏距離為0，頁直接予以排除。

三、相機標定

相機標定就是求出相機的內部引數。最終得到內參數矩陣K。

相機標定的方法：

1. Tsai的兩步標定方法

   其主要思想是首先利用透視變換原理線性求解出一些相機引數，接著把求得的這些引數作為非線性優化演算法的初始值，只考慮相機的徑向畸變，通過優化演算法求解其餘引數，從而相對於線性標定方法提高了標定的精度。

2. 圓點模板標定方法

3. 張正友的平面標定方法

   張正友結合傳統攝影測量標定與計算機視覺自標定優勢，提出使用簡易的平面標定模板，通過多個角度獲取的影象間單應關係，高精度高效的求解出相機的內參數與畸變引數。張正友標定方法因其有效性、可靠性和靈活性而得到廣泛應用。

4. 相機自標定方法

   相機自標定方法因其不需要額外的已知資訊而具有極大的靈活性，受到廣泛的關注與研究。常見的方法有：直接求解Kruppa方程的自標定法、分層自標定法和基於絕對對偶二次曲面標定法。目前應用最廣泛的為利用絕對對偶二次曲面的標定方法。

四、計算基礎矩陣與本質矩陣

    基礎矩陣是對同一場景的兩幅影象間約束關係的數學描述，是在未標定影象序列中存在的幾何結構約束資訊，隱式的包含了相機的所     有內外引數。

基礎矩陣計算方法：

1. 歸一化點演算法

   該方法可以降低噪聲的干擾，減小系數矩陣條件數大小，從而提高解算精度。

2. RANSAC演算法

   隨機抽樣一致性演算法RANSAC（Random Sample Consensus）可以在一組包含“外點”的資料集中，採用不斷迭代的方法，尋找最優引數模型，不符合最優模型的點，被定義為“外點”。

假設內參矩陣分別為K1和K2的兩幅影象之間的基礎矩陣為F，由此可以求得它們之間的本質矩陣：E=k2^TFK1。接著對本質矩陣進行分解（SVD分解方法），得到旋轉矩陣R和平移向量t。然後計算出兩幅影象的投影矩陣P1和p2.利用投影矩陣獲得空間三維點的座標。

五、稠密點雲的網格化

通過上面的步驟可以得到基於影象的三維點雲，但要對空間物體的表面資訊進行重構，需要對三維點雲進行三角剖分。

  三角剖分目前比較流行的點雲網格化方法，其方法分為2種：

1. 平面投影法

   採用投影對映的方法，將三維點雲投影到二維平面上，接著對投影后的二維點進行三角剖分，然後將二維剖分關係傳遞給三維點雲的三角剖分。

2. 直接剖分法

   三角剖分所給點集R，保留原始點雲的拓撲結構，實際上是對R的線性插值。根據上述可知，直接剖分法比較繁瑣。

得到三維場景的大致模型之後，為了獲得更加逼真的效果，還需要做一步紋理對映工作。紋理對映，簡單來講就是貼圖，將攝像機拍攝出  的影象中選擇其中一幅最合適的，將該圖上場景的紋理，對映到三維模型中。