【入門】3D視覺庫
1. PCL
PCL（Point Cloud Library），是在吸收了前人點雲相關研究基礎上建立起來的大型跨平臺開源C++程式設計庫，它實現了大量點雲相關的通用演算法和高效資料結構，涉及到點雲獲取、濾波、分割、配準、檢索、特徵提取、識別、追蹤、曲面重建、視覺化等。支援多種作業系統平臺，可在Windows、Linux、Android、Mac OS X、部分嵌入式實時系統上執行。如果說OpenCV是2D資訊獲取與處理的結晶，那麼PCL就在3D資訊獲取與處理上具有同等地位，PCL是BSD授權方式，可以免費進行商業和學術應用。
PCL起初是ROS（Robot Operating System）下由來自於慕尼黑大學（TUM - Technische Universität München）和斯坦福大學（Stanford University）Radu博士等人維護和開發的開源專案，主要應用於機器人研究應用領域，隨著各個演算法模組的積累，於2011年獨立出來，正式與全球3D資訊獲取、處理的同行一起，組建了強大的開發維護團隊，以多所知名大學、研究所和相關硬體、軟體公司為主，可參考圖1。截止目前，發展非常迅速，不斷有新的研究機構等加入，在Willow Garage, NVidia, Google (GSOC 2011), Toyota, Trimble, Urban Robotics, Honda Research Institute等多個全球知名公司的資金支援下，不斷提出新的開發計劃，程式碼更新非常活躍，至今在不到一年的時間內從1.0版本已經發布到1.7.0版本。
隨著加入組織的增多，PCL官方目前的計劃是繼續加入很多新的功能模組和演算法的實現，包括當前最新的3D相關的處理演算法，如基於PrimeSensor 3D裝置,微軟Kinect或者華碩的XTionPRO智慧互動應用等，詳細讀者可以參考官方網站每期的新聞，而且也計劃進一步支援使用CUDA 和OpenCL等基於GPU的高效能運算的技術。筆者相信在近幾年內會有更多的人和組織加入到這個專案中來，共享開源PCL帶來的各自領域的成果。
1.1. PCL的結構和內容
對於3D點雲處理來說，PCL完全是一個的模組化的現代C++模板庫。其基於以下第三方庫：Boost、Eigen、FLANN、VTK、CUDA、OpenNI、Qhull，實現點雲相關的獲取、濾波、分割、配準、檢索、特徵提取、識別、追蹤、曲面重建、視覺化等。
PCL利用OpenMP、GPU、CUDA等先進高效能運算技術，通過並行化提高程式實時性。K近鄰搜尋操作的構架是基於FLANN (Fast Library for Approximate Nearest Neighbors)所實現的，速度也是目前技術中最快的。PCL中的所有模組和演算法都是通過Boost共享指標來傳送資料的，因而避免了多次複製系統中已存在的資料的需要，從0.6版本開始，PCL就已經被移入到Windows，MacOS和Linux系統，並且在Android系統也已經開始投入使用，這使得PCL的應用容易移植與多方釋出。
從演算法的角度，PCL是指納入了多種操作點雲資料的三維處理演算法，其中包括：過濾，特徵估計，表面重建，模型擬合和分割，定位搜尋等。每一套演算法都是通過基類進行劃分的，試圖把貫穿整個流水線處理技術的所有常見功能整合在一起，從而保持了整個演算法實現過程中的緊湊和結構清晰，提高程式碼的重用性、簡潔可讀。在PCL中一個處理管道的基本介面程式是：
- 建立處理物件：（例如過濾、特徵估計、分割等）;
- 使用setInputCloud通過輸入點雲資料，處理模組;
- 設定演算法相關引數;
- 呼叫計算（或過濾、分割等）得到輸出。
為了進一步簡化和開發，PCL被分成一系列較小的程式碼庫，使其模組化，以便能夠單獨編譯使用提高可配置性，特別適用於嵌入式處理中:
- libpcl filters：如取樣、去除離群點、特徵提取、擬合估計等資料實現過濾器；
- libpcl features：實現多種三維特徵，如曲面法線、曲率、邊界點估計、矩不變數、主曲率，PFH和FPFH特徵，旋轉影象、積分影象，NARF描述子，RIFT，相對標準偏差，資料強度的篩選等等；
- libpcl I/O：實現資料的輸入和輸出操作，例如點雲資料檔案（PCD）的讀寫；
- libpcl segmentation：實現聚類提取，如通過取樣一致性方法對一系列引數模型（如平面、柱面、球面、直線等）進行模型擬合點雲分割提取，提取多邊形稜鏡內部點雲等等；
- libpcl surface：實現表面重建技術，如網格重建、凸包重建、移動最小二乘法平滑等；
- libpcl register：實現點雲配準方法，如ICP等；
- libpclkeypoints：實現不同的關鍵點的提取方法，這可以用來作為預處理步驟，決定在哪兒提取特徵描述符；
- libpcl range：實現支援不同點雲資料集生成的範圍影象。
為了保證PCL中操作的正確性，上述提到的庫中的方法和類包含了單位和迴歸測試。這套單元測試通常都是由專門的構建部門按需求編譯和驗證的。當某一部分測試失敗時，這些特定部分的各自作者就會立即被告知。這徹底地保證了程式碼測試過程出現的任何變故，以及新功能或修改都不會破壞PCL中已經存在的程式碼。
1.2. 教程
1.3. Python-PCL
Python對PCL的繫結。目前最新版本是v0.3，但自2019-06月份後就沒再更新了。
apt install python3-pcl
2. Open3D
Open3D 是一個可以支援 3D 資料處理軟體快速開發的開源庫。Open3D 前端公開了一組用 C++ 和 Python 寫成的精心挑選的資料結構和演算法，後端高度優化並設定為並行。Open3D可以在不同的平臺上設定，並以最少的工作量進行編譯。Open3D的程式碼非常整潔，可以通過明確的程式碼審查機制來維護。
其核心特性包括：
- 3D資料結構
- 3D資料處理演算法
- 場景重建
- Surface alignment(表面對齊？)
- 3D視覺化
- 基於物理的渲染（PBR）
- C++和python程式碼介面
安裝：可以直接通過 pip install open3d 安裝，依賴於：
- jupyter
- scipy
- sklearn
- pybind11
3. 其他軟體
3.1. openMVG
常見的多檢視三維重建管線：
- 重建稀疏點雲-Structure from Motion(Sfm)
- 重建稠密點雲-Multi-View Stereo(MSV)
- 重建表面-Surface Generation(SG)
- 紋理對映-Texture Mapping(TM）
我們知道，照相機/攝像機的原理是將一個三維場景或物體投影到二維平面上，過去是膠片，現在是經過感光元件再記錄到儲存器。降維的過程通常不可避免地會存在資訊的損失，而所謂的重建(Reconstruction)，顧名思義就是要從獲取到的二維影象中復原原始三維場景或物體。
三維重建的流程大致如下：首先，通過多角度拍攝或者從視訊中提取得到一組影象序列，將這些影象序列作為整個系統的輸入；隨後，在多視角的影象中，根據紋理特徵提取出稀疏特徵點（稱為點雲），通過這些特徵點估計相機位置和引數；在得到相機引數並完成特徵點匹配後，我們就可以獲得更稠密的點雲（這些點可以附帶顏色，從遠處看就像還原了物體本身一樣，但從近處能明顯看出它們只是一些點）；最後根據這些點重建物體表面，並進行紋理對映，就還原出三維場景和物體了。
概括起來就是：影象獲取->特徵匹配->深度估計->稀疏點雲->相機引數估計->稠密點雲->表面重建->紋理對映。
3.2. openMVS
3.3. MeshLab
MeshLab 是一個開源、可移植和可擴充套件的三維幾何處理系統，主要用於互動處理和非結構化編輯三維三角形網格。該系統釋出於2005年年底，旨在提供一整套三維掃描、編輯、清洗、拼合、檢查、呈現和轉換網格資料的工具。