1.正文

影象處理、立體視覺等等方向常常涉及到四個座標系：世界座標系、相機座標系、影象座標系、畫素座標系。例如下圖：

構建世界座標系只是為了更好的描述相機的位置在哪裡，在雙目視覺中一般將世界座標系原點定在左相機或者右相機或者二者X軸方向的中點。
接下來的重點，就是關於這幾個座標系的轉換。也就是說，一個現實中的物體是如何在影象中成像的。

1.1世界座標系與相機座標系

於是，從世界座標系到相機座標系，涉及到旋轉和平移（其實所有的運動也可以用旋轉矩陣和平移向量來描述）。繞著不同的座標軸旋轉不同的角度，得到相應的旋轉矩陣，如下圖所示：

那麼從世界座標系到相機座標系的轉換關係如下所示：

1.2相機座標系與影象座標系

從相機座標系到影象座標系，屬於透視投影關係，從3D轉換到2D。

此時投影點p的單位還是mm，並不是pixel，需要進一步轉換到畫素座標系。

1.3影象座標系與畫素座標系

畫素座標系和影象座標系都在成像平面上，只是各自的原點和度量單位不一樣。影象座標系的原點為相機光軸與成像平面的交點，通常情況下是成像平面的中點或者叫principal point。影象座標系的單位是mm，屬於物理單位，而畫素座標系的單位是pixel，我們平常描述一個畫素點都是幾行幾列。所以這二者之間的轉換如下：其中dx和dy表示每一列和每一行分別代表多少mm，即1pixel=dx mm

那麼通過上面四個座標系的轉換就可以得到一個點從世界座標系如何轉換到畫素座標系的。

其中相機的內參和外參可以通過張正友標定獲取（戳這裡檢視張正友標定的資料）。通過最終的轉換關係來看，一個三維中的座標點，的確可以在影象中找到一個對應的畫素點，但是反過來，通過影象中的一個點找到它在三維中對應的點就很成了一個問題，因為我們並不知道等式左邊的Zc的值。
關於三維重建不是我的方向，但是深度值的獲取是我專案中的一個需要解決的問題，這將涉及到後面的立體視覺知識。