轉載於：https://www.cnblogs.com/cv-pr/p/5719350.html

深度圖轉點雲的計算過程很簡潔，而裡面的原理是根據內外參矩陣變換公式得到，下面來介紹其推導的過程。

1. 原理

首先，要了解下世界座標到影象的對映過程，考慮世界座標點M(Xw,Yw,Zw)對映到影象點m(u,v)的過程，如下圖所示：

2. 程式碼

根據上述公式，再結合以下ROS給出的程式碼，就能理解其原理了。程式碼如下：

#ifndef DEPTH_IMAGE_PROC_DEPTH_CONVERSIONS
#define DEPTH_IMAGE_PROC_DEPTH_CONVERSIONS

#include <sensor_msgs/Image.h>
#include <sensor_msgs/point_cloud2_iterator.h>
#include <image_geometry/pinhole_camera_model.h>
#include "depth_traits.h"

#include <limits>

namespace depth_proc {

typedef sensor_msgs::PointCloud2 PointCloud;

// Handles float or uint16 depths
template<typename T>
void convert(
    const sensor_msgs::ImageConstPtr& depth_msg,
    PointCloud::Ptr& cloud_msg,
    const image_geometry::PinholeCameraModel& model,
    double range_max = 0.0)
{
  // Use correct principal point from calibration
  float center_x = model.cx();//內參矩陣中的影象中心的橫座標u0
  float center_y = model.cy();//內參矩陣中的影象中心的縱座標v0

  // Combine unit conversion (if necessary) with scaling by focal length for computing (X,Y)
  double unit_scaling = DepthTraits<T>::toMeters( T(1) );//如果深度資料是毫米單位的，結果將會為0.001;如果深度資料是米單位的，結果將會為1;
  float constant_x = unit_scaling / model.fx();//內參矩陣中的　f/dx
  float constant_y = unit_scaling / model.fy();//內參矩陣中的　f/dy
  float bad_point = std::numeric_limits<float>::quiet_NaN();

  sensor_msgs::PointCloud2Iterator<float> iter_x(*cloud_msg, "x");
  sensor_msgs::PointCloud2Iterator<float> iter_y(*cloud_msg, "y");
  sensor_msgs::PointCloud2Iterator<float> iter_z(*cloud_msg, "z");
  const T* depth_row = reinterpret_cast<const T*>(&depth_msg->data[0]);
  int row_step = depth_msg->step / sizeof(T);
  for (int v = 0; v < (int)cloud_msg->height; ++v, depth_row += row_step)
  {
    for (int u = 0; u < (int)cloud_msg->width; ++u, ++iter_x, ++iter_y, ++iter_z)
    {
      T depth = depth_row[u];

      // Missing points denoted by NaNs
      if (!DepthTraits<T>::valid(depth))
      {
        if (range_max != 0.0)
        {
          depth = DepthTraits<T>::fromMeters(range_max);
        }
        else
        {
          *iter_x = *iter_y = *iter_z = bad_point;
          continue;
        }
      }

      // Fill in XYZ
      *iter_x = (u - center_x) * depth * constant_x;//這句話計算的原理是什麼，通過內外引數矩陣可以計算
      *iter_y = (v - center_y) * depth * constant_y;//這句話計算的原理是什麼，通過內外引數矩陣可以計算
      *iter_z = DepthTraits<T>::toMeters(depth);
    }
  }
}

} // namespace depth_image_proc

#endif