投影与反投影

投影把三维点算到图像像素上，反投影用像素加深度算回三维点。

投影与反投影是针孔相机模型的正反两个方向。投影：已知相机坐标系下的三维点 (X, Y, Z) 和内参，算出它落在哪个像素 (u, v)。反投影：单个像素只对应一条射线，再给出该像素的深度 Z 才能还原三维点：X = (u − cx)·Z/fx，Y = (v − cy)·Z/fy。对深度图每个像素都这样算就得到点云，Open3D 和 RealSense SDK 都有现成函数。实操注意三点：深度原始值多为整数（RealSense D400 默认 1 单位 = 1 毫米），要换算成米；彩色和深度来自不同传感器时要先对齐；再乘相机外参才能转到机器人基坐标系。

例子VLM 在彩色图上指出杯把手在像素 (412, 305)，查对齐后的深度为 0.52 米，用内参反投影得到相机坐标系下的三维点，再用手眼标定得到的外参换到机械臂基坐标系，作为抓取目标。

也叫

深度图转点云、反投影、Unprojection、Deprojection

相关

针孔相机模型、相机内参、深度图、点云、深度与彩色对齐、相机外参

来源

Intel RealSense Wiki: Projection in RealSense SDK 2.0
Open3D API: open3d.geometry.PointCloud (create_from_depth_image)