深度与彩色对齐

把深度图重投影到彩色相机的视角，让两张图的像素一一对应。

RGB-D 相机里测深度的传感器和彩色镜头装在机身不同位置，内参和视角都不同，直接叠在一起时同一像素并不对应同一个点。对齐的做法是：用深度相机内参把每个深度像素反投影成三维点，用两颗传感器间的外参把点变换到彩色相机坐标系，再用彩色相机内参投影到彩色图平面。得到的深度图和彩色图分辨率、视角一致，在彩色图上检测出的框、分割出的掩码就能直接取深度、生成带颜色的点云。英特尔 RealSense SDK 的 rs2::align 和 ROS 2 驱动的 align_depth.enable 参数做的就是这件事。对齐结果是计算出的近似：换视角会引入重采样，被遮挡区域会出现空洞或错位，物体边缘尤其明显。

例子在 ROS 2 里启动 RealSense 驱动并打开 align_depth.enable，会多发布 /camera/camera/aligned_depth_to_color/image_raw 话题；抓取程序在彩色图上框出杯子后，按同一像素坐标去这张深度图取值，再反投影得到杯子的三维位置。

也叫

RGB-D 对齐、深度配准、align_depth、深度图对齐到彩色图

相关

深度相机、相机内参、相机外参、投影与反投影、点云、RealSense 深度相机（D435i / D405）

来源

librealsense rs-align example (IntelRealSense GitHub)
realsense-ros README (align_depth.enable)