光流

Optical Flow常用

相邻两帧图像之间，每个像素往哪个方向移动了多少。

光流描述相机和场景相对运动时，图像上亮度图案的表观运动，结果通常是一张和图像同尺寸的二维位移场。经典方法基于「亮度恒定」假设，即同一个点在相邻帧里亮度不变；但一个方程解不出两个未知数（孔径问题），于是 1981 年的 Lucas–Kanade 假设局部小窗口内运动一致，Horn–Schunck 则加入全局平滑约束。深度学习时代的代表是 RAFT（ECCV 2020），用所有像素对之间的相关性体加循环迭代来估计稠密光流。只算部分特征点的叫稀疏光流，逐像素的叫稠密光流。机器人里光流用于视觉里程计、避障和运动分割，也被当作动作的中间表示：有些操作策略先预测物体上各点怎么动，再换算成机器人动作。