具身智能新手名词表EnglishRAFT 光流
RAFT: Recurrent All-Pairs Field Transforms for Optical FlowRAFT进阶经典光流网络：算全部像素间的相关性，再用循环单元反复迭代细化光流。
RAFT 由普林斯顿大学的 Zachary Teed 和邓嘉于 2020 年提出，发表于 ECCV 2020（据报道获当届最佳论文奖）。光流指相邻两帧之间每个像素移动了多少。RAFT 先对两帧所有像素两两计算特征相关性，得到 4D 相关体，再用基于 GRU（一种循环神经网络单元）的模块在单一高分辨率上反复迭代修正光流，取代传统的由粗到细金字塔。据论文，它在 KITTI 和 Sintel 上分别把误差降低 16% 和 30%，至今仍是常用基线。同团队的 RAFT-Stereo 和 DROID-SLAM 都沿用了这种迭代更新思路。机器人研究中，光流常用来估计物体运动，或从无动作标签视频里推断运动。
例子输入机械臂推方块前后的两帧图像，RAFT 输出每个像素的位移，能看出方块和机械臂各往哪边移动。
- 也叫
- RAFT
- 相关
- 光流、场景流、任意点跟踪、立体匹配、DROID-SLAM、循环神经网络
- 来源
- RAFT: Recurrent All-Pairs Field Transforms for Optical Flow (arXiv 2003.12039)
princeton-vl/RAFT (GitHub)