多视角
Multi-View常用用多台相机或多个角度同时观察同一个场景。
多视角指从两个及以上的位置观察同一场景,可以是多台相机同时拍,也可以是一台相机边移动边拍。它主要出现在两类地方:一是三维视觉,利用多张不同角度的图做三角化、多视图立体重建或训练 NeRF;二是机器人学习,一台机器人常同时接头部相机、腕部相机(装在手腕上,近距离看夹爪和物体)和固定的第三视角相机,策略把几路画面一起当输入。好处是减少遮挡、补上单张图缺失的深度信息,研究还发现加入腕部视角能提升训练效率和对新场景的泛化;代价是标定、同步和算力开销变大,每路相机的内外参都要记录好。
例子DROID 数据集的每台采集站配两台可调位置的 ZED 2 双目相机加一台腕部 ZED Mini,共采了 7.6 万条轨迹,覆盖 1417 个相机视角。
- 也叫
- 多视图、多相机、多机位
- 相关
- 腕部相机、头部相机、第三视角相机、多视图立体、遮挡、相机外参
- 来源
- DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset
Vision-Based Manipulators Need to Also See from Their Hands (ICLR 2022)