RoboVQA 数据集

RoboVQA: Multimodal Long-Horizon Reasoning for Robotics进阶

谷歌 DeepMind 发布的面向机器人长程任务的视频问答数据集。

RoboVQA 是 Google DeepMind（Pierre Sermanet 等）2023 年 11 月发布的数据集和模型工作。数据集含约 83 万组「视频—文本」对、2.95 万条不同指令，问题围绕长程任务展开：下一步该做什么、这一步完成了没有、某个动作现在能不能做等。采集采用「自下而上」的众包方式：先收集开放式的长程任务，再由机器人、人或手持抓取工具的人去执行并标注，论文称吞吐量是传统逐步采集的 2.2 倍。作者用它训练了视频视觉语言模型 RoboVQA-VideoCoCa，以人工干预率作统一指标；结果显示视频输入的模型比单图模型平均错误率低 19%。