The Colosseum

The Colosseum: A Benchmark for Evaluating Generalization for Robotic Manipulation进阶

在 RLBench 任务上系统施加 14 类环境扰动，测操作策略泛化能力的基准。

The Colosseum 由 Wilbert Pumacay、Jiafei Duan、Dieter Fox 等人提出，发表于 RSS 2024。它基于 PyRep 仿真框架，从 RLBench 的 100 个任务里选了 20 个，每个任务可沿 14 个维度施加扰动：被操作物体和静止物体的颜色、纹理、尺寸，灯光颜色，桌面颜色与纹理，背景纹理，干扰物数量，相机位姿，物体摩擦和质量。作者用它测了 PerAct、RVT、R3M、MVP、VoxPoser 等方法，发现单个扰动就让成功率下降 30%–50%，多种扰动同时施加时下降超过 75%，影响最大的是干扰物数量、目标物体颜色和光照。真机复现实验中，仿真与真机结果的 R² 为 0.614。