成功检测器

判断机器人这一回合有没有把任务做成的模型，常用来给强化学习发奖励。

成功检测器输入观测（通常是相机画面，有时加上任务指令），输出「成功 / 失败」或成功概率。强化学习、自动采数据和自动评测都要知道任务做没做完，真实世界没有仿真器那样现成的判定，只能靠人看或训模型来看。常见做法有两种：为单个任务训练二分类器，如 HIL-SERL 每个任务遥操作采约 200 个成功、1000 个失败样本；或直接用视觉语言模型问答，如 DeepMind 2023 年的 SuccessVQA 把判断改写成「任务完成了吗」的视觉问答，在 Flamingo 上微调。它给出的是稀疏奖励，误判会被策略钻空子，引发奖励黑客。

例子HIL-SERL 给每个任务训练一个二分类器，看腕部和侧面相机画面判断是否成功，只有判定成功才给正奖励；据论文报告，分类器在评估集上的准确率一般超过 95%。

也叫

成功判别器、Success Classifier、奖励分类器、Reward Classifier

相关

奖励模型、VLM 作奖励模型、稀疏奖励、进度奖励模型、真机强化学习、HIL-SERL

来源

Du et al. 2023: Vision-Language Models as Success Detectors
Luo et al. 2024: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning (HIL-SERL)