人在回路

让人参与到机器人训练或运行的循环中，实时纠正、接管或给反馈。

人在回路泛指系统运行时需要人参与：机器人出错时人来接管控制、给出纠正动作、给结果打分或确认关键决策。在机器人学习里，它主要补离线模仿学习的短板：策略走到演示里没见过的状态就容易越错越远（复合误差），人在这些状态下的纠正正好补上缺的数据。代表方法有 DAgger 和 2018 年的 HG-DAgger（人判断要出问题时接管，接管段数据加入训练集），以及伯克利 2024 年的 HIL-SERL（人用 3D 鼠标随时干预真机强化学习，1 到 2.5 小时即可学会精密装配、双臂协作等任务）。部署时的人工接管、远程遥控兜底也属于这一范畴，干预率是衡量自主程度的常用指标。

例子HIL-SERL 训练时，操作员手握 SpaceMouse 在旁看护，机器人快要失败时接管；干预数据同时放进演示缓冲区和强化学习缓冲区，加快学习。

也叫

人机回环、人在环路、人工干预、人工接管、Human Intervention

相关

DAgger（数据集聚合）、人工门控 DAgger、HIL-SERL、干预数据、干预率、共享自主

来源

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning (HIL-SERL)
HG-DAgger: Interactive Imitation Learning with Human Experts
Wikipedia: Human-in-the-loop