推演

Rollout常用

让策略在环境里从开始一直执行到结束，得到一整段交互轨迹。

Rollout 指把策略放进环境（仿真或真机），从初始状态按「观测—动作—环境变化」循环执行，直到成功、失败或超时，得到一条完整轨迹。OpenAI 的教程 Spinning Up 写道，轨迹也常被称为 episode（回合）或 rollout。常见用法：强化学习里用它收集数据来更新策略；评测时说「每个任务 rollout 50 次」，就是跑 50 个回合统计成功率；基于模型的强化学习里，在世界模型中往后「想象」几步也叫 rollout。大模型强化学习对同一提示采样多条回答也沿用这个词。