课程学习

先让模型学简单的样本或任务，再逐步加大难度的训练策略。

课程学习由 Bengio 等人在 2009 年 ICML 论文中正式提出：像人按课程表学习一样，先给模型看简单的样本或子任务，再逐步提高难度。论文实验显示它能加快收敛、提升泛化。机器人强化学习里用得很多，因为一上来就面对最难的任务，策略几乎拿不到奖励，根本学不起来。常见形式有地形课程（腿足机器人先在平地练，再上台阶和斜坡）、逐步提高指令速度、逐步放宽域随机化范围；难度还可以按策略当前表现自动调整，称为自动课程。

例子legged_gym（Rudin 等 2021）同时仿真 4096 台 ANYmal 四足：走出当前地形边界的机器人下一回合换更难的地形，走不到目标距离一半的降一级；台阶高度从 5 厘米升到 20 厘米，坡度从 0° 升到 25°。

也叫

课程、课程式训练、自动课程学习、Automatic Curriculum Learning

相关

地形课程、强化学习、自动域随机化、稀疏奖励、legged_gym、大规模并行强化学习

来源

Curriculum Learning (Bengio et al., ICML 2009)
Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning (arXiv 2109.11978)