地形课程
Terrain Curriculum进阶腿足强化学习中,按机器人表现把它逐步送上更难地形的训练安排。
地形课程是课程学习在腿足运控里的具体做法。一开始就在陡坡、楼梯上从零训练,机器人几乎一直摔倒,拿不到有用的学习信号;只在平地练又学不会复杂地形。ETH 的 Rudin 等人 2021 年在 legged_gym 中提出「游戏式」课程:把地形排成难度递增的网格,每回合结束看机器人走了多远,走过地块长度一半就升一级,连指令速度要求距离的一半都没走到就降一级,通关最难级的随机送回某一级,避免遗忘简单地形。几千个并行环境各自升降,整体难度自动跟上策略水平。Isaac Lab 的速度跟踪任务沿用了同样规则。
例子legged_gym 默认把地形分成 10 个难度级、20 列,类型包括光滑坡、粗糙坡、上楼梯、下楼梯和离散障碍;机器人开局级别在第 0–5 级之间随机,之后按每回合行走距离升级或降级。
- 也叫
- 地形难度课程、游戏式课程、Game-inspired Curriculum
- 相关
- 课程学习、强化学习运控、legged_gym、大规模并行强化学习、复杂地形行走、高度场地形
- 来源
- Rudin et al. 2021: Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning (CoRL 2021)
GitHub: leggedrobotics/legged_gym legged_robot.py(_update_terrain_curriculum)
GitHub: isaac-sim/IsaacLab locomotion velocity curriculums.py(terrain_levels_vel)