生成式仿真

用大模型自动生成仿真任务、场景和训练监督，批量产出机器人训练数据。

生成式仿真是 Zhou Xian 等人在 2023 年论文中提出的思路：与其让大模型直接输出机器人动作，不如用语言模型、图像和 3D 生成模型等基础模型，全自动地生成多样的任务、场景和训练监督（如奖励函数、演示轨迹），在仿真里大规模学技能。它针对的问题是人工搭场景、设计任务和奖励太慢，数据多样性上不去。典型流程是：大模型先提出任务，再检索或生成 3D 资产摆成场景，然后把任务拆成子步骤，选用强化学习或运动规划等方法生成数据、学出策略。代表工作有 RoboGen、GenSim、Holodeck。它和程序化生成（按手写规则随机造场景）的区别在于由基础模型驱动。

例子RoboGen 的循环是：大模型先提出要学的任务和技能，再挑选相关物体资产、按合理空间关系摆成仿真场景，然后把任务拆成子任务，自行选择学习方法、生成训练监督并学出策略，全程无需人工设计。

也叫

仿真场景自动生成、仿真任务自动生成

相关

程序化生成、合成数据、仿真数据、RoboGen、Holodeck 语言生成三维环境、Genesis

来源

Towards Generalist Robots: A Promising Paradigm via Generative Simulation (arXiv 2305.10455)
RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation (arXiv 2311.01455)