DreamGen（GR00T Dreams）

英伟达 2025 年提出，用视频世界模型生成机器人视频并反推动作来造训练数据。

DreamGen 是英伟达 GEAR 实验室等于 2025 年 5 月提出的合成数据流程，开源实现叫 Isaac GR00T-Dreams 蓝图，同月在台北电脑展（Computex）发布。机器人学新动作通常要人遥操作采大量数据。DreamGen 分四步：先用目标机器人的数据微调图生视频模型（开源实现用 Cosmos-Predict2）；再给一张初始画面和一句语言指令，让模型生成机器人做新动作、身处新环境的逼真视频；然后用逆动力学模型或潜在动作模型从视频里反推伪动作标签；最后把这些「神经轨迹」和真实数据一起训练视觉运动策略。论文还提出 DreamGen Bench，发现视频生成质量越高，训出的策略越好。英伟达称用 GR00T-Dreams 在 36 小时内为 GR00T N1.5 生成了训练数据，人工采集约需三个月。

例子只用单一环境里一个抓取放置任务的遥操作数据，再加上 DreamGen 生成的视频，GR1 人形机器人学会了 22 种新动作，并能在 10 个没见过的环境里执行。

也叫

GR00T Dreams、GR00T-Dreams、Isaac GR00T-Dreams

相关

神经轨迹、视频生成模型、逆动力学模型、潜在动作模型、GR00T N1 系列、Cosmos Predict

来源

DreamGen: Unlocking Generalization in Robot Learning through Video World Models (arXiv 2505.12705)
DreamGen 项目主页（NVIDIA GEAR）
NVIDIA Computex 2025 新闻稿：GR00T N1.5 与 GR00T-Dreams

信息截至

2025-05