生成模型

学习数据的概率分布、能从中采样出新数据的模型。

生成模型学习数据本身的分布 p(x)，或给定条件时的分布 p(x|c)，因此能造出新样本；与之相对的判别模型只学 p(y|x)，负责分类或打分。常见的生成模型有自回归模型（逐个预测下一个 token，如 GPT）、变分自编码器（VAE）、生成对抗网络（GAN）、扩散模型和流匹配。在具身智能里它主要用在三处：一是生成动作，示范数据中同一场景常有多种合理做法（动作多峰性），扩散策略、π0 等用扩散或流匹配建模整个动作分布，而不是回归一个平均值；二是生成未来画面，即世界模型和视频预测模型；三是生成训练数据，比如用视频生成模型合成机器人演示。

例子示范里一半从左绕开障碍、一半从右绕：直接回归的模型会输出两者的平均，径直撞上去；扩散策略这类生成模型会采样出「从左绕」或「从右绕」中的一种。

也叫

生成式模型

相关

扩散模型、流匹配、变分自编码器、生成对抗网络、动作多峰性、扩散策略

来源

Google Machine Learning: Background: What is a Generative Model?
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv 2303.04137)