扩散步数蒸馏

把要去噪几十上百步的扩散模型，压成一步或几步就能出结果的学生模型。

扩散模型生成一个样本要反复去噪几十到上千步，速度慢。步数蒸馏用训练好的多步模型当老师，训练一个只需很少步数的学生。早期代表是谷歌 Salimans 与 Ho 的渐进式蒸馏（ICLR 2022），每轮把步数减半，从最多 8192 步压到 4 步。分布匹配蒸馏（DMD）由 MIT 与 Adobe 的 Yin 等人提出（CVPR 2024）：不要求学生逐样本复现老师的去噪轨迹，而是让一步生成器的输出分布整体贴近老师，用两个扩散模型给出的分数（数据分布的梯度）之差近似 KL 散度的梯度；后续 DMD2 加入 GAN 损失并支持多步。机器人里，扩散策略推理慢会拖累控制频率，常用这类蒸馏提速；CausVid、Self Forcing 等自回归视频生成工作也用 DMD 类损失实现实时生成。一致性蒸馏是另一条路线。

例子One-Step Diffusion Policy 以训练好的扩散策略为老师，额外花 2%–10% 的预训练开销蒸馏出一步生成器，在真实 Franka 机械臂任务上动作输出频率从约 1.5 Hz 提到 62 Hz。

也叫

步数蒸馏、少步蒸馏、分布匹配蒸馏、Distribution Matching Distillation、渐进式蒸馏

相关

扩散模型、去噪步数、一致性模型、单步生成、知识蒸馏、Consistency Policy（一致性策略）

来源

One-step Diffusion with Distribution Matching Distillation (arXiv 2311.18828)
Progressive Distillation for Fast Sampling of Diffusion Models (arXiv 2202.00512)
One-Step Diffusion Policy: Fast Visuomotor Policies via Diffusion Distillation (arXiv 2410.21257)