噪声调度
Noise Schedule进阶规定扩散模型每一步加多少噪声的时间表,影响训练效果和生成质量。
噪声调度是扩散模型的一个设计选择:规定前向加噪过程中第 t 步时原始数据还保留多少、噪声占多少。2020 年的 DDPM 用线性调度;2021 年 OpenAI 的 Nichol 与 Dhariwal 发现它在低分辨率图像上后段几乎全是噪声、白白浪费步数,于是提出余弦调度,让信息在中段匀速减少、两端变化平缓。调度决定模型在各个噪声水平上分配多少训练,对生成质量影响明显;流匹配里与之对应的是训练时间步的采样分布。机器人策略同样要调:扩散策略选用余弦调度,π0 训练流匹配时刻意多采样高噪声的时间步。
例子扩散策略论文比较后采用 iDDPM 提出的余弦调度,训练用 100 个扩散步,真机推理时用 DDIM 只走 10 步,在 RTX 3080 上约 0.1 秒出一次动作。
- 也叫
- 噪声表、加噪调度、Noise Scheduler
- 相关
- 扩散模型、去噪扩散概率模型、去噪步数、流匹配、扩散策略、预测目标参数化(ε / v / x₀ 预测)
- 来源
- Improved Denoising Diffusion Probabilistic Models (arXiv:2102.09672)
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv:2303.04137)
π0: A Vision-Language-Action Flow Model for General Robot Control (arXiv:2410.24164)