Diffuser（扩散规划器）

把整条轨迹当作去噪对象生成的规划方法，最早把扩散模型用于决策的工作之一。

Diffuser 是 ICML 2022 的一篇论文，作者是 UC 伯克利的 Michael Janner、Sergey Levine 和 MIT 的 Yilun Du、Joshua Tenenbaum。传统基于模型的强化学习先学动力学模型、再用优化器规划，模型误差常被规划器放大。Diffuser 把两步合一：用扩散模型直接建模「状态 + 动作」的整段轨迹，规划就是从噪声出发反复去噪出一条轨迹。想要高回报，就在去噪时用价值函数梯度做引导；想到达指定目标，就固定起点和终点、让模型补全中间（类似图像修补）。同一模型不重训就能换任务。它是后来 Decision Diffuser、扩散策略等「扩散模型做决策」路线的先驱。

例子在 Maze2D 迷宫任务里固定起点和终点状态，Diffuser 通过去噪「补全」出中间整条可行路径；在积木堆叠任务里，换一个引导函数就能让同一模型按不同约束堆塔。

也叫

Planning with Diffusion、扩散规划

相关

扩散模型、基于模型的强化学习、轨迹优化、Decision Diffuser（决策扩散器）、扩散策略、离线强化学习

来源

Planning with Diffusion for Flexible Behavior Synthesis (arXiv:2205.09991)
Diffuser 项目主页

信息截至

2022