能量模型

不直接输出答案，而是给「输入-输出」配对打分，分最低的就是答案。

能量模型不直接预测输出，而是学一个打分函数 E(x, y)：输入和输出越匹配，「能量」越低，推理时去找能量最低的 y。机器人领域最有名的应用是谷歌 2021 年的隐式行为克隆（IBC）：网络给「观测-候选动作」打能量分，再用无导数优化或朗之万采样（带噪声的梯度下降）找出最低分动作。这样一个观测可以对应多个合理动作，不连续的策略也能表示，论文在接触丰富的真机任务上做到约 1 毫米的精度。代价是训练要采负样本来近似归一化常数，扩散策略论文指出 IBC 训练不稳定、难调参。之后建模多峰动作更多改用扩散策略和流匹配。

例子同一张桌面图像下，把积木从左边推和从右边推都能完成任务。能量模型会在这两种动作上都给出低能量，推理时落到其中一个；均方误差回归则会输出两者的平均，结果哪边都不对。

也叫

基于能量的模型、隐式行为克隆、Implicit Behavioral Cloning、IBC

相关

行为克隆、动作多峰性、扩散策略、混合密度网络、InfoNCE 损失、生成模型

来源

Implicit Behavioral Cloning (Florence et al., arXiv 2109.00137)
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv 2303.04137)
Energy-based model - Wikipedia