空间 Softmax

把卷积特征图每个通道汇聚成一个「最亮点」的二维坐标，保留物体位置信息。

空间 Softmax 是一种把卷积特征图变成坐标的池化层，由伯克利的 Levine、Finn、Darrell、Abbeel 在 2015 年的端到端视觉运动策略工作中提出。做法是对每个通道在所有像素位置上做 softmax，得到「这个特征出现在哪」的概率分布，再对像素坐标求期望，得到一对 (x, y)，相当于可求导的 argmax。常规分类网络用全局平均池化，会把位置信息抹掉，而机器人操作恰恰需要知道东西在哪；softmax 还会压低弱的误激活，对干扰物更稳。后来它成了模仿学习视觉编码器的常见配置，扩散策略就在 ResNet-18 末端用它替换全局平均池化。

例子Levine 等人的策略网络在三层卷积后接空间 Softmax，最后一层 32 个通道各输出一个特征点坐标，与机器人关节状态拼接后经全连接层输出电机力矩，全网络只有约 9.2 万参数。

也叫

Spatial Soft-Argmax、软 argmax、Soft-Argmax、特征点层、空间软最大值

相关

卷积神经网络、视觉编码器、视觉运动策略、扩散策略、关键点检测、端到端视觉运动策略（引导策略搜索）

来源

End-to-End Training of Deep Visuomotor Policies (arXiv:1504.00702, JMLR 2016)
Deep Spatial Autoencoders for Visuomotor Learning (arXiv:1509.06113)
Diffusion Policy (arXiv:2303.04137, HTML)