残差网络

用跳跃连接让每层只学输入与输出之差，从而能训练很深的卷积网络。

残差网络由微软亚洲研究院的何恺明等人在 2015 年提出，论文获 CVPR 2016 最佳论文。此前卷积网络层数一多反而更难训练、精度下降。ResNet 在每个模块里加一条跳跃连接，把输入直接加到输出上，模块只需学习输入与目标之间的「残差」，梯度也能沿这条捷径直接回传。靠这个设计，网络做到了 152 层，并拿下 ILSVRC 2015 图像分类冠军。残差连接后来成了几乎所有深度网络的标配，Transformer 每一层也有。机器人学习中，ResNet-18 等小型 ResNet 常作图像编码器，ACT 和扩散策略都用它把相机画面变成特征。

例子ACT 用 ResNet-18 把每张 480×640 的相机图像压成 15×20×512 的特征图，再展平成 300 个 token 送进 Transformer。

也叫

ResNet-18、ResNet-50、残差连接、跳跃连接、Residual Connection、Skip Connection

相关

卷积神经网络、骨干网络、视觉编码器、梯度消失 / 梯度爆炸、ACT、扩散策略

来源

Deep Residual Learning for Image Recognition (arXiv 1512.03385)
Dive into Deep Learning: Residual Networks (ResNet)
Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT, arXiv 2304.13705)