U-Net

先逐层压缩再逐层还原、同层左右直接相连的 U 形卷积网络。

U-Net 是 Ronneberger 等人 2015 年为医学图像分割提出的卷积网络。左半边编码器逐层下采样，缩小分辨率、提取更抽象的特征；右半边解码器逐层上采样还原到原尺寸；同一层级的左右两侧用跳跃连接（把编码器的特征直接拼给解码器）相连，画出来像字母 U。这样既能看到全局上下文，又不丢细节位置，适合输入一张图、输出同尺寸结果的任务。后来它成为扩散模型去噪网络的标准骨干，Stable Diffusion 和 Stable Video Diffusion 都用它；2022 年提出的扩散 Transformer（DiT）开始取代它。机器人的扩散策略也常用一维时间卷积 U-Net 来给动作序列去噪。

例子Stable Diffusion 生成图片时，每一步都把带噪的潜变量送进 U-Net，由它预测其中的噪声，减掉后再进入下一步，反复几十次得到清晰图像。

也叫

U 型网络、UNet

相关

卷积神经网络、扩散模型、扩散 Transformer、潜在扩散模型、扩散策略、残差网络

来源

U-Net: Convolutional Networks for Biomedical Image Segmentation (arXiv 1505.04597)
Scalable Diffusion Models with Transformers (arXiv 2212.09748)