EfficientNet

谷歌提出的高效卷积网络系列，按统一比例同时放大深度、宽度和分辨率。

EfficientNet 是谷歌 Mingxing Tan 和 Quoc V. Le 在 ICML 2019 提出的卷积神经网络系列。以前放大 CNN 通常只加深、加宽或加大输入分辨率其中一项，收益很快饱和。论文提出「复合缩放」：用一个系数按固定比例同时放大深度、宽度和分辨率；先用神经架构搜索得到小的基线网络 B0，再逐级放大得到 B1 到 B7。论文报告 B7 在 ImageNet 上达到 84.3% top-1 准确率，比当时最好的卷积网络小 8.4 倍、推理快 6.1 倍。参数少、速度快，因此在 ViT 普及前，机器人策略常拿它做视觉骨干。

例子谷歌的 RT-1 用 ImageNet 预训练的 EfficientNet 提取图像特征，并通过 FiLM 层让语言指令调制这些特征，再交给 TokenLearner 和 Transformer 输出离散动作 token。

也叫

EfficientNet-B0~B7

相关

卷积神经网络、骨干网络、残差网络、RT-1、FiLM 特征调制、TokenLearner

来源

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (arXiv:1905.11946)
RT-1: Robotics Transformer project page