归纳偏置

模型或算法预先内置的假设，决定它如何推广到没见过的数据。

同一批有限的训练数据可以被许多不同的规律解释，归纳偏置就是学习算法在这些解释中做选择时依赖的假设。Tom Mitchell 在 1980 年指出，没有这类假设，模型就无法对没见过的输入做出预测。常见例子：卷积神经网络假设相邻像素相关、特征具有平移等变性（物体平移，特征图随之平移）。ViT 论文指出，Transformer 的图像归纳偏置比 CNN 少得多，在 ImageNet 这类中等规模数据上训练时准确率略低于同等大小的 ResNet，要在更大的数据集上预训练才能追上甚至超过。归纳偏置强，省数据但可能限制上限；弱，则更依赖数据规模。机器人学习中，把观测转成 3D 体素、把旋转对称性写进网络的等变策略，都是用几何归纳偏置换取少样本下的性能。

例子PerAct 把 RGB-D 观测体素化后再预测动作，论文报告它比直接从 2D 图像预测动作的基线好 34 倍，作者将此归因于 3D 体素带来的结构先验。

也叫

归纳偏差、学习偏置、Learning Bias、结构先验

相关

卷积神经网络、视觉 Transformer、等变策略 / 等变网络、图神经网络、泛化、苦涩的教训

来源

Inductive bias（Wikipedia）
An Image is Worth 16x16 Words (ViT, arXiv:2010.11929)
Relational inductive biases, deep learning, and graph networks (arXiv:1806.01261)