上下文学习

不改模型参数，只靠输入里给的几个示例就学会做新任务。

上下文学习指模型在推理时，只根据提示里给出的任务说明或少量示例就完成新任务，全程不做梯度更新（不改参数）。2020 年 OpenAI 的 GPT-3 论文系统展示了这种能力：翻译、问答等任务都只靠文字描述加几个示范来指定，且能力随模型变大而增强。它的意义在于换任务不必重新训练，只需换提示。具身智能里，研究者把几条机器人演示轨迹当作「提示」喂给策略模型，让它当场模仿新任务；它与少样本学习、元学习、提示工程关系密切。

例子ICRT（In-Context Robot Transformer，2024）在推理时把几条人类遥操作演示的图像、状态和动作序列作为提示输入，Franka 机械臂不更新参数就能照着演示执行新任务。

也叫

情境学习、语境学习

相关

少样本、元学习、提示词 / 提示工程、大语言模型、下一个 token 预测、元强化学习

来源

Language Models are Few-Shot Learners (GPT-3, arXiv:2005.14165)
In-Context Imitation Learning via Next-Token Prediction (ICRT, arXiv:2408.15980)