不确定性估计

让模型在给出预测的同时说明自己有多没把握，好知道何时该停下或求助。

不确定性估计研究怎样量化模型对自己输出的把握。通常分两类：偶然不确定性来自数据本身的随机性，比如传感器噪声，多收数据也消不掉；认知不确定性来自模型没见过、没学好，补数据可以降低。常用方法有深度集成（训练多个模型看它们的分歧）、蒙特卡洛 Dropout（推理时多次随机失活，看结果的波动）和共形预测（给出带统计覆盖保证的候选集合）。对机器人来说它直接关系安全：遇到分布外场景时，高不确定性可以触发减速、停止、请人接管或主动补采数据；基于模型的强化学习也常把集成模型的分歧当作探索信号。

例子KnowNo（CoRL 2023）用共形预测衡量大语言模型规划器的不确定性：当候选动作集合里不止一个选项，比如桌上有两个碗而指令没说拿哪个，机器人就主动问人，在保证任务成功率的前提下尽量少求助。

也叫

不确定性量化、UQ、Uncertainty Quantification、置信度估计

相关

分布外、鲁棒性、具身安全、失败恢复、人在回路、KnowNo（会求助的机器人）

来源

Wikipedia: Uncertainty quantification
Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles (arXiv:1612.01474)
Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners (arXiv:2307.01928)