导航误差 / Oracle 成功率 / 轨迹长度

视觉语言导航的三项基本指标：停下时离目标多远、途中是否到过目标、一共走了多远。

这三项是视觉语言导航（VLN，按自然语言指令在房屋里走到目标）论文结果表的标配，Anderson 等人 2018 年提出 R2R 基准时就已使用。导航误差（NE）是智能体最终停下的位置到目标点的最短路径距离，单位米，越小越好；R2R 规定误差小于 3 米算成功。Oracle 成功率（OSR，也写作 OS）假设智能体在自己轨迹上离目标最近的那一点停下，看这样算不算成功，用来区分「走到过但没停对」和「根本没找到」。轨迹长度（TL）是实际走过的总路程，偏长说明在绕路或乱逛。它们通常和成功率、SPL、nDTW 一起报告。

例子R2R 原论文中，在未见过的建筑组成的测试集上，人类成功率为 86.4%，作者的序列到序列基线只有 20.4%。

也叫

NE、OSR、OS、TL、Oracle Success

相关

视觉语言导航、R2R / VLN-CE 视觉语言导航基准、成功率、路径长度加权成功率、归一化动态时间规整

来源

Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments (R2R, CVPR 2018)
Beyond the Nav-Graph: Vision-and-Language Navigation in Continuous Environments (VLN-CE)