平均完成长度

CALVIN 评测里策略平均能连续完成几条指令，满分 5。

平均完成长度是 CALVIN 长程评测的核心指标。评测时让策略依次跑 1000 条指令链，每条链由 5 个连续的语言指令组成（如先开抽屉、再把方块推进抽屉），每个子任务最多 360 步；一旦某个子任务失败，这条链就结束。记下每条链连续做成了几个（0–5），取平均就是 Avg. Len。它等于「连续完成至少 1 个、2 个……5 个任务的成功率」之和，所以既看单步能力，也看长程衔接中误差会不会累积。论文通常在 ABC→D（在 A、B、C 三个环境训练，在没见过的 D 上测）设置下报告这个数，用来比较模型的泛化和长程能力。

例子CALVIN 论文的基线 MCIL 在 D→D 设置下，连续完成 1–5 个任务的成功率分别为 48.9%、12.9%、2.6%、0.5%、0.08%，加起来约 0.65，即平均连续完成不到 1 个任务。

也叫

平均连续完成任务数、Average Successful Sequence Length、平均序列长度

相关

CALVIN、成功率、长程任务、语言条件策略、闭环评测、进度分数

来源

CALVIN: A Benchmark for Language-Conditioned Policy Learning for Long-Horizon Robot Manipulation Tasks (arXiv 2112.03227)
CALVIN 官方评测脚本 evaluate_policy.py
CALVIN 评测工具 utils.py（avg_seq_len 计算）