ALFRED

ALFRED (Action Learning From Realistic Environments and Directives)进阶

让智能体按自然语言指令在仿真家庭里完成多步家务的基准。

ALFRED 由 Mohit Shridhar 等人（华盛顿大学、卡内基梅隆大学、艾伦人工智能研究所、英伟达）提出，发表于 CVPR 2020，基于 AI2-THOR 仿真器。它有 120 个室内场景（厨房、浴室、卧室、客厅各 30 个）、8055 条专家演示和 25743 条英文指令，每条演示平均约 50 步，任务分 7 类，如放置、叠放后放置、加热、冷却、清洗后放置、在灯下查看物体。智能体只能看第一人称画面和指令，输出离散的导航与交互动作，交互时还要给出目标物体的像素掩码。指标是任务成功率和目标条件成功率，另有按路径长度加权的版本。原论文基线在未见场景的成功率不到 1%，人类约 91%。ALFWorld、TEACh 都建立在它之上。