UniSim

UniSim: Learning Interactive Real-World Simulators进阶

用视频生成模型学出来、能响应动作的「真实世界模拟器」

UC Berkeley、Google DeepMind 与 MIT（Sherry Yang、Yilun Du、Pieter Abbeel 等）2023 年 10 月发布，获 ICLR 2024 杰出论文奖。它用视频生成模型学一个真实世界模拟器：给定当前画面和一个动作，生成执行后的画面。动作既可以是「打开抽屉」这样的高层语言指令，也可以是「移动到某个坐标」这样的低层控制。没有单一数据集能同时覆盖这些信息，作者就把图像数据（物体种类多）、机器人数据（动作多）、导航数据（运动多）等拼在一起训练。训练好后，可以在 UniSim 里训练视觉语言策略和强化学习策略，再零样本迁移到真机；它生成的数据也能帮助视频字幕等模型。它是可交互世界模型、神经模拟器方向的早期代表。