ProcTHOR
ProcTHOR (Large-Scale Embodied AI Using Procedural Generation)进阶艾伦 AI 研究所推出的、程序化批量生成可交互 3D 房屋的具身仿真框架。
艾伦人工智能研究所(Ai2)2022 年 6 月发布,获 NeurIPS 2022 杰出论文奖,建在 AI2-THOR 仿真器之上。此前具身智能体只能在几十到几百个人工搭建的场景里训练,容易「背地图」、换个房子就不会。ProcTHOR 用程序化生成(按规则加随机采样自动造内容)批量造房屋:先定房间类型和数量,再生成户型、摆放家具和小物件,并随机材质与光照;物体库有 108 类、1633 个可交互物体。官方开放了 1 万套房屋的 ProcTHOR-10K。只用 RGB 图像、在这些房子里预训练的智能体,在物体导航、物体重排、机械臂指点导航等 6 个基准上取得当时最好成绩,部分任务不经微调(零样本)也表现很强。后来的 PoliFormer 等导航模型也在它生成的房屋中用强化学习训练。
例子指定「两间卧室加厨房和客厅」,ProcTHOR 自动生成户型、摆好床、沙发和冰箱并随机换地板材质与光照,得到一套可让智能体进去打开冰箱、寻找苹果的新房子。
- 也叫
- ProcTHOR-10K
- 相关
- AI2-THOR、程序化生成、物体目标导航、物体重排、PoliFormer、Holodeck 语言生成三维环境
- 来源
- ProcTHOR: Large-Scale Embodied AI Using Procedural Generation (arXiv 2206.06994)
ProcTHOR 项目主页
NeurIPS 2022 Awards - 信息截至
- 2024-06