PaLM-E

PaLM-E: An Embodied Multimodal Language Model常用

谷歌 2023 年把图像和机器人状态接进 PaLM 的具身多模态大模型。

PaLM-E 是谷歌与柏林工业大学在 2023 年 3 月发布的具身多模态语言模型，最大版本 PaLM-E-562B 有 5620 亿参数，由 PaLM 语言模型加 ViT 视觉编码器组成。它把图像、机器人状态估计等连续输入编码成向量，和文字 token 交错拼成「多模态句子」送进语言模型。它输出的是文字形式的中层计划，再交给底层技能策略执行，本身不直接输出电机指令。论文发现把网络图文数据和机器人数据一起训练有正迁移，562B 版本还在 OK-VQA 视觉问答上达到当时最好水平。它是大模型做机器人任务规划的代表工作，也是 RT-2 等 VLA 的前序。