Magma

Magma: A Foundation Model for Multimodal AI Agents (Microsoft)进阶

微软推出的多模态智能体基础模型，既能操作软件界面也能控制机械臂。

Magma 是微软研究院 2025 年 2 月发布的多模态基础模型，发表于 CVPR 2025，开源版本为 Magma-8B（语言骨干为 Llama-3-8B）。它想用一个模型同时完成数字世界和物理世界的智能体任务：在网页、手机界面上点击操作（UI 导航），以及控制机械臂抓取放置。关键是两种标注：Set-of-Mark（SoM）给图中可操作的元素打上编号标记，让模型用「选哪个标记」表示在哪里动作；Trace-of-Mark（ToM）标出视频里标记点未来的运动轨迹，让模型学会预测接下来怎么动。借助 ToM，它能从大量没有动作标签的教学视频中学习时空规划。训练数据包括 UI 导航数据、Open X-Embodiment 机器人数据和网络视频。