PaliGemma

PaliGemma (Google open VLM)常用

谷歌开放权重的视觉语言模型，由 SigLIP 视觉编码器加 Gemma 语言模型组成。

PaliGemma 是谷歌 2024 年 5 月发布的开放权重视觉语言模型（VLM），由 SigLIP-So400m 视觉编码器和 Gemma-2B 语言模型组成，总参数约 3B。它的定位不是开箱即用的聊天模型，而是便于迁移微调的基座，论文在约 40 个任务上验证了迁移效果。2024 年 12 月发布的 PaliGemma 2 换成 Gemma 2 语言模型，提供 3B、10B、28B 三种尺寸和 224、448、896 像素三种输入分辨率。它在具身领域出名，是因为 Physical Intelligence 的 π0 拿它当 VLM 骨干：体积小、推理快，又带着互联网规模的视觉语言知识，适合在后面接动作专家做成 VLA。