Sparsh

Sparsh: Self-supervised Touch Representations for Vision-based Tactile Sensing (Meta)进阶

Meta 发布的视触觉通用表征模型，用自监督在大量触觉图像上预训练。

Sparsh 是 Meta FAIR 等在 CoRL 2024 发表的一组触觉编码器，面向视触觉传感器（用相机拍软胶表面形变来感知接触的传感器）。以往每种传感器、每个任务都要单独标注数据训练；Sparsh 改用自监督学习，在 46 万张以上的无标注触觉图像上用 MAE、DINO、JEPA 等方法预训练，得到可跨 DIGIT、GelSight 2017、GelSight Mini 等传感器通用的表征。作者同时发布 TacBench 基准（六类任务，从识别触觉属性到力估计、滑移检测和操作规划）。论文报告，在 TacBench 上自监督预训练平均比针对任务和传感器的端到端训练高 95.1%。代码和权重已开源。