视触觉融合

把相机看到的和触觉传感器摸到的信息合起来使用

视触觉融合指在感知或策略里同时用视觉和触觉信号，并把两者合成一个统一表示。视觉擅长看全局、找目标，但手指一碰到物体常被遮挡，也看不出力的大小和是否打滑；触觉传感器正好补上接触位置、压力分布和滑移信息。常见做法有：两路分别编码后拼接特征、用注意力做跨模态融合，或把触觉读数投到三维点云里和视觉点云合并。斯坦福团队 ICRA 2019 用自监督学习融合视觉与力觉完成轴孔插入；CoRL 2024 的 3D-ViTac 把柔性触觉阵列并入点云、配合扩散策略处理易碎物体，明显好于只用视觉。注意别和「视触觉传感器」混淆，后者是一种用摄像头拍弹性膜的触觉传感器。

例子机械手抓鸡蛋时，相机负责找到鸡蛋并引导手靠近，接触后由触觉阵列反馈压力分布，策略据此把握力控制在不捏碎的范围内。

也叫

视觉-触觉融合、Visual-Tactile Fusion

相关

多模态融合、触觉传感器、视触觉传感器、3D-ViTac、接触丰富操作、视觉-触觉-语言-动作模型

来源

Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks (arXiv)
3D-ViTac: Learning Fine-Grained Manipulation with Visuo-Tactile Sensing (arXiv)