3D-ViTac

3D-ViTac: Learning Fine-Grained Manipulation with Visuo-Tactile Sensing进阶

把低成本触觉传感器读数和视觉点云放进同一 3D 空间来学精细操作的系统。

3D-ViTac 由哥伦比亚大学、UIUC 和华盛顿大学的研究者（一作黄炳豪，导师李云竺）2024 年 10 月提出，发表于 CoRL 2024。只靠相机时，夹爪挡住物体或需要判断捏多紧，视觉信息就不够。它在软夹爪指面贴上柔性压阻式触觉垫：每块 16×16 共 256 个感应单元，每个约 3 平方毫米，厚度不到 1 毫米，成本约 20 美元，双臂四指共 1024 个单元。关键做法是用机器人运动学算出每个触觉单元的 3D 位置，把读数变成「触觉点」，和相机点云合成一个点云，再用扩散策略做模仿学习。在蒸鸡蛋、备葡萄、收集内六角扳手、递三明治四个长程任务上，整体成功率 80%–90%，纯视觉版本只有 45%–60%。