接触式麦克风(音频触觉)
Contact Microphone (Audio as Tactile Signal)进阶贴在夹爪或物体上拾取接触振动的麦克风,被当作廉价的触觉传感器。
接触式麦克风不收空气中的声音,而是贴在固体表面拾取振动,常见的是压电式。机器人领域把它当作便宜、耐用的触觉替代品:刮擦、碰撞、摩擦、摇晃时的高频振动,能反映接触是否发生、表面是什么材质、容器里有没有东西,这些往往是摄像头看不到的。Hearing Touch(ICRA 2024)用接触式麦克风充当触觉,并借助大规模音视频预训练得到的表征提升操作策略;ManiWAV(CoRL 2024)在 UMI 手持夹爪的一根手指里埋入压电接触式麦克风,让采集的人类演示同时带画面和声音。局限是交互本身不出声时它帮不上忙。
例子ManiWAV 的倒骰子任务里,机器人先摇一摇杯子,靠接触式麦克风听有没有骰子撞击的振动,判断杯子是否已经倒空。
- 也叫
- 接触麦克风、压电接触式麦克风、Piezo Contact Microphone
- 相关
- 触觉传感器、多模态感知、通用操作接口、接触丰富操作、视触觉融合、麦克风阵列
- 来源
- Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation (arXiv 2405.08576)
ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data (arXiv 2406.19464)