ReKep

用大模型把任务写成关键点之间的约束代码，再靠优化求出机器人动作。

ReKep（关系关键点约束）是斯坦福李飞飞团队与哥伦比亚大学在 2024 年 9 月提出的免训练操作方法。它先用 DINOv2 视觉特征在 RGB-D 图像里找出候选 3D 关键点，再把标了编号的图和语言指令交给 GPT-4o，让它写出若干 Python 函数：每个函数输入关键点坐标、输出一个代价，表达「壶嘴要对准杯口」这类关系，任务还可以分成多个阶段。然后用分层优化实时求出末端执行器的位姿序列，并随关键点跟踪闭环重规划。这样不需要任务专属的训练数据，就能在单臂和双臂机器人上倒茶、叠衣服、双臂装鞋，是「大模型给约束、优化器出动作」路线的代表。

例子指令「给杯子倒茶」时，GPT-4o 写出的约束包括：抓取阶段夹爪要靠近壶把上的关键点；倒水阶段壶嘴关键点要在杯口关键点正上方且壶身倾斜，优化器据此算出整段动作。

也叫

关系关键点约束、Relational Keypoint Constraints

相关

VoxPoser、OmniManip、可供性、语义关键点、DINOv2、大模型任务规划

来源

ReKep 项目主页

信息截至

2024-09