子任务切分
Subtask Segmentation进阶把一条长演示按步骤切成若干段,标出每段起止帧和说明。
子任务切分是数据标注的一步:把一条完整的长程演示(如「收拾餐桌」)按语义切成若干子任务片段(「拿起盘子」「放进水槽」),记下每段的起止帧,通常再配一句语言描述和技能类型。它让长任务数据能按步骤使用:训练分层策略时,高层模型学预测下一步该做哪个子任务,低层模型学执行单个子任务;也可以用来统计各技能的成功率、构造进度奖励、剔除失败片段。切分方法有人工标注,按规则自动切(如夹爪开合、速度接近零处),以及借助视觉表征或 VLM 自动找分界点,例如 UVD 通过检测预训练视觉表征里的阶段突变来发现子目标。
例子AgiBot World 2026 数据集给每条轨迹提供步骤级标注 instruction_segments,每段记录技能类型(如 Pick)、一句指令和起止帧,例如「左臂从购物车里拿起红盖饮料」对应第 284–493 帧。
- 也叫
- 子任务分割、动作分段、技能切分、轨迹分段、Trajectory Segmentation
- 相关
- 长程任务、语言标注、自动标注、原子技能、分层架构、AgiBot World 数据集
- 来源
- Hugging Face: agibot-world/AgiBotWorld2026 数据集卡片
Universal Visual Decomposer (arXiv 2310.08581)