cherry-pick(挑结果)
Cherry-picking常用只挑最好看的结果展示,隐藏失败和平均水平。
原指只摘最好的樱桃,在研究和宣传里指从多次尝试中只展示成功或最好看的那几次。机器人策略的表现方差很大,同一个任务可能十次成功三次,只放成功视频就会让人高估能力。辨别方法是看有没有报告总试验次数和成功率、测试物体和场景是否与训练不同、视频是否一镜到底。严谨的论文会给出成功率、置信区间和失败案例。
例子一篇论文主页只放了 3 段叠衣服成功的视频,正文却没写一共试了多少次、成功率多少。
- 也叫
- Cherry-pick、挑结果
- 相关
- 剪辑 Demo、Demo(演示视频)、成功率、一镜到底、刷榜
- 来源
- Cherry picking - Wikipedia