经验时代
Era of Experience进阶Silver 与 Sutton 的观点:AI 下一阶段主要靠自身交互经验来学习。
经验时代出自 David Silver 与 Richard Sutton 2025 年 4 月发布的短文 Welcome to the Era of Experience,是 MIT Press 图书 Designing an Intelligence 中一章的预印本;Silver 是 AlphaGo 系列的主要负责人之一,Sutton 是强化学习奠基人之一。文章认为,靠海量人类数据训练、再用人类偏好微调的「人类数据时代」在数学、代码、科学等领域正接近上限,下一阶段智能体应主要从自己与环境交互产生的经验中学习。文中列出四个特征:活在长期的经验流里而非短对话中;行动和观察扎根于环境;奖励来自环境中的真实信号而非人的事先评判;规划和推理也基于经验。对具身智能而言,这一观点支持机器人在真实部署中持续试错、自我改进。
例子文中举 AlphaProof 为例:它先学习约十万条人类写的形式化证明,再通过与证明系统交互自行生成约一亿条,最终在国际数学奥林匹克上达到奖牌水平。
- 也叫
- Welcome to the Era of Experience
- 相关
- 强化学习、苦涩的教训、真机强化学习、自我提升、数据飞轮、持续学习
- 来源
- Welcome to the Era of Experience (Silver & Sutton, 2025, preprint)
- 信息截至
- 2025-04