利用先验数据的强化学习

Reinforcement Learning with Prior DataRLPD进阶

在线强化学习时把离线数据和新采数据各取一半混合训练的简单高效方法。

RLPD 是 Ball、Smith、Kostrikov、Levine 在 ICML 2023 提出的方法，研究手里已有离线数据（专家演示或大量次优轨迹）时，上线交互学习该怎么用好它们。作者发现不需要复杂的离线预训练，只要在异策略算法 SAC 上做几处小改动：每个训练批次一半取离线数据、一半取在线回放缓存（对称采样）；给评论家网络加层归一化，防止把没见过动作的价值估高；用 10 个评论家组成集成并提高更新-数据比。论文报告在多个基准上比已有方法提升约 2.5 倍。真机强化学习框架 SERL 以它为核心算法。