历史编码器

History Encoder进阶

把最近一段观测和动作压成一个向量，让策略推断当下的环境状况。

历史编码器是策略网络里专门处理「过去若干步」信息的模块，常用一维卷积、RNN 或 Transformer 实现。最典型的用法来自足式机器人强化学习：真实世界里地面摩擦、负载、电机状态等参数测不到，但会在最近的状态-动作序列里留下痕迹。RMA（Kumar 等，RSS 2021）分两阶段训练：先在仿真里让基础策略使用由特权信息（只有仿真里才拿得到的真值参数）压缩成的 8 维外参向量；再训练一个「适应模块」，只看最近 50 步（0.5 秒）的状态和动作历史去回归这个向量。部署时适应模块以 10 Hz、基础策略以 100 Hz 运行。这种先教师、后学生的思路被后来大量足式和人形运控工作沿用。