并行环境

同时运行许多份相互独立的环境副本，一次批量收集交互数据。

并行环境是强化学习里提高采样速度的做法：把同一个环境复制 N 份（N 就是代码里的 num_envs），每一步把 N 个动作一起送进去，拿回 N 份观测、奖励和结束标志，正好组成一个批次喂给神经网络。Gymnasium 提供顺序执行的 SyncVectorEnv 和多进程的 AsyncVectorEnv，某个副本回合结束时自动重置它，不用等其他副本。Isaac Gym、Isaac Lab、MJX 等 GPU 仿真器更进一步，把成千上万个环境放在一块 GPU 上同时算，数据直接以 PyTorch 张量交给训练代码，Isaac Gym 论文称比 CPU 仿真快两到三个数量级。Rudin 等人 2021 年借此让 ANYmal 四足机器人在平地上不到 4 分钟学会行走。

例子Isaac Lab 的足式机器人速度跟踪任务默认 num_envs=4096，即在一块 GPU 上同时仿真 4096 个机器人副本，用 PPO 训练行走策略。

也叫

向量化环境、num_envs、Vector Env、Parallel Environments

相关

GPU 并行仿真、大规模并行强化学习、Isaac Lab、Isaac Gym、仿真吞吐量、近端策略优化

来源

Gymnasium Documentation: Vector environments
Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning (arXiv 2108.10470)
Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning (arXiv 2109.11978)

信息截至

2026-09