仿真环境的采样速度慢，是强化学习的一个瓶颈。例如，论文中常用的 MuJoCo 环境，台式机或服务器的 CPU 上运行仿真环境，一小时大概采集十万或百万步（1e5 或 1e6 步）；训练一个智能体（收敛后）需要十多个小时。
加快仿真环境的采样速度，通常有以下方法：
- 增加并行的 Worker 数（Multiple workers）
- 增加并行的 Env 数（Vectorized Env）
NVIDIA 的 Isaac Gym（上图中右下角），用单块 GPU 一小时内可以采集一亿步（1e8 步）。也就是说，GPU 上的并行仿真环境，采样速度快了两个量级！ 下图是我们的一组测试结果
Isaac Gym 的命名根据 Isaac Newton 艾萨克 · 牛顿
左图以采样数 #samples 为横坐标，右图以训练时间 (hours) 为横坐标。上图中可以看到，GPU 并行仿真环境在一天内就达到 1e9 步