外部环境

第一方环境

Farama 基金会维护着许多其他项目，这些项目使用 Gymnasium API，环境包括：网格世界 (Minigrid)、机器人 (Gymnasium-Robotics)、3D 导航 (Miniworld)、网页交互 (MiniWoB++)、街机游戏 (Arcade Learning Environment)、Doom (ViZDoom)、元目标机器人 (Metaworld)、自动驾驶 (HighwayEnv)、复古游戏 (stable-retro)，等等。

Farama 基金会还维护着 RL 的其他 API，包括：多智能体 RL (PettingZoo)、离线 RL (Minari)、多目标 RL (MO-Gymnasium)、目标 RL (Gymnasium-Robotics).

使用 Gymnasium 的第三方环境

此页面包含未由 Farama 基金会维护的环境，因此不能保证其按预期运行。

如果您想贡献环境，请在Discord 上联系我们，然后通过编辑此文件提交 PR。

自动驾驶环境

自动驾驶汽车和交通管理。

• gym-electric-motor：用于电机仿真的 Gym 环境

  一个用于模拟各种电气传动系统的环境，考虑了不同类型的电机和转换器。

• racecar_gym：使用 PyBullet 的微型赛车环境

  一个使用PyBullet 物理引擎的微型赛车 Gym 环境。

• sumo-rl：使用 SUMO 交通模拟器的强化学习

  

  SUMO 交通模拟器中各种环境的 Gymnasium 包装器。支持单智能体和多智能体设置（使用pettingzoo）。

生物/医学环境

与生物系统互动。

• ICU-Sepsis：基于真实医疗数据的基准 MDP

  

  ICU-Sepsis 是一种表格强化学习环境，模拟了重症监护室 (ICU) 中败血症的治疗。在论文ICU-Sepsis：基于真实医疗数据的基准 MDP中介绍，该环境轻量级且易于使用，但对大多数强化学习算法来说具有挑战性。

经济/金融环境

所有与经济相关的事物。

• gym-anytrading：用于外汇和股票的金融交易环境

  AnyTrading 是一系列 Gym 环境，用于基于强化学习的交易算法，非常注重简单性、灵活性，以及全面性。

• gym-mtsim：用于 MetaTrader 5 平台的金融交易

  MtSim 是一个用于MetaTrader 5 交易平台的模拟器，用于基于强化学习的交易算法。

• gym-trading-env：交易环境

  

  Gym Trading Env 从历史数据模拟股票（或加密货币）市场。它旨在快速且易于定制。

电气/能源环境

管理电子的流动。

• EV2Gym：用于 EV 智能充电的现实 EV-V2G-Gym 模拟器

  

  EV2Gym 是一种完全可定制且易于配置的环境，用于对小型和大型规模的电动汽车 (EV) 智能充电进行模拟。此外，还包括非 RL 基线实现，例如数学规划、模型预测控制和启发式算法。

游戏环境

棋盘游戏、电子游戏以及所有其他互动娱乐媒介。

• Craftium：一个用于创建 RL 环境的可扩展框架

  

  Craftium 将Minetest 游戏引擎包装到 Gymnasium API 中，为设计类似 Minecraft 的 RL 环境提供了一个现代且易于使用的平台。

• flappy-bird-env

  

  Flappy Bird 作为 Farama Gymnasium 环境。

• flappy-bird-gymnasium：用于 Gymnasium 的 Flappy Bird 环境

  

  一个简单的环境，用于在Flappy Bird 的克隆上进行单智能体强化学习算法训练，Flappy Bird 是一款非常流行的街机风格移动游戏。状态和像素观测环境均可用。

• pystk2-gymnasium：SuperTuxKart 竞速的 Gymnasium 包装器

  

  使用python 包装器 围绕SuperTuxKart，允许访问世界状态并控制比赛。

• QWOP：一个用于 Bennet Foddy 的游戏 QWOP 的环境

  

  QWOP 是一款关于在 100 米跑道上以极快速度奔跑的游戏。使用这个 Gymnasium 环境，您可以训练自己的代理并尝试打破当前的世界纪录（人类为 5.0 秒，AI 为 4.7 秒）。

• Tetris Gymnasium：一个完全可配置的与 Gymnasium 兼容的 Tetris 环境

  

  Tetris Gymnasium 是一个干净的 Tetris 实现，作为 Gymnasium 环境。它可以进行广泛的定制（例如棋盘尺寸、重力等等），文档齐全，并包含许多关于如何使用它的示例，例如提供训练脚本。

• tmrl：通过 RL 实现 TrackMania 2020

  

  tmrl 是一个用于在实时应用程序中训练深度强化学习 AI 的分布式框架。它在 TrackMania 2020 视频游戏中得到了演示。

数学/计算

减少计算量，证明数学定理等等。

• spark-sched-sim：用于在 Apache Spark 中调度 DAG 作业的环境

  spark-sched-sim 模拟 Spark 集群，用于基于 RL 的作业调度算法。Spark 作业被编码为有向无环图 (DAG)，为在 RL 上下文中试验图神经网络 (GNN) 提供了机会。

  

• gym-saturation：用于证明定理的环境

  

  一个基于饱和算法（例如Vampire）引导自动定理证明器的环境。

机器人环境

自动机器人。

• BSK-RL：用于航天器规划和调度的环境

  

  BSK-RL 是一个 Python 包，用于构建用于航天器任务问题的 Gymnasium 环境。它建立在Basilisk 的基础上，这是一个模块化且快速的航天器模拟框架，使得模拟环境具有高保真度和计算效率。BSK-RL 还包含一系列用于使用这些环境的实用程序和示例

• Connect-4-gym：一个用于练习自我对弈的环境

  Connect-4-Gym 是一个环境，旨在创建通过与自己对弈并分配 Elo 评级的 AI。该环境可用于在经典棋盘游戏 Connect Four 上训练和评估强化学习代理。

• FlyCraft：一个固定翼无人机环境

  

  FlyCraft 是一个用于固定翼无人机任务的 Gymnasium 环境。默认情况下，FlyCraft 提供两种任务：姿态控制和速度矢量控制。这些任务的特点是多目标和长时域性质，对 RL 探索提出了重大挑战。此外，奖励可以配置为马尔可夫或非马尔可夫，使 FlyCraft 适用于非马尔可夫问题研究。

• gymnax：硬件加速的 RL 环境

  JAX 中的 RL 环境，允许使用高度向量化的环境，支持多种环境，Gym、MinAtari、bsuite 等等。

• gym-jiminy：在 Jiminy 中训练机器人

  

  gym-jiminy 提供了初始 Gym for robotics 的扩展，使用Jiminy，这是一个使用 Pinocchio 进行物理评估并使用 Meshcat 进行基于 Web 的 3D 渲染的极其快速且轻量级的多关节系统模拟器。

• gym-pybullet-drones：用于四旋翼控制的环境

  

  一个简单的环境，使用PyBullet 模拟Bitcraze Crazyflie 2.x 纳米四旋翼的动力学。

• OmniIsaacGymEnvs：用于 NVIDIA Omniverse Isaac 的 Gym 环境

  用于Omniverse Isaac 模拟器 的强化学习环境。

• panda-gym：使用 PyBullet 物理引擎的机器人环境

  

  基于 PyBullet 的机器人手臂移动物体的模拟。

• PyFlyt：用于强化学习研究的无人机飞行模拟器环境

  一个用于在各种无人机上测试强化学习算法的库。它基于 Bullet 物理引擎，提供灵活的渲染选项、时间离散的物理步进、Python 绑定以及对任何配置的自定义无人机支持，无论是双翼机、四旋翼机、火箭还是你能想到的任何东西。

• safe-control-gym：评估强化学习算法的安全性

  通过基于 PyBullet 的 CartPole 和 Quadrotor 环境评估安全性、鲁棒性和泛化性，使用 CasADi（符号）先验动力学和约束。

• Safety-Gymnasium：确保现实世界 RL 场景中的安全性

  

  高度可扩展和可定制的安全强化学习库。

电信系统环境

交互和/或管理无线和/或有线电信系统。

• mobile-env：无线移动网络协调环境

  

  一个开放的、极简的 Gymnasium 环境，用于无线移动网络中的自主协调。

其他

• Buffalo-Gym：多臂老虎机 Gymnasium

  

  Buffalo-Gym 是一个主要用于帮助调试 RL 实现的多臂老虎机 (MAB) Gymnasium。MAB 通常易于推理代理正在学习什么以及它是否正确。Buffalo-gym 包括老虎机、上下文老虎机以及具有别名的上下文老虎机。

• CARL：上下文自适应 RL

  

  流行强化学习环境的上下文扩展，这些扩展允许针对泛化的训练和测试分布，例如，具有可变杆长度的 CartPole 或具有不同地面摩擦的 Brax 机器人。

• DACBench：动态算法配置基准

  

  用于 动态算法配置 的基准库。它侧重于不同 DAC 方法的可重复性和可比性，以及优化过程的轻松分析。

• gym-cellular-automata：元胞自动机环境

  

  代理通过改变其单元格状态与 *元胞自动机* 交互的环境。

• Gym-Gridworlds：可定制的极简网格世界的集合

  

  默认类实现了一个“前往目标”的目标，但它可以轻松地针对不同的任务进行定制，具有各种网格、奖励、动态和任务。它支持不同的观察类型（离散、坐标、二进制、像素、部分）。对于快速测试和原型化 RL 算法（包括表格和函数逼近）非常有用。

• matrix-mdp：轻松创建离散 MDP

  

  一个环境，可以轻松地将离散 MDP 实现为 gym 环境。将一组矩阵 (P_0(s), P(s'| s, a) 和 R(s', s, a)) 转换为一个 gym 环境，该环境表示由这些动态规则支配的离散 MDP。

• SimpleGrid：一个简单的 Gymnasium 网格环境

  

  SimpleGrid 是一个超级简单且极简的 Gymnasium 网格环境。它易于使用和定制，旨在为快速测试和原型化不同的 RL 算法提供环境。

使用 Gym 的第三方环境

有大量使用各种版本的 Gym 的第三方环境。其中许多可以调整为与 gymnasium 一起使用（参见 与 Gym 的兼容性），但不能保证完全正常工作。

电子游戏环境

• gym-derk：GPU 加速 MOBA 环境

  一个 3v3 MOBA 环境，您可以在其中训练生物相互战斗。

• SlimeVolleyGym：一个简单的 Slime Volleyball 游戏环境

  一个简单的环境，用于在 Slime Volleyball 游戏克隆上对单代理和多代理强化学习算法进行基准测试。

• Unity ML Agents：Unity 游戏引擎的环境

  用于 Unity 游戏引擎的任意和预制环境的 Gym（和 PettingZoo）包装器。

• PGE：并行游戏引擎

  使用 Open 3D Engine 进行 AI 模拟，并且可以与 Gym 交互操作。使用 PyBullet 物理。

机器人环境

• MarsExplorer：用于控制火星上机器人的环境

  Mars Explorer 是一款与 Gym 兼容的环境，设计和开发的初衷是弥合强大的深度强化学习方法与未知地形探索/覆盖问题之间的差距。

• robo-gym：现实世界和模拟机器人

  Robo-gym 提供了一系列强化学习环境，这些环境涉及适用于模拟和现实世界机器人技术的机器人任务。

• Offworld-gym：免费远程控制真实机器人

  Gym 环境，允许您通过互联网控制实验室中的真实机器人。

• gym-softrobot：软体机器人环境

  一个大型基准，用于共同优化软体机器人的设计和控制。

• iGibson：逼真的交互式机器人环境

  一个具有高质量逼真场景的模拟环境，使用 PyBullet 进行交互式物理。

• DexterousHands：双灵巧手操作任务

  这是一个通过 Isaac Gym 提供双灵巧手操作任务的库。

自动驾驶环境

• gym-duckietown：自动驾驶汽车的车道跟踪

  为 Duckietown 项目（小型自动驾驶汽车课程）构建的车道跟踪模拟器。

• CommonRoad-RL：交通场景的运动规划

  一个 Gym，用于解决与 CommonRoad 基准 兼容的各种交通场景的运动规划问题，它提供可配置的奖励、动作空间和观察空间。

• racing_dreamer：自动驾驶赛车的潜意识想象

  在模拟中训练基于模型的 RL 代理，无需微调即可将其转移到小型赛车。

• l2r：代理学习如何比赛的多模式控制环境

  一个开源的强化学习环境，用于自动驾驶比赛。

其他环境

• CompilerGym：优化编译器任务

  用于编译器优化任务的强化学习环境，例如 LLVM 阶段排序、GCC 标志调整和 CUDA 循环嵌套代码生成。

• gym-sokoban：二维运输谜题

  该环境包含运输谜题，玩家的目标是将所有箱子推到仓库的存储位置。

• NLPGym：一个开发 RL 代理以解决 NLP 任务的工具包

  NLPGym 提供了用于标准 NLP 任务的交互式环境，例如序列标记、问答和序列分类。

• ShinRL：用于评估 RL 算法的环境

  ShinRL：一个用于从理论和实践角度评估 RL 算法的库（深度 RL 研讨会 2021）

• openmodelica-microgrid-gym：用于控制微电网中电力电子转换器的环境

  OpenModelica Microgrid Gym (OMG) 包是一个软件工具箱，用于基于电力电子转换器能量转换的微电网的模拟和控制优化。

• GymFC：一个飞行控制调整和训练框架

  GymFC 是一个用于合成神经飞行控制器的模块化框架。已被用于为世界上第一个开源神经网络飞行控制固件 Neuroflight 生成策略。