Swimmer (游泳者)

../../../_images/swimmer.gif

此环境是 Mujoco 环境的一部分，其中包含有关环境的通用信息。

动作空间

Box(-1.0, 1.0, (2,), float32)

观测空间

Box(-inf, inf, (8,), float64)

import

gymnasium.make("Swimmer-v5")

描述

此环境对应于 Rémi Coulom 的博士论文 “使用神经网络的强化学习，在电机控制中的应用” 中描述的 Swimmer (游泳者) 环境。 该环境旨在增加独立状态和控制变量的数量，与经典控制环境相比。 游泳者由三个或更多段（“links” - 环节）和一个或多个关节（“rotors” - 转子）组成 - 一个转子关节连接两个环节以形成线性链。 游泳者悬浮在二维水池中，并且始终在相同的位置开始（受制于从均匀分布中抽取的一些偏差），并且目标是通过对转子施加扭矩并利用流体摩擦来尽可能快地向右移动。

注释

问题参数是：问题参数

  • n: 身体部位的数量

  • mi: 部位 i 的质量 (i ∈ {1…n})

  • li: 部位 i 的长度 (i ∈ {1…n})

  • k: 粘性摩擦系数

虽然默认环境具有 n = 3, li = 0.1, 和 k = 0.1。 可以通过在构造期间传递自定义 MuJoCo XML 文件来增加环节的数量，或调整任何参数。

动作空间

../../../_images/swimmer.png

动作空间是 Box(-1, 1, (2,), float32)。 动作表示在 环节 之间施加的扭矩

编号

动作

控制最小值

控制最大值

名称 (在相应的 XML 文件中)

关节

类型 (单位)

0

施加在第一个转子上的扭矩

-1

1

motor1_rot

hinge (铰链)

torque (扭矩) (N m)

1

施加在第二个转子上的扭矩

-1

1

motor2_rot

hinge (铰链)

torque (扭矩) (N m)

观测空间

观测空间由以下部分组成（按顺序）

  • qpos (默认 3 个元素): 机器人身体部位的位置值。

  • qvel (5 个元素): 这些单独身体部位的速度（它们的导数）。

默认情况下，观测不包括前端尖端的 x 和 y 坐标。 这些可以通过在构造期间传递 exclude_current_positions_from_observation=False 来包含。 在这种情况下，观测空间将是 Box(-Inf, Inf, (10,), float64)，其中前两个观测是前端尖端的 x 和 y 坐标。 无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都会在 info 中返回，键分别为 "x_position" 和 "y_position"。

默认情况下，但是，观测空间是 Box(-Inf, Inf, (8,), float64)，其中元素如下

编号

观测

最小值

最大值

名称 (在相应的 XML 文件中)

关节

类型 (单位)

0

前端尖端的角度

-Inf

Inf

free_body_rot

hinge (铰链)

angle (角度) (rad)

1

第一个转子的角度

-Inf

Inf

motor1_rot

hinge (铰链)

angle (角度) (rad)

2

第二个转子的角度

-Inf

Inf

motor2_rot

hinge (铰链)

angle (角度) (rad)

3

尖端沿 x 轴的速度

-Inf

Inf

slider1

slide (滑动)

velocity (速度) (m/s)

4

尖端沿 y 轴的速度

-Inf

Inf

slider2

slide (滑动)

velocity (速度) (m/s)

5

前端尖端的角速度

-Inf

Inf

free_body_rot

hinge (铰链)

angular velocity (角速度) (rad/s)

6

第一个转子的角速度

-Inf

Inf

motor1_rot

hinge (铰链)

angular velocity (角速度) (rad/s)

7

第二个转子的角速度

-Inf

Inf

motor2_rot

hinge (铰链)

angular velocity (角速度) (rad/s)

excluded (排除)

尖端沿 x 轴的位置

-Inf

Inf

slider1

slide (滑动)

position (位置) (m)

excluded (排除)

尖端沿 y 轴的位置

-Inf

Inf

slider2

slide (滑动)

position (位置) (m)

奖励

总奖励为：reward = forward_reward - ctrl_cost。

  • forward_reward: 向前移动的奖励，如果 Swimmer (游泳者) 向前移动（在正 \(x\) 方向 / 向右方向）则此奖励为正。 \(w_{forward} \times \frac{dx}{dt}\), 其中 \(dx\) 是（前端）“尖端”的位移 (\(x_{after-action} - x_{before-action}\)), \(dt\) 是动作之间的时间，这取决于 frame_skip 参数（默认为 4），以及 frametime，它是 \(0.01\) - 所以默认值为 \(dt = 4 \times 0.01 = 0.04\), \(w_{forward}\) 是 forward_reward_weight （默认为 \(1\)）。

  • ctrl_cost: 对 Swimmer (游泳者) 采取过大动作进行惩罚的负奖励。 \(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight （默认为 \(10^{-4}\)）。

info 包含各个奖励项。

起始状态

初始位置状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{5}, reset\_noise\_scale \times I_{5}]}\)。 初始速度状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{5}, reset\_noise\_scale \times I_{5}]}\)。

其中 \(\mathcal{U}\) 是多元均匀连续分布。

Episode End (回合结束)

Termination (终止)

Swimmer (游泳者) 永远不会终止。

Truncation (截断)

回合的默认持续时间为 1000 个时间步。

Arguments (参数)

Swimmer (游泳者) 提供了修改观测空间、奖励函数、初始状态和终止条件的一系列参数。 这些参数可以在 gymnasium.make 期间通过以下方式应用

import gymnasium as gym
env = gym.make('Swimmer-v5', xml_file=...)

参数

类型

默认值

描述

xml_file

str

"swimmer.xml"

MuJoCo 模型的路径

forward_reward_weight (前进奖励权重)

float

1

forward_reward 项的权重 (参见 奖励 部分)

ctrl_cost_weight (控制成本权重)

float

1e-4

ctrl_cost 项的权重 (参见 奖励 部分)

reset_noise_scale (重置噪声比例)

float

0.1

Scale of random perturbations of initial position and velocity (初始位置和速度的随机扰动比例) (参见 起始状态 部分)

exclude_current_positions_from_observation (从观测中排除当前位置)

bool

True

是否省略观测中的 x 和 y 坐标。 排除位置可以作为一种归纳偏置，以在策略中诱导与位置无关的行为 (参见 观测空间 部分)

版本历史

  • v5

    • 最低 mujoco 版本现在为 2.3.3。

    • 添加了对完全自定义/第三方 mujoco 模型的支持，使用 xml_file 参数（以前只能对现有模型进行少量更改）。

    • 添加了 default_camera_config 参数，一个用于设置 mj_camera 属性的字典，主要用于自定义环境。

    • 添加了 env.observation_structure，一个用于指定观测空间组成的字典（例如 qpos, qvel），对于为 MuJoCo 环境构建工具和 Wrappers (封装器) 很有用。

    • 返回带有 reset() 的非空 info，以前返回一个空字典，新键与 step() 中的状态信息相同。

    • 添加了 frame_skip 参数，用于配置 dt (step() 的持续时间)，默认值因环境而异，请查看环境文档页面。

    • 恢复了 xml_file 参数（在 v4 中已删除）。

    • 添加了 forward_reward_weight, ctrl_cost_weight，以配置奖励函数（默认值与 v4 中的值基本相同）。

    • 添加了 reset_noise_scale 参数以设置初始状态的范围。

    • 添加了 exclude_current_positions_from_observation 参数。

    • 将 info["reward_fwd"] 和 info["forward_reward"] 替换为 info["reward_forward"]，以便与其他环境保持一致。

  • v4: 所有 MuJoCo 环境现在都使用 mujoco >= 2.1.3 中的 MuJoCo 绑定。

  • v3: 支持 gymnasium.make kwargs，例如 xml_file, ctrl_cost_weight, reset_noise_scale 等。 rgb 渲染来自跟踪相机（因此智能体不会从屏幕上跑掉）。

  • v2: 所有连续控制环境现在都使用 mujoco-py >= 1.50。

  • v1: robot (机器人) 任务的最大时间步数增加到 1000。为环境添加了 reward_threshold (奖励阈值)。

  • v0: 初始版本发布。