游泳者¶

此环境是 Mujoco 环境的一部分，其中包含有关该环境的一般信息。


动作空间	`Box(-1.0, 1.0, (2,), float32)`
观测空间	`Box(-inf, inf, (8,), float64)`
导入	`gymnasium.make("Swimmer-v5")`

描述¶

此环境对应于 Rémi Coulom 的博士论文中描述的游泳者环境 “使用神经网络的强化学习及其在运动控制中的应用”。该环境旨在增加与经典控制环境相比的独立状态和控制变量的数量。游泳者由三个或更多部分（’链接’）和少一个关节（’转子’）组成 - 一个转子关节连接恰好两个链接以形成线性链。游泳者悬挂在二维水池中，并且始终从相同的位置开始（受从均匀分布中绘制的偏差影响），目标是通过对转子施加扭矩并利用流体摩擦尽可能快地向右移动。

备注¶

问题参数如下：问题参数

n：身体部位数量
m_i：第 i 部分的质量（i ∈ {1…n}）
l_i：第 i 部分的长度（i ∈ {1…n}）
k：粘性摩擦系数

虽然默认环境具有 n = 3、l_i = 0.1 和 k = 0.1。可以在构造期间传递自定义 MuJoCo XML 文件以增加链接数量，或者调整任何参数。

动作空间¶

动作空间是 Box(-1, 1, (2,), float32)。动作表示施加在链接之间的扭矩

编号	动作	控制最小值	控制最大值	名称（在相应的 XML 文件中）	关节	类型（单位）
0	施加在第一个转子上的扭矩	-1	1	motor1_rot	铰链	扭矩 (N m)
1	施加在第二个转子上的扭矩	-1	1	motor2_rot	铰链	扭矩 (N m)

观测空间¶

观测空间由以下部分组成（按顺序）

qpos（默认情况下为 3 个元素）：机器人的身体部位的位置值。
qvel（5 个元素）：这些各个身体部位的速度（它们的导数）。

默认情况下，观测不包括前端的 x 和 y 坐标。可以通过在构造期间传递 exclude_current_positions_from_observation=False 来包含它们。在这种情况下，观测空间将是 Box(-Inf, Inf, (10,), float64)，其中前两个观测值是前端的 x 和 y 坐标。无论 exclude_current_positions_from_observation 是否设置为 True 或 False，x 和 y 坐标都在 info 中返回，键分别为 "x_position" 和 "y_position"。

但是，默认情况下，观测空间是 Box(-Inf, Inf, (8,), float64)，其中元素如下

编号	观测	最小值	最大值	名称（在相应的 XML 文件中）	关节	类型（单位）
0	前端的角度	-Inf	Inf	free_body_rot	铰链	角度 (rad)
1	第一个转子的角度	-Inf	Inf	motor1_rot	铰链	角度 (rad)
2	第二个转子的角度	-Inf	Inf	motor2_rot	铰链	角度 (rad)
3	前端沿 x 轴的速度	-Inf	Inf	slider1	滑动	速度 (m/s)
4	前端沿 y 轴的速度	-Inf	Inf	slider2	滑动	速度 (m/s)
5	前端的角速度	-Inf	Inf	free_body_rot	铰链	角速度 (rad/s)
6	第一个转子的角速度	-Inf	Inf	motor1_rot	铰链	角速度 (rad/s)
7	第二个转子的角速度	-Inf	Inf	motor2_rot	铰链	角速度 (rad/s)
已排除	前端沿 x 轴的位置	-Inf	Inf	slider1	滑动	位置 (m)
已排除	前端沿 y 轴的位置	-Inf	Inf	slider2	滑动	位置 (m)

奖励¶

总奖励为：奖励 = 前进奖励 - 控制成本。

前进奖励：向前移动的奖励，如果游泳者向前移动（在正 \(x\) 方向/向右方向），则该奖励为正。 \(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是（前）“前端”的位移 (\(x_{after-action} - x_{before-action}\))，\(dt\) 是动作之间的时间，这取决于 frame_skip 参数（默认值为 4）和 frametime，它为 \(0.01\) - 因此默认值为 \(dt = 4 \times 0.01 = 0.04\)，\(w_{forward}\) 是 forward_reward_weight（默认值为 \(1\)）。
控制成本：一个负奖励，用于惩罚游泳者采取过大的动作。 \(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（默认值为 \(10^{-4}\)）。

info 包含各个奖励项。

起始状态¶

初始位置状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{5}, reset\_noise\_scale \times I_{5}]}\)。初始速度状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{5}, reset\_noise\_scale \times I_{5}]}\)。

其中 \(\mathcal{U}\) 是多元均匀连续分布。

集束结束¶

终止¶

游泳者从不终止。

截断¶

一个集束的默认持续时间为 1000 个时间步。

参数¶

游泳者提供了一系列参数来修改观测空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 中以以下方式应用

import gymnasium as gym
env = gym.make('Swimmer-v5', xml_file=...)

参数	类型	默认值	描述
`xml_file`	str	`"swimmer.xml"`	MuJoCo 模型的路径
`forward_reward_weight`	float	`1`	前进奖励项的权重（参见 `奖励` 部分）
`ctrl_cost_weight`	float	`1e-4`	控制成本项的权重（参见 `奖励` 部分）
`reset_noise_scale`	float	`0.1`	初始位置和速度的随机扰动的范围（参见 `起始状态` 部分）
`exclude_current_positions_from_observation`	bool	`True`	是否省略观测中的 x 和 y 坐标。排除位置可以作为一种归纳偏差，在策略中诱导位置无关的行为（参见 `观测空间` 部分）

版本历史¶

v5
- 最小 mujoco 版本现在是 2.3.3。
- 添加了对使用 xml_file 参数的完全自定义/第三方 mujoco 模型的支持（以前只能对现有模型进行少量更改）。
- 添加了 default_camera_config 参数，它是一个用于设置 mj_camera 属性的字典，主要用于自定义环境。
- 添加了 env.observation_structure，一个用于指定观察空间组成的字典（例如 qpos，qvel），对构建 MuJoCo 环境的工具和包装器很有用。
- 在 reset() 中返回一个非空的 info，之前返回的是一个空字典，新的键与 step() 中的相同状态信息相同。
- 添加了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请查看环境文档页面。
- 恢复了 xml_file 参数（在 v4 中被删除）。
- 添加了 forward_reward_weight、ctrl_cost_weight，用于配置奖励函数（默认值与 v4 中的默认值基本相同）。
- 添加了 reset_noise_scale 参数，用于设置初始状态的范围。
- 添加了 exclude_current_positions_from_observation 参数。
- 将 info["reward_fwd"] 和 info["forward_reward"] 替换为 info["reward_forward"]，以与其他环境保持一致。
v4：所有 MuJoCo 环境现在都使用 mujoco >= 2.1.3 中的 MuJoCo 绑定。
v3：支持 gymnasium.make 的 kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。rgb 渲染来自跟踪摄像头（因此代理不会远离屏幕）。
v2：所有连续控制环境现在都使用 mujoco-py >= 1.50。
v1：将基于机器人的任务的 max_time_steps 提升至 1000。将 reward_threshold 添加到环境中。
v0：初始版本发布。