Swimmer¶

该环境是 Mujoco 环境的一部分，其中包含关于该环境的通用信息。


动作空间	`Box(-1.0, 1.0, (2,), float32)`
观察空间	`Box(-inf, inf, (8,), float64)`
导入	`gymnasium.make("Swimmer-v5")`

描述¶

该环境对应于 Rémi Coulom 博士论文 “使用神经网络的强化学习及其在运动控制中的应用” 中描述的 Swimmer 环境。该环境旨在与经典控制环境相比，增加独立状态和控制变量的数量。Swimmer 由三节或更多节 (’links’) 以及少一个的关节 (’rotors’) 组成——一个转子关节恰好连接两节以形成线性链。Swimmer 悬浮在二维水池中，总是从相同位置开始（服从均匀分布的某些偏差），目标是通过向转子施加扭矩并利用流体摩擦，尽可能快地向右移动。

注释¶

问题参数为：

n: 身体部件数量
m_i: 部件 i 的质量 (i ∈ {1…n})
l_i: 部件 i 的长度 (i ∈ {1…n})
k: 粘滞摩擦系数

默认环境的 n = 3，l_i = 0.1，和 k = 0.1。可以在构造时传入自定义 MuJoCo XML 文件以增加连接数量，或调整任何参数。

动作空间¶

动作空间是一个 Box(-1, 1, (2,), float32)。一个动作代表施加在“关节”之间的扭矩。

编号	动作	控制最小值	控制最大值	名称 (在对应的 XML 文件中)	关节	类型 (单位)
0	施加在第一个转子上的扭矩	-1	1	motor1_rot	铰链	扭矩 (N m)
1	施加在第二个转子上的扭矩	-1	1	motor2_rot	铰链	扭矩 (N m)

观察空间¶

观察空间由以下部分组成（按顺序）

qpos (默认3个元素): 机器人身体部件的位置值。
qvel (5个元素): 这些独立身体部件的速度（它们的导数）。

默认情况下，观察不包括前尖端的 x 和 y 坐标。通过在构造时传入 exclude_current_positions_from_observation=False 可以包含这些坐标。在这种情况下，观察空间将是 Box(-Inf, Inf, (10,), float64)，其中前两个观察值是前尖端的 x 和 y 坐标。无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都将通过 info 返回，键分别为 "x_position" 和 "y_position"。

然而，默认情况下，观察空间是 Box(-Inf, Inf, (8,), float64)，其元素如下：

编号	观察	最小值	最大值	名称 (在对应的 XML 文件中)	关节	类型 (单位)
0	前尖端的角度	-Inf	Inf	free_body_rot	铰链	角度 (rad)
1	第一个转子的角度	-Inf	Inf	motor1_rot	铰链	角度 (rad)
2	第二个转子的角度	-Inf	Inf	motor2_rot	铰链	角度 (rad)
3	尖端沿 x 轴的速度	-Inf	Inf	slider1	滑动	速度 (m/s)
4	尖端沿 y 轴的速度	-Inf	Inf	slider2	滑动	速度 (m/s)
5	前尖端的角速度	-Inf	Inf	free_body_rot	铰链	角速度 (rad/s)
6	第一个转子的角速度	-Inf	Inf	motor1_rot	铰链	角速度 (rad/s)
7	第二个转子的角速度	-Inf	Inf	motor2_rot	铰链	角速度 (rad/s)
已排除	尖端沿 x 轴的位置	-Inf	Inf	slider1	滑动	位置 (m)
已排除	尖端沿 y 轴的位置	-Inf	Inf	slider2	滑动	位置 (m)

奖励¶

总奖励为：奖励 = forward_reward - ctrl_cost。

forward_reward: 向前移动的奖励，如果 Swimmer 向前移动（在正 \(x\) 方向 / 向右方向），则此奖励为正。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是（前）“尖端”的位移（\(x_{after-action} - x_{before-action}\)），\(dt\) 是动作之间的时间，这取决于 frame_skip 参数（默认为 4），以及 frametime（为 \(0.01\)）——因此默认情况下 \(dt = 4 \times 0.01 = 0.04\)，\(w_{forward}\) 是 forward_reward_weight（默认为 \(1\)）。
ctrl_cost: 一个负奖励，惩罚 Swimmer 采取过大的动作。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（默认为 \(10^{-4}\)）。

info 包含各个奖励项。

起始状态¶

初始位置状态是 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{5}, reset\_noise\_scale \times I_{5}]}\)。初始速度状态是 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{5}, reset\_noise\_scale \times I_{5}]}\)。

其中 \(\mathcal{U}\) 是多元均匀连续分布。

回合结束¶

终止¶

Swimmer 永不终止。

截断¶

一个回合的默认持续时间是 1000 个时间步。

参数¶

Swimmer 提供了一系列参数来修改观察空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 期间按以下方式应用：

import gymnasium as gym
env = gym.make('Swimmer-v5', xml_file=...)

参数	类型	默认值	描述
`xml_file`	str	`"swimmer.xml"`	MuJoCo 模型的路径
`forward_reward_weight`	float	`1`	forward_reward 项的权重（参见 `奖励` 部分）
`ctrl_cost_weight`	float	`1e-4`	ctrl_cost 项的权重（参见 `奖励` 部分）
`reset_noise_scale`	float	`0.1`	初始位置和速度随机扰动的尺度（参见 `起始状态` 部分）
`exclude_current_positions_from_observation`	bool	`True`	是否从观察中省略 x 和 y 坐标。排除位置可以作为一种归纳偏置，以在策略中引入与位置无关的行为（参见 `观察空间` 部分）

版本历史¶

v5
- mujoco 的最低版本现在是 2.3.3。
- 添加了对使用 xml_file 参数完全自定义/第三方 mujoco 模型的支持（以前只能对现有模型进行少量更改）。
- 添加了 default_camera_config 参数，一个用于设置 mj_camera 属性的字典，主要对自定义环境有用。
- 添加了 env.observation_structure，一个用于指定观察空间组成（例如 qpos、qvel）的字典，对构建 MuJoCo 环境的工具和包装器有用。
- reset() 现在返回非空的 info，之前返回的是空字典，新键与 step() 的状态信息相同。
- 添加了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请查阅环境文档页面。
- 恢复了 xml_file 参数（在 v4 中已移除）。
- 添加了 forward_reward_weight、ctrl_cost_weight，用于配置奖励函数（默认值与 v4 中基本相同）。
- 添加了 reset_noise_scale 参数以设置初始状态的范围。
- 添加了 exclude_current_positions_from_observation 参数。
- 将 info["reward_fwd"] 和 info["forward_reward"] 替换为 info["reward_forward"]，以便与其他环境保持一致。
v4: 所有 MuJoCo 环境现在都使用 mujoco >= 2.1.3 中的 MuJoCo 绑定。
v3: 支持 gymnasium.make kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。rgb 渲染来自跟踪相机（因此代理不会跑出屏幕）。移至 gymnasium-robotics 仓库。
v2: 所有连续控制环境现在都使用 mujoco-py >= 1.50。移至 gymnasium-robotics 仓库。
v1: 基于机器人的任务的最大时间步数提高到 1000。向环境添加了 reward_threshold。
v0: 初始版本发布。