Swimmer¶

此环境是 Mujoco 环境的一部分，其中包含有关该环境的常规信息。


动作空间	`Box(-1.0, 1.0, (2,), float32)`
观测空间	`Box(-inf, inf, (8,), float64)`
import	`gymnasium.make("Swimmer-v5")`

描述¶

该环境对应于 Rémi Coulom 博士论文 “Reinforcement Learning Using Neural Networks, with Applications to Motor Control” 中描述的 Swimmer 环境。该环境旨在增加独立状态和控制变量的数量，以区别于传统的控制环境。Swimmer 由三个或更多个段（“连接件”）和少一个的关节（“转子”）组成——一个转子关节连接两个连接件以形成线性链。Swimmer 悬浮在二维水池中，总是从相同位置开始（受服从均匀分布的偏差影响），目标是通过对转子施加扭矩并利用流体摩擦力，尽可能快地向右移动。

注意¶

问题参数为：问题参数

n: 身体部件数量
m_i: 部件 i 的质量 (i ∈ {1…n})
l_i: 部件 i 的长度 (l_i ∈ {1…n})
k: 粘性摩擦系数

默认环境具有 n = 3，l_i = 0.1 和 k = 0.1。可以在构建时传入自定义的 MuJoCo XML 文件，以增加连接件的数量或调整任何参数。

动作空间¶

动作空间为 Box(-1, 1, (2,), float32)。动作表示在连接件之间施加的扭矩。

编号	动作	控制最小值	控制最大值	名称（对应 XML 文件）	关节	类型（单位）
0	施加在第一个转子上的扭矩	-1	1	motor1_rot	铰链 (hinge)	扭矩 (N m)
1	施加在第二个转子上的扭矩	-1	1	motor2_rot	铰链 (hinge)	扭矩 (N m)

观测空间¶

观测空间由以下部分组成（按顺序）

qpos（默认 3 个元素）： 机器人身体部件的位置值。
qvel（5 个元素）： 这些个体身体部件的速度（其导数）。

默认情况下，观测值不包括前端顶部的 x 和 y 坐标。可以通过在构建时传入 exclude_current_positions_from_observation=False 来包含这些坐标。在这种情况下，观测空间将是一个 Box(-Inf, Inf, (10,), float64)，其中前两个观测值是前端顶部的 x 和 y 坐标。无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都会分别以键 "x_position" 和 "y_position" 返回在 info 中。

默认情况下，观测空间是一个 Box(-Inf, Inf, (8,), float64)，其中的元素如下：

编号	观测值	最小值	最大值	名称（对应 XML 文件）	关节	类型（单位）
0	前端顶部的角度	-Inf	Inf	free_body_rot	铰链 (hinge)	角度 (rad)
1	第一个转子的角度	-Inf	Inf	motor1_rot	铰链 (hinge)	角度 (rad)
2	第二个转子的角度	-Inf	Inf	motor2_rot	铰链 (hinge)	角度 (rad)
3	顶部沿 x 轴的速度	-Inf	Inf	slider1	slide	速度 (m/s)
4	顶部沿 y 轴的速度	-Inf	Inf	slider2	slide	速度 (m/s)
5	前端顶部的角速度	-Inf	Inf	free_body_rot	铰链 (hinge)	角速度 (rad/s)
6	第一个转子的角速度	-Inf	Inf	motor1_rot	铰链 (hinge)	角速度 (rad/s)
7	第二个转子的角速度	-Inf	Inf	motor2_rot	铰链 (hinge)	角速度 (rad/s)
已排除	顶部沿 x 轴的位置	-Inf	Inf	slider1	slide	位置 (m)
已排除	顶部沿 y 轴的位置	-Inf	Inf	slider2	slide	位置 (m)

奖励（Rewards）¶

总奖励为：reward = forward_reward - ctrl_cost。

forward_reward：向前移动的奖励。如果 Swimmer 向前移动（沿正 \(x\) 方向 / 向右方向），则此奖励为正。公式为 \(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是（前端）“顶部”的位移（\(x_{after-action} - x_{before-action}\)），\(dt\) 是两次动作之间的时间，这取决于 frame_skip 参数（默认为 4）和 frametime（为 \(0.01\)）——因此默认 \(dt = 4 \times 0.01 = 0.04\)，\(w_{forward}\) 是 forward_reward_weight（默认为 \(1\)）。
ctrl_cost：惩罚 Swimmer 采取过大动作的负奖励。公式为 \(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（默认为 \(10^{-4}\)）。

info 包含各个奖励项。

起始状态¶

初始位置状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{5}, reset\_noise\_scale \times I_{5}]}\)。初始速度状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{5}, reset\_noise\_scale \times I_{5}]}\)。

其中 \(\mathcal{U}\) 是多元均匀连续分布。

回合结束¶

终止¶

Swimmer 永远不会终止。

截断¶

一集的默认持续时间为 1000 个时间步。

参数¶

Swimmer 提供了多种参数来修改观测空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 时按如下方式应用：

import gymnasium as gym
env = gym.make('Swimmer-v5', xml_file=...)

参数	类型	默认值	描述
`xml_file`	str	`"swimmer.xml"`	MuJoCo 模型的路径
`forward_reward_weight`	float	`1`	forward_reward 项的权重（参见 `奖励` 部分）
`ctrl_cost_weight`	float	`1e-4`	ctrl_cost 项的权重（参见 `奖励` 部分）
`reset_noise_scale`	float	`0.1`	初始位置和速度的随机扰动比例（参见 `起始状态` 部分）
`exclude_current_positions_from_observation`	bool	`True`	是否从观测中省略 x 和 y 坐标。排除位置信息可以作为一种归纳偏置，用于诱导策略中与位置无关的行为（参见`观测空间`部分）。

版本历史¶

v5
- 最低 mujoco 版本现为 2.3.3。
- 添加了对使用 xml_file 参数的完全自定义/第三方 mujoco 模型的支持（此前只能对现有模型进行少量更改）。
- 添加了 default_camera_config 参数，这是一个用于设置 mj_camera 属性的字典，主要对自定义环境有用。
- 添加了 env.observation_structure，一个用于指定观测空间组成（例如 qpos, qvel）的字典，对构建 MuJoCo 环境的工具和包装器很有用。
- 使用 reset() 返回非空的 info，之前返回的是空字典；新键与 step() 的状态信息相同。
- 添加了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请检查环境文档页面。
- 恢复了 xml_file 参数（在 v4 中被移除）。
- 添加了 forward_reward_weight 和 ctrl_cost_weight 来配置奖励函数（默认值与 v4 基本一致）。
- 添加了 reset_noise_scale 参数以设置初始状态的范围。
- 添加了 exclude_current_positions_from_observation 参数。
- 用 info["reward_forward"] 替换了 info["reward_fwd"] 和 info["forward_reward"]，以与其他环境保持一致。
v4：所有 MuJoCo 环境现在使用 mujoco >= 2.1.3 的绑定。
v3：支持 gymnasium.make 关键字参数，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。RGB 渲染来自跟踪摄像头（因此智能体不会跑出屏幕）。已移至 gymnasium-robotics 仓库。
v2：所有连续控制环境现在都使用 mujoco-py >= 1.50。已移至 gymnasium-robotics 仓库。
v1：将机器人任务的 max_time_steps 提高到 1000。为环境添加了 reward_threshold。
v0：初始版本发布。