Ant¶

该环境属于 Mujoco 环境，其中包含有关该环境的一般信息。


动作空间	`Box(-1.0, 1.0, (8,), float32)`
观测空间	`Box(-inf, inf, (105,), float64)`
导入	`gymnasium.make("Ant-v5")`

描述¶

该环境基于 Schulman, Moritz, Levine, Jordan 和 Abbeel 在 “High-Dimensional Continuous Control Using Generalized Advantage Estimation” 中介绍的环境。Ant 是一个三维四足机器人，由一个躯干（自由旋转体）和连接在其上的四条腿组成，每条腿有两个身体部位。目标是通过对连接每条腿的两个身体部位和躯干的八个铰链施加扭矩，协调四条腿向前（右）方向移动（九个身体部位和八个铰链）。

注意：虽然机器人被称为“Ant”（蚂蚁），但它实际高 75 厘米，重 910.88 克，其中躯干重 327.25 克，每条腿重 145.91 克。

动作空间¶

动作空间是一个 Box(-1, 1, (8,), float32)。一个动作代表施加在铰链关节上的扭矩。

编号	动作	控制最小值	控制最大值	名称（在相应的 XML 文件中）	关节	类型（单位）
0	施加在躯干和右后髋部之间转子上的扭矩	-1	1	hip_4 (右后腿)	铰链	扭矩 (N·m)
1	施加在右后两条连杆之间转子上的扭矩	-1	1	angle_4 (右后腿)	铰链	扭矩 (N·m)
2	施加在躯干和左前髋部之间转子上的扭矩	-1	1	hip_1 (左前腿)	铰链	扭矩 (N·m)
3	施加在左前两条连杆之间转子上的扭矩	-1	1	angle_1 (左前腿)	铰链	扭矩 (N·m)
4	施加在躯干和右前髋部之间转子上的扭矩	-1	1	hip_2 (右前腿)	铰链	扭矩 (N·m)
5	施加在右前两条连杆之间转子上的扭矩	-1	1	angle_2 (右前腿)	铰链	扭矩 (N·m)
6	施加在躯干和左后髋部之间转子上的扭矩	-1	1	hip_3 (后腿)	铰链	扭矩 (N·m)
7	施加在左后两条连杆之间转子上的扭矩	-1	1	angle_3 (后腿)	铰链	扭矩 (N·m)

观测空间¶

观测空间包含以下部分（按顺序）

qpos（默认 13 个元素）： 机器人身体部位的位置值。
qvel（14 个元素）： 这些单独身体部位的速度（它们的导数）。
cfrc_ext（78 个元素）： 这是基于身体部位质心的外部力。它形状为 13 * 6 (nbody * 6)，因此为状态空间增加了另外 78 个元素。（外部力 - 力 x, y, z 和扭矩 x, y, z）

默认情况下，观测不包括躯干的 x 和 y 坐标。通过在构造时传入 exclude_current_positions_from_observation=False 可以将其包含在内。在这种情况下，观测空间将是 Box(-Inf, Inf, (107,), float64)，其中前两个观测是躯干的 x 和 y 坐标。无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都将以键 "x_position" 和 "y_position" 在 info 中返回。

然而，默认情况下，观测空间是一个 Box(-Inf, Inf, (105,), float64)，其中位置和速度元素如下

编号	观测	最小值	最大值	名称（在相应的 XML 文件中）	关节	类型（单位）
0	躯干（中心）的 z 坐标	-Inf	Inf	根	自由	位置 (m)
1	躯干（中心）的 w 方向	-Inf	Inf	根	自由	角度 (rad)
2	躯干（中心）的 x 方向	-Inf	Inf	根	自由	角度 (rad)
3	躯干（中心）的 y 方向	-Inf	Inf	根	自由	角度 (rad)
4	躯干（中心）的 z 方向	-Inf	Inf	根	自由	角度 (rad)
5	躯干与左前第一连杆之间的角度	-Inf	Inf	hip_1 (左前腿)	铰链	角度 (rad)
6	左前两个连杆之间的角度	-Inf	Inf	ankle_1 (左前腿)	铰链	角度 (rad)
7	躯干与右前第一连杆之间的角度	-Inf	Inf	hip_2 (右前腿)	铰链	角度 (rad)
8	右前两个连杆之间的角度	-Inf	Inf	ankle_2 (右前腿)	铰链	角度 (rad)
9	躯干与左后第一连杆之间的角度	-Inf	Inf	hip_3 (后腿)	铰链	角度 (rad)
10	左后两个连杆之间的角度	-Inf	Inf	ankle_3 (后腿)	铰链	角度 (rad)
11	躯干与右后第一连杆之间的角度	-Inf	Inf	hip_4 (右后腿)	铰链	角度 (rad)
12	右后两个连杆之间的角度	-Inf	Inf	ankle_4 (右后腿)	铰链	角度 (rad)
13	躯干的 x 坐标速度	-Inf	Inf	根	自由	速度 (m/s)
14	躯干的 y 坐标速度	-Inf	Inf	根	自由	速度 (m/s)
15	躯干的 z 坐标速度	-Inf	Inf	根	自由	速度 (m/s)
16	躯干的 x 坐标角速度	-Inf	Inf	根	自由	角速度 (rad/s)
17	躯干的 y 坐标角速度	-Inf	Inf	根	自由	角速度 (rad/s)
18	躯干的 z 坐标角速度	-Inf	Inf	根	自由	角速度 (rad/s)
19	躯干与左前连杆之间角度的角速度	-Inf	Inf	hip_1 (左前腿)	铰链	角度 (rad)
20	左前连杆之间角度的角速度	-Inf	Inf	ankle_1 (左前腿)	铰链	角度 (rad)
21	躯干与右前连杆之间角度的角速度	-Inf	Inf	hip_2 (右前腿)	铰链	角度 (rad)
22	右前连杆之间角度的角速度	-Inf	Inf	ankle_2 (右前腿)	铰链	角度 (rad)
23	躯干与左后连杆之间角度的角速度	-Inf	Inf	hip_3 (后腿)	铰链	角度 (rad)
24	左后连杆之间角度的角速度	-Inf	Inf	ankle_3 (后腿)	铰链	角度 (rad)
25	躯干与右后连杆之间角度的角速度	-Inf	Inf	hip_4 (右后腿)	铰链	角度 (rad)
26	右后连杆之间角度的角速度	-Inf	Inf	ankle_4 (右后腿)	铰链	角度 (rad)
排除	躯干（中心）的 x 坐标	-Inf	Inf	根	自由	位置 (m)
排除	躯干（中心）的 y 坐标	-Inf	Inf	根	自由	位置 (m)

身体部位是

身体部位	ID（对于 `v2`, `v3`, `v4)`	ID（对于 `v5`)
worldbody (注意：所有值均为常数 0)	0	排除
torso	1	0
front_left_leg	2	1
aux_1 (左前腿)	3	2
ankle_1 (左前腿)	4	3
front_right_leg	5	4
aux_2 (右前腿)	6	5
ankle_2 (右前腿)	7	6
back_leg (左后腿)	8	7
aux_3 (左后腿)	9	8
ankle_3 (左后腿)	10	9
right_back_leg	11	10
aux_4 (右后腿)	12	11
ankle_4 (右后腿)	13	12

(x,y,z) 坐标是平移自由度，而方向是表示为四元数的旋转自由度。有关自由关节的更多信息，请参阅 MuJoCo 文档。

注意： 使用 Ant-v3 或更早版本时，据报道当使用 mujoco-py 版本 > 2.0 时会出现问题，导致接触力始终为 0。因此，如果您想报告带有接触力的结果（如果实验中不使用接触力，则可以使用版本 > 2.0），建议在使用 Ant 环境时使用 mujoco-py 版本 < 2.0。

奖励¶

总奖励为 reward = healthy_reward + forward_reward - ctrl_cost - contact_cost。

healthy_reward：蚂蚁每健康一个时间步（参见“Episode End”部分中的定义），就会获得固定值 healthy_reward（默认为 \(1\)）的奖励。
forward_reward：向前移动的奖励，如果蚂蚁向前移动（沿正 \(x\) 方向 / 向右），该奖励将为正。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是 main_body 的位移（\(x_{action后} - x_{action前}\)），\(dt\) 是动作之间的时间，取决于 frame_skip 参数（默认为 \(5\)），以及 frametime（为 \(0.01\)）——因此默认值为 \(dt = 5 \times 0.01 = 0.05\)，\(w_{forward}\) 是 forward_reward_weight（默认为 \(1\)）。
ctrl_cost：一个负奖励，用于惩罚蚂蚁采取过大的动作。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（默认为 \(0.5\)）。
contact_cost：一个负奖励，用于惩罚蚂蚁如果外部接触力过大。\(w_{contact} \times \|F_{contact}\|_2^2\)，其中 \(w_{contact}\) 是 contact_cost_weight（默认为 \(5\times10^{-4}\)），\(F_{contact}\) 是被 contact_force_range 裁剪的外部接触力（参见观测空间中的 cfrc_ext 部分）。

info 包含各个奖励项。

但如果在 v4 上 use_contact_forces=False，则返回的总奖励为 reward = healthy_reward + forward_reward - ctrl_cost。

初始状态¶

初始位置状态是 \([0.0, 0.0, 0.75, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{15}, reset\_noise\_scale \times I_{15}]}\)。初始速度状态是 \(\mathcal{N}(0_{14}, reset\_noise\_scale^2 \times I_{14})\)。

其中 \(\mathcal{N}\) 是多元正态分布，\(\mathcal{U}\) 是多元均匀连续分布。

请注意，z 坐标和 x 坐标是非零的，这样蚂蚁可以立即站立并向前（x 轴）移动。

回合结束¶

终止¶

如果 terminate_when_unhealthy is True（默认），环境将在 Ant 不健康时终止。如果发生以下任何情况，Ant 将不健康

任何状态空间值不再是有限的。
躯干的 z 坐标（高度）不在 healthy_z_range 参数给定的闭区间内（默认为 \([0.2, 1.0]\)）。

截断¶

一个回合的默认持续时间是 1000 个时间步。

参数¶

Ant 提供了一系列参数来修改观测空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 期间按以下方式应用

import gymnasium as gym
env = gym.make('Ant-v5', ctrl_cost_weight=0.5, ...)

参数	类型	默认值	描述
`xml_file`	str	`"ant.xml"`	MuJoCo 模型的路径
`forward_reward_weight`	float	`1`	forward_reward 项的权重（参见 `Rewards` 部分）
`ctrl_cost_weight`	float	`0.5`	ctrl_cost 项的权重（参见 `Rewards` 部分）
`contact_cost_weight`	float	`5e-4`	contact_cost 项的权重（参见 `Rewards` 部分）
`healthy_reward`	float	`1`	healthy_reward 项的权重（参见 `Rewards` 部分）
`main_body`	str\|int	`1`（“torso”）	身体的名称或 ID，其位移用于计算 dx/forward_reward（对于自定义 MuJoCo 模型很有用）（参见 `Rewards` 部分）
`terminate_when_unhealthy`	bool	`True`	如果为 `True`，则在不健康时发出 `terminated` 信号（参见 `Episode End` 部分）
`healthy_z_range`	tuple	`(0.2, 1)`	如果躯干的 z 坐标在此范围内，则蚂蚁被认为是健康的（参见 `Episode End` 部分）
`contact_force_range`	tuple	`(-1, 1)`	在计算 contact_cost 时，接触力被裁剪到此范围（参见 `Rewards` 部分）
`reset_noise_scale`	float	`0.1`	初始位置和速度随机扰动的缩放比例（参见 `Starting State` 部分）
`exclude_current_positions_from_observation`	bool	`True`	是否从观测中省略 x 和 y 坐标。排除位置可以作为归纳偏置，以在策略中引发与位置无关的行为（参见 `Observation State` 部分）
`include_cfrc_ext_in_observation`	bool	`True`	是否在观测中包含 cfrc_ext 元素（参见 `Observation State` 部分）
`use_contact_forces`（仅 `v4`）	bool	`False`	如果为 `True`，则通过添加接触力来扩展观测空间（参见 `Observation Space` 部分），并在奖励函数中包含 contact_cost（参见 `Rewards` 部分）

版本历史¶

v5
- 最低 mujoco 版本现在是 2.3.3。
- 新增了使用 xml_file 参数完全自定义/第三方 mujoco 模型的支持（以前只能对现有模型进行少量更改）。
- 新增了 default_camera_config 参数，一个用于设置 mj_camera 属性的字典，主要用于自定义环境。
- 新增了 env.observation_structure，一个用于指定观测空间组成（例如 qpos、qvel）的字典，对于为 MuJoCo 环境构建工具和包装器很有用。
- 返回非空的 info 与 reset()，以前返回空字典，新键与 step() 中的状态信息相同。
- 新增了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请查阅环境文档页面。
- 修复了 bug：healthy_reward 在每个步骤都会给予（即使蚂蚁不健康），现在只有在蚂蚁健康时才给予。info["reward_survive"] 已根据此更改进行更新（相关 GitHub issue）。
- 奖励函数现在始终包含 contact_cost，以前仅当 use_contact_forces=True 时才包含（可以使用 contact_cost_weight=0 将其设置为 0）。
- 从观测空间中排除了 worldbody 的 cfrc_ext，因为它始终为 0，因此无法为智能体提供有用信息，从而略微加速了训练（相关 GitHub issue）。
- 新增了 main_body 参数，用于指定计算前进奖励的身体（主要用于自定义 MuJoCo 模型）。
- 新增了 forward_reward_weight 参数，默认为 1（与 v4 中的行为基本相同）。
- 新增了 include_cfrc_ext_in_observation 参数，以前在 v4 中，cfrc_ext 观测的包含由 use_contact_forces 控制，默认为 False，而 include_cfrc_ext_in_observation 默认为 True。
- 移除了 use_contact_forces 参数（注意：其功能已被 include_cfrc_ext_in_observation 和 contact_cost_weight 替代）（相关 GitHub issue）。
- 修复了 info["reward_ctrl"] 有时包含 contact_cost 而非 ctrl_cost 的问题。
- 修复了 info["x_position"] & info["y_position"] & info["distance_from_origin"] 给出 xpos 而非 qpos 观测的问题（xpos 观测滞后 1 个 mj_step()，见此处）（相关 GitHub issue #1 和 GitHub issue #2）。
- 移除了 info["forward_reward"]，因为它等同于 info["reward_forward"]。
v4：所有 MuJoCo 环境现在都使用 mujoco >= 2.1.3 中的 MuJoCo 绑定，同时从默认观测空间中移除了接触力（新变量 use_contact_forces=True 可以恢复它们）。
v3：支持 gymnasium.make kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。RGB 渲染来自跟踪相机（因此智能体不会跑出屏幕）。移至 gymnasium-robotics 仓库。
v2：所有连续控制环境现在都使用 mujoco-py >= 1.50。移至 gymnasium-robotics 仓库。
v1：基于机器人的任务的 max_time_steps 提高到 1000。向环境添加了 reward_threshold。
v0：初始版本发布