蚂蚁¶

此环境是 Mujoco 环境的一部分，其中包含有关环境的一般信息。


动作空间	`Box(-1.0, 1.0, (8,), float32)`
观测空间	`Box(-inf, inf, (105,), float64)`
导入	`gymnasium.make("Ant-v5")`

描述¶

此环境基于 Schulman、Moritz、Levine、Jordan 和 Abbeel 在 “使用广义优势估计进行高维连续控制” 中介绍的环境。蚂蚁是一种 3D 四足机器人，由一个躯干（自由旋转体）和连接到躯干的四条腿组成，每条腿有两个身体部位。目标是通过对连接每条腿的两个身体部位和躯干（九个身体部位和八个铰链）的八个铰链施加扭矩来协调四条腿向前（右）移动。

注意：虽然机器人被称为“蚂蚁”，但它实际上高 75 厘米，重 910.88 克，躯干重 327.25 克，每条腿重 145.91 克。

动作空间¶

动作空间是一个 Box(-1, 1, (8,), float32)。动作表示施加在铰链关节上的扭矩。

编号	动作	控制最小值	控制最大值	名称（在相应的 XML 文件中）	关节	类型（单位）
0	施加在躯干和右后髋关节之间的转子上的扭矩	-1	1	hip_4 (right_back_leg)	铰链	扭矩（N m）
1	施加在右后两条链接之间的转子上的扭矩	-1	1	angle_4 (right_back_leg)	铰链	扭矩（N m）
2	施加在躯干和左前髋关节之间的转子上的扭矩	-1	1	hip_1 (front_left_leg)	铰链	扭矩（N m）
3	施加在左前两条链接之间的转子上的扭矩	-1	1	angle_1 (front_left_leg)	铰链	扭矩（N m）
4	施加在躯干和右前髋关节之间的转子上的扭矩	-1	1	hip_2 (front_right_leg)	铰链	扭矩（N m）
5	施加在右前两条链接之间的转子上的扭矩	-1	1	angle_2 (front_right_leg)	铰链	扭矩（N m）
6	施加在躯干和左后髋关节之间的转子上的扭矩	-1	1	hip_3 (back_leg)	铰链	扭矩（N m）
7	施加在左后两条链接之间的转子上的扭矩	-1	1	angle_3 (back_leg)	铰链	扭矩（N m）

观测空间¶

观测空间包含以下部分（按顺序）

qpos（默认情况下 13 个元素）： 机器人身体部位的位置值。
qvel（14 个元素）： 这些单个身体部位的速度（它们的一阶导数）。
cfrc_ext（78 个元素）： 这是基于质心的身体部位上的外部力。它具有形状 13 * 6（nbody * 6），因此为状态空间添加了另外 78 个元素。（外部力 - 力 x、y、z 和扭矩 x、y、z）

默认情况下，观测不包括躯干的 x 和 y 坐标。这些可以通过在构造期间传递 exclude_current_positions_from_observation=False 来包含。在这种情况下，观测空间将是一个 Box(-Inf, Inf, (107,), float64)，其中前两个观测是躯干的 x 和 y 坐标。无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都将在 info 中返回，键分别为 "x_position" 和 "y_position"。

但是，默认情况下，观测空间是一个 Box(-Inf, Inf, (105,), float64)，其中位置和速度元素如下所示

编号	观测	最小值	最大值	名称（在相应的 XML 文件中）	关节	类型（单位）
0	躯干（中心）的 z 坐标	-Inf	Inf	根	自由	位置（m）
1	躯干（中心）的 w 方向	-Inf	Inf	根	自由	角度（rad）
2	躯干（中心）的 x 方向	-Inf	Inf	根	自由	角度（rad）
3	躯干（中心）的 y 方向	-Inf	Inf	根	自由	角度（rad）
4	躯干（中心）的 z 方向	-Inf	Inf	根	自由	角度（rad）
5	躯干和左前链接之间角度	-Inf	Inf	hip_1 (front_left_leg)	铰链	角度（rad）
6	左前链接之间的角度	-Inf	Inf	ankle_1 (front_left_leg)	铰链	角度（rad）
7	躯干和右前链接之间角度	-Inf	Inf	hip_2 (front_right_leg)	铰链	角度（rad）
8	右前链接之间的角度	-Inf	Inf	ankle_2 (front_right_leg)	铰链	角度（rad）
9	躯干和左后链接之间角度	-Inf	Inf	hip_3 (back_leg)	铰链	角度（rad）
10	左后链接之间的角度	-Inf	Inf	ankle_3 (back_leg)	铰链	角度（rad）
11	躯干和右后链接之间角度	-Inf	Inf	hip_4 (right_back_leg)	铰链	角度（rad）
12	右后链接之间的角度	-Inf	Inf	ankle_4 (right_back_leg)	铰链	角度（rad）
13	躯干的 x 坐标速度	-Inf	Inf	根	自由	速度（m/s）
14	躯干的 y 坐标速度	-Inf	Inf	根	自由	速度（m/s）
15	躯干的 z 坐标速度	-Inf	Inf	根	自由	速度（m/s）
16	躯干的 x 坐标角速度	-Inf	Inf	根	自由	角速度（rad/s）
17	躯干的 y 坐标角速度	-Inf	Inf	根	自由	角速度（rad/s）
18	躯干的 z 坐标角速度	-Inf	Inf	根	自由	角速度（rad/s）
19	躯干和左前链接之间角度的角速度	-Inf	Inf	hip_1 (front_left_leg)	铰链	角度（rad）
20	左前链接之间的角度的角速度	-Inf	Inf	ankle_1 (front_left_leg)	铰链	角度（rad）
21	躯干和右前链接之间角度的角速度	-Inf	Inf	hip_2 (front_right_leg)	铰链	角度（rad）
22	右前链接之间的角度的角速度	-Inf	Inf	ankle_2 (front_right_leg)	铰链	角度（rad）
23	躯干和左后链接之间角度的角速度	-Inf	Inf	hip_3 (back_leg)	铰链	角度（rad）
24	左后链接之间的角度的角速度	-Inf	Inf	ankle_3 (back_leg)	铰链	角度（rad）
25	躯干和右后链接之间角度的角速度	-Inf	Inf	hip_4 (right_back_leg)	铰链	角度（rad）
26	右后链接之间的角度的角速度	-Inf	Inf	ankle_4 (right_back_leg)	铰链	角度（rad）
排除	躯干（中心）的 x 坐标	-Inf	Inf	根	自由	位置（m）
排除	躯干（中心）的 y 坐标	-Inf	Inf	根	自由	位置（m）

身体部位是

身体部位	id（对于 `v2`、`v3`、`v4)`	id（对于 `v5`)
worldbody（注意：所有值都是常数 0）	0	排除
躯干	1	0
front_left_leg	2	1
aux_1 (front left leg)	3	2
ankle_1 (front left leg)	4	3
front_right_leg	5	4
aux_2 (front right leg)	6	5
ankle_2 (front right leg)	7	6
back_leg (back left leg)	8	7
aux_3 (back left leg)	9	8
ankle_3 (back left leg)	10	9
right_back_leg	11	10
aux_4 (back right leg)	12	11
ankle_4 (back right leg)	13	12

(x,y,z) 坐标是平移 DOF，而方向是作为四元数表示的旋转 DOF。可以在 MuJoCo 文档中阅读有关自由关节的更多信息。

注意：当使用 Ant-v3 或更早版本时，在使用 mujoco-py 版本 > 2.0 时已报告问题，导致接触力始终为 0。因此，建议在使用 Ant 环境时使用 mujoco-py 版本 < 2.0，如果您想报告接触力的结果（如果您的实验中未使用接触力，则可以使用版本 > 2.0）。

奖励¶

总奖励为奖励 = 健康奖励 + 前进奖励 - 控制成本 - 接触成本。

健康奖励：蚂蚁健康的每个时间步（见“情节结束”部分的定义），它都会获得固定值 healthy_reward 的奖励（默认值为 \(1\)）。
forward_reward: 向前移动的奖励，如果蚂蚁向前移动（在正 \(x\) 方向/向右方向），则此奖励为正。 \(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是 main_body 的位移 (\(x_{after-action} - x_{before-action}\))，\(dt\) 是动作之间的时间，它取决于 frame_skip 参数（默认值为 \(5\)）和 frametime，它为 \(0.01\) - 所以默认值为 \(dt = 5 \times 0.01 = 0.05\)，\(w_{forward}\) 是 forward_reward_weight（默认值为 \(1\)）。
ctrl_cost: 对蚂蚁采取过大动作进行惩罚的负奖励。 \(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（默认值为 \(0.5\)）。
contact_cost: 如果外部接触力过大，则对蚂蚁进行惩罚的负奖励。 \(w_{contact} \times \|F_{contact}\|_2^2\)，其中 \(w_{contact}\) 是 contact_cost_weight（默认值为 \(5\times10^{-4}\)），\(F_{contact}\) 是由 contact_force_range 剪裁的外部接触力（参见观察空间中的 cfrc_ext 部分）。

info 包含各个奖励项。

但是，如果 use_contact_forces=False 在 v4 上，返回的总奖励为 reward = healthy_reward + forward_reward - ctrl_cost。

初始状态¶

初始位置状态为 \([0.0, 0.0, 0.75, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{15}, reset\_noise\_scale \times I_{15}]}\)。初始速度状态为 \(\mathcal{N}(0_{14}, reset\_noise\_scale^2 \times I_{14})\)。

其中 \(\mathcal{N}\) 是多元正态分布，\(\mathcal{U}\) 是多元均匀连续分布。

请注意，z 坐标和 x 坐标不为零，以便蚂蚁可以立即站立起来并面向前方（x 轴）。

剧集结束¶

终止¶

如果 terminate_when_unhealthy is True（默认值），则当蚂蚁不健康时环境会终止。如果发生以下任何情况，则蚂蚁不健康

任何状态空间值不再是有限的。
躯干的 z 坐标（高度）不在由 healthy_z_range 参数给出的闭区间内（默认值为 \([0.2, 1.0]\)）。

截断¶

剧集的默认持续时间为 1000 个时间步长。

参数¶

Ant 提供了一系列参数来修改观察空间、奖励函数、初始状态和终止条件。这些参数可以在以下方式中应用于 gymnasium.make

import gymnasium as gym
env = gym.make('Ant-v5', ctrl_cost_weight=0.5, ...)

参数	类型	默认值	描述
`xml_file`	str	`"ant.xml"`	MuJoCo 模型的路径
`forward_reward_weight`	float	`1`	forward_reward 项的权重（参见 `Rewards` 部分）
`ctrl_cost_weight`	float	`0.5`	float
`ctrl_cost 项的权重（参见 Rewards 部分）`	float	`contact_cost_weight`	5e-4
`contact_cost 项的权重（参见 Rewards 部分）`	float	`1`	healthy_reward
`float`	healthy_reward 项的权重（参见 `Rewards` 部分）	main_body	str\|int
`1(“torso”)`	*身体的名称或 ID，其位移用于计算 dx/forward_reward（对自定义 MuJoCo 模型有用）（参见 `Rewards` 部分）*	`terminate_when_unhealthy`	bool
`True`	如果 `True`，则发出一个 `terminated` 信号表示不健康（参见 `Episode End` 部分）	`(0.2, 1)`	healthy_z_range
`tuple`	如果 `True`，则发出一个 `terminated` 信号表示不健康（参见 `Episode End` 部分）	`(-1, 1)`	如果躯干的 z 坐标在这个范围内，则认为蚂蚁是健康的（参见 `Episode End` 部分）
`contact_force_range`	float	`0.1`	tuple
`在计算 contact_cost 时，接触力被剪裁到此范围（参见 Rewards 部分）`	*身体的名称或 ID，其位移用于计算 dx/forward_reward（对自定义 MuJoCo 模型有用）（参见 `Rewards` 部分）*	`terminate_when_unhealthy`	reset_noise_scale
`float`	*身体的名称或 ID，其位移用于计算 dx/forward_reward（对自定义 MuJoCo 模型有用）（参见 `Rewards` 部分）*	`terminate_when_unhealthy`	初始位置和速度的随机扰动的尺度（参见 `Starting State` 部分）
exclude_current_positions_from_observation	*身体的名称或 ID，其位移用于计算 dx/forward_reward（对自定义 MuJoCo 模型有用）（参见 `Rewards` 部分）*	`bool`	是否从观察中省略 x 坐标和 y 坐标。排除位置可以作为归纳偏差，以在策略中诱导与位置无关的行为（参见 `Observation State` 部分）

include_cfrc_ext_in_observation

bool
- 是否在观察中包含 cfrc_ext 元素（参见 Observation State 部分）
- use_contact_forces (v4 仅)
- bool
- False
- 如果 True，则通过添加接触力来扩展观察空间（参见 Observation Space 部分）并将 contact_cost 包含到奖励函数中（参见 Rewards 部分）
- 版本历史¶
- v5
- 现在最小 mujoco 版本为 2.3.3。
- 添加了对使用 xml_file 参数的完全自定义/第三方 mujoco 模型的支持（以前只能对现有模型进行一些更改）。
- 添加了 default_camera_config 参数，这是一个用于设置 mj_camera 属性的字典，主要对自定义环境有用。
- 添加了 env.observation_structure，这是一个用于指定观察空间组成的字典（例如 qpos，qvel），对构建 MuJoCo 环境的工具和包装器很有用。
- 使用 reset() 返回一个非空的 info，以前返回的是一个空字典，新键与 step() 相同的状态信息。
- 添加了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请查看环境文档页面。
- 修复了错误：healthy_reward 在每一步都被给出（即使蚂蚁不健康），现在它只在蚂蚁健康时被给出。info["reward_survive"] 已通过此更改进行了更新（相关 GitHub issue）。
- 奖励函数现在始终包含 contact_cost，之前它只在 use_contact_forces=True 时被包含（可以使用 contact_cost_weight=0 设置为 0）。
- 从观察空间中排除了 cfrc_ext of worldbody，因为它始终为 0 因此没有为代理提供任何有用的信息，从而导致训练速度略有提高（相关 GitHub issue）。
添加了 main_body 参数，它指定用于计算前进奖励的身体（主要对自定义 MuJoCo 模型有用）。
v3: 支持 gymnasium.make 的关键字参数，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。RGB 渲染来自跟踪摄像头（因此代理不会远离屏幕）。
v2: 所有连续控制环境现在使用 mujoco-py >= 1.50。
v1: 基于机器人的任务的 max_time_steps 提高到 1000。向环境添加了 reward_threshold。
v0: 初始版本发布