Ant¶
此环境是 Mujoco 环境的一部分，其中包含有关该环境的常规信息。
动作空间 |
|
观测空间 |
|
import |
|
描述¶
该环境基于 Schulman、Moritz、Levine、Jordan 和 Abbeel 在 “High-Dimensional Continuous Control Using Generalized Advantage Estimation” 中提出的环境。蚂蚁是一个 3D 四足机器人，由一个躯干（自由旋转体）和连接在其上的四条腿组成，每条腿有两个身体部位。其目标是通过对连接每条腿的两个身体部位与躯干之间的八个铰链施加扭矩，协调四条腿向前方（右侧）移动（共九个身体部位和八个铰链）。
注意：尽管该机器人被称为“蚂蚁”（Ant），但它实际上高 75cm，重 910.88g，其中躯干重 327.25g，每条腿重 145.91g。
动作空间¶
动作空间是 Box(-1, 1, (8,), float32)。动作表示施加在铰链关节上的扭矩。
编号 |
动作 |
控制最小值 |
控制最大值 |
名称（对应 XML 文件） |
关节 |
类型（单位） |
|---|---|---|---|---|---|---|
0 |
施加在躯干与右后髋关节之间的转子上的扭矩 |
-1 |
1 |
hip_4 (右后腿) |
铰链 (hinge) |
扭矩 (N m) |
1 |
施加在右后腿两个连杆之间的转子上的扭矩 |
-1 |
1 |
angle_4 (右后腿) |
铰链 (hinge) |
扭矩 (N m) |
2 |
施加在躯干与左前髋关节之间的转子上的扭矩 |
-1 |
1 |
hip_1 (左前腿) |
铰链 (hinge) |
扭矩 (N m) |
3 |
施加在左前腿两个连杆之间的转子上的扭矩 |
-1 |
1 |
angle_1 (左前腿) |
铰链 (hinge) |
扭矩 (N m) |
4 |
施加在躯干与右前髋关节之间的转子上的扭矩 |
-1 |
1 |
hip_2 (右前腿) |
铰链 (hinge) |
扭矩 (N m) |
5 |
施加在右前腿两个连杆之间的转子上的扭矩 |
-1 |
1 |
angle_2 (右前腿) |
铰链 (hinge) |
扭矩 (N m) |
6 |
施加在躯干与左后髋关节之间的转子上的扭矩 |
-1 |
1 |
hip_3 (后腿) |
铰链 (hinge) |
扭矩 (N m) |
7 |
施加在左后腿两个连杆之间的转子上的扭矩 |
-1 |
1 |
angle_3 (后腿) |
铰链 (hinge) |
扭矩 (N m) |
观测空间¶
观测空间由以下部分组成（按顺序）
qpos (默认 13 个元素): 机器人身体部位的位置值。
qvel (14 个元素): 这些身体部位的速度（位置的导数）。
cfrc_ext (78 个元素): 这是作用于身体部位的基于质心的外部力。其形状为 13 * 6 (nbody * 6)，因此为状态空间增加了 78 个元素。（外部力 - 力 x, y, z 以及扭矩 x, y, z）
默认情况下，观测值不包含躯干的 x 和 y 坐标。通过在构建时传入 exclude_current_positions_from_observation=False 可以包含这些坐标。在这种情况下，观测空间将是一个 Box(-Inf, Inf, (107,), float64)，其中前两个观测值是躯干的 x 和 y 坐标。无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都会以键 "x_position" 和 "y_position" 在 info 中返回。
然而，默认情况下，观测空间是一个 Box(-Inf, Inf, (105,), float64)，其中位置和速度元素如下：
编号 |
观测值 |
最小值 |
最大值 |
名称（对应 XML 文件） |
关节 |
类型（单位） |
|---|---|---|---|---|---|---|
0 |
躯干 z 坐标（中心） |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
位置 (m) |
1 |
躯干 w 方向（中心） |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
角度 (rad) |
2 |
躯干 x 方向（中心） |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
角度 (rad) |
3 |
躯干 y 方向（中心） |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
角度 (rad) |
4 |
躯干 z 方向（中心） |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
角度 (rad) |
5 |
躯干与左前第一连杆之间的角度 |
-Inf |
Inf |
hip_1 (左前腿) |
铰链 (hinge) |
角度 (rad) |
6 |
左前两个连杆之间的角度 |
-Inf |
Inf |
ankle_1 (左前腿) |
铰链 (hinge) |
角度 (rad) |
7 |
躯干与右前第一连杆之间的角度 |
-Inf |
Inf |
hip_2 (右前腿) |
铰链 (hinge) |
角度 (rad) |
8 |
右前两个连杆之间的角度 |
-Inf |
Inf |
ankle_2 (右前腿) |
铰链 (hinge) |
角度 (rad) |
9 |
躯干与左后第一连杆之间的角度 |
-Inf |
Inf |
hip_3 (后腿) |
铰链 (hinge) |
角度 (rad) |
10 |
左后两个连杆之间的角度 |
-Inf |
Inf |
ankle_3 (后腿) |
铰链 (hinge) |
角度 (rad) |
11 |
躯干与右后第一连杆之间的角度 |
-Inf |
Inf |
hip_4 (右后腿) |
铰链 (hinge) |
角度 (rad) |
12 |
右后两个连杆之间的角度 |
-Inf |
Inf |
ankle_4 (右后腿) |
铰链 (hinge) |
角度 (rad) |
13 |
躯干的 x 坐标速度 |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
速度 (m/s) |
14 |
躯干的 y 坐标速度 |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
速度 (m/s) |
15 |
躯干的 z 坐标速度 |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
速度 (m/s) |
16 |
躯干的 x 坐标角速度 |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
角速度 (rad/s) |
17 |
躯干的 y 坐标角速度 |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
角速度 (rad/s) |
18 |
躯干的 z 坐标角速度 |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
角速度 (rad/s) |
19 |
躯干与左前连杆之间角度的角速度 |
-Inf |
Inf |
hip_1 (左前腿) |
铰链 (hinge) |
角度 (rad) |
20 |
左前连杆之间角度的角速度 |
-Inf |
Inf |
ankle_1 (左前腿) |
铰链 (hinge) |
角度 (rad) |
21 |
躯干与右前连杆之间角度的角速度 |
-Inf |
Inf |
hip_2 (右前腿) |
铰链 (hinge) |
角度 (rad) |
22 |
右前连杆之间角度的角速度 |
-Inf |
Inf |
ankle_2 (右前腿) |
铰链 (hinge) |
角度 (rad) |
23 |
躯干与左后连杆之间角度的角速度 |
-Inf |
Inf |
hip_3 (后腿) |
铰链 (hinge) |
角度 (rad) |
24 |
左后连杆之间角度的角速度 |
-Inf |
Inf |
ankle_3 (后腿) |
铰链 (hinge) |
角度 (rad) |
25 |
躯干与右后连杆之间角度的角速度 |
-Inf |
Inf |
hip_4 (右后腿) |
铰链 (hinge) |
角度 (rad) |
26 |
右后连杆之间角度的角速度 |
-Inf |
Inf |
ankle_4 (右后腿) |
铰链 (hinge) |
角度 (rad) |
已排除 |
躯干 x 坐标（中心） |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
位置 (m) |
已排除 |
躯干 y 坐标（中心） |
-Inf |
Inf |
根节点 (root) |
自由 (free) |
位置 (m) |
身体部位为
身体部位 |
id (适用于 |
id (适用于 |
|---|---|---|
worldbody (注意：所有值均为常数 0) |
0 |
已排除 |
torso |
1 |
0 |
左前腿 |
2 |
1 |
aux_1 (左前腿) |
3 |
2 |
ankle_1 (左前腿) |
4 |
3 |
右前腿 |
5 |
4 |
aux_2 (右前腿) |
6 |
5 |
ankle_2 (右前腿) |
7 |
6 |
后腿 (左后腿) |
8 |
7 |
aux_3 (左后腿) |
9 |
8 |
ankle_3 (左后腿) |
10 |
9 |
右后腿 |
11 |
10 |
aux_4 (右后腿) |
12 |
11 |
ankle_4 (右后腿) |
13 |
12 |
(x,y,z) 坐标是平移自由度 (DOF)，而方向是表示为四元数的旋转自由度。您可以从 MuJoCo 文档中详细了解自由关节。
注意： 使用 Ant-v3 或更早版本时，据报道在使用 mujoco-py 版本 > 2.0 时存在问题，导致接触力始终为 0。因此，如果您想报告包含接触力的结果，建议在使用 Ant 环境时使用 mujoco-py 版本 < 2.0（如果您的实验中不使用接触力，则可以使用版本 > 2.0）。
奖励（Rewards）¶
总奖励为 reward = healthy_reward + forward_reward - ctrl_cost - contact_cost。
healthy_reward: 蚂蚁健康的每个时间步（参见“Episode End”部分中的定义），都会获得一个固定值的奖励
healthy_reward（默认为 \(1\)）。forward_reward: 向前移动的奖励，如果蚂蚁向前（在正 \(x\) 方向 / 向右方向）移动，则此奖励为正。公式为 \(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是
main_body的位移（\(x_{动作后} - x_{动作前}\)），\(dt\) 是动作之间的时间，取决于frame_skip参数（默认为 \(5\)）和frametime（为 \(0.01\)）——所以默认 \(dt = 5 \times 0.01 = 0.05\)，\(w_{forward}\) 是forward_reward_weight（默认为 \(1\)）。ctrl_cost: 惩罚蚂蚁采取过大动作的负奖励。公式为 \(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是
ctrl_cost_weight（默认为 \(0.5\)）。contact_cost: 如果外部接触力过大，则惩罚蚂蚁的负奖励。公式为 \(w_{contact} \times \|F_{contact}\|_2^2\)，其中 \(w_{contact}\) 是
contact_cost_weight（默认为 \(5\times10^{-4}\)），\(F_{contact}\) 是被contact_force_range裁剪后的外部接触力（参见观测空间的cfrc_ext部分）。
info 包含各个奖励项。
但在 v4 中，如果设置 use_contact_forces=False，返回的总奖励为 reward = healthy_reward + forward_reward - ctrl_cost。
起始状态¶
初始位置状态为 \([0.0, 0.0, 0.75, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{15}, reset\_noise\_scale \times I_{15}]}\)。初始速度状态为 \(\mathcal{N}(0_{14}, reset\_noise\_scale^2 \times I_{14})\)。
其中 \(\mathcal{N}\) 是多元正态分布，\(\mathcal{U}\) 是多元均匀连续分布。
注意，z 和 x 坐标是非零的，以便蚂蚁可以立即站立并面向前方（x 轴）。
回合结束¶
终止¶
如果 terminate_when_unhealthy 为 True（默认值），当蚂蚁不健康时环境终止。如果发生以下任何情况，蚂蚁即被视为不健康：
任何状态空间值不再是有限数。
躯干的 z 坐标（高度）不在
healthy_z_range参数给定的闭区间内（默认为 \([0.2, 1.0]\)）。
截断¶
一集的默认持续时间为 1000 个时间步。
参数¶
Ant 提供了多种参数来修改观测空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 中按如下方式应用：
import gymnasium as gym
env = gym.make('Ant-v5', ctrl_cost_weight=0.5, ...)
参数 |
类型 |
默认值 |
描述 |
|---|---|---|---|
|
str |
|
MuJoCo 模型的路径 |
|
float |
|
forward_reward 项的权重（参见 |
|
float |
|
ctrl_cost 项的权重（参见 |
|
float |
|
contact_cost 项的权重（参见 |
|
float |
|
healthy_reward 项的权重（参见 |
|
str|int |
|
用于计算 dx/forward_reward 的身体部位名称或 ID（对自定义 MuJoCo 模型很有用）（参见 |
|
bool |
|
如果 |
|
tuple |
|
如果躯干的 z 坐标在此范围内，则认为蚂蚁是健康的（参见 |
|
tuple |
|
在计算 contact_cost 时，接触力被裁剪到此范围（参见 |
|
float |
|
初始位置和速度的随机扰动比例（参见 |
|
bool |
|
是否从观测中省略 x 和 y 坐标。排除位置可以作为归纳偏置，以诱导策略中的位置无关行为（参见 |
|
bool |
|
是否在观测中包含 cfrc_ext 元素（参见 |
|
bool |
|
如果为 |
版本历史¶
v5
最低
mujoco版本现为 2.3.3。添加了对使用
xml_file参数的完全自定义/第三方mujoco模型的支持（此前只能对现有模型进行少量更改）。添加了
default_camera_config参数，这是一个用于设置mj_camera属性的字典，主要对自定义环境有用。添加了
env.observation_structure，一个用于指定观测空间组成（例如qpos,qvel）的字典，对构建 MuJoCo 环境的工具和包装器很有用。使用
reset()返回非空的info，之前返回的是空字典；新键与step()的状态信息相同。添加了
frame_skip参数，用于配置dt（step()的持续时间），默认值因环境而异，请检查环境文档页面。修复漏洞：
healthy_reward在每一步都会给出（即使蚂蚁不健康），现在仅在蚂蚁健康时才给出。info["reward_survive"]随此更改进行了更新（相关 GitHub issue）。奖励函数现在总是包含
contact_cost，之前仅在use_contact_forces=True时包含（可以通过contact_cost_weight=0设置为0）。从观测空间中排除了
worldbody的cfrc_ext，因为它始终为 0，不提供有用信息，略微加快了训练速度（相关 GitHub issue）。添加了
main_body参数，指定用于计算前进奖励的身体部位（主要对自定义 MuJoCo 模型有用）。添加了
forward_reward_weight参数，默认值为1（行为与v4相同）。添加了
include_cfrc_ext_in_observation参数，之前在v4中cfrc_ext观测值的包含由use_contact_forces控制（默认为False），而include_cfrc_ext_in_observation默认为True。删除了
use_contact_forces参数（注意：其功能已被include_cfrc_ext_in_observation和contact_cost_weight取代）（相关 GitHub issue）。修复了
info["reward_ctrl"]有时包含contact_cost而非ctrl_cost的问题。修复了
info["x_position"]&info["y_position"]&info["distance_from_origin"]提供xpos而非qpos观测的问题（xpos观测滞后 1 个mj_step()，更多信息参见 此处）（相关 GitHub issue #1 & GitHub issue #2）。删除了
info["forward_reward"]，因为它等同于info["reward_forward"]。
v4: 所有 MuJoCo 环境现在均使用 mujoco >= 2.1.3 中的绑定，并从默认观测空间中删除了接触力（新变量
use_contact_forces=True可恢复它们）。v3：支持
gymnasium.make关键字参数，例如xml_file、ctrl_cost_weight、reset_noise_scale等。RGB 渲染来自跟踪摄像头（因此智能体不会跑出屏幕）。已移至 gymnasium-robotics 仓库。v2：所有连续控制环境现在都使用 mujoco-py >= 1.50。已移至 gymnasium-robotics 仓库。
v1：将机器人任务的 max_time_steps 提高到 1000。为环境添加了 reward_threshold。
v0: 初始版本发布