Humanoid

../../../_images/humanoid.gif

此环境是 Mujoco 环境的一部分，其中包含有关该环境的常规信息。

动作空间

Box(-0.4, 0.4, (17,), float32)

观测空间

Box(-inf, inf, (348,), float64)

import

gymnasium.make("Humanoid-v5")

描述

此环境基于 Tassa、Erez 和 Todorov 在“通过在线轨迹优化实现复杂行为的合成与稳定”一文中介绍的环境。该 3D 双足机器人旨在模拟人类。它拥有一个躯干（腹部）、一对腿和手臂，以及一对连接髋部和膝盖的肌腱。每条腿由三个身体部位（大腿、小腿、脚）组成，手臂由两个身体部位（上臂、前臂）组成。环境的目标是在不跌倒的情况下尽可能快地向前行走。

动作空间

../../../_images/humanoid.png

动作空间是一个 Box(-0.4, 0.4, (17,), float32)。动作表示施加在铰链关节上的扭矩。

编号

动作

控制最小值

控制最大值

名称（对应 XML 文件）

关节

类型（单位）

0

施加在腹部 y 坐标铰链上的扭矩

-0.4

0.4

abdomen_y

铰链 (hinge)

扭矩 (N m)

1

施加在腹部 z 坐标铰链上的扭矩

-0.4

0.4

abdomen_z

铰链 (hinge)

扭矩 (N m)

2

施加在腹部 x 坐标铰链上的扭矩

-0.4

0.4

abdomen_x

铰链 (hinge)

扭矩 (N m)

3

施加在躯干/腹部与右髋（x 坐标）之间转子上的扭矩

-0.4

0.4

right_hip_x (right_thigh)

铰链 (hinge)

扭矩 (N m)

4

施加在躯干/腹部与右髋（z 坐标）之间转子上的扭矩

-0.4

0.4

right_hip_z (right_thigh)

铰链 (hinge)

扭矩 (N m)

5

施加在躯干/腹部与右髋（y 坐标）之间转子上的扭矩

-0.4

0.4

right_hip_y (right_thigh)

铰链 (hinge)

扭矩 (N m)

6

施加在右髋/大腿与右小腿之间转子上的扭矩

-0.4

0.4

right_knee

铰链 (hinge)

扭矩 (N m)

7

施加在躯干/腹部与左髋（x 坐标）之间转子上的扭矩

-0.4

0.4

left_hip_x (left_thigh)

铰链 (hinge)

扭矩 (N m)

8

施加在躯干/腹部与左髋（z 坐标）之间转子上的扭矩

-0.4

0.4

left_hip_z (left_thigh)

铰链 (hinge)

扭矩 (N m)

9

施加在躯干/腹部与左髋（y 坐标）之间转子上的扭矩

-0.4

0.4

left_hip_y (left_thigh)

铰链 (hinge)

扭矩 (N m)

10

施加在左髋/大腿与左小腿之间转子上的扭矩

-0.4

0.4

left_knee

铰链 (hinge)

扭矩 (N m)

11

施加在躯干与右上臂（坐标 -1）之间转子上的扭矩

-0.4

0.4

right_shoulder1

铰链 (hinge)

扭矩 (N m)

12

施加在躯干与右上臂（坐标 -2）之间转子上的扭矩

-0.4

0.4

right_shoulder2

铰链 (hinge)

扭矩 (N m)

13

施加在右上臂与右前臂之间转子上的扭矩

-0.4

0.4

right_elbow

铰链 (hinge)

扭矩 (N m)

14

施加在躯干与左上臂（坐标 -1）之间转子上的扭矩

-0.4

0.4

left_shoulder1

铰链 (hinge)

扭矩 (N m)

15

施加在躯干与左上臂（坐标 -2）之间转子上的扭矩

-0.4

0.4

left_shoulder2

铰链 (hinge)

扭矩 (N m)

16

施加在左上臂与左前臂之间转子上的扭矩

-0.4

0.4

left_elbow

铰链 (hinge)

扭矩 (N m)

观测空间

观测空间由以下部分组成（按顺序）

  • qpos (默认 22 个元素)： 机器人身体部位的位置值。

  • qvel (23 个元素)： 这些身体部位的速度（其导数）。

  • cinert (130 个元素)： 刚体部分相对于质心的质量和惯性（这是转换的中间结果）。它的形状为 13*10 (nbody * 10)。（cinert - 惯性矩阵、身体质量偏移和身体质量）

  • cvel (78 个元素)： 基于质心的速度。它的形状为 13 * 6 (nbody * 6)。（com 速度 - 速度 x、y、z 和角速度 x、y、z）

  • qfrc_actuator (17 个元素)： 作为每个关节执行器力产生的约束力。其形状为 (17,) (nv * 1)。

  • cfrc_ext (78 个元素)： 这是身体部位上基于质心的外部力。它的形状为 13 * 6 (nbody * 6)，因此在观测空间中增加了 78 个元素。（外部力 - 力 x、y、z 和扭矩 x、y、z）

其中 nbody 是机器人中身体的数量，nv 是自由度数量（= dim(qvel)）。

默认情况下，观测不包括躯干的 x 和 y 坐标。可以通过在构建时传入 exclude_current_positions_from_observation=False 来包含这些坐标。在这种情况下，观测空间将是一个 Box(-Inf, Inf, (350,), float64)，其中前两个观测值是躯干的 x 和 y 坐标。无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都会以键 "x_position" 和 "y_position" 返回在 info 中。

默认情况下，观测空间是 Box(-Inf, Inf, (348,), float64)，其中位置和速度元素如下：

编号

观测值

最小值

最大值

名称（对应 XML 文件）

关节

类型（单位）

0

躯干 z 坐标（中心）

-Inf

Inf

根节点 (root)

自由 (free)

位置 (m)

1

躯干 w 方向（中心）

-Inf

Inf

根节点 (root)

自由 (free)

角度 (rad)

2

躯干 x 方向（中心）

-Inf

Inf

根节点 (root)

自由 (free)

角度 (rad)

3

躯干 y 方向（中心）

-Inf

Inf

根节点 (root)

自由 (free)

角度 (rad)

4

躯干 z 方向（中心）

-Inf

Inf

根节点 (root)

自由 (free)

角度 (rad)

5

腹部 z 角度（在 lower_waist 中）

-Inf

Inf

abdomen_z

铰链 (hinge)

角度 (rad)

6

腹部 y 角度（在 lower_waist 中）

-Inf

Inf

abdomen_y

铰链 (hinge)

角度 (rad)

7

腹部 x 角度（在 pelvis 中）

-Inf

Inf

abdomen_x

铰链 (hinge)

角度 (rad)

8

骨盆与右髋之间角度的 x 坐标（在 right_thigh 中）

-Inf

Inf

right_hip_x

铰链 (hinge)

角度 (rad)

9

骨盆与右髋之间角度的 z 坐标（在 right_thigh 中）

-Inf

Inf

right_hip_z

铰链 (hinge)

角度 (rad)

10

骨盆与右髋之间角度的 y 坐标（在 right_thigh 中）

-Inf

Inf

right_hip_y

铰链 (hinge)

角度 (rad)

11

右髋与右小腿之间的角度（在 right_knee 中）

-Inf

Inf

right_knee

铰链 (hinge)

角度 (rad)

12

骨盆与左髋之间角度的 x 坐标（在 left_thigh 中）

-Inf

Inf

left_hip_x

铰链 (hinge)

角度 (rad)

13

骨盆与左髋之间角度的 z 坐标（在 left_thigh 中）

-Inf

Inf

left_hip_z

铰链 (hinge)

角度 (rad)

14

骨盆与左髋之间角度的 y 坐标（在 left_thigh 中）

-Inf

Inf

left_hip_y

铰链 (hinge)

角度 (rad)

15

左髋与左小腿之间的角度（在 left_knee 中）

-Inf

Inf

left_knee

铰链 (hinge)

角度 (rad)

16

躯干与右臂之间坐标-1（多轴）角度（在 right_upper_arm 中）

-Inf

Inf

right_shoulder1

铰链 (hinge)

角度 (rad)

17

躯干与右臂之间坐标-2（多轴）角度（在 right_upper_arm 中）

-Inf

Inf

right_shoulder2

铰链 (hinge)

角度 (rad)

18

右上臂与右前臂之间的角度

-Inf

Inf

right_elbow

铰链 (hinge)

角度 (rad)

19

躯干与左臂之间坐标-1（多轴）角度（在 left_upper_arm 中）

-Inf

Inf

left_shoulder1

铰链 (hinge)

角度 (rad)

20

躯干与左臂之间坐标-2（多轴）角度（在 left_upper_arm 中）

-Inf

Inf

left_shoulder2

铰链 (hinge)

角度 (rad)

21

左上臂与左前臂之间的角度

-Inf

Inf

left_elbow

铰链 (hinge)

角度 (rad)

22

躯干 x 坐标速度（中心）

-Inf

Inf

根节点 (root)

自由 (free)

速度 (m/s)

23

躯干 y 坐标速度（中心）

-Inf

Inf

根节点 (root)

自由 (free)

速度 (m/s)

24

躯干 z 坐标速度（中心）

-Inf

Inf

根节点 (root)

自由 (free)

速度 (m/s)

25

躯干 x 坐标角速度（中心）

-Inf

Inf

根节点 (root)

自由 (free)

角速度 (rad/s)

26

躯干 y 坐标角速度（中心）

-Inf

Inf

根节点 (root)

自由 (free)

角速度 (rad/s)

27

躯干 z 坐标角速度（中心）

-Inf

Inf

根节点 (root)

自由 (free)

角速度 (rad/s)

28

腹部 z 坐标角速度（在 lower_waist 中）

-Inf

Inf

abdomen_z

铰链 (hinge)

角速度 (rad/s)

29

腹部 y 坐标角速度（在 lower_waist 中）

-Inf

Inf

abdomen_y

铰链 (hinge)

角速度 (rad/s)

30

腹部 x 坐标角速度（在 pelvis 中）

-Inf

Inf

abdomen_x

铰链 (hinge)

角速度 (rad/s)

31

骨盆与右髋之间角度的 x 坐标角速度（在 right_thigh 中）

-Inf

Inf

right_hip_x

铰链 (hinge)

角速度 (rad/s)

32

骨盆与右髋之间角度的 z 坐标角速度（在 right_thigh 中）

-Inf

Inf

right_hip_z

铰链 (hinge)

角速度 (rad/s)

33

骨盆与右髋之间角度的 y 坐标角速度（在 right_thigh 中）

-Inf

Inf

right_hip_y

铰链 (hinge)

角速度 (rad/s)

34

右髋与右小腿之间角度的角速度（在 right_knee 中）

-Inf

Inf

right_knee

铰链 (hinge)

角速度 (rad/s)

35

骨盆与左髋之间角度的 x 坐标角速度（在 left_thigh 中）

-Inf

Inf

left_hip_x

铰链 (hinge)

角速度 (rad/s)

36

骨盆与左髋之间角度的 z 坐标角速度（在 left_thigh 中）

-Inf

Inf

left_hip_z

铰链 (hinge)

角速度 (rad/s)

37

骨盆与左髋之间角度的 y 坐标角速度（在 left_thigh 中）

-Inf

Inf

left_hip_y

铰链 (hinge)

角速度 (rad/s)

38

左髋与左小腿之间角度的角速度（在 left_knee 中）

-Inf

Inf

left_knee

铰链 (hinge)

角速度 (rad/s)

39

躯干与右臂之间坐标-1（多轴）角度的角速度（在 right_upper_arm 中）

-Inf

Inf

right_shoulder1

铰链 (hinge)

角速度 (rad/s)

40

躯干与右臂之间坐标-2（多轴）角度的角速度（在 right_upper_arm 中）

-Inf

Inf

right_shoulder2

铰链 (hinge)

角速度 (rad/s)

41

右上臂与右前臂之间角度的角速度

-Inf

Inf

right_elbow

铰链 (hinge)

角速度 (rad/s)

42

躯干与左臂之间坐标-1（多轴）角度的角速度（在 left_upper_arm 中）

-Inf

Inf

left_shoulder1

铰链 (hinge)

角速度 (rad/s)

43

躯干与左臂之间坐标-2（多轴）角度的角速度（在 left_upper_arm 中）

-Inf

Inf

left_shoulder2

铰链 (hinge)

角速度 (rad/s)

44

左上臂与左前臂之间角度的角速度

-Inf

Inf

left_elbow

铰链 (hinge)

角速度 (rad/s)

已排除

躯干 x 坐标（中心）

-Inf

Inf

根节点 (root)

自由 (free)

位置 (m)

已排除

躯干 y 坐标（中心）

-Inf

Inf

根节点 (root)

自由 (free)

位置 (m)

身体部位为

身体部位

id (适用于 v2, v3, v4)

id (适用于 v5)

worldbody (注意：所有值均为常数 0)

0

已排除

torso

1

0

lwaist

2

1

pelvis

3

2

right_thigh

4

3

right_sin

5

4

right_foot

6

5

left_thigh

7

6

left_sin

8

7

left_foot

9

8

right_upper_arm

10

9

right_lower_arm

11

10

left_upper_arm

12

11

left_lower_arm

13

12

关节为

关节

id (适用于 v2, v3, v4)

id (适用于 v5)

root (注意：所有值均为常数 0)

0

已排除

root (注意：所有值均为常数 0)

1

已排除

root (注意：所有值均为常数 0)

2

已排除

root (注意：所有值均为常数 0)

3

已排除

root (注意：所有值均为常数 0)

4

已排除

root (注意：所有值均为常数 0)

5

已排除

abdomen_z

6

0

abdomen_y

7

1

abdomen_x

8

2

right_hip_x

9

3

right_hip_z

10

4

right_hip_y

11

5

right_knee

12

6

left_hip_x

13

7

left_hiz_z

14

8

left_hip_y

15

9

left_knee

16

10

right_shoulder1

17

11

right_shoulder2

18

12

right_elbow

19

13

left_shoulder1

20

14

left_shoulder2

21

15

left_elfbow

22

16

(x,y,z) 坐标是平移自由度 (DOF)，而方向是表示为四元数的旋转自由度。您可以从 MuJoCo 文档中详细了解自由关节。

注意： 使用 Humanoid-v3 或更早版本时，据报道使用 mujoco-py 版本 > 2.0 会导致接触力始终为 0。因此，如果您希望报告接触力相关结果，建议在 Humanoid 环境中使用 mujoco-py 版本 < 2.0（如果您的实验中不使用接触力，则可以使用 > 2.0 的版本）。

奖励（Rewards）

总奖励为：reward = healthy_reward + forward_reward - ctrl_cost - contact_cost。

  • healthy_reward：Humanoid 存活的每个时间步（定义见“剧集结束”部分），都会获得一个固定值 healthy_reward（默认值为 \(5\)）。

  • forward_reward：向前移动的奖励。如果 Humanoid 向前移动（向正 \(x\) 方向/向右方向），此奖励为正。公式为 \(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是质心的位移（\(x_{动作后} - x_{动作前}\)），\(dt\) 是动作之间的时间，这取决于 frame_skip 参数（默认值为 \(5\)）以及 frametime（为 \(0.001\)）——因此默认情况下 \(dt = 5 \times 0.003 = 0.015\)，\(w_{forward}\) 是 forward_reward_weight（默认值为 \(1.25\)）。

  • ctrl_cost：惩罚 Humanoid 采取过大动作的负奖励。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 为 ctrl_cost_weight（默认值为 \(0.1\)）。

  • contact_cost：如果外部接触力过大，惩罚 Humanoid 的负奖励。\(w_{contact} \times clamp(contact\_cost\_range, \|F_{contact}\|_2^2)\)，其中 \(w_{contact}\) 为 contact_cost_weight（默认值为 \(5\times10^{-7}\)），\(F_{contact}\) 是外部接触力（请参见观测中的 cfrc_ext 部分）。

info 包含各个奖励项。

注意： Humanoid-v4 环境中存在一个错误，导致 contact_cost 始终为 0。

起始状态

初始位置状态为 \([0.0, 0.0, 1.4, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{24}, reset\_noise\_scale \times I_{24}]}\)。初始速度状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{23}, reset\_noise\_scale \times I_{23}]}\)。

其中 \(\mathcal{U}\) 是多元均匀连续分布。

请注意，z 和 x 坐标是非零的，以便 humanoid 可以立即站立并面向前方（x 轴）。

回合结束

终止

如果 terminate_when_unhealthy 为 True（默认值），当 Humanoid 不健康时环境会终止。如果发生以下任何情况，则认为 Humanoid 不健康：

  1. 躯干的 z 坐标（高度）不在 healthy_z_range 参数给定的闭区间内（默认值为 \([1.0, 2.0]\)）。

截断

一集的默认持续时间为 1000 个时间步。

参数

Humanoid 提供了多种参数来修改观测空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 中按以下方式应用：

import gymnasium as gym
env = gym.make('Humanoid-v5', ctrl_cost_weight=0.1, ....)

参数

类型

默认值

描述

xml_file

str

"humanoid.xml"

MuJoCo 模型的路径

forward_reward_weight

float

1.25

forward_reward 项的权重（参见 奖励 部分）

ctrl_cost_weight

float

0.1

ctrl_cost 项的权重（参见 奖励 部分）

contact_cost_weight

float

5e-7

contact_cost 项的权重（参见 奖励 部分）

contact_cost_range

float

(-np.inf, 10.0)

限制 contact_cost 项（参见 奖励 部分）

healthy_reward

float

5.0

healthy_reward 项的权重（参见 奖励 部分）

terminate_when_unhealthy

bool

True

如果 True，则在不健康时发出 terminated 信号（参见 剧集结束 部分）

healthy_z_range

tuple

(1.0, 2.0)

如果躯干 z 坐标在此范围内，则认为 humanoid 健康（参见 剧集结束 部分）

reset_noise_scale

float

1e-2

初始位置和速度的随机扰动比例（参见 起始状态 部分）

exclude_current_positions_from_observation

bool

True

是否从观测中省略 x 和 y 坐标。排除位置可以作为一种归纳偏置，促使策略产生位置无关的行为（参见 观测状态 部分）

include_cinert_in_observation

bool

True

是否在观测中包含 cinert 元素（参见 观测状态 部分）

include_cvel_in_observation

bool

True

是否在观测中包含 cvel 元素（参见 观测状态 部分）

include_qfrc_actuator_in_observation

bool

True

是否在观测中包含 qfrc_actuator 元素（参见 观测状态 部分）

include_cfrc_ext_in_observation

bool

True

是否在观测中包含 cfrc_ext 元素（参见 观测状态 部分）

版本历史

  • v5

    • 最低 mujoco 版本现为 2.3.3。

    • 添加了对使用 xml_file 参数的完全自定义/第三方 mujoco 模型的支持（此前只能对现有模型进行少量更改）。

    • 添加了 default_camera_config 参数，这是一个用于设置 mj_camera 属性的字典，主要对自定义环境有用。

    • 添加了 env.observation_structure，一个用于指定观测空间组成（例如 qpos, qvel）的字典，对构建 MuJoCo 环境的工具和包装器很有用。

    • 使用 reset() 返回非空的 info，之前返回的是空字典；新键与 step() 的状态信息相同。

    • 添加了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请检查环境文档页面。

    • 修复错误：healthy_reward 在每一步都会给予（即使 Humanoid 不健康），现在仅在 Humanoid 健康时给予。info["reward_survive"] 已根据此更改进行更新（相关 GitHub issue）。

    • 恢复了 contact_cost 以及相应的 contact_cost_weight 和 contact_cost_range 参数，且默认值与 Humanoid-v3 相同（在 v4 中被移除）（相关 GitHub issue）。

    • 从观测空间中排除了 worldbody 和 root/freejoint 的 cinert & cvel & cfrc_ext 以及 qfrc_actuator，因为它们始终为 0，因此无法为智能体提供有用的信息，这导致训练速度略有提升（相关 GitHub issue）。

    • 恢复了 xml_file 参数（在 v4 中被移除）。

    • 添加了 include_cinert_in_observation、include_cvel_in_observation、include_qfrc_actuator_in_observation、include_cfrc_ext_in_observation 参数，以允许从观测空间中排除观测元素。

    • 修复了 info["x_position"] & info["y_position"] & info["distance_from_origin"] 返回 xpos 而不是基于 qpos 的观测值的问题（xpos 观测值滞后 1 个 mj_step()，更多详细信息请参考这里）（相关 GitHub issue #1 & GitHub issue #2）。

    • 添加了 info["tendon_length"] 和 info["tendon_velocity"]，其中包含 Humanoid 连接髋部和膝盖的 2 条肌腱的观测值。

    • 将 info["reward_alive"] 重命名为 info["reward_survive"]，以与其他环境保持一致。

    • 将 info["reward_linvel"] 重命名为 info["reward_forward"]，以与其他环境保持一致。

    • 将 info["reward_quadctrl"] 重命名为 info["reward_ctrl"]，以与其他环境保持一致。

    • 移除了 info["forward_reward"]，因为它等同于 info["reward_forward"]。

  • v4：所有 MuJoCo 环境现在使用 mujoco >= 2.1.3 中的 MuJoCo 绑定。

  • v3：支持 gymnasium.make 关键字参数，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。RGB 渲染来自跟踪摄像头（因此智能体不会跑出屏幕）。已移至 gymnasium-robotics 仓库。

    • 注意：环境机器人模型在 gym==0.21.0 处有轻微更改，训练结果与 gym<0.21 和 gym>=0.21 不可比（相关 GitHub PR）。

  • v2：所有连续控制环境现在都使用 mujoco-py >= 1.50。已移至 gymnasium-robotics 仓库。

    • 注意：环境机器人模型在 gym==0.21.0 处有轻微更改，训练结果与 gym<0.21 和 gym>=0.21 不可比（相关 GitHub PR）。

  • v1：将机器人任务的 max_time_steps 提高到 1000。为环境添加了 reward_threshold。

  • v0: 初始版本发布