人形

此环境是 Mujoco 环境的一部分，其中包含有关环境的一般信息。

动作空间	Box(-0.4, 0.4, (17,), float32)
观测空间	Box(-inf, inf, (348,), float64)
导入	gymnasium.make("Humanoid-v5")

描述

此环境基于 Tassa、Erez 和 Todorov 在 “通过在线轨迹优化合成和稳定复杂行为” 中介绍的环境。这个 3D 双足机器人旨在模拟人类。它有一个躯干（腹部）和一对腿和手臂，以及一对连接着臀部和膝盖的肌腱。每条腿都包含三个身体部位（大腿、小腿、脚），手臂包含两个身体部位（上臂、前臂）。该环境的目标是尽可能快地向前行走，而不跌倒。

动作空间

动作空间是一个 Box(-0.4, 0.4, (17,), float32)。动作表示作用于铰链关节的扭矩。

编号	动作	控制最小值	控制最大值	名称（在相应的 XML 文件中）	关节	类型（单位）
0	作用于腹部 y 坐标的铰链上的扭矩	-0.4	0.4	abdomen_y	铰链	扭矩 (N m)
1	作用于腹部 z 坐标的铰链上的扭矩	-0.4	0.4	abdomen_z	铰链	扭矩 (N m)
2	作用于腹部 x 坐标的铰链上的扭矩	-0.4	0.4	abdomen_x	铰链	扭矩 (N m)
3	作用于躯干/腹部和右髋关节之间（x 坐标）的转子上的扭矩	-0.4	0.4	right_hip_x (right_thigh)	铰链	扭矩 (N m)
4	作用于躯干/腹部和右髋关节之间（z 坐标）的转子上的扭矩	-0.4	0.4	right_hip_z (right_thigh)	铰链	扭矩 (N m)
5	作用于躯干/腹部和右髋关节之间（y 坐标）的转子上的扭矩	-0.4	0.4	right_hip_y (right_thigh)	铰链	扭矩 (N m)
6	作用于右髋关节/大腿和右小腿之间的转子上的扭矩	-0.4	0.4	right_knee	铰链	扭矩 (N m)
7	作用于躯干/腹部和左髋关节之间（x 坐标）的转子上的扭矩	-0.4	0.4	left_hip_x (left_thigh)	铰链	扭矩 (N m)
8	作用于躯干/腹部和左髋关节之间（z 坐标）的转子上的扭矩	-0.4	0.4	left_hip_z (left_thigh)	铰链	扭矩 (N m)
9	作用于躯干/腹部和左髋关节之间（y 坐标）的转子上的扭矩	-0.4	0.4	left_hip_y (left_thigh)	铰链	扭矩 (N m)
10	作用于左髋关节/大腿和左小腿之间的转子上的扭矩	-0.4	0.4	left_knee	铰链	扭矩 (N m)
11	作用于躯干和右上臂之间的转子（坐标 -1）上的扭矩	-0.4	0.4	right_shoulder1	铰链	扭矩 (N m)
12	作用于躯干和右上臂之间的转子（坐标 -2）上的扭矩	-0.4	0.4	right_shoulder2	铰链	扭矩 (N m)
13	作用于右上臂和右下臂之间的转子上的扭矩	-0.4	0.4	right_elbow	铰链	扭矩 (N m)
14	作用于躯干和左上臂之间的转子（坐标 -1）上的扭矩	-0.4	0.4	left_shoulder1	铰链	扭矩 (N m)
15	作用于躯干和左上臂之间的转子（坐标 -2）上的扭矩	-0.4	0.4	left_shoulder2	铰链	扭矩 (N m)
16	作用于左上臂和左下臂之间的转子上的扭矩	-0.4	0.4	left_elbow	铰链	扭矩 (N m)

观测空间

观测空间包含以下部分（按顺序）

• qpos（默认情况下 22 个元素）： 机器人身体部位的位置值。

• qvel（23 个元素）： 这些单个身体部位的速度（它们的导数）。

• cinert（130 个元素）： 相对于质心的刚性身体部位的质量和惯性（这是一个过渡的中间结果）。它的形状为 13*10（nbody * 10）。（cinert - 惯性矩阵和身体质量偏移和身体质量）

• cvel（78 个元素）： 基于质心的速度。它的形状为 13 * 6（nbody * 6）。（质心速度 - 速度 x、y、z 和角速度 x、y、z）

• qfrc_actuator（17 个元素）： 作为每个关节处的执行器力生成的约束力。它的形状为 (17,) (nv * 1)。

• cfrc_ext（78 个元素）： 这是基于质心的身体部位上的外部力。它的形状为 13 * 6（nbody * 6），因此在观测空间中添加了另外 78 个元素。（外部力 - 力 x、y、z 和力矩 x、y、z）

其中 nbody 是机器人中身体的数量，nv 是自由度数（= dim(qvel)）。

默认情况下，观测不包括躯干的 x 和 y 坐标。这些坐标可以通过在构造期间传递 exclude_current_positions_from_observation=False 来包含。在这种情况下，观测空间将是一个 Box(-Inf, Inf, (350,), float64)，其中前两个观测是躯干的 x 和 y 坐标。无论 exclude_current_positions_from_observation 是否设置为 True 或 False，x 和 y 坐标都在 info 中返回，键分别为 "x_position" 和 "y_position"。

但是，默认情况下，观测空间是一个 Box(-Inf, Inf, (348,), float64)，其中位置和速度元素如下

编号	观测	最小值	最大值	名称（在相应的 XML 文件中）	关节	类型（单位）
0	躯干（中心）的 z 坐标	-Inf	Inf	根	自由	位置 (m)
1	躯干（中心）的 w 方向	-Inf	Inf	根	自由	角度 (rad)
2	躯干（中心）的 x 方向	-Inf	Inf	根	自由	角度 (rad)
3	躯干（中心）的 y 方向	-Inf	Inf	根	自由	角度 (rad)
4	躯干（中心）的 z 方向	-Inf	Inf	根	自由	角度 (rad)
5	腹部（在 lower_waist 中）的 z 角	-Inf	Inf	abdomen_z	铰链	角度 (rad)
6	腹部（在 lower_waist 中）的 y 角	-Inf	Inf	abdomen_y	铰链	角度 (rad)
7	腹部（在 pelvis 中）的 x 角	-Inf	Inf	abdomen_x	铰链	角度 (rad)
8	骨盆和右髋关节之间角度（在 right_thigh 中）的 x 坐标	-Inf	Inf	right_hip_x	铰链	角度 (rad)
9	骨盆和右髋关节之间角度（在 right_thigh 中）的 z 坐标	-Inf	Inf	right_hip_z	铰链	角度 (rad)
10	骨盆和右髋关节之间角度（在 right_thigh 中）的 y 坐标	-Inf	Inf	right_hip_y	铰链	角度 (rad)
11	右髋关节和右小腿之间的角度（在 right_knee 中）	-Inf	Inf	right_knee	铰链	角度 (rad)
12	骨盆和左髋关节之间角度（在 left_thigh 中）的 x 坐标	-Inf	Inf	left_hip_x	铰链	角度 (rad)
13	骨盆和左髋关节之间角度（在 left_thigh 中）的 z 坐标	-Inf	Inf	left_hip_z	铰链	角度 (rad)
14	骨盆和左髋关节之间角度（在 left_thigh 中）的 y 坐标	-Inf	Inf	left_hip_y	铰链	角度 (rad)
15	左髋关节和左小腿之间的角度（在 left_knee 中）	-Inf	Inf	left_knee	铰链	角度 (rad)
16	躯干和右臂之间的角度（在 right_upper_arm 中）的坐标 -1（多轴）	-Inf	Inf	right_shoulder1	铰链	角度 (rad)
17	躯干和右臂之间的角度（在 right_upper_arm 中）的坐标 -2（多轴）	-Inf	Inf	right_shoulder2	铰链	角度 (rad)
18	右上臂和 right_lower_arm 之间的角度	-Inf	Inf	right_elbow	铰链	角度 (rad)
19	躯干和左臂之间的角度（在 left_upper_arm 中）的坐标 -1（多轴）	-Inf	Inf	left_shoulder1	铰链	角度 (rad)
20	躯干和左臂之间的角度（在 left_upper_arm 中）的坐标 -2（多轴）	-Inf	Inf	left_shoulder2	铰链	角度 (rad)
21	左上臂和 left_lower_arm 之间的角度	-Inf	Inf	left_elbow	铰链	角度 (rad)
22	躯干（中心）的 x 坐标速度	-Inf	Inf	根	自由	速度 (m/s)
23	躯干（中心）的 y 坐标速度	-Inf	Inf	根	自由	速度 (m/s)
24	躯干（中心）的 z 坐标速度	-Inf	Inf	根	自由	速度 (m/s)
25	躯干（中心）的 x 坐标角速度	-Inf	Inf	根	自由	角速度 (rad/s)
26	躯干（中心）的 y 坐标角速度	-Inf	Inf	根	自由	角速度 (rad/s)
27	躯干（中心）的 z 坐标角速度	-Inf	Inf	根	自由	角速度 (rad/s)
28	腹部（在 lower_waist 中）的角速度的 z 坐标	-Inf	Inf	abdomen_z	铰链	角速度 (rad/s)
29	腹部（在 lower_waist 中）的角速度的 y 坐标	-Inf	Inf	abdomen_y	铰链	角速度 (rad/s)
30	腹部（在 pelvis 中）的角速度的 x 坐标	-Inf	Inf	abdomen_x	铰链	角速度 (rad/s)
31	骨盆和右髋关节之间角度（在 right_thigh 中）的角速度的 x 坐标	-Inf	Inf	right_hip_x	铰链	角速度 (rad/s)
32	骨盆和右髋关节之间角度（在 right_thigh 中）的角速度的 z 坐标	-Inf	Inf	right_hip_z	铰链	角速度 (rad/s)
33	骨盆和右髋关节之间角度（在 right_thigh 中）的角速度的 y 坐标	-Inf	Inf	right_hip_y	铰链	角速度 (rad/s)
34	右髋关节和右小腿之间角度（在 right_knee 中）的角速度	-Inf	Inf	right_knee	铰链	角速度 (rad/s)
35	骨盆和左髋关节之间角度（在 left_thigh 中）的角速度的 x 坐标	-Inf	Inf	left_hip_x	铰链	角速度 (rad/s)
36	骨盆和左髋关节之间角度（在 left_thigh 中）的角速度的 z 坐标	-Inf	Inf	left_hip_z	铰链	角速度 (rad/s)
37	骨盆和左髋关节之间角度（在 left_thigh 中）的角速度的 y 坐标	-Inf	Inf	left_hip_y	铰链	角速度 (rad/s)
38	左髋关节和左小腿之间角度（在 left_knee 中）的角速度	-Inf	Inf	left_knee	铰链	角速度 (rad/s)
39	躯干和右臂之间的角度（在 right_upper_arm 中）的角速度的坐标 -1（多轴）	-Inf	Inf	right_shoulder1	铰链	角速度 (rad/s)
40	躯干和右臂之间的角度（在 right_upper_arm 中）的角速度的坐标 -2（多轴）	-Inf	Inf	right_shoulder2	铰链	角速度 (rad/s)
41	右上臂和 right_lower_arm 之间的角度的角速度	-Inf	Inf	right_elbow	铰链	角速度 (rad/s)
42	躯干和左臂之间的角度（在 left_upper_arm 中）的角速度的坐标 -1（多轴）	-Inf	Inf	left_shoulder1	铰链	角速度 (rad/s)
43	躯干和左臂之间的角度（在 left_upper_arm 中）的角速度的坐标 -2（多轴）	-Inf	Inf	left_shoulder2	铰链	角速度 (rad/s)
44	左上臂和 left_lower_arm 之间的角度的角速度	-Inf	Inf	left_elbow	铰链	角速度 (rad/s)
排除	躯干（中心）的 x 坐标	-Inf	Inf	根	自由	位置 (m)
排除	躯干（中心）的 y 坐标	-Inf	Inf	根	自由	位置 (m)

身体部位是

身体部位	id（对于 v2、v3、v4)	id（对于 v5）
世界物体（注意：所有值都是常数 0）	0	排除
躯干	1	0
腰部	2	1
骨盆	3	2
右大腿	4	3
右小腿	5	4
右脚	6	5
左大腿	7	6
左小腿	8	7
左脚	9	8
右上臂	10	9
右下臂	11	10
左上臂	12	11
左下臂	13	12

关节是

关节	id（对于 v2、v3、v4)	id（对于 v5）
根部（注意：所有值都是常数 0）	0	排除
根部（注意：所有值都是常数 0）	1	排除
根部（注意：所有值都是常数 0）	2	排除
根部（注意：所有值都是常数 0）	3	排除
根部（注意：所有值都是常数 0）	4	排除
根部（注意：所有值都是常数 0）	5	排除
abdomen_z	6	0
abdomen_y	7	1
abdomen_x	8	2
right_hip_x	9	3
right_hip_z	10	4
right_hip_y	11	5
right_knee	12	6
left_hip_x	13	7
左髋关节	14	8
left_hip_y	15	9
left_knee	16	10
right_shoulder1	17	11
right_shoulder2	18	12
right_elbow	19	13
left_shoulder1	20	14
left_shoulder2	21	15
左肘关节	22	16

（x,y,z）坐标是平移自由度，而方向是四元数表示的旋转自由度。你可以在 MuJoCo 文档 中了解更多关于自由关节的信息。

注意： 当使用 Humanoid-v3 或更早版本时，在使用 mujoco-py 版本 > 2.0 时，可能会出现问题，导致接触力始终为 0。因此，建议在使用 Humanoid 环境时使用 mujoco-py 版本 < 2.0，如果你想报告有接触力的结果（如果你的实验中没有使用接触力，你可以使用版本 > 2.0）。

奖励

总奖励为：奖励 = 健康奖励 + 前进奖励 - 控制成本 - 接触成本。

• 健康奖励：每当人形机器人存活时（见“情节结束”部分的定义），它会获得固定值 healthy_reward 的奖励（默认值为 \(5\)）。

• 前进奖励：向前移动的奖励，如果人形机器人向前移动（在正 \(x\) 方向/向右方向），此奖励将为正。 \(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是质心位移（\(x_{after-action} - x_{before-action}\)），\(dt\) 是动作之间的时间，取决于 frame_skip 参数（默认值为 \(5\)）和 frametime（值为 \(0.001\)） - 所以默认值为 \(dt = 5 \times 0.003 = 0.015\)，\(w_{forward}\) 是 forward_reward_weight（默认值为 \(1.25\)）。

• 控制成本：对人形机器人采取过大动作进行惩罚的负奖励。 \(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（默认值为 \(0.1\)）。

• 接触成本：如果外部接触力过大，对人形机器人进行惩罚的负奖励。 \(w_{contact} \times clamp(contact\_cost\_range, \|F_{contact}\|_2^2)\)，其中 \(w_{contact}\) 是 contact_cost_weight（默认值为 \(5\times10^{-7}\)），\(F_{contact}\) 是外部接触力（见观察中的 cfrc_ext 部分）。

info 包含各个奖励项。

注意： Humanoid-v4 环境中有一个错误，导致接触成本始终为 0。

初始状态

初始位置状态为 \([0.0, 0.0, 1.4, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{24}, reset\_noise\_scale \times I_{24}]}\)。初始速度状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{23}, reset\_noise\_scale \times I_{23}]}\)。

其中 \(\mathcal{U}\) 是多元均匀连续分布。

注意，z 坐标和 x 坐标不为零，这样人形机器人就可以立即站立起来并面向前方（x 轴）。

情节结束

终止

如果 terminate_when_unhealthy is True（默认值），当人形机器人不健康时，环境会终止。如果发生以下情况，人形机器人被认为是不健康的

1. 躯干的 z 坐标（高度）不在 healthy_z_range 参数给出的闭区间内（默认值为 \([1.0, 2.0]\)）。

截断

情节的默认持续时间为 1000 个时间步。

参数

Humanoid 提供了一系列参数来修改观察空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 中以以下方式应用

import gymnasium as gym
env = gym.make('Humanoid-v5', ctrl_cost_weight=0.1, ....)

参数	类型	默认值	描述
xml_file	str	"humanoid.xml"	指向 MuJoCo 模型的路径
forward_reward_weight	float	1.25	前进奖励 项的权重（见 奖励 部分）
ctrl_cost_weight	float	0.1	float
控制成本 项的权重（见 奖励 部分）	float	contact_cost_weight	5e-7
接触成本 项的权重（见 奖励 部分）	float	contact_cost_range	(-np.inf, 10.0)
对接触成本项进行钳位（见 奖励 部分）	float	5.0	healthy_reward
float	健康奖励 项的权重（见 奖励 部分）	terminate_when_unhealthy	bool
True	如果 True，则在不健康时发出 terminated 信号（见 情节结束 部分）	(1.0, 2.0)	healthy_z_range
tuple	float	如果躯干的 z 坐标在此范围内，则人形机器人被认为是健康的（见 情节结束 部分）	reset_noise_scale
1e-2	健康奖励 项的权重（见 奖励 部分）	terminate_when_unhealthy	初始位置和速度的随机扰动尺度（见 初始状态 部分）
exclude_current_positions_from_observation	健康奖励 项的权重（见 奖励 部分）	terminate_when_unhealthy	bool
True	健康奖励 项的权重（见 奖励 部分）	terminate_when_unhealthy	是否从观察中省略 x 坐标和 y 坐标。排除位置可以作为一种归纳偏差，在策略中诱导与位置无关的行为（见 观察状态 部分）
include_cinert_in_observation	健康奖励 项的权重（见 奖励 部分）	terminate_when_unhealthy	bool
False	健康奖励 项的权重（见 奖励 部分）	terminate_when_unhealthy	是否在观察中包含cinert 元素（见 观察状态 部分）

include_cvel_in_observation

• bool

  • False

  • 是否在观察中包含cvel 元素（见 观察状态 部分）

  • include_qfrc_actuator_in_observation

  • bool

  • False

  • 是否在观察中包含qfrc_actuator 元素（见 观察状态 部分）

  • include_cfrc_ext_in_observation

  • bool

  • False

  • 是否在观察中包含cfrc_ext 元素（见 观察状态 部分）

  • 添加了 include_cinert_in_observation、include_cvel_in_observation、include_qfrc_actuator_in_observation、include_cfrc_ext_in_observation 参数，以允许从观测空间中排除观测元素。

  • 修复了 info["x_position"] & info["y_position"] & info["distance_from_origin"] 返回 xpos 而不是 qpos 基于观测值 (xpos 观测值落后 1 mj_step()，详情请见此处) (相关 GitHub issue #1 & GitHub issue #2 )。

  • 添加了 info["tendon_length"] 和 info["tendon_velocity"]，包含人形机器人连接髋关节和膝关节的两个肌腱的观测值。

  • 将 info["reward_alive"] 重命名为 info["reward_survive"]，以与其他环境保持一致。

  • 将 info["reward_linvel"] 重命名为 info["reward_forward"]，以与其他环境保持一致。

  • 将 info["reward_quadctrl"] 重命名为 info["reward_ctrl"]，以与其他环境保持一致。

  • 删除了 info["forward_reward"]，因为它等同于 info["reward_forward"]。

• v4: 所有 MuJoCo 环境现在使用 mujoco >= 2.1.3 中的 MuJoCo 绑定。

• v3: 支持 gymnasium.make 的关键字参数，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。RGB 渲染来自跟踪相机 (因此代理不会从屏幕中逃跑)。

  • 注意：环境机器人模型在 gym==0.21.0 处略有改变，训练结果与 gym<0.21 和 gym>=0.21 不可比 (相关 GitHub PR)。

• v2: 所有连续控制环境现在使用 mujoco-py >= 1.50。

  • 注意：环境机器人模型在 gym==0.21.0 处略有改变，训练结果与 gym<0.21 和 gym>=0.21 不可比 (相关 GitHub PR)。

• v1: 基于机器人的任务的 max_time_steps 提高到 1000。为环境添加了 reward_threshold。

• v0: 初始版本发布。