人形站立¶

此环境是 Mujoco 环境的一部分，其中包含有关环境的一般信息。


动作空间	`Box(-0.4, 0.4, (17,), float32)`
观察空间	`Box(-inf, inf, (348,), float64)`
import	`gymnasium.make("HumanoidStandup-v5")`

描述¶

此环境基于 Tassa、Erez 和 Todorov 在 “通过在线轨迹优化合成和稳定复杂行为” 中介绍的环境。这种 3D 双足机器人旨在模拟人类。它有一个躯干（腹部），两条腿和两只胳膊，以及一对连接臀部和膝盖的肌腱。每条腿都由三个身体部位组成（大腿、小腿、脚），而手臂由两个身体部位组成（上臂、前臂）。环境从人形机器人躺在地上开始，然后环境的目标是让人形机器人站起来，然后通过对各种铰链施加扭矩来保持其站立。

动作空间¶

动作空间是一个 Box(-0.4, 0.4, (17,), float32)。动作表示作用于铰链关节的扭矩。

编号	动作	控制最小值	控制最大值	名称（在相应的 XML 文件中）	关节	类型（单位）
0	作用于腹部 y 坐标铰链上的扭矩	-0.4	0.4	abdomen_y	铰链	扭矩（N·m）
1	作用于腹部 z 坐标铰链上的扭矩	-0.4	0.4	abdomen_z	铰链	扭矩（N·m）
2	作用于腹部 x 坐标铰链上的扭矩	-0.4	0.4	abdomen_x	铰链	扭矩（N·m）
3	作用于躯干/腹部和右髋之间（x 坐标）的转子上的扭矩	-0.4	0.4	right_hip_x (right_thigh)	铰链	扭矩（N·m）
4	作用于躯干/腹部和右髋之间（z 坐标）的转子上的扭矩	-0.4	0.4	right_hip_z (right_thigh)	铰链	扭矩（N·m）
5	作用于躯干/腹部和右髋之间（y 坐标）的转子上的扭矩	-0.4	0.4	right_hip_y (right_thigh)	铰链	扭矩（N·m）
6	作用于右髋/大腿和右小腿之间的转子上的扭矩	-0.4	0.4	right_knee	铰链	扭矩（N·m）
7	作用于躯干/腹部和左髋之间（x 坐标）的转子上的扭矩	-0.4	0.4	left_hip_x (left_thigh)	铰链	扭矩（N·m）
8	作用于躯干/腹部和左髋之间（z 坐标）的转子上的扭矩	-0.4	0.4	left_hip_z (left_thigh)	铰链	扭矩（N·m）
9	作用于躯干/腹部和左髋之间（y 坐标）的转子上的扭矩	-0.4	0.4	left_hip_y (left_thigh)	铰链	扭矩（N·m）
10	作用于左髋/大腿和左小腿之间的转子上的扭矩	-0.4	0.4	left_knee	铰链	扭矩（N·m）
11	作用于躯干和右上臂之间的转子（坐标 -1）上的扭矩	-0.4	0.4	right_shoulder1	铰链	扭矩（N·m）
12	作用于躯干和右上臂之间的转子（坐标 -2）上的扭矩	-0.4	0.4	right_shoulder2	铰链	扭矩（N·m）
13	作用于右上臂和右下臂之间的转子上的扭矩	-0.4	0.4	right_elbow	铰链	扭矩（N·m）
14	作用于躯干和左上臂之间的转子（坐标 -1）上的扭矩	-0.4	0.4	left_shoulder1	铰链	扭矩（N·m）
15	作用于躯干和左上臂之间的转子（坐标 -2）上的扭矩	-0.4	0.4	left_shoulder2	铰链	扭矩（N·m）
16	作用于左上臂和左下臂之间的转子上的扭矩	-0.4	0.4	left_elbow	铰链	扭矩（N·m）

观察空间¶

观察空间包含以下部分（按顺序）

qpos（默认情况下为 22 个元素）： 机器人身体部位的位置值。
qvel（23 个元素）： 这些单个身体部位的速度（它们的导数）。
cinert（130 个元素）： 相对于质心的刚性身体部位的质量和惯性，（这是过渡的中间结果）。它的形状为 13*10（nbody * 10）。（cinert - 惯性矩阵和身体质量偏移和身体质量）
cvel（78 个元素）： 基于质心的速度。它的形状为 13 * 6（nbody * 6）。（质心速度 - 速度 x、y、z 和角速度 x、y、z）
qfrc_actuator（17 个元素）： 作为每个关节的执行器力而产生的约束力。它的形状为 (17,) (nv * 1)。
cfrc_ext（78 个元素）： 这是基于质心的身体部位的外部力。它的形状为 13 * 6（nbody * 6），因此将观察空间中增加了 78 个元素。（外部力 - 力 x、y、z 和扭矩 x、y、z）

其中 nbody 是机器人中身体的数量，nv 是自由度的数量（= dim(qvel)）。

默认情况下，观察不包括躯干的 x 和 y 坐标。这些坐标可以通过在构造期间传递 exclude_current_positions_from_observation=False 来包含。在这种情况下，观察空间将是一个 Box(-Inf, Inf, (350,), float64)，其中前两个观察值是躯干的 x 和 y 坐标。无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都将在 info 中返回，键分别为 "x_position" 和 "y_position"。

但是，默认情况下，观察空间是一个 Box(-Inf, Inf, (348,), float64)，其中位置和速度元素如下所示

编号	观察	最小值	最大值	名称（在相应的 XML 文件中）	关节	类型（单位）
0	躯干（中心）的 z 坐标	-Inf	Inf	根	自由	位置（m）
1	躯干（中心）的 w 方向	-Inf	Inf	根	自由	角度（rad）
2	躯干（中心）的 x 方向	-Inf	Inf	根	自由	角度（rad）
3	躯干（中心）的 y 方向	-Inf	Inf	根	自由	角度（rad）
4	躯干（中心）的 z 方向	-Inf	Inf	根	自由	角度（rad）
5	腹部（在 lower_waist 中）的 z 角	-Inf	Inf	abdomen_z	铰链	角度（rad）
6	腹部（在 lower_waist 中）的 y 角	-Inf	Inf	abdomen_y	铰链	角度（rad）
7	腹部（在 pelvis 中）的 x 角	-Inf	Inf	abdomen_x	铰链	角度（rad）
8	骨盆和右髋之间（在 right_thigh 中）的角度的 x 坐标	-Inf	Inf	right_hip_x	铰链	角度（rad）
9	骨盆和右髋之间（在 right_thigh 中）的角度的 z 坐标	-Inf	Inf	right_hip_z	铰链	角度（rad）
10	骨盆和右髋之间（在 right_thigh 中）的角度的 y 坐标	-Inf	Inf	right_hip_y	铰链	角度（rad）
11	右髋和右小腿之间的角度（在 right_knee 中）	-Inf	Inf	right_knee	铰链	角度（rad）
12	骨盆和左髋之间（在 left_thigh 中）的角度的 x 坐标	-Inf	Inf	left_hip_x	铰链	角度（rad）
13	骨盆和左髋之间（在 left_thigh 中）的角度的 z 坐标	-Inf	Inf	left_hip_z	铰链	角度（rad）
14	骨盆和左髋之间（在 left_thigh 中）的角度的 y 坐标	-Inf	Inf	left_hip_y	铰链	角度（rad）
15	左髋和左小腿之间的角度（在 left_knee 中）	-Inf	Inf	left_knee	铰链	角度（rad）
16	坐标 -1（多轴）躯干和右臂之间的角度（在 right_upper_arm 中）	-Inf	Inf	right_shoulder1	铰链	角度（rad）
17	坐标 -2（多轴）躯干和右臂之间的角度（在 right_upper_arm 中）	-Inf	Inf	right_shoulder2	铰链	角度（rad）
18	右上臂和 right_lower_arm 之间的角度	-Inf	Inf	right_elbow	铰链	角度（rad）
19	坐标 -1（多轴）躯干和左臂之间的角度（在 left_upper_arm 中）	-Inf	Inf	left_shoulder1	铰链	角度（rad）
20	坐标 -2（多轴）躯干和左臂之间的角度（在 left_upper_arm 中）	-Inf	Inf	left_shoulder2	铰链	角度（rad）
21	左上臂和 left_lower_arm 之间的角度	-Inf	Inf	left_elbow	铰链	角度（rad）
22	躯干（中心）的 x 坐标速度	-Inf	Inf	根	自由	速度（m/s）
23	躯干（中心）的 y 坐标速度	-Inf	Inf	根	自由	速度（m/s）
24	躯干（中心）的 z 坐标速度	-Inf	Inf	根	自由	速度（m/s）
25	躯干（中心）的 x 坐标角速度	-Inf	Inf	根	自由	角速度（rad/s）
26	躯干（中心）的 y 坐标角速度	-Inf	Inf	根	自由	角速度（rad/s）
27	躯干（中心）的 z 坐标角速度	-Inf	Inf	根	自由	角速度（rad/s）
28	腹部（在 lower_waist 中）的角速度的 z 坐标	-Inf	Inf	abdomen_z	铰链	角速度（rad/s）
29	腹部（在 lower_waist 中）的角速度的 y 坐标	-Inf	Inf	abdomen_y	铰链	角速度（rad/s）
30	腹部（在 pelvis 中）的角速度的 x 坐标	-Inf	Inf	abdomen_x	铰链	角速度（rad/s）
31	骨盆和右髋之间（在 right_thigh 中）的角度的角速度的 x 坐标	-Inf	Inf	right_hip_x	铰链	角速度（rad/s）
32	骨盆和右髋之间（在 right_thigh 中）的角度的角速度的 z 坐标	-Inf	Inf	right_hip_z	铰链	角速度（rad/s）
33	骨盆和右髋之间（在 right_thigh 中）的角度的角速度的 y 坐标	-Inf	Inf	right_hip_y	铰链	角速度（rad/s）
34	右髋和右小腿之间的角度（在 right_knee 中）的角速度	-Inf	Inf	right_knee	铰链	角速度（rad/s）
35	骨盆和左髋之间（在 left_thigh 中）的角度的角速度的 x 坐标	-Inf	Inf	left_hip_x	铰链	角速度（rad/s）
36	骨盆与左髋关节之间的角度的角速度的 z 坐标（在左大腿中）	-Inf	Inf	left_hip_z	铰链	角速度（rad/s）
37	骨盆与左髋关节之间的角度的角速度的 y 坐标（在左大腿中）	-Inf	Inf	left_hip_y	铰链	角速度（rad/s）
38	左髋关节与左小腿之间的角度的角速度（在左膝盖中）	-Inf	Inf	left_knee	铰链	角速度（rad/s）
39	躯干与右臂之间的角度的角速度的坐标 1（多轴）（在右上臂中）	-Inf	Inf	right_shoulder1	铰链	角速度（rad/s）
40	躯干与右臂之间的角度的角速度的坐标 2（多轴）（在右上臂中）	-Inf	Inf	right_shoulder2	铰链	角速度（rad/s）
41	右上臂与右下臂之间的角度的角速度	-Inf	Inf	right_elbow	铰链	角速度（rad/s）
42	躯干与左臂之间的角度的角速度的坐标 1（多轴）（在左上臂中）	-Inf	Inf	left_shoulder1	铰链	角速度（rad/s）
43	躯干与左臂之间的角度的角速度的坐标 2（多轴）（在左上臂中）	-Inf	Inf	left_shoulder2	铰链	角速度（rad/s）
44	左上臂与左下臂之间的角度的角速度	-Inf	Inf	left_elbow	铰链	角速度（rad/s）
已排除	躯干（中心）的 x 坐标	-Inf	Inf	根	自由	位置（m）
已排除	躯干（中心）的 y 坐标	-Inf	Inf	根	自由	位置（m）

身体部位是

身体部位	id（对于 `v2`、`v3`、`v4)`	id（对于 `v5`）
worldbody（注意：所有值均为常数 0）	0	已排除
躯干	1	0
lwaist	2	1
骨盆	3	2
右大腿	4	3
右小腿	5	4
右脚	6	5
左大腿	7	6
左小腿	8	7
左脚	9	8
右上臂	10	9
右下臂	11	10
左上臂	12	11
左下臂	13	12

关节是

关节	id（对于 `v2`、`v3`、`v4)`	id（对于 `v5`）
根部（注意：所有值均为常数 0）	0	已排除
根部（注意：所有值均为常数 0）	1	已排除
根部（注意：所有值均为常数 0）	2	已排除
根部（注意：所有值均为常数 0）	3	已排除
根部（注意：所有值均为常数 0）	4	已排除
根部（注意：所有值均为常数 0）	5	已排除
abdomen_z	6	0
abdomen_y	7	1
abdomen_x	8	2
right_hip_x	9	3
right_hip_z	10	4
right_hip_y	11	5
right_knee	12	6
left_hip_x	13	7
左髋关节_z	14	8
left_hip_y	15	9
left_knee	16	10
right_shoulder1	17	11
right_shoulder2	18	12
right_elbow	19	13
left_shoulder1	20	14
left_shoulder2	21	15
左肘关节	22	16

(x,y,z) 坐标是平移 DOF，而方向是作为四元数表示的旋转 DOF。您可以在 MuJoCo 文档中了解更多关于自由关节的信息。

注意：当使用 HumanoidStandup-v3 或更早版本时，使用 mujoco-py 版本 > 2.0 时，已报告存在问题，导致接触力始终为 0。因此，建议在使用 HumanoidStandup 环境时使用 mujoco-py 版本 < 2.0，如果您想使用接触力报告结果（如果您的实验中不使用接触力，则可以使用版本 > 2.0）。

奖励¶

总奖励为：奖励 = uph_cost + 1 - quad_ctrl_cost - quad_impact_cost。

uph_cost：向上移动（试图站起来）的奖励。这不是一个相对奖励，它衡量机器人自上次时间步长以来移动了多远，而是一个绝对奖励，衡量人形机器人总共向上移动了多远。它被测量为 \(w{uph} \times (z_{after action} - 0)/dt\)，其中 \(z_{after action}\) 是采取行动后躯干的 z 坐标，\(dt\) 是行动之间的时间，这取决于 frame_skip 参数（默认值为 \(5\)）和 frametime，该值为 \(0.01\) - 因此默认值为 \(dt = 5 \times 0.01 = 0.05\)，\(w_{uph}\) 为 uph_cost_weight。
quad_ctrl_cost：一个负奖励，用于惩罚人形机器人采取过大的行动。 \(w_{quad\_control} \times \|action\|_2^2\)，其中 \(w_{quad\_control}\) 为 ctrl_cost_weight（默认值为 \(0.1\)）。
impact_cost：一个负奖励，用于惩罚人形机器人如果外部接触力过大。 \(w_{impact} \times clamp(impact\_cost\_range, \|F_{contact}\|_2^2)\)，其中 \(w_{impact}\) 为 impact_cost_weight（默认值为 \(5\times10^{-7}\)），\(F_{contact}\) 是外部接触力（请参阅观察空间上的 cfrc_ext 部分）。

info 包含各个奖励项。

起始状态¶

初始位置状态为 \([0.0, 0.0, 1.4, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{24}, reset\_noise\_scale \times I_{24}]}\)。初始速度状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{23}, reset\_noise\_scale \times I_{23}]}\)。

其中 \(\mathcal{U}\) 是多元均匀连续分布。

注意，z 坐标和 x 坐标不为零，以便人形机器人立即躺下并面向前方（x 轴）。

情节结束¶

终止¶

人形机器人永远不会终止。

截断¶

情节的默认持续时间为 1000 个时间步长。

参数¶

HumanoidStandup 提供一系列参数来修改观察空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 中以以下方式应用

import gymnasium as gym
env = gym.make('HumanoidStandup-v5', impact_cost_weight=0.5e-6, ....)

参数	类型	默认值	描述
`xml_file`	str	`"humanoidstandup.xml"`	MuJoCo 模型的路径
`uph_cost_weight`	float	`1`	uph_cost 项的权重（请参阅 `Rewards` 部分）
`ctrl_cost_weight`	float	`0.1`	float
`quad_ctrl_cost 项的权重（请参阅 Rewards 部分）`	float	`impact_cost_weight`	0.5e-6
`impact_cost 项的权重（请参阅 Rewards 部分）`	float	`impact_cost_range`	(-np.inf, 10.0)
`钳制 impact_cost（请参阅 Rewards 部分）`	float	`reset_noise_scale`	1e-2
`初始位置和速度的随机扰动的比例（请参阅 Starting State 部分）`	exclude_current_positions_from_observation	`bool`	True
`是否从观察中省略 x 坐标和 y 坐标。排除位置可以作为一种归纳偏差，在策略中诱导位置无关的行为（请参阅 Observation Space 部分）`	exclude_current_positions_from_observation	`bool`	include_cinert_in_observation
`bool`	exclude_current_positions_from_observation	`bool`	False
`是否在观察中包含 cinert 元素（请参阅 Observation Space 部分）`	exclude_current_positions_from_observation	`bool`	include_cvel_in_observation
`bool`	exclude_current_positions_from_observation	`bool`	False

是否在观察中包含 cvel 元素（请参阅 `Observation Space` 部分）

include_qfrc_actuator_in_observation
- bool
- False
- 是否在观察中包含 qfrc_actuator 元素（请参阅 Observation Space 部分）
- include_cfrc_ext_in_observation
- bool
- False
- 是否在观察中包含 cfrc_ext 元素（请参阅 Observation Space 部分）
- 版本历史记录¶
- v5
- 最低 mujoco 版本现在是 2.3.3。
- 添加了对使用 xml_file 参数的完全自定义/第三方 mujoco 模型的支持（以前只能对现有模型进行一些更改）。
- 添加了 default_camera_config 参数，这是一个用于设置 mj_camera 属性的字典，主要用于自定义环境。
- 添加了 env.observation_structure，这是一个用于指定观察空间组成的字典（例如 qpos、qvel），有助于为 MuJoCo 环境构建工具和包装器。
- 使用 reset() 返回一个非空的 info，以前返回的是一个空字典，新的键与 step() 的状态信息相同。
- 添加了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请查看环境文档页面。
从观察空间中排除了 cinert & cvel & cfrc_ext 的 worldbody 和 root/freejoint qfrc_actuator，因为它们始终为 0，因此没有为代理提供有用的信息，导致训练速度略有提高（相关的 GitHub 问题）。
恢复了 xml_file 参数（在 v4 中已删除）。
添加了 xml_file 参数。
添加了 uph_cost_weight、ctrl_cost_weight、impact_cost_weight、impact_cost_range 参数来配置奖励函数（默认值与 v4 中的默认值基本相同）。
v0：初始版本发布。