Humanoid (人形机器人)¶
此环境是 Mujoco 环境的一部分，其中包含有关环境的通用信息。
动作空间 |
|
观测空间 |
|
导入 |
|
描述¶
此环境基于 Tassa、Erez 和 Todorov 在 “通过在线轨迹优化综合和稳定复杂行为” 中介绍的环境。 3D 双足机器人旨在模拟人类。它有一个躯干（腹部），带有一对腿和手臂，以及一对将髋部连接到膝盖的肌腱。腿部各由三个身体部位（大腿、小腿、脚）组成，手臂由两个身体部位（上臂、前臂）组成。环境的目标是尽可能快地向前行走而不会摔倒。
动作空间¶
动作空间是一个 Box(-0.4, 0.4, (17,), float32)。动作表示在铰链关节处施加的扭矩。
编号 |
动作 |
控制最小值 |
控制最大值 |
名称（在相应的 XML 文件中） |
关节 |
类型（单位） |
|---|---|---|---|---|---|---|
0 |
施加在腹部 y 坐标铰链上的扭矩 |
-0.4 |
0.4 |
abdomen_y (腹部_y) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
1 |
施加在腹部 z 坐标铰链上的扭矩 |
-0.4 |
0.4 |
abdomen_z (腹部_z) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
2 |
施加在腹部 x 坐标铰链上的扭矩 |
-0.4 |
0.4 |
abdomen_x (腹部_x) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
3 |
施加在躯干/腹部和右髋部（x 坐标）之间转子上的扭矩 |
-0.4 |
0.4 |
right_hip_x (right_thigh) (右髋部_x (右大腿)) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
4 |
施加在躯干/腹部和右髋部（z 坐标）之间转子上的扭矩 |
-0.4 |
0.4 |
right_hip_z (right_thigh) (右髋部_z (右大腿)) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
5 |
施加在躯干/腹部和右髋部（y 坐标）之间转子上的扭矩 |
-0.4 |
0.4 |
right_hip_y (right_thigh) (右髋部_y (右大腿)) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
6 |
施加在右髋部/大腿和右小腿之间转子上的扭矩 |
-0.4 |
0.4 |
right_knee (右膝盖) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
7 |
施加在躯干/腹部和左髋部（x 坐标）之间转子上的扭矩 |
-0.4 |
0.4 |
left_hip_x (left_thigh) (左髋部_x (左大腿)) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
8 |
施加在躯干/腹部和左髋部（z 坐标）之间转子上的扭矩 |
-0.4 |
0.4 |
left_hip_z (left_thigh) (左髋部_z (左大腿)) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
9 |
施加在躯干/腹部和左髋部（y 坐标）之间转子上的扭矩 |
-0.4 |
0.4 |
left_hip_y (left_thigh) (左髋部_y (左大腿)) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
10 |
施加在左髋部/大腿和左小腿之间转子上的扭矩 |
-0.4 |
0.4 |
left_knee (左膝盖) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
11 |
施加在躯干和右上臂之间转子上的扭矩（坐标 -1） |
-0.4 |
0.4 |
right_shoulder1 (右肩部1) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
12 |
施加在躯干和右上臂之间转子上的扭矩（坐标 -2） |
-0.4 |
0.4 |
right_shoulder2 (右肩部2) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
13 |
施加在右上臂和右下臂之间转子上的扭矩 |
-0.4 |
0.4 |
right_elbow (右肘部) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
14 |
施加在躯干和左上臂之间转子上的扭矩（坐标 -1） |
-0.4 |
0.4 |
left_shoulder1 (左肩部1) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
15 |
施加在躯干和左上臂之间转子上的扭矩（坐标 -2） |
-0.4 |
0.4 |
left_shoulder2 (左肩部2) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
16 |
施加在左上臂和左下臂之间转子上的扭矩 |
-0.4 |
0.4 |
left_elbow (左肘部) |
hinge (铰链) |
torque (N m) (扭矩 (牛·米)) |
观测空间¶
观测空间由以下部分组成（按顺序）
qpos (默认 22 个元素): 机器人身体部位的位置值。
qvel (23 个元素): 这些单独身体部位的速度（它们的导数）。
cinert (130 个元素): 刚性身体部位相对于质心的质量和惯性，（这是过渡的中间结果）。它的形状为 13*10 (nbody * 10)。 (cinert - 惯性矩阵和身体质量偏移和身体质量)
cvel (78 个元素): 基于质心的速度。它的形状为 13 * 6 (nbody * 6)。 (com 速度 - 速度 x、y、z 和角速度 x、y、z)
qfrc_actuator (17 个元素): 在每个关节处作为执行器力生成的约束力。它的形状为
(17,)(nv * 1)。cfrc_ext (78 个元素): 这是基于质心的身体部位上的外力。它的形状为 13 * 6 (nbody * 6)，因此向观测空间添加了另外 78 个元素。（外力 - 力 x、y、z 和扭矩 x、y、z）
其中 nbody 是机器人中的身体数量，nv 是自由度数 (= dim(qvel))。
默认情况下，观测不包括躯干的 x 和 y 坐标。可以通过在构造期间传递 exclude_current_positions_from_observation=False 来包含这些坐标。在这种情况下，观测空间将是一个 Box(-Inf, Inf, (350,), float64)，其中前两个观测是躯干的 x 和 y 坐标。无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都会在 info 中返回，键分别为 "x_position" 和 "y_position"。
但是，默认情况下，观测空间是一个 Box(-Inf, Inf, (348,), float64)，其中位置和速度元素如下
编号 |
观测 |
最小值 |
最大值 |
名称（在相应的 XML 文件中） |
关节 |
类型（单位） |
|---|---|---|---|---|---|---|
0 |
躯干的 z 坐标（中心） |
-Inf |
Inf |
根部 |
自由 |
位置 (m) |
1 |
躯干的 w 方向（中心） |
-Inf |
Inf |
根部 |
自由 |
角度 (rad) |
2 |
躯干的 x 方向（中心） |
-Inf |
Inf |
根部 |
自由 |
角度 (rad) |
3 |
躯干的 y 方向（中心） |
-Inf |
Inf |
根部 |
自由 |
角度 (rad) |
4 |
躯干的 z 方向（中心） |
-Inf |
Inf |
根部 |
自由 |
角度 (rad) |
5 |
腹部的 z 角（在 lower_waist 中） |
-Inf |
Inf |
abdomen_z (腹部_z) |
hinge (铰链) |
角度 (rad) |
6 |
腹部的 y 角（在 lower_waist 中） |
-Inf |
Inf |
abdomen_y (腹部_y) |
hinge (铰链) |
角度 (rad) |
7 |
腹部的 x 角（在 pelvis 中） |
-Inf |
Inf |
abdomen_x (腹部_x) |
hinge (铰链) |
角度 (rad) |
8 |
骨盆和右髋部之间角度的 x 坐标（在 right_thigh 中） |
-Inf |
Inf |
right_hip_x (右髋部_x) |
hinge (铰链) |
角度 (rad) |
9 |
骨盆和右髋部之间角度的 z 坐标（在 right_thigh 中） |
-Inf |
Inf |
right_hip_z (右髋部_z) |
hinge (铰链) |
角度 (rad) |
10 |
骨盆和右髋部之间角度的 y 坐标（在 right_thigh 中） |
-Inf |
Inf |
right_hip_y (右髋部_y) |
hinge (铰链) |
角度 (rad) |
11 |
右髋部和右小腿之间角度（在 right_knee 中） |
-Inf |
Inf |
right_knee (右膝盖) |
hinge (铰链) |
角度 (rad) |
12 |
骨盆和左髋部之间角度的 x 坐标（在 left_thigh 中） |
-Inf |
Inf |
left_hip_x (左髋部_x) |
hinge (铰链) |
角度 (rad) |
13 |
骨盆和左髋部之间角度的 z 坐标（在 left_thigh 中） |
-Inf |
Inf |
left_hip_z (左髋部_z) |
hinge (铰链) |
角度 (rad) |
14 |
骨盆和左髋部之间角度的 y 坐标（在 left_thigh 中） |
-Inf |
Inf |
left_hip_y (左髋部_y) |
hinge (铰链) |
角度 (rad) |
15 |
左髋部和左小腿之间角度（在 left_knee 中） |
-Inf |
Inf |
left_knee (左膝盖) |
hinge (铰链) |
角度 (rad) |
16 |
躯干和右臂之间角度的坐标-1（多轴）（在 right_upper_arm 中） |
-Inf |
Inf |
right_shoulder1 (右肩部1) |
hinge (铰链) |
角度 (rad) |
17 |
躯干和右臂之间角度的坐标-2（多轴）（在 right_upper_arm 中） |
-Inf |
Inf |
right_shoulder2 (右肩部2) |
hinge (铰链) |
角度 (rad) |
18 |
右上臂和右下臂之间角度 |
-Inf |
Inf |
right_elbow (右肘部) |
hinge (铰链) |
角度 (rad) |
19 |
躯干和左臂之间角度的坐标-1（多轴）（在 left_upper_arm 中） |
-Inf |
Inf |
left_shoulder1 (左肩部1) |
hinge (铰链) |
角度 (rad) |
20 |
躯干和左臂之间角度的坐标-2（多轴）（在 left_upper_arm 中） |
-Inf |
Inf |
left_shoulder2 (左肩部2) |
hinge (铰链) |
角度 (rad) |
21 |
左上臂和左下臂之间角度 |
-Inf |
Inf |
left_elbow (左肘部) |
hinge (铰链) |
角度 (rad) |
22 |
躯干的 x 坐标速度（中心） |
-Inf |
Inf |
根部 |
自由 |
速度 (m/s) |
23 |
躯干的 y 坐标速度（中心） |
-Inf |
Inf |
根部 |
自由 |
速度 (m/s) |
24 |
躯干的 z 坐标速度（中心） |
-Inf |
Inf |
根部 |
自由 |
速度 (m/s) |
25 |
躯干的 x 坐标角速度（中心） |
-Inf |
Inf |
根部 |
自由 |
角速度 (rad/s) |
26 |
躯干的 y 坐标角速度（中心） |
-Inf |
Inf |
根部 |
自由 |
角速度 (rad/s) |
27 |
躯干的 z 坐标角速度（中心） |
-Inf |
Inf |
根部 |
自由 |
角速度 (rad/s) |
28 |
腹部的 z 坐标角速度（在 lower_waist 中） |
-Inf |
Inf |
abdomen_z (腹部_z) |
hinge (铰链) |
角速度 (rad/s) |
29 |
腹部的 y 坐标角速度（在 lower_waist 中） |
-Inf |
Inf |
abdomen_y (腹部_y) |
hinge (铰链) |
角速度 (rad/s) |
30 |
腹部的 x 坐标角速度（在 pelvis 中） |
-Inf |
Inf |
abdomen_x (腹部_x) |
hinge (铰链) |
角速度 (rad/s) |
31 |
骨盆和右髋部之间角度的角速度的 x 坐标（在 right_thigh 中） |
-Inf |
Inf |
right_hip_x (右髋部_x) |
hinge (铰链) |
角速度 (rad/s) |
32 |
骨盆和右髋部之间角度的角速度的 z 坐标（在 right_thigh 中） |
-Inf |
Inf |
right_hip_z (右髋部_z) |
hinge (铰链) |
角速度 (rad/s) |
33 |
骨盆和右髋部之间角度的角速度的 y 坐标（在 right_thigh 中） |
-Inf |
Inf |
right_hip_y (右髋部_y) |
hinge (铰链) |
角速度 (rad/s) |
34 |
右髋部和右小腿之间角度的角速度（在 right_knee 中） |
-Inf |
Inf |
right_knee (右膝盖) |
hinge (铰链) |
角速度 (rad/s) |
35 |
骨盆和左髋部之间角度的角速度的 x 坐标（在 left_thigh 中） |
-Inf |
Inf |
left_hip_x (左髋部_x) |
hinge (铰链) |
角速度 (rad/s) |
36 |
骨盆和左髋部之间角度的角速度的 z 坐标（在 left_thigh 中） |
-Inf |
Inf |
left_hip_z (左髋部_z) |
hinge (铰链) |
角速度 (rad/s) |
37 |
骨盆和左髋部之间角度的角速度的 y 坐标（在 left_thigh 中） |
-Inf |
Inf |
left_hip_y (左髋部_y) |
hinge (铰链) |
角速度 (rad/s) |
38 |
左髋部和左小腿之间角度的角速度（在 left_knee 中） |
-Inf |
Inf |
left_knee (左膝盖) |
hinge (铰链) |
角速度 (rad/s) |
39 |
躯干和右臂之间角度的角速度的坐标-1（多轴）（在 right_upper_arm 中） |
-Inf |
Inf |
right_shoulder1 (右肩部1) |
hinge (铰链) |
角速度 (rad/s) |
40 |
躯干和右臂之间角度的角速度的坐标-2（多轴）（在 right_upper_arm 中） |
-Inf |
Inf |
right_shoulder2 (右肩部2) |
hinge (铰链) |
角速度 (rad/s) |
41 |
右上臂和右下臂之间角度的角速度 |
-Inf |
Inf |
right_elbow (右肘部) |
hinge (铰链) |
角速度 (rad/s) |
42 |
躯干和左臂之间角度的角速度的坐标-1（多轴）（在 left_upper_arm 中） |
-Inf |
Inf |
left_shoulder1 (左肩部1) |
hinge (铰链) |
角速度 (rad/s) |
43 |
躯干和左臂之间角度的角速度的坐标-2（多轴）（在 left_upper_arm 中） |
-Inf |
Inf |
left_shoulder2 (左肩部2) |
hinge (铰链) |
角速度 (rad/s) |
44 |
左上臂和左下臂之间角度的角速度 |
-Inf |
Inf |
left_elbow (左肘部) |
hinge (铰链) |
角速度 (rad/s) |
已排除 |
躯干的 x 坐标（中心） |
-Inf |
Inf |
根部 |
自由 |
位置 (m) |
已排除 |
躯干的 y 坐标（中心） |
-Inf |
Inf |
根部 |
自由 |
位置 (m) |
身体部位是
身体部位 |
ID（对于 |
ID（对于 |
|---|---|---|
worldbody（注意：所有值均为常数 0） |
0 |
已排除 |
torso (躯干) |
1 |
0 |
lwaist (下腰) |
2 |
1 |
pelvis (骨盆) |
3 |
2 |
right_thigh (右大腿) |
4 |
3 |
right_sin (右胫骨) |
5 |
4 |
right_foot (右脚) |
6 |
5 |
left_thigh (左大腿) |
7 |
6 |
left_sin (左胫骨) |
8 |
7 |
left_foot (左脚) |
9 |
8 |
right_upper_arm (右上臂) |
10 |
9 |
right_lower_arm (右下臂) |
11 |
10 |
left_upper_arm (左上臂) |
12 |
11 |
left_lower_arm (左下臂) |
13 |
12 |
关节是
关节 |
ID（对于 |
ID（对于 |
|---|---|---|
root (根部)（注意：所有值均为常数 0） |
0 |
已排除 |
root (根部)（注意：所有值均为常数 0） |
1 |
已排除 |
root (根部)（注意：所有值均为常数 0） |
2 |
已排除 |
root (根部)（注意：所有值均为常数 0） |
3 |
已排除 |
root (根部)（注意：所有值均为常数 0） |
4 |
已排除 |
root (根部)（注意：所有值均为常数 0） |
5 |
已排除 |
abdomen_z (腹部_z) |
6 |
0 |
abdomen_y (腹部_y) |
7 |
1 |
abdomen_x (腹部_x) |
8 |
2 |
right_hip_x (右髋部_x) |
9 |
3 |
right_hip_z (右髋部_z) |
10 |
4 |
right_hip_y (右髋部_y) |
11 |
5 |
right_knee (右膝盖) |
12 |
6 |
left_hip_x (左髋部_x) |
13 |
7 |
left_hiz_z (左髋部_z) |
14 |
8 |
left_hip_y (左髋部_y) |
15 |
9 |
left_knee (左膝盖) |
16 |
10 |
right_shoulder1 (右肩部1) |
17 |
11 |
right_shoulder2 (右肩部2) |
18 |
12 |
right_elbow (右肘部) |
19 |
13 |
left_shoulder1 (左肩部1) |
20 |
14 |
left_shoulder2 (左肩部2) |
21 |
15 |
left_elfbow (左肘部) |
22 |
16 |
(x,y,z) 坐标是平移自由度，而方向是表示为四元数的旋转自由度。您可以在 MuJoCo 文档 中阅读有关自由关节的更多信息。
注意： 当使用 Humanoid-v3 或更早版本时，已报告使用 mujoco-py 版本 > 2.0 时出现问题，导致接触力始终为 0。因此，如果想要报告接触力的结果（如果实验中未使用接触力，则可以使用版本 > 2.0），建议在使用 Humanoid 环境时使用 mujoco-py 版本 < 2.0。
奖励¶
总奖励为：奖励 = 健康奖励 + 前进奖励 - 控制成本 - 接触成本。
healthy_reward (健康奖励)：在 Humanoid (人形机器人) 存活的每个时间步（请参阅“回合结束”部分中的定义），它都会获得固定值
healthy_reward的奖励（默认为 \(5\)）。forward_reward (前进奖励)：向前移动的奖励，如果 Humanoid (人形机器人) 向前移动（在正 \(x\) 方向/向右方向），则此奖励为正。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是质心的位移 (\(x_{after-action} - x_{before-action}\))，\(dt\) 是动作之间的时间，这取决于
frame_skip参数（默认为 \(5\)）和frametime，即 \(0.001\) - 因此默认值为 \(dt = 5 \times 0.003 = 0.015\)，\(w_{forward}\) 是forward_reward_weight（默认为 \(1.25\)）。ctrl_cost (控制成本)：对 Humanoid (人形机器人) 采取过大动作进行惩罚的负奖励。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是
ctrl_cost_weight（默认为 \(0.1\)）。contact_cost (接触成本)：如果外部接触力过大，则对 Humanoid (人形机器人) 进行惩罚的负奖励。\(w_{contact} \times clamp(contact\_cost\_range, \|F_{contact}\|_2^2)\)，其中 \(w_{contact}\) 是
contact_cost_weight（默认为 \(5\times10^{-7}\)），\(F_{contact}\) 是外部接触力（请参阅观测中的cfrc_ext部分）。
info 包含各个奖励项。
注意： Humanoid-v4 环境中存在一个错误，导致 contact_cost (接触成本) 始终为 0。
起始状态¶
初始位置状态为 \([0.0, 0.0, 1.4, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{24}, reset\_noise\_scale \times I_{24}]}\)。初始速度状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{23}, reset\_noise\_scale \times I_{23}]}\)。
其中 \(\mathcal{U}\) 是多元均匀连续分布。
请注意，z 和 x 坐标为非零，以便人形机器人可以立即站起来并面向前方（x 轴）。
回合结束¶
终止¶
如果 terminate_when_unhealthy 为 True（默认值），则当 Humanoid (人形机器人) 不健康时，环境将终止。如果发生以下任何一种情况，则认为 Humanoid (人形机器人) 不健康
躯干的 z 坐标（高度）不在
healthy_z_range参数给定的闭区间内（默认为 \([1.0, 2.0]\)）。
截断¶
回合的默认持续时间为 1000 个时间步。
参数¶
Humanoid (人形机器人) 提供了许多参数来修改观测空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 期间以以下方式应用
import gymnasium as gym
env = gym.make('Humanoid-v5', ctrl_cost_weight=0.1, ....)
参数 |
类型 |
默认值 |
描述 |
|---|---|---|---|
|
str |
|
MuJoCo 模型的路径 |
|
float |
|
forward_reward (前进奖励) 项的权重（请参阅 |
|
float |
|
ctrl_cost (控制成本) 项的权重（请参阅 |
|
float |
|
contact_cost (接触成本) 项的权重（请参阅 |
|
float |
|
钳制 contact_cost (接触成本) 项（请参阅 |
|
float |
|
healthy_reward (健康奖励) 项的权重（请参阅 |
|
bool |
|
如果 |
|
tuple |
|
[1.0, 2.0] |
|
float |
|
1e-2 |
|
bool |
|
是否从观测中省略 x 和 y 坐标。排除位置可以用作归纳偏置，以在策略中诱导位置不可知行为（请参阅 |
|
bool |
|
是否在观测中包含 cinert 元素（请参阅 |
|
bool |
|
是否在观测中包含 cvel 元素（请参阅 |
|
bool |
|
是否在观测中包含 qfrc_actuator 元素（请参阅 |
|
bool |
|
是否在观测中包含 cfrc_ext 元素（请参阅 |
版本历史¶
v5
最低
mujoco版本现在为 2.3.3。添加了对使用
xml_file参数完全自定义/第三方mujoco模型（以前只能对现有模型进行少量更改）的支持。添加了
default_camera_config参数，这是一个用于设置mj_camera属性的字典，主要用于自定义环境。添加了
env.observation_structure，这是一个用于指定观测空间组成的字典（例如qpos、qvel），用于为 MuJoCo 环境构建工具和封装器。返回带有
reset()的非空info，之前返回的是一个空字典，新键与step()的状态信息相同。添加了
frame_skip参数，用于配置dt（step()的持续时间），默认值因环境而异，请查看环境文档页面。修复了错误：
healthy_reward (健康奖励)在每个步骤中都会给出（即使 Humanoid (人形机器人) 不健康），现在仅在 Humanoid (人形机器人) 健康时才给出。info["reward_survive"]已使用此更改进行更新（相关 GitHub 问题）。恢复了
contact_cost (接触成本)以及相应的contact_cost_weight和contact_cost_range参数，其默认值与Humanoid-v3中相同（在v4中已删除）（相关 GitHub 问题）。从观测空间中排除了
worldbody和root/freejoint的cinert&cvel&cfrc_ext和qfrc_actuator，因为它始终为 0，因此没有为智能体提供有用的信息，从而略微加快了训练速度（相关 GitHub 问题）。恢复了
xml_file参数（在v4中已删除）。添加了
include_cinert_in_observation、include_cvel_in_observation、include_qfrc_actuator_in_observation、include_cfrc_ext_in_observation参数，以允许从观测空间中排除观测元素。修复了
info["x_position"]&info["y_position"]&info["distance_from_origin"]返回基于xpos而不是qpos的观测值（xpos观测值比qpos观测值落后 1 个mj_step()此处）（相关 GitHub 问题 #1 & GitHub 问题 #2）。添加了
info["tendon_length"]和info["tendon_velocity"]，其中包含 Humanoid (人形机器人) 的 2 条连接髋部和膝盖的肌腱的观测值。将
info["reward_alive"]重命名为info["reward_survive"]，以与其他环境保持一致。将
info["reward_linvel"]重命名为info["reward_forward"]，以与其他环境保持一致。将
info["reward_quadctrl"]重命名为info["reward_ctrl"]，以与其他环境保持一致。删除了
info["forward_reward"]，因为它等同于info["reward_forward"]。
v4：所有 MuJoCo 环境现在都使用 mujoco >= 2.1.3 中的 MuJoCo 绑定
v3：支持
gymnasium.makekwargs，例如xml_file、ctrl_cost_weight、reset_noise_scale等。rgb 渲染来自跟踪相机（因此智能体不会逃离屏幕）注意：环境机器人模型在
gym==0.21.0处略有更改，并且训练结果与gym<0.21和gym>=0.21不可比较（相关 GitHub PR）
v2：所有连续控制环境现在都使用 mujoco-py >= 1.50
注意：环境机器人模型在
gym==0.21.0处略有更改，并且训练结果与gym<0.21和gym>=0.21不可比较（相关 GitHub PR）
v1：机器人任务的最大时间步数增加到 1000。为环境添加了 reward_threshold (奖励阈值)。
v0：初始版本发布