Half Cheetah

此环境是 Mujoco 环境的一部分，其中包含有关该环境的常规信息。

动作空间	Box(-1.0, 1.0, (6,), float32)
观测空间	Box(-inf, inf, (17,), float64)
import	gymnasium.make("HalfCheetah-v5")

描述

此环境基于 P. Wawrzyński 的工作 “A Cat-Like Robot Real-Time Learning to Run”。HalfCheetah 是一个二维机器人，由 9 个身体部位和 8 个连接它们的关节（包括两个爪子）组成。目标是对关节施加扭矩，使猎豹尽可能快地向前（向右）奔跑，根据向前移动的距离给予正奖励，根据向后移动给予负奖励。猎豹的躯干和头部是固定的，扭矩只能施加在其他 6 个关节上，包括大腿（连接躯干）、小腿（连接大腿）和脚（连接小腿）。

动作空间

动作空间是一个 Box(-1, 1, (6,), float32)。动作表示施加在铰链关节上的扭矩。

编号	动作	控制最小值	控制最大值	名称（对应 XML 文件）	关节	类型（单位）
0	施加在后大腿转子上的扭矩	-1	1	bthigh	铰链 (hinge)	扭矩 (N m)
1	施加在后小腿转子上的扭矩	-1	1	bshin	铰链 (hinge)	扭矩 (N m)
2	施加在后脚转子上的扭矩	-1	1	bfoot	铰链 (hinge)	扭矩 (N m)
3	施加在前大腿转子上的扭矩	-1	1	fthigh	铰链 (hinge)	扭矩 (N m)
4	施加在前小腿转子上的扭矩	-1	1	fshin	铰链 (hinge)	扭矩 (N m)
5	施加在前脚转子上的扭矩	-1	1	ffoot	铰链 (hinge)	扭矩 (N m)

观测空间

观测空间由以下部分组成（按顺序）

• qpos（默认 8 个元素）： 机器人身体部位的位置值。

• qvel（9 个元素）： 这些身体部位各自的速度（它们的导数）。

默认情况下，观测值不包括机器人的 x 坐标（rootx）。通过在构建时传递 exclude_current_positions_from_observation=False，可以将该值包含在内。在这种情况下，观测空间将变为 Box(-Inf, Inf, (18,), float64)，其中第一个观测元素是机器人的 x 坐标。无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都会分别以 "x_position" 和 "y_position" 为键返回到 info 中。

默认情况下，观测空间是一个 Box(-Inf, Inf, (17,), float64)，元素如下：

编号	观测值	最小值	最大值	名称（对应 XML 文件）	关节	类型（单位）
0	前尖端的 z 坐标	-Inf	Inf	rootz	slide	位置 (m)
1	前尖端的角度	-Inf	Inf	rooty	铰链 (hinge)	角度 (rad)
2	后大腿的角度	-Inf	Inf	bthigh	铰链 (hinge)	角度 (rad)
3	后小腿的角度	-Inf	Inf	bshin	铰链 (hinge)	角度 (rad)
4	后脚的角度	-Inf	Inf	bfoot	铰链 (hinge)	角度 (rad)
5	前大腿的角度	-Inf	Inf	fthigh	铰链 (hinge)	角度 (rad)
6	前小腿的角度	-Inf	Inf	fshin	铰链 (hinge)	角度 (rad)
7	前脚的角度	-Inf	Inf	ffoot	铰链 (hinge)	角度 (rad)
8	前尖端 x 坐标的速度	-Inf	Inf	rootx	slide	速度 (m/s)
9	前尖端 z 坐标的速度	-Inf	Inf	rootz	slide	速度 (m/s)
10	前尖端的角速度	-Inf	Inf	rooty	铰链 (hinge)	角速度 (rad/s)
11	后大腿的角速度	-Inf	Inf	bthigh	铰链 (hinge)	角速度 (rad/s)
12	后小腿的角速度	-Inf	Inf	bshin	铰链 (hinge)	角速度 (rad/s)
13	后脚的角速度	-Inf	Inf	bfoot	铰链 (hinge)	角速度 (rad/s)
14	前大腿的角速度	-Inf	Inf	fthigh	铰链 (hinge)	角速度 (rad/s)
15	前小腿的角速度	-Inf	Inf	fshin	铰链 (hinge)	角速度 (rad/s)
16	前脚的角速度	-Inf	Inf	ffoot	铰链 (hinge)	角速度 (rad/s)
已排除	前尖端的 x 坐标	-Inf	Inf	rootx	slide	位置 (m)

奖励（Rewards）

总奖励为：reward = forward_reward - ctrl_cost。

• forward_reward：向前移动的奖励。如果 Half Cheetah 向前移动（向正 \(x\) 方向 / 向右方向），此奖励为正。计算公式为 \(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是“尖端”的位移（\(x_{after-action} - x_{before-action}\)），\(dt\) 是动作之间的时间间隔，取决于 frame_skip 参数（默认为 \(5\)）和 frametime（为 \(0.01\)）——因此默认 \(dt = 5 \times 0.01 = 0.05\)，\(w_{forward}\) 是 forward_reward_weight（默认为 \(1\)）。

• ctrl_cost：惩罚 Half Cheetah 采取过大动作的负奖励。计算公式为 \(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（默认为 \(0.1\)）。

info 包含各个奖励项。

起始状态

初始位置状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{9}, reset\_noise\_scale \times I_{9}]}\)。初始速度状态为 \(\mathcal{N}(0_{9}, reset\_noise\_scale^2 \times I_{9})\)。

其中 \(\mathcal{N}\) 是多元正态分布，\(\mathcal{U}\) 是多元均匀连续分布。

回合结束

终止

Half Cheetah 永不终止。

截断

一集的默认持续时间为 1000 个时间步。

参数

HalfCheetah 提供了一系列参数来修改观测空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 中通过以下方式应用：

import gymnasium as gym
env = gym.make('HalfCheetah-v5', ctrl_cost_weight=0.1, ....)

参数	类型	默认值	描述
xml_file	str	"half_cheetah.xml"	MuJoCo 模型的路径
forward_reward_weight	float	1	forward_reward 项的权重（参见 奖励 部分）
ctrl_cost_weight	float	0.1	ctrl_cost 的权重系数（参见 Rewards 部分）
reset_noise_scale	float	0.1	初始位置和速度的随机扰动比例（参见 起始状态 部分）
exclude_current_positions_from_observation	bool	True	是否从观测中省略 x 坐标。排除位置信息可以作为一种归纳偏置，以诱导策略具备位置无关性（参见 Observation State 部分）

版本历史

• v5

  • 最低 mujoco 版本现为 2.3.3。

  • 添加了对使用 xml_file 参数的完全自定义/第三方 mujoco 模型的支持（此前只能对现有模型进行少量更改）。

  • 添加了 default_camera_config 参数，这是一个用于设置 mj_camera 属性的字典，主要对自定义环境有用。

  • 添加了 env.observation_structure，一个用于指定观测空间组成（例如 qpos, qvel）的字典，对构建 MuJoCo 环境的工具和包装器很有用。

  • 使用 reset() 返回非空的 info，之前返回的是空字典；新键与 step() 的状态信息相同。

  • 添加了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请检查环境文档页面。

  • 恢复了 xml_file 参数（在 v4 中被移除）。

  • 已将 info["reward_run"] 重命名为 info["reward_forward"]，以与其他环境保持一致。

• v4：所有 MuJoCo 环境现在使用 mujoco >= 2.1.3 的绑定。

• v3：支持 gymnasium.make 关键字参数，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。RGB 渲染来自跟踪摄像头（因此智能体不会跑出屏幕）。已移至 gymnasium-robotics 仓库。

• v2：所有连续控制环境现在都使用 mujoco-py >= 1.50。已移至 gymnasium-robotics 仓库。

• v1：将机器人任务的 max_time_steps 提高到 1000。为环境添加了 reward_threshold。

• v0：初始版本发布。