跳跃者¶

此环境是 Mujoco 环境的一部分，其中包含有关环境的一般信息。


动作空间	`Box(-1.0, 1.0, (3,), float32)`
观测空间	`Box(-inf, inf, (11,), float64)`
导入	`gymnasium.make("Hopper-v5")`

描述¶

此环境基于 Erez、Tassa 和 Todorov 在 “无限视界模型预测控制用于非线性周期性任务” 中的工作。该环境旨在增加与经典控制环境相比的独立状态和控制变量的数量。跳跃者是一个二维单腿图形，由四个主要身体部分组成 - 顶部的躯干、中间的大腿、底部的腿和整个身体所在的单个脚。目标是通过对连接四个身体部分的三个铰链施加扭矩来进行向前（右侧）跳跃。

动作空间¶

动作空间是 Box(-1, 1, (3,), float32)。动作表示施加在铰链关节上的扭矩。

编号	动作	控制最小值	控制最大值	名称（在对应的 XML 文件中）	关节	类型（单位）
0	施加在大腿转子上的扭矩	-1	1	thigh_joint	铰链	扭矩 (N m)
1	施加在腿转子上的扭矩	-1	1	leg_joint	铰链	扭矩 (N m)
2	施加在脚转子上的扭矩	-1	1	foot_joint	铰链	扭矩 (N m)

观测空间¶

观测空间由以下部分组成（按顺序）

qpos（默认情况下 5 个元素）： 机器人身体部位的位置值。
qvel（6 个元素）： 这些单个身体部位的速度（它们的导数）。

默认情况下，观测不包括机器人的 x 坐标 (rootx)。这可以通过在构建期间传递 exclude_current_positions_from_observation=False 来包含。在这种情况下，观测空间将是 Box(-Inf, Inf, (12,), float64)，其中第一个观测元素是机器人的 x 坐标。无论 exclude_current_positions_from_observation 设置为 True 还是 False，x 和 y 坐标都将以键 "x_position" 和 "y_position" 的形式分别返回到 info 中。

但是，默认情况下，观测空间是 Box(-Inf, Inf, (11,), float64)，其中元素如下所示

编号	观测	最小值	最大值	名称（在对应的 XML 文件中）	关节	类型（单位）
0	躯干的 z 坐标（跳跃者的高度）	-Inf	Inf	rootz	slide	位置 (m)
1	躯干的角度	-Inf	Inf	rooty	铰链	角度 (rad)
2	大腿关节的角度	-Inf	Inf	thigh_joint	铰链	角度 (rad)
3	腿关节的角度	-Inf	Inf	leg_joint	铰链	角度 (rad)
4	脚关节的角度	-Inf	Inf	foot_joint	铰链	角度 (rad)
5	躯干 x 坐标的速度	-Inf	Inf	rootx	slide	速度 (m/s)
6	躯干 z 坐标（高度）的速度	-Inf	Inf	rootz	slide	速度 (m/s)
7	躯干角度的角速度	-Inf	Inf	rooty	铰链	角速度 (rad/s)
8	大腿铰链的角速度	-Inf	Inf	thigh_joint	铰链	角速度 (rad/s)
9	腿铰链的角速度	-Inf	Inf	leg_joint	铰链	角速度 (rad/s)
10	脚铰链的角速度	-Inf	Inf	foot_joint	铰链	角速度 (rad/s)
排除	躯干的 x 坐标	-Inf	Inf	rootx	slide	位置 (m)

奖励¶

总奖励为：奖励 = 健康奖励 + 前进奖励 - 控制成本。

健康奖励： 每次跳跃者处于健康状态（见“回合结束”部分的定义）时，它都会获得一个固定值的奖励 healthy_reward（默认值为 \(1\)）。
前进奖励： 向前移动的奖励，如果跳跃者向前移动（在正 \(x\) 方向/右侧方向），此奖励将为正。 \(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是“躯干”的位移 (\(x_{after-action} - x_{before-action}\))，\(dt\) 是动作之间的时间，这取决于 frame_skip 参数（默认值为 \(4\)），以及 frametime，其值为 \(0.002\) - 因此默认值为 \(dt = 4 \times 0.002 = 0.008\)，\(w_{forward}\) 是 forward_reward_weight（默认值为 \(1\)）。
控制成本： 一个负奖励，用于惩罚跳跃者采取过大的动作。 \(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（默认值为 \(10^{-3}\)）。

info 包含各个奖励项。

起始状态¶

初始位置状态为 \([0, 1.25, 0, 0, 0, 0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{6}, reset\_noise\_scale \times I_{6}]}\)。初始速度状态为 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{6}, reset\_noise\_scale \times I_{6}]}\)。

其中 \(\mathcal{U}\) 是多元均匀连续分布。

请注意，z 坐标不为零，以便跳跃者可以立即站立起来。

回合结束¶

终止¶

如果 terminate_when_unhealthy is True（默认值），则当跳跃者处于不健康状态时，环境会终止。如果发生以下情况，跳跃者将处于不健康状态

observation[1:]（如果 exclude_current_positions_from_observation=True，否则为 observation[2:]）中的任何元素不再包含在由 healthy_state_range 参数指定的闭区间内（默认值为 \([-100, 100]\)）。
跳跃者的高度 (observation[0]，如果 exclude_current_positions_from_observation=True，否则为 observation[1]) 不再包含在由 healthy_z_range 参数指定的闭区间内（默认值为 \([0.7, +\infty]\)）（通常意味着它已经跌倒了）。
躯干的角度 (observation[1]，如果 exclude_current_positions_from_observation=True，否则为 observation[2]) 不再包含在由 healthy_angle_range 参数指定的闭区间内（默认值为 \([-0.2, 0.2]\)）。

截断¶

回合的默认持续时间为 1000 个时间步。

参数¶

跳跃者提供了一系列参数来修改观测空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 期间以以下方式应用

import gymnasium as gym
env = gym.make('Hopper-v5', ctrl_cost_weight=1e-3, ....)

参数	类型	默认值	描述
`xml_file`	str	`"hopper.xml"`	MuJoCo 模型路径
`forward_reward_weight`	float	`1`	forward_reward 项的权重（参见 `Rewards` 部分）
`ctrl_cost_weight`	float	`1e-3`	ctrl_cost 奖励的权重（参见 `Rewards` 部分）
`healthy_reward`	float	`1`	healthy_reward 奖励的权重（参见 `Rewards` 部分）
`terminate_when_unhealthy`	bool	`True`	如果 `True`，则在不健康时发出 `terminated` 信号（参见 `Episode End` 部分）
`healthy_state_range`	tuple	`(-100, 100)`	`observation[1:]`（如果 `exclude_current_positions_from_observation=True`，否则为 `observation[2:]`）的元素必须在此范围内，才能使跳跃器被认为是健康的（参见 `Episode End` 部分）
`healthy_z_range`	tuple	`(0.7, float("inf"))`	z 坐标必须在此范围内，才能使跳跃器被认为是健康的（参见 `Episode End` 部分）
`healthy_angle_range`	tuple	`(-0.2, 0.2)`	由 `observation[1]` 给出的角度（如果 `exclude_current_positions_from_observation=True`，否则为 `observation[2]`）必须在此范围内，才能使跳跃器被认为是健康的（参见 `Episode End` 部分）
`reset_noise_scale`	float	`5e-3`	初始位置和速度的随机扰动的尺度（参见 `Starting State` 部分）
`exclude_current_positions_from_observation`	bool	`True`	是否从观察中省略 x 坐标。排除位置可以作为诱导偏差，以在策略中诱导与位置无关的行为（参见 `Observation Space` 部分）

版本历史¶

v5
- 最低 mujoco 版本现在是 2.3.3。
- 添加了对使用 xml_file 参数的完全自定义/第三方 mujoco 模型的支持（以前只能对现有模型进行少量更改）。
- 添加了 default_camera_config 参数，这是一个用于设置 mj_camera 属性的字典，主要用于自定义环境。
- 添加了 env.observation_structure，这是一个用于指定观察空间组成的字典（例如 qpos，qvel），有助于为 MuJoCo 环境构建工具和包装器。
- 返回一个非空的 info，其中包含 reset()，以前返回的是一个空字典，新的键与 step() 中相同的州信息。
- 添加了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请查看环境文档页面。
- 修复了错误：healthy_reward 在每一步都被给予（即使跳跃器不健康），现在它只在跳跃器健康时被给予。 info["reward_survive"] 已更新此更改（相关 GitHub 问题）。
- 恢复了 xml_file 参数（在 v4 中已删除）。
- 在 info 中添加了单独的奖励项（info["reward_forward"]，info["reward_ctrl"]，info["reward_survive"]）。
- 添加了 info["z_distance_from_origin"]，它等于“躯干”体与其初始位置之间的垂直距离。
v4：所有 MuJoCo 环境现在都使用 mujoco >= 2.1.3 中的 MuJoCo 绑定。
v3：支持 gymnasium.make 关键字参数，例如 xml_file，ctrl_cost_weight，reset_noise_scale 等。rgb 渲染来自跟踪相机（因此代理不会远离屏幕）
v2：所有连续控制环境现在都使用 mujoco-py >= 1.50。
v1：基于机器人的任务的最大时间步长增加到 1000。将 reward_threshold 添加到环境中。
v0：初始版本发布。