Reacher¶

此环境是 Mujoco 环境的一部分，其中包含有关该环境的常规信息。


动作空间	`Box(-1.0, 1.0, (2,), float32)`
观测空间	`Box(-inf, inf, (10,), float64)`
import	`gymnasium.make("Reacher-v5")`

描述¶

“Reacher” 是一个双关节机械臂。目标是将机械臂的末端执行器（称为指尖）移动到随机生成的目标位置附近。

动作空间¶

动作空间是一个 Box(-1, 1, (2,), float32)。动作 (a, b) 表示作用在铰链关节上的力矩。

编号	动作	控制最小值	控制最大值	名称（对应 XML 文件）	关节	类型（单位）
0	作用在第一个铰链上的力矩（连接连杆与固定点）	-1	1	joint0	铰链 (hinge)	扭矩 (N m)
1	作用在第二个铰链上的力矩（连接两个连杆）	-1	1	joint1	铰链 (hinge)	扭矩 (N m)

观测空间¶

观测空间由以下部分组成（按顺序）

cos(qpos) (2 个元素)： 两臂角度的余弦值。
sin(qpos) (2 个元素)： 两臂角度的正弦值。
qpos (2 个元素)： 目标的坐标。
qvel (2 个元素)： 手臂的角速度（其导数）。
xpos (2 个元素)： 目标与机械臂指尖之间的向量。

观测空间是一个 Box(-Inf, Inf, (10,), float64)，其中各元素如下：

编号	观测值	最小值	最大值	名称（对应 XML 文件）	关节	类型（单位）
0	第一臂角度的余弦值	-Inf	Inf	cos(joint0)	铰链 (hinge)	无单位
1	第二臂角度的余弦值	-Inf	Inf	cos(joint1)	铰链 (hinge)	无单位
2	第一臂角度的正弦值	-Inf	Inf	sin(joint0)	铰链 (hinge)	无单位
3	第二臂角度的正弦值	-Inf	Inf	sin(joint1)	铰链 (hinge)	无单位
4	目标的 x 坐标	-Inf	Inf	target_x	slide	位置 (m)
5	目标的 y 坐标	-Inf	Inf	target_y	slide	位置 (m)
6	第一臂的角速度	-Inf	Inf	joint0	铰链 (hinge)	角速度 (rad/s)
7	第二臂的角速度	-Inf	Inf	joint1	铰链 (hinge)	角速度 (rad/s)
8	指尖位置 - 目标位置的 x 值	-Inf	Inf	不适用	slide	位置 (m)
9	指尖位置 - 目标位置的 y 值	-Inf	Inf	不适用	slide	位置 (m)
已排除	指尖位置 - 目标位置的 z 值（由于 Reacher 是 2D 的，该值恒为 0）	-Inf	Inf	不适用	slide	位置 (m)

大多数 Gymnasium 环境仅返回 .xml 文件中关节的位置和速度作为环境状态。然而，在 Reacher 中，状态是通过组合位置和速度的特定元素并对其进行某些函数变换来创建的。reacher.xml 包含以下 4 个关节：

编号	观测值	最小值	最大值	名称（对应 XML 文件）	关节	单位
0	第一臂角度	-Inf	Inf	joint0	铰链 (hinge)	角度 (rad)
1	第二臂角度	-Inf	Inf	joint1	铰链 (hinge)	角度 (rad)
2	目标的 x 坐标	-Inf	Inf	target_x	slide	位置 (m)
3	目标的 y 坐标	-Inf	Inf	target_y	slide	位置 (m)

奖励（Rewards）¶

总奖励为：reward = reward_distance + reward_control。

reward_distance：该奖励衡量 Reacher 的指尖（未连接的一端）距离目标的远近。如果 Reacher 的指尖距离目标越远，则赋予越大的负值。其计算公式为 \(-w_{near} \|(P_{fingertip} - P_{target})\|_2\)，其中 \(w_{near}\) 是 reward_near_weight（默认值为 \(1\)）。
reward_control：惩罚行走者采取过大动作的负奖励。计算方式为动作的负平方欧几里得范数，即 \(-w_{control} \|action\|_2^2\)。其中 \(w_{control}\) 是 reward_control_weight（默认值为 \(0.1\)）。

info 包含各个奖励项。

起始状态¶

Reacher 机械臂的初始位置状态为 \(\mathcal{U}_{[-0.1 \times I_{2}, 0.1 \times I_{2}]}\)。目标的初始位置状态（永久）为 \(\mathcal{S}(0.2)\)。Reacher 机械臂的初始速度状态为 \(\mathcal{U}_{[-0.005 \times 1_{2}, 0.005 \times 1_{2}]}\)。目标的初始速度状态（永久）为 \(0_2\)。

其中 \(\mathcal{U}\) 是多元均匀连续分布，\(\mathcal{S}\) 是均匀连续球面分布。

默认帧率为 \(2\)，每帧持续 \(0.01\)，因此 dt = 5 * 0.01 = 0.02。

回合结束¶

终止¶

Reacher 从不终止。

截断¶

剧集的默认时长为 50 个时间步。

参数¶

Reacher 提供了一系列参数来修改观测空间、奖励函数、初始状态和终止条件。这些参数可以在 gymnasium.make 中按以下方式应用：

import gymnasium as gym
env = gym.make('Reacher-v5', xml_file=...)

参数	类型	默认值	描述
`xml_file`	str	`"reacher.xml"`	MuJoCo 模型的路径
`reward_dist_weight`	float	`1`	reward_dist 项的权重（参见 `Rewards` 章节）
`reward_control_weight`	float	`0.1`	reward_control 项的权重（参见 `Rewards` 章节）

版本历史¶

v5
- 最低 mujoco 版本现为 2.3.3。
- 添加了 default_camera_config 参数，这是一个用于设置 mj_camera 属性的字典，主要对自定义环境有用。
- 添加了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请检查环境文档页面。
- 修复 bug：reward_distance 之前是基于物理步骤之前的状态，现在基于物理步骤之后的状态（相关 GitHub issue）。
- 从观测空间中移除了 "z - position_fingertip"，因为它始终为 0，不向智能体提供有用的信息，这将使训练速度略微加快（相关 GitHub issue）。
- 添加了 xml_file 参数。
- 添加了 reward_dist_weight 和 reward_control_weight 参数以配置奖励函数（默认值与 v4 实际上相同）。
- 修复了 info["reward_ctrl"] 未乘以奖励权重的问题。
v4：所有 MuJoCo 环境现在使用 mujoco >= 2.1.3 中的 MuJoCo 绑定。
v3：此环境没有 v3 版本。已迁移至 gymnasium-robotics 仓库。
v2：所有连续控制环境现在都使用 mujoco-py >= 1.50。已移至 gymnasium-robotics 仓库。
v1：对于基于机器人的任务（不包括 Reacher，其最大时间步长为 50），max_time_steps 提高到 1000。为环境添加了 reward_threshold。
v0: 初始版本发布