Pusher¶

此环境是 Mujoco 环境的一部分，其中包含有关该环境的常规信息。


动作空间	`Box(-2.0, 2.0, (7,), float32)`
观测空间	`Box(-inf, inf, (23,), float64)`
import	`gymnasium.make("Pusher-v5")`

描述¶

“Pusher”是一个类似于人类手臂的多关节机器人手臂。其目标是利用机器人的末端执行器（称为指尖）将一个目标圆柱体（称为物体）移动到目标位置。该机器人由肩部、肘部、前臂和腕部关节组成。

动作空间¶

动作空间是一个 Box(-2, 2, (7,), float32)。动作 (a, b) 表示施加在铰链关节上的扭矩。

编号	动作	控制最小值	控制最大值	名称（对应 XML 文件）	关节	类型（单位）
0	肩部水平旋转	-2	2	r_shoulder_pan_joint	铰链 (hinge)	扭矩 (N m)
1	肩部升降旋转	-2	2	r_shoulder_lift_joint	铰链 (hinge)	扭矩 (N m)
2	肩部滚动旋转	-2	2	r_upper_arm_roll_joint	铰链 (hinge)	扭矩 (N m)
3	肘部屈曲铰链关节的旋转	-2	2	r_elbow_flex_joint	铰链 (hinge)	扭矩 (N m)
4	前臂滚动铰链的旋转	-2	2	r_forearm_roll_joint	铰链 (hinge)	扭矩 (N m)
5	腕部屈曲旋转	-2	2	r_wrist_flex_joint	铰链 (hinge)	扭矩 (N m)
6	腕部滚动旋转	-2	2	r_wrist_roll_joint	铰链 (hinge)	扭矩 (N m)

观测空间¶

观测空间由以下部分组成（按顺序）

qpos (7 个元素)：机器人身体部位的位置值。
qvel (7 个元素)：这些个体身体部位的速度（它们的一阶导数）。
xpos (3 个元素)：Pusher 指尖的坐标。
xpos (3 个元素)：待移动物体的坐标。
xpos (3 个元素)：目标位置的坐标。

观测空间是一个 Box(-Inf, Inf, (17,), float64)，其中元素如下：

编号	观测值	最小值	最大值	名称（对应 XML 文件）	关节	类型（单位）
0	肩部水平旋转	-Inf	Inf	r_shoulder_pan_joint	铰链 (hinge)	角度 (rad)
1	肩部升降旋转	-Inf	Inf	r_shoulder_lift_joint	铰链 (hinge)	角度 (rad)
2	肩部滚动旋转	-Inf	Inf	r_upper_arm_roll_joint	铰链 (hinge)	角度 (rad)
3	肘部屈曲铰链关节的旋转	-Inf	Inf	r_elbow_flex_joint	铰链 (hinge)	角度 (rad)
4	前臂滚动铰链的旋转	-Inf	Inf	r_forearm_roll_joint	铰链 (hinge)	角度 (rad)
5	腕部屈曲旋转	-Inf	Inf	r_wrist_flex_joint	铰链 (hinge)	角度 (rad)
6	腕部滚动旋转	-Inf	Inf	r_wrist_roll_joint	铰链 (hinge)	角度 (rad)
7	肩部水平旋转速度	-Inf	Inf	r_shoulder_pan_joint	铰链 (hinge)	角速度 (rad/s)
8	肩部升降旋转速度	-Inf	Inf	r_shoulder_lift_joint	铰链 (hinge)	角速度 (rad/s)
9	肩部滚动旋转速度	-Inf	Inf	r_upper_arm_roll_joint	铰链 (hinge)	角速度 (rad/s)
10	肘部屈曲铰链关节的旋转速度	-Inf	Inf	r_elbow_flex_joint	铰链 (hinge)	角速度 (rad/s)
11	前臂滚动铰链的旋转速度	-Inf	Inf	r_forearm_roll_joint	铰链 (hinge)	角速度 (rad/s)
12	腕部屈曲旋转速度	-Inf	Inf	r_wrist_flex_joint	铰链 (hinge)	角速度 (rad/s)
13	腕部滚动旋转速度	-Inf	Inf	r_wrist_roll_joint	铰链 (hinge)	角速度 (rad/s)
14	Pusher 指尖的 x 坐标	-Inf	Inf	tips_arm	slide	位置 (m)
15	Pusher 指尖的 y 坐标	-Inf	Inf	tips_arm	slide	位置 (m)
16	Pusher 指尖的 z 坐标	-Inf	Inf	tips_arm	slide	位置 (m)
17	待移动物体的 x 坐标	-Inf	Inf	object (obj_slidex)	slide	位置 (m)
18	待移动物体的 y 坐标	-Inf	Inf	object (obj_slidey)	slide	位置 (m)
19	待移动物体的 z 坐标	-Inf	Inf	object	cylinder	位置 (m)
20	物体目标位置的 x 坐标	-Inf	Inf	goal (goal_slidex)	slide	位置 (m)
21	物体目标位置的 y 坐标	-Inf	Inf	goal (goal_slidey)	slide	位置 (m)
22	物体目标位置的 z 坐标	-Inf	Inf	goal	sphere	位置 (m)

为了理解状态空间，可以将其类比为人手臂，“屈曲 (flex)”和“滚动 (roll)”在人类关节中的含义相同。

奖励（Rewards）¶

总奖励为：reward = reward_dist + reward_ctrl + reward_near。

reward_dist：该奖励衡量物体距离目标位置有多远，若物体距离目标越远，负值越大。其计算方式为 \(-w_{dist} \|(P_{object} - P_{target})\|_2\)，其中 \(w_{dist}\) 是 reward_dist_weight（默认值为 \(1\)）。
reward_ctrl：惩罚 Pusher 执行过大动作的负奖励。衡量标准为动作的欧几里得范数的平方的负值，即 \(-w_{control} \|action\|_2^2\)，其中 \(w_{control}\) 是 reward_control_weight（默认值为 \(0.1\)）。
reward_near：该奖励衡量 Pusher 的指尖（末端）距离物体有多远，若 Pusher 的指尖距离目标越远，负值越大。其计算方式为 \(-w_{near} \|(P_{fingertip} - P_{target})\|_2\)，其中 \(w_{near}\) 是 reward_near_weight（默认值为 \(0.5\)）。

info 包含各个奖励项。

起始状态¶

Pusher 手臂的初始位置状态为 \(0_{6}\)。物体的初始位置状态为 \(\mathcal{U}_{[[-0.3, -0.2], [0, 0.2]]}\)。目标位置状态（永久）为 \([0.45, -0.05, -0.323]\)。Pusher 手臂的初始速度状态为 \(\mathcal{U}_{[-0.005 \times I_{6}, 0.005 \times I_{6}]}\)。物体的初始速度状态为 \(0_2\)。目标的速度状态（永久）为 \(0_3\)。

其中 \(\mathcal{U}\) 是多元均匀连续分布。

注意：物体初始位置状态会进行采样，直到其距离目标的距离 \( > 0.17 m\)。

默认帧率为 5，每帧持续 0.01，因此 dt = 5 * 0.01 = 0.05。

回合结束¶

终止¶

Pusher 任务不会终止。

截断¶

单回合的默认时长为 100 个时间步。

参数¶

Pusher 提供了一系列参数来修改观测空间、奖励函数、初始状态和终止条件。这些参数可以在调用 gymnasium.make 时按如下方式应用：

import gymnasium as gym
env = gym.make('Pusher-v5', xml_file=...)

参数	类型	默认值	描述
`xml_file`	str	`"pusher_v5.xml"`	MuJoCo 模型的路径
`reward_near_weight`	float	`0.5`	reward_near 项的权重（参见 `奖励` 部分）
`reward_dist_weight`	float	`1`	reward_dist 项的权重（参见 `奖励` 部分）
`reward_control_weight`	float	`0.1`	reward_control 项的权重（参见 `奖励` 部分）

版本历史¶

v5
- 最低 mujoco 版本现为 2.3.3。
- 修复错误：增加了物体的密度，使其高于空气密度（相关 GitHub issue）。
- 添加了 default_camera_config 参数，这是一个用于设置 mj_camera 属性的字典，主要对自定义环境有用。
- 添加了 frame_skip 参数，用于配置 dt（step() 的持续时间），默认值因环境而异，请检查环境文档页面。
- 添加了 xml_file 参数。
- 修复错误：reward_distance 和 reward_near 原先基于物理步骤前的状态，现在基于物理步骤后的状态（相关 GitHub issue）。
- 添加了 reward_near_weight, reward_dist_weight, reward_control_weight 参数用于配置奖励函数（默认值与 v4 实际上相同）。
- 修复了 info["reward_ctrl"] 未乘以奖励权重的问题。
- 添加了 info["reward_near"]，其等于奖励项 reward_near。
v4：所有 MuJoCo 环境现在使用 mujoco >= 2.1.3 的绑定。
- 警告：此版本的环境与 mujoco>=3.0.0 不兼容（相关 GitHub issue）。
v3：此环境没有 v3 版本。已迁移至 gymnasium-robotics 仓库。
v2：所有连续控制环境现在都使用 mujoco-py >= 1.50。已移至 gymnasium-robotics 仓库。
v1：将基于机器人的任务的 max_time_steps 提高到 1000（不包括 pusher，其 max_time_steps 为 100）。为环境添加了 reward_threshold。
v0：初始版本发布。