Pendulum¶

此环境是经典控制环境的一部分，其中包含有关环境的通用信息。


动作空间	`Box(-2.0, 2.0, (1,), float32)`
观测空间	`Box([-1. -1. -8.], [1. 1. 8.], (3,), float32)`
import	`gymnasium.make("Pendulum-v1")`

描述¶

倒立摆起摆问题基于控制理论中的经典问题。该系统由一端连接到固定点，另一端自由的摆组成。摆从随机位置开始，目标是在自由端施加扭矩，使其摆动到直立位置，使其重心正好在固定点上方。

下图指定了用于摆动力学方程实现的坐标系。

Pendulum Coordinate System

x-y: 摆末端的笛卡尔坐标，单位为米。
theta : 角度，单位为弧度。
tau: 扭矩，单位为 N m。定义为正值，逆时针方向。

动作空间¶

动作是一个 ndarray，形状为 (1,)，表示施加到摆自由端的扭矩。

Num	动作	最小值	最大值
0	扭矩	-2.0	2.0

观测空间¶

观测是一个 ndarray，形状为 (3,)，表示摆自由端的 x-y 坐标及其角速度。

Num	观测	最小值	最大值
0	x = cos(theta)	-1.0	1.0
1	y = sin(theta)	-1.0	1.0
2	角速度	-8.0	8.0

奖励¶

奖励函数定义为

r = -(theta² + 0.1 * theta_dt² + 0.001 * torque²)

其中 theta 是摆的角度，归一化在 [-pi, pi] 之间（0 表示直立位置）。根据上述公式，可以获得的最小奖励为 -(pi² + 0.1 * 8² + 0.001 * 2²) = -16.2736044，而最大奖励为零（摆处于直立位置，角速度为零，且未施加扭矩）。

起始状态¶

起始状态是 [-pi, pi] 中的随机角度和 [-1,1] 中的随机角速度。

Episode 截断¶

Episode 在 200 个时间步后截断。

参数¶

g: .

Pendulum 有两个用于 gymnasium.make 的参数，分别是 render_mode 和 g，其中 g 表示重力加速度，单位为 (m s^-2)，用于计算摆的动力学。默认值为 g = 10.0。在重置时，options 参数允许用户更改用于确定新随机状态的边界。

>>> import gymnasium as gym
>>> env = gym.make("Pendulum-v1", render_mode="rgb_array", g=9.81)  # default g=10.0
>>> env
<TimeLimit<OrderEnforcing<PassiveEnvChecker<PendulumEnv<Pendulum-v1>>>>>
>>> env.reset(seed=123, options={"low": -0.7, "high": 0.5})  # default low=-0.6, high=-0.5
(array([ 0.4123625 ,  0.91101986, -0.89235795], dtype=float32), {})

版本历史¶

v1：简化数学公式，行为没有差异。
v0：初始版本发布