动作包装器¶
基类¶
- class gymnasium.ActionWrapper(env: Env[ObsType, ActType])[source]¶
可以修改动作的包装器的超类，在
step()之前。如果您想在将动作传递给基础环境之前对动作应用一个函数，您可以简单地继承自
ActionWrapper并覆盖方法action()来实现该转换。在该方法中定义的转换必须取自基础环境的动作空间的值。但是，它的域可能与原始动作空间不同。在这种情况下，您需要通过在包装器的__init__()方法中设置action_space来指定包装器的新动作空间。除其他外，Gymnasium 提供了动作包装器
gymnasium.wrappers.ClipAction和gymnasium.wrappers.RescaleAction用于裁剪和重新缩放动作。- 参数：:
env – 要包装的环境。
可用的动作包装器¶
- class gymnasium.wrappers.TransformAction(env: gym.Env[ObsType, ActType], func: Callable[[WrapperActType], ActType], action_space: Space[WrapperActType] | None)[source]¶
在将修改后的值传递给环境
step函数之前，将函数应用于action。该包装器的向量版本存在于
gymnasium.wrappers.vector.TransformAction中。示例
>>> import numpy as np >>> import gymnasium as gym >>> env = gym.make("MountainCarContinuous-v0") >>> _ = env.reset(seed=123) >>> obs, *_= env.step(np.array([0.0, 1.0])) >>> obs array([-4.6397772e-01, -4.4808415e-04], dtype=float32) >>> env = gym.make("MountainCarContinuous-v0") >>> env = TransformAction(env, lambda a: 0.5 * a + 0.1, env.action_space) >>> _ = env.reset(seed=123) >>> obs, *_= env.step(np.array([0.0, 1.0])) >>> obs array([-4.6382770e-01, -2.9808417e-04], dtype=float32)
- 更改日志
v1.0.0 - 最初添加
- 参数：:
env – 要包装的环境
func – 要应用于
step()的action的函数action_space – 给定函数的包装器的更新动作空间。
- class gymnasium.wrappers.ClipAction(env: Env[ObsType, ActType])[source]¶
将传递给
step的action裁剪到环境的 action_space 内。该包装器的向量版本存在于
gymnasium.wrappers.vector.ClipAction中。示例
>>> import gymnasium as gym >>> from gymnasium.wrappers import ClipAction >>> import numpy as np >>> env = gym.make("Hopper-v4", disable_env_checker=True) >>> env = ClipAction(env) >>> env.action_space Box(-inf, inf, (3,), float32) >>> _ = env.reset(seed=42) >>> _ = env.step(np.array([5.0, -2.0, 0.0], dtype=np.float32)) ... # Executes the action np.array([1.0, -1.0, 0]) in the base environment
- 更改日志
v0.12.6 - 最初添加
v1.0.0 - 动作空间更新为无限边界，因为这在技术上是正确的
- 参数：:
env – 要包装的环境
- class gymnasium.wrappers.RescaleAction(env: gym.Env[ObsType, ActType], min_action: np.floating | np.integer | np.ndarray, max_action: np.floating | np.integer | np.ndarray)[source]¶
将环境的
Box动作空间仿射（线性）重新缩放为[min_action, max_action]范围内。基础环境
env必须具有类型为spaces.Box的动作空间。如果min_action或max_action是 numpy 数组，则形状必须与环境的动作空间形状匹配。该包装器的向量版本存在于
gymnasium.wrappers.vector.RescaleAction中。示例
>>> import gymnasium as gym >>> from gymnasium.wrappers import RescaleAction >>> import numpy as np >>> env = gym.make("Hopper-v4", disable_env_checker=True) >>> _ = env.reset(seed=42) >>> obs, _, _, _, _ = env.step(np.array([1, 1, 1], dtype=np.float32)) >>> _ = env.reset(seed=42) >>> min_action = -0.5 >>> max_action = np.array([0.0, 0.5, 0.75], dtype=np.float32) >>> wrapped_env = RescaleAction(env, min_action=min_action, max_action=max_action) >>> wrapped_env_obs, _, _, _, _ = wrapped_env.step(max_action) >>> np.all(obs == wrapped_env_obs) np.True_
- 更改日志
v0.15.4 - 最初添加
- 参数：:
env (Env) – 要包装的环境
min_action (float, int 或 np.ndarray) – 每个动作的最小值。这可能是一个 numpy 数组或一个标量。
max_action (float, int 或 np.ndarray) – 每个动作的最大值。这可能是一个 numpy 数组或一个标量。
- class gymnasium.wrappers.StickyAction(env: Env[ObsType, ActType], repeat_action_probability: float)[source]¶
为相同
step函数添加一个动作重复概率。此包装器遵循 Machado 等人，2018 在第 5.2 节第 12 页提出的实现。
此包装器没有向量版本。
示例
>>> import gymnasium as gym >>> env = gym.make("CartPole-v1") >>> env = StickyAction(env, repeat_action_probability=0.9) >>> env.reset(seed=123) (array([ 0.01823519, -0.0446179 , -0.02796401, -0.03156282], dtype=float32), {}) >>> env.step(1) (array([ 0.01734283, 0.15089367, -0.02859527, -0.33293587], dtype=float32), 1.0, False, False, {}) >>> env.step(0) (array([ 0.0203607 , 0.34641072, -0.03525399, -0.6344974 ], dtype=float32), 1.0, False, False, {}) >>> env.step(1) (array([ 0.02728892, 0.5420062 , -0.04794393, -0.9380709 ], dtype=float32), 1.0, False, False, {}) >>> env.step(0) (array([ 0.03812904, 0.34756234, -0.06670535, -0.6608303 ], dtype=float32), 1.0, False, False, {})
- 更改日志
v1.0.0 - 最初添加
- 参数：:
env (Env) – 被包装的环境
repeat_action_probability (int | float) – 重复旧动作的概率。