冰冻湖 (Frozen Lake)¶
该环境属于文本玩具 (Toy Text) 环境，其中包含有关该环境的通用信息。
动作空间 (Action Space) |
|
观测空间 (Observation Space) |
|
导入 |
|
冰冻湖环境涉及从起点到目标跨越一个冰冻的湖，玩家需要走过冰面而不能掉进任何洞里。由于冰面很滑，玩家可能无法总是按预期方向移动。
描述¶
游戏开始时玩家位于冰冻湖网格世界的 [0,0] 位置，目标位于世界的远端，例如 4x4 环境中的 [3,3]。
当使用预设地图时，冰上的洞分布在固定位置；当生成随机地图时，则分布在随机位置。
玩家持续移动，直到他们到达目标或掉入洞中。
湖面很滑（除非禁用），因此玩家有时可能会垂直于预期方向移动（参见 is_slippery）。
随机生成的世界总会有一条通往目标的路径。
精灵和凳子来自 https://franuka.itch.io/rpg-snow-tileset。所有其他素材由 Mel Tillery 提供 http://www.cyaneus.com/。
动作空间¶
动作形状是 (1,)，范围在 {0, 3} 之间，表示玩家移动的方向。
0: 向左移动
1: 向下移动
2: 向右移动
3: 向上移动
观测空间¶
观测值表示玩家当前位置，计算方式为 current_row * ncols + current_col（行和列都从 0 开始）。
例如，4x4 地图中的目标位置可以计算为：3 * 4 + 3 = 15。可能的观测数量取决于地图的大小。
观测值以 int() 类型返回。
起始状态¶
剧集开始时玩家处于状态 [0]（位置 [0, 0]）。
奖励¶
奖励计划
到达目标: +1
到达洞: 0
到达冰面: 0
剧集结束¶
如果发生以下情况，剧集结束
终止 (Termination)
玩家掉进一个洞里。
玩家到达目标
max(nrow) * max(ncol) - 1（位置[max(nrow)-1, max(ncol)-1]）。
截断 (Truncation) (当使用 time_limit 包装器时)
4x4 环境的剧集长度为 100，FrozenLake8x8-v1 环境的剧集长度为 200。
信息¶
step() 和 reset() 返回一个包含以下键的字典
p - 状态的转移概率。
有关转移概率信息，请参阅 is_slippery。
参数¶
import gymnasium as gym
gym.make('FrozenLake-v1', desc=None, map_name="4x4", is_slippery=True)
desc=None: 用于指定非预加载地图。
指定自定义地图。
desc=["SFFF", "FHFH", "FFFH", "HFFG"].
瓷砖字母表示
“S” 代表起始瓷砖 (Start tile)
“G” 代表目标瓷砖 (Goal tile)
“F” 代表冰冻瓷砖 (Frozen tile)
“H” 代表带洞的瓷砖 (a tile with a hole)
可以通过调用函数 generate_random_map 来指定随机生成的地图。
from gymnasium.envs.toy_text.frozen_lake import generate_random_map
gym.make('FrozenLake-v1', desc=generate_random_map(size=8))
map_name="4x4": 用于使用任何预加载地图的 ID。
"4x4":[
"SFFF",
"FHFH",
"FFFH",
"HFFG"
]
"8x8": [
"SFFFFFFF",
"FFFFFFFF",
"FFFHFFFF",
"FFFFFHFF",
"FFFHFFFF",
"FHHFFFHF",
"FHFFHFHF",
"FFFHFFFG",
]
如果 desc=None，则将使用 map_name。如果 desc 和 map_name 都为 None，将生成一个随机的 8x8 地图，其中 80% 的位置是冰冻的。
is_slippery=True: 如果为 True，玩家将以 1/3 的概率沿预期方向移动，否则将以各 1/3 的概率沿两个垂直方向移动。
例如，如果动作为左，且 is_slippery 为 True，则
P(向左移动)=1/3
P(向上移动)=1/3
P(向下移动)=1/3
版本历史¶
v1: 奖励的 Bug 修复
v0: 初始版本发布