嵌套列表作为状态、元组作为动作的 Q 表表示

Question

当我的状态是列表而操作是元组时，如何创建 Q 表？

N = 3 的状态示例

[[1], [2], [3]]
[[1], [2, 3]]
[[1], [3, 2]]
[[2], [3, 1]]
[[1, 2, 3]]

这些状态的操作示例

[[1], [2], [3]] -> (1, 2), (1, 3), (2, 1), (2, 3), (3, 1), (3, 2)
[[1], [2, 3]] -> (1, 2), (2, 0), (2, 1)
[[1], [3, 2]] -> (1, 3), (3, 0), (3, 1)
[[2], [3, 1]] -> (2, 3), (3, 0), (3, 2)
[[1, 2, 3]] -> (1, 0)

我想知道的

# q_table = {state: {action: q_value}}

但我不认为这是一个好的设计。

Answer 1

1. 你的州真的应该属于列表类型吗？

list 是一个可变类型。 tuple 是等效的不可变类型。你在学习过程中会改变你的状态吗？我对此表示怀疑。

无论如何，如果您使用 list，则不能将其用作字典键（因为它是可变的）

2. 否则，这是一个非常好的表示

在强化学习上下文中，您将希望

1. 得到Q 的特定值
2. 查看特定状态下所有可能操作的 Q 值（以找到最大 Q）

您的表示允许您以最小的复杂性完成这两个操作，并且非常清晰。所以这是一个很好的代表。

Answer 2

使用嵌套词典实际上是自定义表格加固学习的合理设计选择---它称为表格，原因是有原因的:)

您可以使用默认设备将Q-table初始化为某个值，例如，例如，0。

from collections import defaultdict

q = defaultdict(lambda: defaultdict(lambda: default_q_value))

或无默认值：

q = {s: {a: default_q_value for a in actions} for s in states}

IT然后，可以方便地执行更新，从而获得最大的功能，这样

best_next_state_val = max(q[s].values())
q[state][action] += alpha * (reward + gamma * best_next_state_val)

我就要注意的是，如果您使用这样的Q桌子训练代理商，则每当所有值时，每次都会选择相同的操作因为这些动作是相等的（例如QF初始化时）。

最后，如果您不想使用字典，则可以将状态和操作元组映射到索引，将映射存储在字典中，并在将状态/操作传递给环境实现时使用查找。然后，您可以将它们用作2D Numpy数组的索引。