确定在进化算法中权衡哪些输入

Question

我曾经写过一个俄罗斯方块人工智能，玩得很好。我使用的算法（本文中描述）是一个两步过程。

第一步，程序员决定跟踪对问题“感兴趣”的输入。在俄罗斯方块中，我们可能有兴趣跟踪连续有多少间隙，因为最小化间隙可以帮助更轻松地放置未来的碎片。另一个可能是平均柱高，因为如果你即将失败，冒险可能不是一个好主意。

第二步是确定与每个输入相关的权重。这是我使用遗传算法的部分。任何学习算法都可以在这里进行，只要根据结果随时间调整权重即可。这个想法是让计算机决定输入与解决方案的关系。

使用这些输入及其权重，我们可以确定采取任何行动的价值。例如，如果将直线形状一直放在右列中可以消除4个不同行的间隙，那么如果该动作的权重较高，则可以获得很高的分数。同样，将其平放在顶部实际上可能会导致间隙，从而导致动作得分较低。

我一直想知道是否有一种方法可以将学习算法应用到第一步，在那里我们找到“有趣的”潜在输入。似乎可以编写一种算法，让计算机首先学习哪些输入可能有用，然后应用学习来权衡这些输入。以前有过类似的事情吗？它是否已被用于任何人工智能应用程序？

Answer 1

在神经网络中，您可以通过查找与您正在训练的分类具有最强相关性（正相关或负相关）的输入来选择“有趣”的潜在输入。我想你也可以在其他情况下做类似的事情。

Answer 2

我想我可以通过向学习算法提供更原始的数据来解决您所描述的问题。例如，俄罗斯方块游戏状态可以通过占用单元的列表来描述。描述该信息的一串位将是学习算法该阶段的合适输入。实际上，这方面的培训仍然具有挑战性；你怎么知道这些结果是否有用。我想你可以将整个算法整合到一个单一的 blob 中，其中算法被输入连续的游戏状态，输出只是块的位置，并为后代选择更高的得分算法。

另一种选择可能是使用来自其他来源的大量戏剧语料库；例如人类玩家或手工制作的人工智能的记录游戏，并选择其输出与未来游戏中的一些有趣事实或其他事实（例如在接下来的 10 步中获得的分数）具有很强相关性的算法。

Answer 3

是的，有办法。

如果您选择M个选定的特征，则有 2^M 个子集，因此需要查看很多内容。
我会执行以下操作：

For each subset S
   run your code to optimize the weights W
   save S and the corresponding W

然后，对于每对 SW，您可以为每对运行 G 游戏并保存每对的分数 L。现在你有一个像这样的表：

feature1    feature2    feature3    featureM   subset_code game_number    scoreL
1           0           1           1           S1         1              10500
1           0           1           1           S1         2              6230
...
0           1           1           0           S2         G + 1          30120
0           1           1           0           S2         G + 2          25900

现在你可以运行一些组件选择算法（例如PCA）并决定哪些特征值得解释scoreL。

提示：当运行代码来优化 W 时，为随机数生成器提供种子，以便针对相同的片段序列测试每个不同的“进化大脑”。

我希望它能有所帮助！