遗传算法和俄罗斯方块

Question

我使用遗传算法创建俄罗斯方块播放器，并面临一些问题。我读过很多相关的著作，但他们没有给我足够的关于 GA 的细节。

问题是我的代理似乎很快就陷入困境......我使用评估函数涵盖 4 个特征：高度、覆盖的孔、平坦度和清除的行数。我读过一些使用相同评估的论文，并且能够执行数千行。

经过 600 代之后，在拥有 100 个智能体的情况下，最好的智能体平均只能完成 260 行，这是蹩脚的。所有代理都演奏相同的乐曲序列。

我的 GA 详细信息：

世代：600 人口：100个

基因：4个浮点值的数组，介于0和1之间。

均匀交叉以一定的概率发生，并以一定的概率在两个父母之间交换基因。

突变以一定的概率发生，这里我尝试了3种不同的方法：交换基因，用随机值替换基因，或者向基因添加一些噪声值。

我的精英率为50%，并注意到一些好的特工被选中，并产生了更差的特工，污染了人口。

选择就像轮盘赌......

如果有人能给我有关交叉和变异的最佳方式的详细信息，我很感激！

谢谢，抱歉这么长的帖子！

Answer 1

评价函数似乎存在一些差异。您描述了四个特征：

1. 高度、
2. 覆盖的孔、
3. 平整度和
4. 清除的行数

但是，您引用的论文描述了五个特征：

代理用来确定棋盘状态效用的函数是根据状态计算出的数值特征的加权线性和。 Colin Fahey 的代理商使用了以下特征：桩高、封闭孔的数量以及<强>井（Fahey 2003）。我们添加的特征是刚刚制作的线数，以及表示堆的“凹凸程度”的数字 >。

（强调我的）

所以看来您缺少评估函数和基因构成中的“井”特征。

Answer 2

与论文不同，您应该实现游戏的“下一块”方面。

在计算“效用”之前，模拟所有可能的“当前块”放置，然后是“下一块”。

为了提高性能，您可以缓存“下一块”展示位置以获得最佳“实用性”，这样它们就不需要再次重新计算为“当前块”展示位置。

虽然计算会更慢，但我相信你的代理会发展得更快/更聪明。