连接 4 与神经网络：草案评估 +进一步的步骤

Question

我想构建一个使用人工神经网络工作的 Connect 4 引擎 - 只是因为我对 ANN 着迷。

我创建了以下 ANN 结构草案。会起作用吗？这些连接是否正确（即使是交叉的）？

你能帮我为这个 ANN 起草一个 UML 类图吗？

我想向 ANN 提供董事会代表作为其输入。输出应该是选择的动作。

稍后应使用强化学习和sigmoid 函数 应该被应用。该引擎将与人类玩家对战。并且根据比赛结果，调整权重。

我正在寻找...

...主要是编码问题。从抽象思维到编码的距离越远，效果就越好。

Answer 1

下面是我在搞乱神经网络时如何组织设计和代码的。这里的代码（显然）是伪代码，大致遵循面向对象的约定。

从下往上开始，你将拥有你的神经元。每个神经元需要能够保存它对传入连接的权重、保存传入连接数据的缓冲区以及其传出边缘的列表。每个神经元需要能够做三件事：

• 一种从传入边缘接受数据
• 的方法 一种处理输入数据和权重以制定该神经元将发送出去的值的
• 方法 一种在传出边缘发送该神经元值的方法就

代码而言，这可以翻译为：

// Each neuron needs to keep track of this data
float in_data[]; // Values sent to this neuron
float weights[]; // The weights on each edge
float value; // The value this neuron will be sending out
Neuron out_edges[]; // Each Neuron that this neuron should send data to

// Each neuron should expose this functionality
void accept_data( float data ) {
    in_data.append(data); // Add the data to the incoming data buffer
}
void process() {
    value = /* result of combining weights and incoming data here */;
}
void send_value() {
    foreach ( neuron in out_edges ) {
        neuron.accept_data( value );
    }
}

接下来，我发现如果创建一个包含神经元列表的 Layer 类，则最简单。 （很有可能跳过这个类，只让你的 NeuralNetwork 保存一个神经元列表。我发现使用 Layer 类在组织和调试方面更容易。）每个层都应该具有以下能力

• ：每个神经元“激发”
• 返回该层所包围的神经元的原始数组。 （当您需要执行诸如在神经网络的第一层中手动填充输入数据之类的操作时，这非常有用。）

从代码角度来看，这意味着：

//Each layer needs to keep track of this data.
Neuron[] neurons;

//Each layer should expose this functionality.
void fire() {
    foreach ( neuron in neurons ) {
        float value = neuron.process();
        neuron.send_value( value );
    }
}
Neuron[] get_neurons() {
    return neurons;
}

最后，您有一个包含层列表的 NeuralNetwork 类，这是一种使用初始数据、学习算法和运行整个神经网络的方法设置第一层。在我的实现中，我通过添加由单个假神经元组成的第四层来收集最终的输出数据，该假神经元只是缓冲所有传入数据并返回该数据。

// Each neural network needs to keep track of this data.
Layer[] layers;

// Each neural network should expose this functionality
void initialize( float[] input_data ) {
    foreach ( neuron in layers[0].get_neurons() ) {
        // do setup work here
    }
}
void learn() {
    foreach ( layer in layers ) {
        foreach ( neuron in layer ) {
            /* compare the neuron's computer value to the value it
             * should have generated and adjust the weights accordingly
             */
        }
    }
}
void run() {
    foreach (layer in layers) {
        layer.fire();
    }
}

我建议从向后传播作为学习算法开始，因为它被认为是最容易实现的。当我从事这项工作时，我很难找到该算法的非常简单的解释，但我的笔记列表 这个网站是一个很好的参考。

我希望这足以让您开始！

Answer 2

实现神经网络的方法有很多种，从简单/易于理解到高度优化。您链接到的有关反向传播的维基百科文章包含C++, C#、Java 等可以作为很好的参考，如果您有兴趣了解其他人是如何做到的。

一种简单的架构将节点和连接建模为单独的实体；节点将具有到其他节点的可能的传入和传出连接以及激活级别和错误值，而连接将具有权重值。

或者，还有更有效的方法来表示这些节点和连接——例如，按层组织的浮点值数组。这使得代码变得有点棘手，但避免了创建如此多的对象和指向对象的指针。

一个注意事项：人们通常会包含 偏置节点——除了正常的输入节点之外——它为每个隐藏节点和输出节点提供恒定值。

Answer 3

我之前已经实现过神经网络，并发现您提出的架构存在一些问题：

1. 典型的多层网络具有从每个输入节点到每个隐藏节点的连接节点，以及从每个隐藏节点到每个输出节点。这使得来自所有输入的信息能够被组合起来并贡献于每个输出。如果您为每个输入指定 4 个隐藏节点，那么您将失去一些网络识别输入和输出之间关系的能力。

2. 您将如何提出训练网络的值？您的网络在棋盘位置和最佳下一步行动之间创建映射，因此您需要一组提供此映射的训练示例。游戏结束时的走法很容易识别，但如何判断游戏中期的走法是“最佳”的呢？ （强化学习可以在这里提供帮助）

最后一个建议是使用双极性输入（-1 表示错误，+1 表示正确），因为这可以加快学习速度。内特·科尔 (Nate Kohl) 提出了一个很好的观点：每一个隐藏的&输出节点将受益于偏置连接（将其视为具有固定值“1”的另一个输入节点）。

Answer 4

您的设计将高度依赖于您计划使用的强化学习的特定类型。

最简单的解决方案是使用反向传播。这是通过将误差反馈回网络（以相反的方式）并使用（S形）函数的反函数来确定对每个权重的调整来完成的。经过多次迭代后，权重将自动调整以适应输入。

遗传算法是反向传播的替代方法，它可以产生更好的结果（尽管速度有点慢）。这是通过将权重视为可以轻松插入和删除的模式来完成的。该模式会多次被变异版本替换（使用自然选择原理），直到找到合适的版本。

正如您所看到的，每一个的实现都会有很大的不同。您可以尝试使网络足够通用以适应每种类型的实现，但这可能会使它过于复杂。一旦投入生产，您通常只会接受一种形式的培训（或者理想情况下您的网络已经接受过培训）。