用于快速训练的神经网络设置

Question

我正在创建一个工具，用于根据过去的数据预测软件项目的时间和成本。该工具使用神经网络来做到这一点，到目前为止，结果是有希望的，但我认为我可以通过改变网络的属性来进行更多的优化。在这些设置方面似乎没有任何规则，甚至没有很多最佳实践，因此如果有经验的人可以帮助我，我将不胜感激。

输入数据由一系列整数组成，这些整数可以达到用户想要的最高值，但我认为大多数都会低于 100,000。有些会低至 1。它们是项目的人数和项目成本等详细信息，以及有关数据库实体和用例的详细信息。

总共有 10 个输入和 2 个输出（时间和成本）。我正在使用弹性传播来训练网络。目前它有：10 个输入节点、1 个包含 5 个节点的隐藏层和 2 个输出节点。我正在训练将错误率控制在 5% 以下。

该算法必须在网络服务器上运行，因此我采取了一种措施，当它看起来不会去任何地方时停止训练。这设置为 10,000 次训练迭代。

目前，当我尝试使用一些有点不同但完全在我们期望用户输入的数据范围内的数据来训练它时，训练需要很长时间，一遍又一遍地达到 10,000 次迭代限制。

这是我第一次使用神经网络，我真的不知道会发生什么。如果您能给我一些关于我应该为网络和迭代限制使用哪种设置的提示，我将不胜感激。

谢谢你！

Answer 1

首先，感谢您提供这么多有关您的网络的信息！这里有一些提示，可以让您更清楚地了解情况。

• 您需要标准化您的输入。如果一个节点看到的平均值为 100,000，而另一个节点的平均值仅为 0.5，那么您将不会看到这两个输入产生相同的影响。这就是为什么您需要将它们标准化。
• 10 个输入节点只有 5 个隐藏神经元？我记得在某处读过，你需要至少两倍的输入数量；尝试 20 多个隐藏神经元。这将为您的神经网络模型提供开发更复杂模型的能力。然而，太多的神经元和你的网络只会记住训练数据集。
• 弹性反向传播很好。请记住，还有其他训练算法，例如 Levenberg-Marquardt。
• 您有多少个训练集？神经网络通常需要大型数据集才能擅长做出有用的预测。
• 如果您还没有这样做，请考虑在您的重量训练算法中添加动量因子以加快速度。
• 在线训练往往比批量训练更适合做出广义预测。前者在通过网络运行每个训练集后更新权重，而后者在每个数据集通过后更新网络。这是你的决定。
• 您的数据是离散的还是连续的？神经网络在使用 0 和 1 时往往比连续函数做得更好。如果是前者，我建议使用 sigmoid 激活函数。隐藏层和输出层的 tanh 和线性激活函数的组合往往可以很好地处理连续变化的数据。
• 您需要另一个隐藏层吗？如果您的网络正在处理复杂的输入输出表面映射，这可能会有所帮助。