多层神经网络不会预测负值

Question

我已经实现了一个多层感知器来预测输入向量的正弦。这些向量由随机选择的四个 -1,0,1 组成，偏差设置为 1。网络应该预测向量内容之和的 sin。

例如输入 = <0,1,-1,0,1>输出 = Sin(0+1+(-1)+0+1)

我遇到的问题是网络永远不会预测负值，并且许多向量的 sin 值都是负值。它完美地预测所有正或零输出。我假设更新权重存在问题，权重在每个纪元后都会更新。有人在 NN 上遇到过这个问题吗？任何帮助都会很棒！

注意：该网络有 5 个输入，1 个隐藏层和 1 个输出中有 6 个隐藏单元。我在激活隐藏层和输出层上使用 sigmoid 函数，并尝试了大量的学习率（当前为 0.1）；

Answer 1

自从我研究多层感知器以来已经很长时间了，因此对此持保留态度。

我会将您的问题域重新调整为 [0,1] 域而不是 [-1,1]。如果您看一下逻辑函数图：

它会生成 [0,1] 之间的值。我预计它不会产生负面结果。我可能是错的，强硬的。

编辑：

您实际上可以将逻辑功能扩展到您的问题域。使用广义逻辑曲线将 A 和 K 参数设置为域的边界。

另一个选项是双曲正切，它从 [-1,+1] 开始，并且无需设置常数。

Answer 2

有许多不同类型的激活函数，其中许多被设计为输出 0 到 1 之间的值。如果您使用的函数仅输出 0 到 1 之间的值，请尝试调整它，使其输出 1 到 -1 之间。如果您使用 FANN 我会告诉您使用 FANN_SIGMOID_SYMMETRIC 激活函数。

Answer 3

虽然问题已经有了答案，但请允许我分享一下我的经验。我一直在尝试使用 1--4--1 神经网络来近似正弦函数。 IE，

与您的情况类似，我不允许使用任何高级 API，例如 TensorFlow。而且我一定会使用 C++ 而不是 Python3！ （顺便说一句，我最喜欢 C++）。

我使用 Sigmoid 激活及其导数定义为：

double sigmoid(double x) 
{ 
   return 1.0f / (1.0f + exp(-x)); 
}

double Sigmoid_derivative(double x)
{
   return x * (1.0f - x);
}

这是我在 10,000 epoch 后得到的结果，在 20 个训练示例上训练网络。

，网络感觉不像负曲线。因此，我将激活函数更改为 Tanh。

double tanh(double x)
{
   return (exp(x)-exp(-x))/(exp(x)+exp(-x));
}

double tanh_derivative(double x)
{
   return 1.0f - x*x ;
}

令人惊讶的是，经过一半的时期（即5000）后，我得到了更好的曲线。
我们都知道，使用更多的隐藏神经元、更多的纪元和更好（和更多）的训练示例将会显着改进。另外，整理数据也很重要！