为什么 ANN 中需要 BIAS？我们应该为每一层设置单独的 BIAS 吗？

Question

我想建立一个模型来预测输入信号的未来响应，我的网络架构是 [3, 5, 1]：

• 3 个输入，
• 隐藏层 5 个神经元，
• 输出层 1 个神经元。

我的问题是：

1. 我们应该为每个隐藏层和输出层设置单独的偏差吗？
2. 我们是否应该在每一层为 BIAS 分配权重（因为 BIAS 会对我们的网络产生额外的价值并导致网络负担过重）？
3. 为什么 BIAS 总是设置为 1？如果eta有不同的值，为什么我们不将BIAS设置为不同的值？
4. 为什么我们总是对非线性函数使用 log sigmoid 函数，我们可以使用 tanh 吗？

Answer 1

因此，我认为如果我们退后一步讨论偏差单元在神经网络中扮演的角色，大部分问题都会弄清楚。

偏置单元旨在允许网络中的单元学习适当的阈值（即在达到某个总输入后，开始发送正激活），因为通常正总输入意味着正激活。

例如，如果您的偏置单元对某些神经元 x 的权重为 -2，那么如果所有其他输入加起来大于 -2，神经元 x 将提供正激活。

因此，以此为背景，您的答案是：

1. 不，一个偏置输入总是足够的，因为它可以根据每个单元的权重对不同的神经元产生不同的影响。
2. 一般来说，对每个非输入单元设置偏置权重是一个好主意，因为否则那些没有偏置权重的单元的阈值将始终为零。
3. 由于阈值，一旦学习应该在各个试验中保持一致。请记住，偏差代表每个单元如何与输入交互；它本身不是输入。
4. 你当然可以，而且很多人都可以。任何挤压函数通常都充当激活函数。