Question

我们来演示几个有数字的示例，让读者看看这种权重更新的方法是可以成功的。

下面的网络是我们之前演示过的一个，但是这次，我们添加了隐藏层第一个节点o_{j = 1} 和隐藏层第二个节点o_{j = 2} 的示例输出值。这些数字只是为了详细说明这个方法而随意列举的，读者不能通过输入层前馈信号正确计算得到它们。

我们要更新隐藏层和输出层之间的权重w_1,1 。当前，这个值为2.0。

让我们再次写出误差斜率。

让我们一项一项地进行运算：

· 第一项（t_k -o_k ）得到误差e ₁ = 0.8。

· S函数内的求和Σ_j w_j,k o_j 为（2.0×0.4）+（3.0 * 0.5）= 2.3。

· sigmoid 1/(1 + e ^-2.3 ) 为0.909。中间的表达式为0.909 *（1-0.909）= 0.083。

· 由于我们感兴趣的是权重w_1,1 ，其中j=1，因此最后一项o_j 也很简单，也就是o_{j = 1} 。此处，o_j 值就是0.4。

将这三项相乘，同时不要忘记表达式前的负号，最后我们得到-0.0265。

如果学习率为0.1，那么得出的改变量为- （0.1 * -0.02650）= + 0.002650。因此，新的w_1,1 就是原来的2.0加上0.00265等于2.00265。

虽然这是一个相当小的变化量，但权重经过成百上千次的迭代，最终会确定下来，达到一种布局，这样训练有素的神经网络就会生成与训练样本中相同的输出。