后向传播过程中的为何乘以一个负号,在神经网络BP算法,,具体看下图,链接

Question

上面框起来的负号,为何要乘以-1 ,请解释一下,具体文章所在的链接:https://yq.aliyun.com/article...

Answer 1

我觉得应该是链式求导法则里面出现的负号。求偏导的时候，后面 $$\frac{1}{2}(target_{o2} - out_{o2})$$ 可以看成一个常数，求偏导的结果就是最后那个0。

$$\frac{1}{2}(target_{o1} - out_{o1})^2$$ 根据链式求导法则，是$$g(u) = \frac{1}{2}u^2$$，这里$$u=f(out_{o1}) = target_{o1} - out_{o1}$$，外层求偏导$$\frac{\partial g(u)}{\partial u} = \frac{1}{2} \times 2 \cdot u $$,再 $f(out_{o1})$ 对 $out_{o1}$ 求导，因为前面那个 $target_{o1}$ 看成常数，$\frac{\partial f(out_{o1})}{\partial out_{o1}} = -1$ 。

最终结果就是 $$\frac{\partial g(f(out_{o1}))}{\partial out_{o1}} = \frac{1}{2} \times 2 \cdot (target_{o1} - out_{o1}) \times -1 $$。

链接求导法则

Answer 2

公式里outo1的系数就是-1，求偏导应该乘-1啊