Question

8.1 权重初始化

1. 权重一定不能全零初始化。因为这会导致神经元在前向传播中计算出同样的输出，然后在反向传播中计算出同样的梯度，从而进行同样的权重更新。这就产生了大量对称性神经元。

2. 通常采用小随机数初始化，通过这样来打破对称性。至于使用高斯分布还是均匀分布，对结果影响很小。

   • 之所以用小的随机数，是因为：如果网络中存在tanh 或者 sigmoid 激活函数，或者网络的输出层为sigmoid 等单元，则它们的变量值必须很小。

     如果使用较大的随机数，则很有可能这些单元会饱和，使得梯度趋近于零。这意味着基于梯度下降的算法推进的很慢，从而学习很慢。

   • 如果网络中不存在sigmoid/tanh 等激活函数，网络的输出层也不是sigmoid 等单元，则可以使用较大的随机数初始化。

3. 通常使用 $ MathJax-Element-49 $ 来校准权重初始化标准差。随着输入数据的增长，随机初始化的神经元的输出数据的分布中的方差也在增大。

   假设权重 $ MathJax-Element-50 $ 和输入 $ MathJax-Element-51 $ 之间的内积为 $ MathJax-Element-52 $ （不考虑非线性激活函数）。我们检查 $ MathJax-Element-59 $ 的方差

   $ Var(s)=Var(\sum_i^nw_ix_i)=\sum_i^nVar(w_ix_i)\\ =\sum_i^n[E(w_i)]^2Var(x_i)+E[(x_i)]^2Var(w_i)+Var(x_i)Var(w_i)\\ =\sum_i^nVar(x_i)Var(w_i)=(nVar(w))Var(x) $

   其中假设输入和权重的平均值都是0，因此有 $ MathJax-Element-54 $ 。同时假设所有的 $ MathJax-Element-55 $ 服从同样的分布 $ MathJax-Element-56 $ ，假设所有的 $ MathJax-Element-57 $ 服从同样的分布 $ MathJax-Element-58 $

   • 要使得输出 $ MathJax-Element-59 $ 和输入 $ MathJax-Element-60 $ 具有同样的方差，则必须保证每个权重 $ MathJax-Element-61 $ 的方差是 $ MathJax-Element-62 $ 。则如果权重通过一个标准高斯分布初始化，则需要将标准差除以 $ MathJax-Element-63 $
   • 在Glorot的论文中，他推荐初始化公式为： $ MathJax-Element-64 $ 。其中 $ MathJax-Element-65 $ 为输入和输出的数量。

8.2 偏置初始化

1. 通常将偏置初始化为0。这是因为随机小数值权重已经打破了对称性