Question

1. 有些优化算法是非迭代的，可以直接解析求解最优解；有些优化算法是迭代的，但是它们是初始值无关的。

   深度学习不具有这两类性质，通常是迭代的，且与初始值相关。

2. 深度学习中，大多数算法都受到初始值的影响。初始值能够决定：算法最终是否收敛、以及收敛时的收敛速度有多快、以及收敛到一个代价函数较高还是较低的值。

3. 深度学习中，初始值也会影响泛化误差，而不仅仅是目标函数的最优化。

   因为如果选择一个不好的初始值，则最优化的结果会落在参数空间的一个较差的区域。此时会导致模型一个较差的泛化能力。

4. 目前深度学习中，选择初始化策略是启发式的。

   • 大多数初始化策略使得神经网络初始化时实现一些良好的性质。但是这些性质能否在学习过程中保持，难以保证。
   • 有些初始化点从最优化的观点是有利的，但是从泛化误差的观点来看是不利的。
   • 设定一个好的初始化策略是困难的，因为神经网络最优化任务至今都未被很好理解。
   • 对于初始点如何影响泛化误差的理论是空白的，几乎没有任何指导。

5. 度学习中，初始值的选择目前唯一确定的特性是：需要在不同单元之间破坏对称性。

   • 如果具有相同激励函数的两个隐单元连接到相同的输入，则这些单元必须具有不同的初始化参数。

     如果它们具有相同的初始化参数，则非随机的学习算法将一直以同样的方式更新这两个单元。

   • 通常鼓励每个单元使用和其他单元不一样的函数，如选择不同的权重或者偏置。

6. 通常的参数初始化策略为：随机初始化权重，偏置通过启发式挑选常数，额外的参数也通过启发式挑选常数。

7. 也可以使用机器学习来初始化模型的参数。

   在同样的数据集上，即使是用监督学习来训练一个不相关的任务，有时也能够得到一个比随机初始化更好的初始值。原因是：监督学习编码了模型初始参数分布的某些信息。

9.1 权重初始化

1. 通常权重的初始化是从高斯分布或者均匀分布中挑选出来的值。

   • 从高斯分布还是均匀分布中挑选，看起来似乎没有很大差别，实际上也没有被仔细研究。
   • 该分布的范围（如均匀分布的上、下限）对优化结果和泛化能力有很大的影响。

2. 初始权重的大小很重要，下面的因素决定了权重的初始值的大小：

   • 更大的初始权重具有更强的破坏对称性的作用，有助于避免冗余的单元。
   • 更大的初始权重也有助于避免梯度消失。
   • 更大的初始权重也容易产生梯度爆炸。
   • 循环神经网络中，更大的初始权重可能导致混沌现象：对于输入中的很小的扰动非常敏感，从而导致确定性算法给出了随机性结果。

3. 关于如何初始化网络，正则化和最优化有两种不同的角度：

   • 从最优化角度，建议权重应该足够大，从而能够成功传播信息。
   • 从正则化角度，建议权重小一点（如 $ L_2 $ 正则化），从而提高泛化能力。

4. 有些启发式方法可用于选择权重的初始化大小。

   假设有 $ m $ 个输入， $ n $ 个输出的全连接层。

   

   • 常见的做法是建议使用均匀分布的随机初始化： $ \mathbf W_{i,j}\sim U\left(-\sqrt{\frac 1{m}},\sqrt{\frac 1{m}}\right) $ 。

   • Glorot et al.建议使用均匀分布的随机初始化： $ \mathbf W_{i,j}\sim U\left(-\sqrt{\frac 6{m+n}},\sqrt{\frac 6{m+n}}\right) $ 。

     这种方法使网络在相同激励方差和相同的梯度方差之间折中。

     激励就是前向传播中，各信号（如权重、偏置等）的值。梯度就是它们的导数值。

5. 不幸的是上述启发式初始化权重的策略往往效果不佳。有三个可能的原因：

   • 可能使用了错误的标准：约束网络中信号（如梯度、权重）的范数可能并不会带来什么好处。
   • 初始化时强加给参数的性质可能在学习开始之后无法保持。
   • 可能提高了优化速度，但意外地增大了泛化误差。

6. Martens提出了一种称作稀疏初始化的替代方案：每个单元初始化为恰好具有 $ k $ 个非零的权重。

   这个方案有助于单元之间在初始化时就具有更大的多样性。

7. 实践中，通常需要将初始权重范围视作超参数。

   如果计算资源允许，可以将每层权重的初始数值范围设置为一个超参数，然后使用超参数搜索算法来挑选这些超参数。

9.2 偏置初始化

1. 偏置的初始化通常更容易。大多数情况下，可以设置偏置初始化为零。

2. 有时可以设置偏置初始化为非零，这发生在下面的三种情况：

   • 如果偏置是作为输出单元，则初始化偏置为非零值。

     假设初始权重足够小，输出单元的输出仅由初始化偏置决定，则非零的偏置有助于获取正确的输出边缘统计。

   • 有时选择偏置的初始值以免初始化引起激活函数饱和。如：ReLU 激活函数的神经元的偏置设置为一个小的正数，从而避免ReLU 初始时就位于饱和的区域。

   • 有时某个单元作为开关来决定其他单元是使用还是不使用。此时偏置应该非零，从而打开开关。