神经网络使用Xavier参数初始化的本质

参数初始化的意义和目的

深度学习中的各种参数初始化方法都旨在保持正向传播时数据流方差的稳定与反向传播时梯度流方差的稳定，从而缓解梯度消失或梯度爆炸问题。

先前在反向传播这篇文章里介绍过参数初始化对于深度学习的重要性，本文不再赘述。

在该文最后的例子中可以看到好的参数初始化策略确实能使神经网络的训练过程更趋稳定。在例子中，我们直接使用了一个Xavier初始化策略的标准差生成了高斯分布的权重，但没有说明这个标准差是如何得来的，本篇文章将在此基础上做个引申。

我们想使神经网络传播过程每层的数据流或梯度流输出的方差保持不变。

考虑一个非线性无偏置的简单全连接，隐藏层接受 $n_{in}$ 个输入并生成 $n_{out}$ 个输出。具体来说，输入数据为 $x$ ，共 $n_{in}$ 个特征，满足均值为0、方差为 ${\gamma }^2$ ；每个神经元的输出为 $o_i$ ； $w_{ij}$ 是输入 $x$ 到输出 $o_i$ 的权重，满足均值为0、方差为 ${\sigma }^2$ ，且假设 $x_j$ 与 $w_{ij}$ 相互独立。

对于前向传播，$o_i$ 可表示为：

$o_i={\sum }_{j=1}^{n_{in}}{w}_{ij}{x}_j(1)$

Xavier参数初始化意图使每一层输出的方差接近其输入的方差，即要使输出 $o_i$ 的方差接近输入 $x_j$ 的方差。

$o_i$ 的均值 $E(o_i)$

由期望的定义及式 $(1)$ 可得：

$E(w_{ij})=0(2)$

$E(x_j)=0(3)$

$E(o_i)={\sum }_{j=1}^{n_{in}}E(w_{ij}{x}_j)(4)$

因为 $x_j$ 与 $w_{ij}$ 相互独立，所以 $E(w_{ij}{x}_j)=E(w_{ij})E(x_j)$ ，代入式 $(4)$ 可得：
$$\begin{array}{rl}E(o_i)& =\sum _{j=1}^{n_{in}}E(w_{ij}{x}_j)\\ & =\sum _{j=1}^{n_{in}}E(w_{ij})E(x_j)\\ & =0(5)\end{array}$$