面对配分函数 - 对数似然梯度篇

序言

在机器学习和统计学领域，对数似然梯度是一种至关重要的优化方法，特别是在处理复杂概率模型时。对数似然梯度方法的核心在于通过最大化对数似然函数来求解模型参数，这一方法广泛应用于各种参数估计问题中。对数似然梯度方法之所以受到青睐，是因为对数似然函数通常具有较为简单的形式，且其梯度易于计算，从而便于使用梯度上升算法进行求解。

对数似然梯度

• 通过最大似然学习无向模型特别困难的原因在于配分函数依赖于参数。对数似然相对于参数的梯度具有一项对应于配分函数的梯度：
  ${\nabla }_{\mathbf{\theta }}\log p(\text{x};\mathbf{\theta })={\nabla }_{\theta }\log \tilde{p}(\text{x};\mathbf{\theta })-{\nabla }_{\mathbf{\theta }}\log Z(\mathbf{\theta })$ $\text{—公式1}$

• 这是学习过程中非常著名的正相 ($\text{positive phase}$) 和负相 ($\text{negative phase}$) 的分解。

• 对于大多数感兴趣的无向模型而言，负相是困难的。

  • 没有潜变量或潜变量之间很少相互作用的模型通常会有一个易于求解的正相。
  • $\text{RBM}$是一个具有简单正相和困难负相的典型模型，具有在给定可见单位的情况下彼此条件独立的隐藏单元。
  • 潜变量之间具有复杂相互作用的困难正相将主要在后续篇章：近似推断中讨论。
  • 本章主要探讨负相困难的情况。

• 让我们进一步分析 $\log Z$ 的梯度：
  $\{\begin{array}{l}\begin{array}{rlr}& {\nabla }_{\mathbf{\theta }}\log Z& \text{—公式2}\\ & & \\ & =\frac{{\nabla }_{\mathbf{\theta }}}{Z}& \text{—公式3}\\ & & \\ & =\frac{{\nabla }_{\mathbf{\theta }}{\sum }_{\text{x}}\tilde{p}(\text{x})}{Z}& \text{—公式4}\\ & & \\ & =\frac{{\sum }_{\text{x}}{\nabla }_{\mathbf{\theta }}\tilde{p}(\text{x})}{Z}& \text{—公式5}\end{array}\end{array}$

• 对于保证所有的 $\text{x}$ 都有 $p(\text{x})>0$ 的模型，我们用 $e^{(\log \tilde{p}(\text{x}))}$ 代替 $\tilde{p}(\text{x})$：
  $\{\begin{array}{l}\begin{array}{rlr}& \frac{{\sum }_{\text{x}}{\nabla }_{\mathbf{\theta }}{e}^{(\log \tilde{p}(\text{x}))}}{Z}& \text{—公式6}\\ & & \\ & =\frac{{\sum }_{\text{x}}{e}^{(\log \tilde{p}(\text{x}))}{\nabla }_{\mathbf{\theta }}\log \tilde{p}(\text{x})}{Z}& \text{—公式7}\\ & & \\ & =\frac{{\sum }_{\text{x}}\tilde{p}(\text{x}){\nabla }_{\mathbf{\theta }}\log \tilde{p}(\text{x})}{Z}& \text{—公式8}\\ & & \\ & =\sum _{\text{x}}p(\text{x}){\nabla }_{\mathbf{\theta }}\log \tilde{p}(\text{x})& \text{—公式9}\\ & & \\ & ={\mathbb{E}}_{\text{x}\sim p(\text{x})}{\nabla }_{\mathbf{\theta }}\log \tilde{p}(\text{x})& \text{—公式10}\end{array}\end{array}$

• 这个推导对离散 $\mathbf{x}$ 进行求和，对连续 $\mathbf{x}$ 进行积分也会出现类似结果。

• 面对连续版本的推导过程中，我们使用在积分符号下微分莱布尼兹法则，得到等式：
  ${\nabla }_{\mathbf{\theta }}\int \tilde{p}(\text{x})\text{d}(\mathbf{x})=\int {\nabla }_{\mathbf{\theta }}\tilde{p}(\text{x})\text{d}(\mathbf{x})$ $\text{—公式11}$

• 该等式只适用于 $\tilde{p}$ 和 ${\nabla }_{\mathbf{\theta }}\tilde{p}(\text{x})$ 上的一些特定正则条件。在测度理论术语中，这些条件是：

  • （1）对每一个 $\mathbf{\theta }$ 而言，未归一化分布 $\tilde{p}$ 必须是 $\mathbf{x}$ 的勒贝格可积函数。
  • （2）对于所有的 $\mathbf{\theta }$ 和几乎所有 $\mathbf{x}$，梯度 ${\nabla }_{\mathbf{\theta }}\tilde{p}(\text{x})$ 必须存在。
  • （3）对于所有的 $\mathbf{\theta }$ 和几乎所有的 $\mathbf{x}$，在 ${\max }_i|\frac{\partial }{\partial {\theta }_i}\tilde{p}(\text{x})|\le R(\mathbf{x})$ 的情况下，必须存在能够限制住 ${\nabla }_{\mathbf{\theta }}\tilde{p}(\text{x})$ 的可积函数 $R(\mathbf{x})$。幸运的是，大多数感兴趣的机器学习模型都具有这些性质。

• 这个等式：
  ${\nabla }_{\mathbf{\theta }}\log Z={\mathbb{E}}_{\text{x}\sim p(\text{x})}{\nabla }_{\mathbf{\theta }}\log \tilde{p}(\text{x})$ $\text{—公式12}$
  是使用各种蒙特卡罗方法近似最大化（具有难求解配分函数模型的）似然的基础。

• 蒙特卡罗方法为学习无向模型提供了直观的框架，我们能够在其中考虑正相和负相。

  • 在正相中，我们对于数据中抽取的 $\mathbf{x}$ 增加 $\log \tilde{p}(\text{x})$。
  • 在负相中，我们通过减少从模型分布中采样的 $\log \tilde{p}(\text{x})$ 来降低配分函数。

• 在深度学习文献中，经常会看到用能量函数（公式7）来参数化 $\log \tilde{p}$ 。在这种情况下，正相可以解释为压低训练样本的能量， 负相可以解释为提高模型抽出的样本的能量。

总结

对数似然梯度方法是一种高效且实用的优化方法，在机器学习和统计学领域具有广泛的应用前景。它通过将问题转化为对数似然函数的最大化问题，利用梯度上升算法进行求解，从而实现了模型参数的优化。对数似然梯度方法的优势在于其简单性、可计算性和有效性，这使得它成为处理复杂概率模型时的首选方法。然而，我们也需要注意到，对数似然梯度方法在实际应用中可能受到多种因素的影响，如数据的噪声、模型的复杂性等。因此，在使用该方法时，我们需要结合具体问题进行考虑，选择适当的正则化技术和优化算法来提高模型的稳定性和泛化能力。

相关内容回顾

深度学习中的结构化概率模型 - 结构化概率模型的深度学习方法篇 - RBM
蒙特卡罗方法 -引言篇
深度学习中的结构化概率模型 - 使用图来描述模型结构篇 - 基于能量的模型