强化学习入门：交叉熵方法数学推导

前言

 最近想开一个关于强化学习专栏，因为DeepSeek-R1很火，但本人对于LLM连门都没入。因此，只是记录一些类似的读书笔记，内容不深，大多数只是一些概念的东西，数学公式也不会太多，还望读者多多指教。本次阅读书籍为：马克西姆的《深度强化学习实践》。
 限于篇幅原因，请读者首先看下历史文章：
 马尔科夫过程
 马尔科夫奖励过程
 马尔科夫奖励过程二
 RL框架Gym简介
 Gym实现CartPole随机智能体
 本篇开始，将介绍第一个RL算法，交叉熵算法。

1、交叉熵公式推导

1.1.前置基础

 在介绍交叉熵算法之前，为了防止读者对交叉熵算法由来有疑惑，因此，先简单介绍下数学公式推导：
$$E_{x\sim p(x)}[H(x)]={\int }_{x}p(x)H(x)dx$$
 在上述公式中：$p(x)$是所有可能策略概率分布，而$H(x)$是采取x策略所获得的奖励值。而目的则是得到奖励值的期望，也就是将其积分。
 但由于直接计算$p(x)$很难，因此我们希望找到一个$q(x)$来逼近$p(x)$，则此时公式变成：
$$E_{x\sim p(x)}[H(x)]={\int }_{x}p(x)H(x)dx={\int }_{x}q(x)\frac{p(x)}{q(x)}H(x)dx=E_{x\sim q(x)}[q(x)\frac{p(x)}{q(x)}H(x)]$$
 然后根据KL散度来逐步用$q(x)$来逼近$p(x)$，KL散度定义为：
$$KL(p(x)||q(x))=E_{x\sim p_{(}x)}log\frac{p(x)}{q(x)}=E_{x\sim p(x)}log(p(x))-E_{x\sim p(x)}log(q(x))$$
 则在上述公式中：第一项为熵，由于跟优化目标无关，可以忽略；第二项为交叉熵，即深度学习中通常的损失函数。

1.2.推导迭代公式

 根据公式1可以得出：
$$E_{x\sim p(x)}[H(x)]=E_{x\sim q_i(x)}\left[\frac{p(x)}{q_i(x)}H(x)\right]$$
 之后可以使用重要采样来重写 KL 散度。重要采样是一种通过另一个分布 $q_i(x)$ 来估计期望的方法。具体来说:
$$E_{x\sim p(x)}[f(x)]=\int f(x)p(x)dx=\int f(x)\frac{p(x)}{q_i(x)}{q}_i(x)dx=E_{x\sim q_i(x)}\left[f(x)\frac{p(x)}{q_i(x)}\right]$$

将这个思想应用到 KL 散度上:
$$KL(p(x)\Vert q_{i+1}(x))=E_{x\sim p(x)}\log \frac{p(x)}{q_{i+1}(x)}=E_{x\sim q_i(x)}\left[\log \frac{p(x)}{q_{i+1}(x)}\cdot \frac{p(x)}{q_i(x)}\right]$$

进一步展开表达式:
$$KL(p(x)\Vert q_{i+1}(x))=E_{x\sim q_i(x)}\left[\frac{p(x)}{q_i(x)}\left(\log p(x)-\log q_{i+1}(x)\right)\right]$$

 将表达式分离为两部分:
$$KL(p(x)\Vert q_{i+1}(x))=E_{x\sim q_i(x)}\left[\frac{p(x)}{q_i(x)}\log p(x)\right]-E_{x\sim q_i(x)}\left[\frac{p(x)}{q_i(x)}\log q_{i+1}(x)\right]$$

注意到第一部分 $E_{x\sim q_i(x)}\left[\frac{p(x)}{q_i(x)}\log p(x)\right]$ 是关于 $q_{i+1}(x)$ 的常数项，因此我们在最小化 KL 散度时可以忽略这一部分:
$$\underset{q_{i+1}(x)}{\min }KL(p(x)\Vert q_{i+1}(x))=\underset{q_{i+1}(x)}{\min }-E_{x\sim q_i(x)}\left[\frac{p(x)}{q_i(x)}\log q_{i+1}(x)\right]$$

 为了与原始问题中的 $H(x)$ 结合，假设 $H(x)=1$（即没有额外的权重）。如果 $H(x)\ne 1$，则可以在目标函数中包含 $H(x)$:
$$\underset{q_{i+1}(x)}{\min }-E_{x\sim q_i(x)}\left[\frac{p(x)}{q_i(x)}H(x)\log q_{i+1}(x)\right]$$

 则最终迭代公式为：
$$q_{i+1}(x)=\arg \min -E_{x\sim q_i(x)}\frac{p(x)}{q_i(x)}H(x)\log q_{i+1}(x)$$

2、转化到RL

 根据上节推导出的公式，换元得到RL的损失函数：
$${\pi }_{i+1}(a|s)=\arg \min -E_{z\sim {\pi }_i(a|s)}\frac{p(x)}{{\pi }_i(a|s)}H(x)\log {\pi }_{i+1}(a|s)$$
 在上述公式中，$p(x)H(x)$可以用指示函数替代，超过阈值为1，否则奖励为0。最终通过SGD就能得到一个$\pi$最优策略模型，进而逼近真实的分布。

总结

 本篇的公式比较多，我也有点儿懵逼，可以不用深入理解。下一篇将交叉熵方法用到CartPole智能体看看效果变得如何。