1 信息量

一个事件的信息量与其概率有关，事件发生概率越小，已知信息就越少，信息量越大，因此考虑先将概率反比，又因为独立事件概率相乘性，将其取对数，则可以将信息量相加。

$$I(x)={\log }_2(\frac{1}{p(x)})=-{\log }_2(p(x))$$

举个例子：对于一个均匀的硬币，其正面朝上的概率为$p(h)=0.5$，反面朝上的概率$p(t)=0.5$，则我们可以计算出正面朝上事件的信息量和反面朝上事件的信息量：

$$I_p(h)={\log }_2\frac{1}{0.5}=1$$$$I_p(t)={\log }_2\frac{1}{0.5}=1$$

同理：如果是一个不均匀的硬币，其正面朝上的概率为$q(h)=0.2$，反面朝上的概率$q(t)=0.8$，则我们可以计算出正面朝上事件的信息量和反面朝上事件的信息量：

$$I_q(h)={\log }_2\frac{1}{0.2}=2.32$$$$I_q(t)={\log }_2\frac{1}{0.8}=32$$

可以看出事件发生的概率越小，其信息量越大。

2 香农熵

信息熵（又叫香农熵）反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。

香农熵表示了一个概率分布的信息量的期望值。

同时一个概率分布越均匀，那么就越随机，信息量越多。反之，一个概率分布越不均匀，那么就越确定，信息量越少。香农熵的可以表示为下面的公式：

$$H(p)=\sum p_i{I}_i^p=\sum p_i{\log }_2(\frac{1}{p_i})=-\sum p_i{\log }_2(p_i)$$

由此可以计算出上述均匀硬币的香农熵:

$$H(p)=p(h)\times {\log }_2(1/p(h))+p(t)\times {\log }_2(1/p(t))=0.5\times 1+0.5\times 1=1$$

不均匀硬币的香农熵为：

$$H(q)=q(h)\times {\log }_2(1/q(h))+q(t)\times {\log }_2(1/q(t))=0.2\times 2.32+0.8\times 0.32=0.72$$

3 交叉熵

交叉熵**H(p,q) 衡量基于真实概率分布下对信息量期望的估计值。表示为：

$$H(p,q)=\sum p_i{I}_i^q=\sum p_i{\log }_2(\frac{1}{q_i})=-\sum p_i{\log }_2(q_i)$$

我们假设有一枚均匀分布的硬币其正面朝上的概率为$p(h)=0.5$，反面朝上的概率$p(t)=0.5$，估计其正面朝上的概率为$q(h)=0.2$，反面朝上的概率$q(t)=0.8$，则可以计算出其交叉熵：

$$H(p,q)=p(h)\times {\log }_2(1/q(h))+p(t)\times {\log }_2(1/q(t))=0.5\times 2.32+0.5\times 0.32=1.32$$

如果估计其正面朝上的概率为$q(h)=0.4$，反面朝上的概率$q(t)=0.6$，则可以计算出其交叉熵：

$$H(p,q)=p(h)\times {\log }_2(1/q(h))+p(t)\times {\log }_2(1/q(t))=0.5\times 1.32+0.5\times 0.74=1.03$$

可以看出交叉熵一定比香农熵大，且越接近估计的越准。

4 KL散度

KL散度表示交叉熵与熵的差值，即定量计算两个概率分布之间差异性。

$$\begin{array}{l}D(p\parallel q)=H(p,q)-H(p)=\sum p_i{I}_i^q-\sum p_i{I}_i^p\\ =\sum p_i{\log }_2(\frac{1}{q_i})-\sum p_i{\log }_2(\frac{1}{p_i})\\ =\sum p_i{\log }_2(\frac{p_i}{q_i})\end{array}$$

$D(p\parallel q)>0$且$D(p\parallel q)\ne D(q\parallel p)$。

对KL散度中估计的概率分布 $q_{\theta }$ 中的 $\theta$ 求梯度，即对交叉熵$H(p,q_{\theta })$求梯度，最小化KL值。

$${\mathrm{\nabla }}_{\theta }D(p\parallel q_{\theta })={\mathrm{\nabla }}_{\theta }H(p,q_{\theta })-{\mathrm{\nabla }}_{\theta }H(p)={\mathrm{\nabla }}_{\theta }H(p,q_{\theta })$$

参考资料

【10分钟】了解香农熵，交叉熵和KL散度_哔哩哔哩_bilibili