假设正确概率分布是$P$，猜测分布是$Q$，得到$N$个样本点后，得到结果是$p_{i}N$个结果$i$，从而得到我们所看到的概率的结果是$\mathcal{P}=\prod_{i=1}^{N}q_{i}^{p_{i}N} \frac{N!}{\prod_{j=1}^{N} (p_{j}N)!}\sim 2^{-N \sum_{i}p_{i}\left(\log p_{i}- \log q_{i}\right)}$

$$S(P | | Q)= \sum_{i}p_{i}(\log p_{i}- \log q_{i})$$

如果$P=Q$则初始假设正确。如果错误只要$NS(P | | Q)\gg 1$我们就能分辨出来。

考虑一对随机变量$x,y$,有$p(x_{i},y_{j}),p(x_{i}),p(y_{j})$。定义$q(x_{i},y_{j})=p(x_{i})p(y_{j})$，此时我们有$S(P ||Q)=S_{X}+S_{Y}-S_{XY}=I(X,Y)$

$$I(X,Y)\geq 0$$

取等号当且仅当$xy$不相关。

Leave a Comment

Plain Markdown

Post Comment

Markdown Preview