Differential Entropy
Definition:

$$h(x) = -\int _{-\infty }^{\infty} f(x)\log f(x) \, dx$$

这个Entropy与按$\Delta$做间隔，对连续变量做离散化之后的熵$H(X_{\Delta})$有联系：

$$H(X_{\Delta}) - \log \frac{1}{\Delta} \approx h(x)$$

Leave a Comment

Plain Markdown

Post Comment

Markdown Preview