Differential entropy

differential entropy = continuous entropy
왜 이름이 differential인지 도통 모르겠다.

---

원래 엔트로피는 이산확률일 때 정의되는데,

\( H(X) = \sum_{i} {P(x_i)\,I(x_i)} = -\sum_{i} {P(x_i) \log_b P(x_i)} \)


연속확률일 때로 확장하면,

\( h(X) = -\int_\mathbb{X} f(x)\log f(x)\,dx\)


그런데 엔트로피의 성질을 따르지 않을 수도 있다는 문제가 있다. 균등분포 \( \mathcal{U}(a,b) \)을 가정하고 differential entropy를 구하면,

\( f(x)=\frac{1}{b-a}, \\
h(X)=\int_{a}^{b} \frac{1}{b-a}\ln({b-a}) dx =\ln{(b-a)} \)

이므로, 이 때 \( b-a \) 가 1이거나 그보다 작으면 엔트로피가 0 또는 음수가 되어버리는 이상한 일이 발생한다. 만약 균등분포를 가정하고 엔트로피를 구한다면 \( a,b \)의 편차의 최소값이 항상 \( 1 \)보다 크도록 적당히 측정단위를 바꿔서 써야할 듯 하다.

정규분포 \( \mathcal{N}(\mu,\sigma) \)의 경우에는,

\( h(X)=\ln(\sigma\sqrt{2\pi e})\)

이기 때문에, \( \sigma < \frac{1}{\sqrt{2\pi e}}=0.2419\cdots \) 인 경우에는 엔트로피가 \( 0 \) 이하로 떨어질 수 있으니 역시 조심해야 한다.

다른 연속확률분포의 differential entropy는 여기로.