Differential entropy

differential entropy = continuous entropy
왜 이름이 differential인지 도통 모르겠다.

---

원래 엔트로피는 이산확률일 때 정의되는데,

$H(X) = \sum_{i} {P(x_i)\,I(x_i)} = -\sum_{i} {P(x_i) \log_b P(x_i)}$


연속확률일 때로 확장하면,

$h(X) = -\int_\mathbb{X} f(x)\log f(x)\,dx$


그런데 엔트로피의 성질을 따르지 않을 수도 있다는 문제가 있다. 균등분포 $\mathcal{U}(a,b)$을 가정하고 differential entropy를 구하면,

$f(x)=\frac{1}{b-a}, \\ h(X)=\int_{a}^{b} \frac{1}{b-a}\ln({b-a}) dx =\ln{(b-a)}$

이므로, 이 때 $b-a$ 가 1이거나 그보다 작으면 엔트로피가 0 또는 음수가 되어버리는 이상한 일이 발생한다. 만약 균등분포를 가정하고 엔트로피를 구한다면 $a,b$의 편차의 최소값이 항상 $1$보다 크도록 적당히 측정단위를 바꿔서 써야할 듯 하다.

정규분포 $\mathcal{N}(\mu,\sigma)$의 경우에는,

$h(X)=\ln(\sigma\sqrt{2\pi e})$

이기 때문에, $\sigma < \frac{1}{\sqrt{2\pi e}}=0.2419\cdots$ 인 경우에는 엔트로피가 $0$ 이하로 떨어질 수 있으니 역시 조심해야 한다.

다른 연속확률분포의 differential entropy는 여기로.