微分熵是消息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一信息所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。
定義
令X為一連續型隨機變數，其機率密度函數為f_X(x)，其中X的支撐集為S=\{x\in X|f_X(x)>0}\。微分熵h_X(x):
h_X(x)=-\int_{S} f_X(x)log(f_X(x))dx。
與夏農熵為類比，計算夏農熵之算式中的\log通常以2為底，而微分熵為計算方便，常以ln計算後再轉換為log_2的結果。微分熵與夏農熵最大的不同點在於f_X(x)可為大於1的數值，此時可能會造成h_X(x)為負值，而夏農熵H_X(x)恆不為負。
例如，X為均勻分布U(0,a),a：
f_X(x)=1\over a; h_X(x)=-\int\limits_{0}^{a}1\over aln1\over adx
h_X(x)=ln(a)
相關計算
條件熵
f(x,y)為X,Y之聯合機率密度函數，其條件熵為:
h(X|Y)=-\int f(x,y)log{f(x|y)}dxdy。
相對熵
又稱KL散度（Kullback–Leibler divergence)，兩機率密度函數f、g的相對熵定義為:
D(f||g)=\int flog{f\over g}。
互信息
兩連續型隨機變數的聯合機率密度函數為f(x,y)，其互信息:
I(X;Y)=D(f(x,y)||f(x)f(y))
廣義而言，我們可以將互信息定義在有限多個連續隨機變數值域的劃分。
可參考連續互信息的量化。
性質
相對熵恆正
與夏農相對熵性質相同，恆正。
-{\displaystyle D(f||g)=\int flog{g \over f}}
\leq log\int f{g \over f} (延森不等式)
\leq 0 。
鏈式法則
一次觀測所有隨機變數所測得的聯合熵，與個別接收隨機變數後計算的條件熵總和相同，即觀測順序與間隔不影響微分熵。
h(X_1,X_2,...,X_n)=\sum_{k=1}^nh(X_i|X_1,X_2,...,X_{i-1}) 。
平移
隨機變數的平移不影響微分熵，因為固定的平移不會增加隨機變數的方差。
h(X+c)=h(X)
縮放
將隨機變數縮放會增加其方差，微分熵亦會隨之增加。
h(AX)=h(X)+log|det(A)|
上界
期望值為0，方差為\sigma ^2且值域為R之隨機變數X的微分熵，其上界為常態分佈N(0,\sigma ^2)的微分熵。
h(X)\leq{1\over2}log(2\pi e\sigma^2)
估計誤差
隨機變數X與其估計子\widehat{X}之均方誤差存在下界，當X為常態分佈且\widehat{X}為無偏估計子時，等號成立。
E[(X-\widehat{X})^2]\geq {1\over{2\pi e}}e^{2h(X)}
漸進等分性
漸進等分性
離散隨機變數的夏農熵中，獨立同分布的隨機變數序列，在漸進等分性(Asymptotic equipartition property)之下其機率質量函數p(X_1,X_2,...,X_n)
趨近於2^{-nH(X)}。
連續型隨機變數之漸進等分性：
-{1\over n}log(f(X_1,X_2,...,X_n))\rightarrow h(X)
典型集
典型集(Typical set)定義如下
A_\epsilon^{(n)}=\{(x_1,x_2,...,x_n)\in S^n:|-{1\over n}logf(x_1,x_2,...,x_n)-h(X)|\leq\epsilon}\,\epsilon >0
體積
集合包含於R^n ,A\subset R^n ，其體積(Volume)Vol(A)定義如下:
Vol(A)=\int\limits_{A} dx_1dx_2...dx_n。
典型集A_\epsilon^{(n)}的體積有以下性質:
1.Vol(A_\epsilon^{(n)})\leq2^{n(h(X)+\epsilon)}
2.Vol(A_\epsilon^{(n)})\geq(1-\epsilon)2^{n(h(X)-\epsilon)}
證明
1.
由-{1\over n}log(f(X_1,X_2,...,X_n))\rightarrow h(X)，
可得：
1=\int_{S^n} f(x_1,x_2,...,x_n)dx_1dx_2...dx_n
\geq \int_{A_\epsilon^{(n)}} f(x_1,x_2,...,x_n)dx_1dx_2...dx_n
\geq \int_{A_\epsilon^{(n)}} 2^{-n(h(X)+\epsilon)}dx_1dx_2...dx_n
=2^{-n(h(X)+\epsilon)}\int_{A_\epsilon^{(n)}} dx_1dx_2...dx_n
=2^{-n(h(X)+\epsilon )}Vol(A_\epsilon^{(n)})
2.
當n足夠大時，Pr(A_\epsilon^{(n)})>1-\epsilon，
因此：
1-\epsilon \leq \int_{A_\epsilon^{(n)}} f(x_1,x_2,...,x_n)dx_1dx_2...dx_n
\leq \int_{A_\epsilon^{(n)}} 2^{-n(h(X)-\epsilon)}dx_1dx_2...dx_n
=2^{-n(h(X)-\epsilon)} \int_{A_\epsilon^{(n)}}dx_1dx_2...dx_n
=2^{-n(h(X)-\epsilon)} Vol(A_\epsilon^{(n)})
量化
我們可以將機率密度函數量化後，以夏農熵來計算微分熵。首先將連續隨機變數X以\Delta分為數個區間，根據均值定理，x_i滿足：
f(x_i)\Delta=\int_{i\Delta}^{(i+1)\Delta}f(x)dx=p_i
量化後的隨機變數X^{\Delta}:
X^{\Delta}=x_i, i \Delta \leq X
夏農熵為:
H(X^{\Delta})=-\sum_{-\infin}^{\infin}f(x_i)\Delta log(f(x_i))-log\Delta
意即，當\Delta\rightarrow0，h(f)=h(X)。
例子：
1.
對X做n位元量化X\sim U(0,{1\over8})。
H(X^{\Delta})=-3+n
上式表示，若我們想得到n位元精確度，則需要n-3個位元來表示。
2.
對X做n位元量化X\sim N(0,{\sigma}^2)。
H(X^{\Delta})={1\over2}log(2\pi e \sigma ^2)+n
上式表示，若我們想得到n位元精確度，需要{1\over2}log(2\pi e \sigma ^2)+n個位元來表示。
最大熵
常態分佈
隨機變數X，X_N值域為(-\infin,\infin)，方差為\sigma^2，X為任意分佈，X_N為常態分佈，機率密度函數分別為f(x),g(x)。
則h_X(X)\leq {1\over2}log(2\pi e\sigma^2)
證明:
\begin{align}
0 & \leq D(f||g)\\
&=\int f(x)log({f(x)\over{g(x)}})dx\\
&= -h(X)-\int f(x)log(g(x))dx\\
&= -h(X)+h(x)
\end{align}
其中，
\begin{align}
-\int _{-\infin}^{\infin} f(x)log(g(x))dx
&= \int _{-\infin}^{\infin} f(x)({1\over 2}log(2\pi\sigma^2)+{1\over 2}({{x-\mu}\over \sigma})^2)dx\\
&= {1\over2}log(2\pi e\sigma^2)
\end{align}
指數分佈
隨機變數X，Y值域為(0,\infin)，期望值為\lambda，X為任意分佈，Y為指數分佈，機率密度函數分別為f(x),g(x)。
則h_X(X)\leq 1+log\lambda 。
證明:
\begin{align}
0 & \leq D(f||g)\\
&=\int f(x)log({f(x)\over{g(x)}})dx\\
&= -h(X)-\int f(x)log(g(x))dx\\
&= -h(X)+h(Y)
\end{align}
其中，
\begin{align}
-\int \limits_{0}^{\infin} f(x)log(g(x))dy
&= -\int \limits_{0}^{\infin} f(x)(log\lambda +{x\over \lambda})dx\\
&= 1+log\lambda
\end{align}
參考文獻
- Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 1991 John Wiley & Sons, Inc, 1971. ISBN 0-471-20061-1
评论 (0)