对数求和不等式

对数求和不等式（Log sum inequality）是一个不等式 ，可用于证明信息论中的多个定理。

定理陈述
对任何非负实数 a_1,\ldots,a_n 和正数 b_1,\ldots,b_n ，并记
:a:=\sum_{i=1}^n a_i 及 b:=\sum_{i=1}^n b_i
则有如下的对数求和不等式：
:\sum_{i=1}^n a_i\log\frac{a_i}{b_i}\geq a\log\frac{a}{b},
上式中，等号成立的充分必要条件是所有 a_i/b_i 都相等。

证明
设辅助函数 f(x)=x\log x ，容易验证这个函数是一个凸（Convex）函数，我们有

:
\begin{align}
\sum_{i=1}^n a_i\log\frac{a_i}{b_i} & {} = \sum_{i=1}^n b_i f\left(\frac{a_i}{b_i}\right)
= b\sum_{i=1}^n \frac{b_i}{b} f\left(\frac{a_i}{b_i}\right) \\
& {} \geq b f\left(\sum_{i=1}^n \frac{b_i}{b}\frac{a_i}{b_i}\right) = b f\left(\frac{1}{b}\sum_{i=1}^n a_i\right)
= b f\left(\frac{a}{b}\right) \\
& {} = a\log\frac{a}{b},
\end{align}

推导中第二行的不等号，是由琴生不等式得到的 （可验证 {b_i}/{b}\geq 0 ， \sum_i {b_i}/{b}= 1）。

应用
对数求和不等式可用于证明信息论中的几个不等式，例如吉布斯不等式或KL散度的基本性质 。

例如，证明吉布斯不等式时，将 p_i看作 a_i ，将 q_i 看作 b_i，得到

: \mathbb{D}_{\mathrm{KL}}(P\|Q) \equiv \sum_{i=1}^n p_i \log_2 \frac{p_i}{q_i} \geq 1\log\frac{1}{1} = 0.

一般情形
这个不等式对于收敛的无穷级数亦成立，即当 n=\infty 时，附加假设 a 和 b 即可使不等式成立。

另一种推广则是将对数函数一般化。只要将对数函数换为任何一个g(x)，其使得f(x)=xg(x) 是一个凸（Convex）函数即可。2004年，Csiszár证明了将对数函数换成一个单调非减函数，定理亦成立。

参考文献

• T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. .
• Information Theory course materials, Utah State University [https://web.archive.org/web/20170829171439/http://www.ocw.usu.edu/Electrical_and_Computer_Engineering/Information_Theory/lecture3.pdf]. Retrieved on 2009-06-14.

*