吉布斯不等式

吉布斯不等式說明：

若 \sum_{i=1}^n p_i = \sum_{i=1}^n q_i = 1 ，且p_i , q_i \in (0,1]，則有：

: - \sum_{i=1}^n p_i \log p_i \leq - \sum_{i=1}^n p_i \log q_i，等號成立若且唯若p_i = q_i \forall i

在信息論和概率論，它能應用在法諾不等式和訊號源編碼定理的證明。

約西亞·吉布斯在19世紀提出它。

證明
吉布斯不等式等價於：
: 0 \geq \sum_{i=1}^n p_i \log q_i - \sum_{i=1}^n p_i \log p_i = \sum_{i=1}^n p_i \log (q_i / p_i) = - D_{\mathrm{KL}}(P\|Q) （見相對熵）

證明最右的項小於或等於0的方法有幾種：

• 已知 \ln(x) \leq x-1，等號成立若且唯若 x=1：

: \sum_{i=1}^n p_i \log (q_i / p_i) \leq \sum_{i=1}^n p_i (q_i / p_i - 1) = \sum_{i=1}^n (q_i - p_i) = \sum_{i=1}^n q_i - \sum_{i=1}^n p_i = 0

• 根據對數求和不等式或延森不等式：

: \sum_i p_i \log\frac{q_i}{p_i} \le \log\sum_i p_i\frac{q_i}{p_i} = \log\sum_i q_i \le 0

引理
對於n個變數的概率分布P，其熵的最大值是：
: H(p_1, \ldots , p_n) \leq \log n