法諾不等式

法諾不等式（Fano's inequality）也稱為法諾引理（Fano lemma）是信息论中的一個定理，說明噪音信道中的平均信息损失和错误分类概率之間的關係。法諾不等式是羅伯特·法諾是1950年代於麻省理工学院教授博士讨论班的时候推導的，後來放在1961年編寫的教科書中。

法諾不等式在信息论中，提供了解码器错误概率的下界。在统计学中，提供了时的下界。

用符号 H(\cdot)表示熵， H(X |Y) 表示随机变量X与Y之间的条件熵，\tilde{X}表示对于X的分类，e表示分类错误的事件（e = \{ X\neq \tilde{X}\} ），法诺不等式是说
:
H(X |Y) \leq H(e) + P(e)\log(|\text{supp}(X)| - 1)

这里 \text{supp}(X) 是X可能取值（有限个）的集合。

參考資料

• P. Assouad, "Deux remarques sur l'estimation", Comptes Rendus de l'Académie des Sciences de Paris, Vol. 296, pp. 1021–1024, 1983.
• L. Birge, "Estimating a density under order restrictions: nonasymptotic minimax risk", Technical report, UER de Sciences Économiques, Universite Paris X, Nanterre, France, 1983.

*

• L. Devroye, A Course in Density Estimation. Progress in probability and statistics, Vol 14. Boston, Birkhauser, 1987. , .

*
** also: Cambridge, Massachusetts, M.I.T. Press, 1961.

• R. Fano, [http://www.scholarpedia.org/article/Fano_inequality Fano inequality] Scholarpedia, 2008.
• I. A. Ibragimov, R. Z. Has′minskii, Statistical estimation, asymptotic theory. Applications of Mathematics, vol. 16, Springer-Verlag, New York, 1981.