困惑度

信息论中，困惑度代表概率分布或概率模型的预测结果与样本的契合程度，困惑度越低则契合越准确。该度量可以用于比较不同模型之优劣。

概率分布的困惑度
离散概率分布 p 的困惑度由下式给出

:2^{H(p)}=2^{-\sum_x p(x)\log_2 p(x)}

其中 H(p) 是该分布的熵，x 遍历事件空间。

随机变量 X 的复杂度由其所有可能的取值 x 定义。

概率模型的困惑度
词困惑度
参见