全变差距离

在概率论中，全变差距离（）是概率测度的一种距离。它也是一种统计距离度量，有时也称为统计距离（）或变差距离（）。

定义
设\mathcal F是样本空间\Omega的一个子集上的σ代数，两个概率测度P与Q在\mathcal F上的全变差距离定义为

: \delta(P,Q)=\sup_{ A\in \mathcal{F}}\left|P(A)-Q(A)\right|.

粗略地说，这是两个概率分布在同一事件上取值的最大差值。

性质
与其他距离的关系
全变差距离通过Pinsker不等式与Kullback-Leibler散度相联系：

: \delta(P,Q) \le \sqrt{\frac{1}{2} D_{\mathrm{KL}}(P\parallel Q)}.

当样本空间\Omega是可数集的时候，全变差距离与L^1范数有等式关系：

: \delta(P, Q)=\frac12\|P-Q\|_1=\frac12\sum_{\omega\in\Omega}|P(\omega)-Q(\omega)|.

另见

• 全变差
• 柯尔莫哥洛夫-斯米尔诺夫检验

参考文献