茶年 · 中文维基百科

边缘似然

Wikipedia · 2022-07-25 维基百科 👁 1 阅读

在统计学中， 边缘似然函数（marginal likelihood function），或积分似然（integrated likelihood），是一个某些参数变量边缘化的似然函数（likelihood function） 。在贝叶斯统计范畴，它也可以被称作为 证据 或者 模型证据的。

概念
给出一组 独立同分布的数据点\mathbb{X}=(x_1,\ldots,x_n),, x_i \sim p(x_i|\theta), 其中θ 是一个通过分布描述的 随机变量，即 \theta \sim p(\theta|\alpha), 概率p(\mathbb{X}|\alpha) ， 其中θ是边缘分布(积分结果):

:p(\mathbb{X}|\alpha) = \int_\theta p(\mathbb{X}|\theta) \, p(\theta|\alpha)\ \operatorname{d}\!\theta

上述定义是在贝叶斯统计范畴给出的。在经典的(频率派)的统计学中，边缘似然这一概念产生于联合参数θ=(ψ,λ)，其中 ψ 是我们关心的实际参数，λ是一个不关心的冗余参数。 如果λ服从概率分布，那么通常可以通过边缘化λ来考虑ψ的似然函数：

:\mathcal{L}(\psi;\mathbb{X}) = p(\mathbb{X}|\psi) = \int_\lambda p(\mathbb{X}|\lambda,\psi) \, p(\lambda|\psi) \ \operatorname{d}\!\lambda

不幸的是，边缘似然一般很难计算。只有在边缘化输出参数是数据分布的共轭先验的情况下, 很少的一部分分布的可以得到确切解。在其他情况下，需要通过一些数值积分方法得到，无论是通用的法如 高斯求积或蒙特卡洛方法，或一种统计问题的专用方法，例如拉普拉斯方法, 吉布斯/梅特罗波利斯采样，或者最大期望算法。

在贝叶斯的范畴内，这等价于数据点的先验预测分布。

应用
贝叶斯模型比较
在贝叶斯模型比较，被边缘化的变量的参数用于特定类型的模型，其余可变标识的的模型本身。 在这种情况下，边缘似然是数据点由模型给出的概率，而不是假设的任何特定的模型参数。 用θ表示模型参数，模型M的边缘似然是
: p(x|M) = \int p(x|\theta, M) \, p(\theta|M) \, \operatorname{d}\!\theta

它是在这一背景下，术语模型证据是一种常见表达。这一数量是重要的，因为后验几率比为一个模型M1 针对另一个模型M2 的比率边缘似然，称为贝叶斯因子:

: \frac{p(M_1|x)}{p(M_2|x)} = \frac{p(M_1)}{p(M_2)} \, \frac{p(x|M_1)}{p(x|M_2)}

它可以表示成如下形式
: 后验几率 =先验几率× 贝叶斯因子

参见

  • 经验贝叶斯方法
  • 边缘分布
  • Lindley's 悖论

参考文献

#贝叶斯统计

评论 (0)

  • 还没有评论，来抢沙发吧。