共轭先验

在贝叶斯统计中,如果后验分布与先验分布属于同类,则先验分布与后验分布被称为共轭分布,而先验分布被称为似然函数的共轭先验(Conjugate prior)。比如,高斯分布家族在高斯似然函数下与其自身共轭 (自共轭)。这个概念,以及「共轭先验」这个说法,由和在他们关于贝叶斯决策理论的工作中提出。 类似的概念也曾由独立提出。

具体地说,就是给定贝叶斯公式

p(\theta | x) = \frac{p(x | \theta) p(\theta)} {\int p(x|\theta') p(\theta') d\theta'},

假定概似函數 p(x | \theta) 是已知的,问题就是选取什么样的先验分布p(\theta) 会让后验分布与先验分布具有相同的数学形式。

共轭先验的好处主要在于代数上的方便性,可以直接给出后验分布的解析解,否则的话只能数值计算。共轭先验也有助于获得关于似然函数如何更新先验分布的直观印象。

所有指数家族的分布都有共轭先验。 

参考资料

评论 (0)

  • 还没有评论,来抢沙发吧。