在概率论、統計學及機器學習中，概率图模型（）是用圖論方法以表現數個獨立隨機變數之關聯的一種建模法。一个p个節點的图中，节点i对应一个隨機變數，记为X_i。概率图模型被广泛地应用于贝叶斯统计与机器学习中。
有向和无向概率图模型的定义
在一个无向概率图模型(Undirected Graphical Model)中，两个节点i和j之间没有边相连，当且仅当它们对应的随机变量X_i和X_j给定其它所有节点上的随机变量条件下条件独立。数学表述为：
\Theta_{ij}=0\Leftrightarrow X_i\perp X_j|\{X_\ell,\ell=1,\ldots,p,\ell\neq i,\ell\neq j\}
当所有的随机变量X_1,\ldots,X_p的联合分布是多元正态分布时，\Theta被理解为是多元正态分布的方差矩阵的逆\Theta=\Sigma^{-1}，又称为精度矩阵(Precision Matrix)。现代统计学中，相当大比例的关于无向图模型的理论结果都是在多元正态分布的假设下取得的。
在一个有向概率图模型(Directed Graphical Model)中，两个节点i和j之间的边际独立性和条件独立性比较复杂，一般需要用贝叶斯球规则(Bayes Ball)来确定。
一类很重要的有向概率图模型叫做有向无环概率图模型(Directed Acyclic Graphs, 简称DAG)，可以证明，相互关系能用DAG表示的p个随机变量，其联合分布函数可以被分解为根节点的边际分布函数乘以由边决定的那些条件概率。数学表述为：
\pi(X_1,\ldots,X_p) = \prod_{i\in{\cal I}}\pi(X_i)\times \prod_{j\in{\cal J}}\pi(X_j|X_{\textrm{Parent}(j)})
上式中，{\cal I}表示所有根节点的集合，{\cal J}表示所有其它节点的集合，\textrm{Parent}(j)表示有向图中节点j的所有父节点的集合。
数据类型及研究课题
一般概率图模型输入的数据是其节点上的随机变量(X_1,\ldots,X_p)的独立重复观测值，可记为：
(X_1^{(k)},\ldots,X_p^{(k)}),k=1,\ldots,n
其中n为样本量(Sample size)。一般来说，估计和统计推断的目标是在哪些节点间存在边，也就是从节点数据中恢复整个网络的样貌。现代统计学和生物统计学中，概率图模型多研究高维统计的情景，即样本量远小于随机变量数目：n\ll p。一般的方法是假设图模型是一个高度稀疏的图，也就是只有几条很少的边，然后运用惩罚项或边际过滤等高维统计分析中的常用套路来获得稀疏的估计。这样的估计既可以是同时估计整个图中所有的边，也可以是对每一个节点估计其所连的边。理论研究多集中于各种惩罚项所估计出的图模型，其稀疏性质的正确性(这个概念叫做Sparsistency，注意它并不是相合性(Consistency))。
參見
*置信度传播
參考資料
- [http://research.microsoft.com/%7Ecmbishop/PRML/Bishop-PRML-sample.pdf Graphical models, Chapter 8 of Pattern Recognition and Machine Learning by Christopher M. Bishop]
- [http://www.cs.ubc.ca/~murphyk/Bayes/bnintro.html A Brief Introduction to Graphical Models and Bayesian Networks]
- [ftp://ftp.research.microsoft.com/pub/tr/tr-95-06.pdf Heckerman's Bayes Net Learning Tutorial]
*
评论 (0)