条件概率分布

条件概率分布Conditional Probability Distribution,或者 条件分布Conditional Distribution )是现代概率论中的概念。已知两个相关的随机变量XY,随机变量Y 在条件{X =x}下的条件概率分布是指当已知X 的取值为某个特定值x之时,Y 的概率分布。 如果Y 在条件{X =x}下的条件概率分布是连续分布,那么其密度函数称作Y 在条件{X =x}下的条件概率密度函数条件分布密度条件密度函数)。与条件分布有关的概念,常常以“条件”作为前缀,如条件期望、条件方差等等。

例子
假设在桌子上抛掷一枚普通的骰子,则其点数结果的概率分布是集合\{ 1, 2, 3, 4, 5, 6\}的均匀分布:每个点数出现的概率都是均等的六分之一。然而,如果据某个坐在桌边的人观察,向着他的侧面是6点,那么,在此条件下,向上的一面不可能是6点,也不可能是6点对面的1点。因此,在此条件下,抛骰子的点数结果是集合\{ 2, 3, 4, 5\}的均匀分布:有四分之一的可能性出现2, 3, 4, 5四种点数中的一种。可以看出,增加的条件或信息量(某个侧面是6点)导致了点数结果的概率分布的变化。这个新的概率分布就是条件概率分布。

数学定义
更为严格清晰的定义需要用到数学语言。当随机变量是离散或连续时,条件概率分布有不同的表达方法。

离散条件分布
对于离散型的随机变量XY(取值范围分别是\mathcal{I}和\mathcal{J}),随机变量Y 在条件{X =x}下的条件概率分布是:
:\forall j \in \mathcal{J}, \quad p_{Y\mid X}(j)= p_Y(j \mid X = i)=P(Y = j \mid X = i) = \frac{P(X=i ,Y=j)}{P(X=i)}. (P(X=i)>0)
同样的,X 在条件{Y=y}下的条件概率分布是:
:\forall i \in \mathcal{I}, \quad p_{X\mid Y}(i)= p_X(i \mid Y= j)=P(X = i \mid Y = j ) = \frac{P(X=i ,Y=j)}{P(Y=j)}. (P(Y=j)>0)
其中,P(X=i ,Y=j)是XY 联合分布概率,即“X=i,并且Y=j发生的概率”。如果用p_{ij}表示P(X=i ,Y=j)的值:
P(X=i ,Y=j) = p_{ij}
那么随机变量XY 的边际分布就是:
:P(X=i) = p_{i.} = \sum_{j \in \mathcal{J} } p_{ij}
:P(Y=j) = p_{. j} = \sum_{i \in \mathcal{I} } p_{ij}
因此, 随机变量Y 在条件{X =x}下的条件概率分布也可以表达为:
:p_{Y\mid X}(j) = P(Y = j \mid X = i) = \frac{p_{ij}}{ p_{i .} }.(p_{i .}>0)
同样的,X 在条件{Y=y}下的条件概率分布也可以表达为:
:p_{X\mid Y}(i)= \frac{p_{ij}}{ p_{.j} }.(p_{. j}>0)

连续条件分布
对于连续型的随机变量XY,P(X=i)=P(Y=j)=0,因此对离散型随机变量的条件分布定义不适用。假设其联合密度函数为f(x,y),XY 的边际密度函数分别是f_X(x)和f_Y(y),那么Y 在条件{X =x}下的条件概率密度函数是:
:f_{Y|X}(y|x) = f_Y(y \mid X=x) = \frac{f(x,y)}{f_X(x)}.
同样的,X 在条件{Y=y}下的条件概率密度函数是:
:f_{X|Y}(x|y) = f_X(x \mid Y=y) = \frac{f(x,y)}{f_Y(y)}.

条件分布和独立分布
在一定意义上,条件分布和独立分布是相对的。如果两个随机变量XY 是独立分布的,那么不论是否已知某个关于X 的条件,都不会影响Y 的概率分布。用数学语言来说,就是:
; P(Y = y \mid X = x) = P(Y=y) = p_Y(y)
这与独立分布的定义是相合的,事实上,随机变量XY 相互独立分布,则:
; P(Y = y , X = x) = P(Y=y) \cdot P(X = x).
因此
; P(Y=y) = \frac{P(Y = y , X = x)}{ P(X = x)} = P(Y = y \mid X = x) .

参见
*条件概率
*正则条件概率

参考资料
*

评论 (0)

  • 还没有评论,来抢沙发吧。