特征函数 (概率论)

在概率论中,任何随机变量的特征函数(缩写:ch.f,复数形式:ch.f's)完全定义了它的概率分布。在实直线上,它由以下公式给出,其中X是任何具有该分布的随机变量:

:\varphi_X(t) = \operatorname{E}\left(e^{itX}\right),

其中t是一个实数,i是虚数单位,E表示期望值。

用矩母函数M_X(t)来表示(如果它存在),特征函数就是iX的矩母函数,或X在虚数轴上求得的矩母函数。

:\varphi_X(t) = M_{iX}(t) = M_X(it)

与矩母函数不同,特征函数总是存在。

如果F_X是累积分布函数,那么特征函数由黎曼-斯蒂尔杰斯积分给出:

:\operatorname{E}\left(e^{itX}\right) = \int_{-\infty}^{\infty} e^{itx}\,dF_X(x)。

在概率密度函数f_X存在的情况下,该公式就变为:

:\operatorname{E}\left(e^{itX}\right) = \int_{-\infty}^{\infty} e^{itx} f_X(x)\,dx。

如果X是一个向量值随机变量,我们便取自变量t为向量,tX为数量积。

R或R^n上的每一个概率分布都有特征函数,因为我们是在有限测度的空间上对一个有界函数进行积分,且对于每一个特征函数都正好有一个概率分布。

一个对称概率密度函数的特征函数(也就是满足f_X(x)=f_X(-x))是实数,因为从x>0所获得的虚数部分与从x所获得的相互抵消。

性質
连续性
勒维连续定理说明,假设(X_n)_{n=1}^\infty为一个随机变量序列,其中每一个X_n都有特征函数\varphi_n,那么它依分布收敛于某个随机变量X:
:X_n \xrightarrow{\mathcal D} X 当 n \to \infty
如果
:\varphi_n \quad \xrightarrow{\textrm{pointwise}} \quad \varphi 当 n \to \infty
且\varphi(t)在\ t=0处连续,\varphi是X的特征函数。

勒维连续定理可以用来证明弱大数定律。

反演定理
在累积概率分布函数与特征函数之间存在双射。也就是说,两个不同的概率分布不能有相同的特征函数。

给定一个特征函数φ,可以用以下公式求得对应的累积概率分布函数 F:

:F_X(y) - F_X(x) = \lim_{\tau \to +\infty} \frac{1} {2\pi}
\int_{-\tau}^{+\tau} \frac{e^{-itx} - e^{-ity}} {it}\, \varphi_X(t)\, dt。

一般地,这是一个广义积分;被积分的函数可能只是条件可积而不是勒贝格可积的,也就是说,它的绝对值的积分可能是无穷大。

博赫纳-辛钦定理/公理化定義
任意一个函数\varphi 是对应于某个概率律\mu 的特征函数,当且仅当满足以下三个条件:

#\varphi \, 是连续的;
#\varphi(0) = 1 \, ;
#\varphi \, 是一个正定函数(注意这是一个复杂的条件,与\varphi >0 不等价)。

計算性质
特征函数对于处理独立随机变量的函数特别有用。例如,如果 X_1、 X_2、……、 X_n是一个独立(不一定同分布)的随机变量的序列,且

:S_n = \sum_{i=1}^n a_i X_i,\,\!

其中 a_i是常数,那么 S_n的特征函数为:

:\varphi_{S_n}(t)=\varphi_{X_1}(a_1t)\varphi_{X_2}(a_2t)\cdots \varphi_{X_n}(a_nt). \,\!

特别地,\varphi_{X+Y}(t) = \varphi_X(t)\varphi_Y(t)。这是因为:

:\varphi_{X+Y}(t)=E\left(e^{it(X+Y)}\right)=E\left(e^{itX}e^{itY}\right)=E\left(e^{itX}\right)E\left(e^{itY}\right)=\varphi_X(t) \varphi_Y(t)。

注意我们需要X和Y的独立性来确立第三和第四个表达式的相等性。

另外一个特殊情况,是a_i=\frac{1}{n}且S_n为样本平均值。在这个情况下,用\overline{X}表示平均值,我们便有:

:\varphi_{\overline{X}}(t)=\left(\varphi_X \left ( \frac{t}{n} \right )\right)^n。

特征函数举例
|-
| 伽玛分布 \Gamma(k, \theta)
|   (1 - it\theta)^{-k}
|-
| 指数分布 \mathrm{Exp}(\lambda)
|   (1 - it\lambda^{-1})^{-1}
|-
| 多元正态分布 N(\mu, \Sigma)
|   e^{it^T\mu - \frac{1}{2}t^T\Sigma t}
|-
| 多元柯西分布 \mathrm{MultiCauchy}(\mu, \Sigma)
|   e^{it^T\mu - \sqrt{t^T\Sigma t}}
|-
|}
Oberhettinger (1973) 提供的特征函数表.

特征函数的应用
由于连续定理,特征函数被用于中心极限定理的最常见的证明中。


特征函数还可以用来求出某个随机变量的矩。-{只}-要第n个矩存在,特征函数就可以微分n次,得到:

:\operatorname{E}\left(X^n\right) = i^{-n}\, \varphi_X^{(n)}(0)
= i^{-n}\, \left[\frac{d^n}{dt^n} \varphi_X(t)\right]_{t=0}. \,\!

例如,假设X具有标准柯西分布。那么\varphi_X(t)=e^{-|t|}。它在t=0处不可微,说明柯西分布没有期望值。另外,注意到n个独立的观测的样本平均值\overline{X}具有特征函数\varphi_{\overline{X}}(t)=(e^{- \frac{\left \vert t \right \vert}{n}})^n=e^{-|t|},利用前一节的结果。这就是标准柯西分布的特征函数;因此,样本平均值与总体本身具有相同的分布。

特征函数的对数是一个累积量母函数,它对于求出累积量是十分有用的;注意有时定义累积量母函数为矩母函数的对数,而把特征函数的对数称为第二累积量母函数。

一个例子
具有尺度参数\theta和形状参数k的伽玛分布的特征函数为:
:(1 - \theta\,i\,t)^{-k}。
现在假设我们有:
:\ X \sim \Gamma(k_1,\theta) 且\ Y \sim \Gamma(k_2,\theta)
其中X和Y相互独立,我们想要知道X+Y的分布是什么。XY特征函数分别为:
:\varphi_X(t)=(1 - \theta\,i\,t)^{-k_1},\,\qquad \varphi_Y(t)=(1 - \theta\,i\,t)^{-k_2}
根据独立性和特征函数的基本性质,可得:
:\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t)=(1 - \theta\,i\,t)^{-k_1}(1 - \theta\,i\,t)^{-k_2}=\left(1 - \theta\,i\,t\right)^{-(k_1+k_2)}。
这就是尺度参数为\theta、形状参数为k_1+k_2的伽玛分布的特征函数,因此我们得出结论:
:X+Y \sim \Gamma(k_1+k_2,\theta),
这个结果可以推广到n个独立、具有相同尺度参数的伽玛随机变量:
:\forall i \in \{1,\ldots, n\} : X_i \sim \Gamma(k_i,\theta) \qquad \Rightarrow \qquad \sum_{i=1}^n X_i \sim \Gamma\left(\sum_{i=1}^nk_i,\theta\right)。

多元特征函数
如果X是一个多元随机变量,那么它的特征函数定义为:

:\varphi_X(t)=\operatorname{E}\left(e^{it\cdot X}\right)。

这裡的点表示向量的点积,而向量t位于X的对偶空间内。用更加常见的矩阵表示法,就是:

:\varphi_X(t)=\operatorname{E}\left(e^{it^TX}\right)。

例子
如果X\sim N(0,\Sigma) \,是一个平均值为零的多元高斯随机变量,那么:

:\varphi_X(t)=\operatorname{E}\left(e^{it^T X}\right)
=\int_{x\in \mathbf{R}^n}\frac{1}{\left(2\pi\right)^{n/2}\left|\Sigma\right|^{1/2}} \, e^{-\frac{1}{2}x^T\Sigma^{-1}x}\cdot e^{it^T x} \, dx = e^{-\frac{1}{2}t^T\Sigma t}, \quad t \in \mathbf{R}^n,

其中|\Sigma|表示正定矩阵 Σ的行列式。

矩阵值随机变量
如果X是一个矩阵值随机变量,那么它的特征函数为:

:\varphi_X(T)=\operatorname{E}\left(e^{i\, \mathrm{Tr}(XT)}\right)

在这裡,\mathrm{Tr}(\cdot)是迹函数,\ XT表示T与X的矩阵乘积。由于矩阵XT一定有迹,因此矩阵X必须与矩阵T的转置的大小相同;因此,如果Xm × n矩阵,那么T必须是n × m矩阵。

注意乘法的顺序不重要(XT\neq TX但\ tr(XT)=tr(TX))。

矩阵值随机变量的例子包括威沙特分布和矩阵正态分布。

相关概念
相关概念有矩母函数和概率母函数。特征函数对于所有概率分布都存在,但矩母函数不是这样。

特征函数与傅里叶变换有密切的关系:一个概率密度函数p(x)的特征函数是p(x)的连续傅里叶变换的共轭复数(按照通常的惯例)。

:\varphi_X(t) = \langle e^{itX} \rangle = \int_{-\infty}^{\infty} e^{itx}p(x)\, dx = \overline{\left( \int_{-\infty}^{\infty} e^{-itx}p(x)\, dx \right)} = \overline{P(t)},

其中P(t)表示概率密度函数p(x)的连续傅里叶变换。类似地,从\varphi_X(t)可以通过傅里叶逆变换求出p(x):

:p(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{itx} P(t)\, dt = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{itx} \overline{\varphi_X(t)}\, dt。

确实,即使当随机变量没有密度时,特征函数仍然可以视为对应于该随机变量的测度的傅里叶变换。

参考文献
*Lukacs E. (1970) Characteristic Functions. Griffin, London. pp. 350
*Bisgaard, T. M., Sasvári, Z. (2000) Characteristic Functions and Moment Sequences, Nova Science

评论 (0)

  • 还没有评论,来抢沙发吧。