在概率论中,任何随机变量的特征函数(缩写:ch.f,复数形式:ch.f's)完全定义了它的概率分布。在实直线上,它由以下公式给出,其中X是任何具有该分布的随机变量:
:\varphi_X(t) = \operatorname{E}\left(e^{itX}\right),
其中t是一个实数,i是虚数单位,E表示期望值。
用矩母函数M_X(t)来表示(如果它存在),特征函数就是iX的矩母函数,或X在虚数轴上求得的矩母函数。
:\varphi_X(t) = M_{iX}(t) = M_X(it)
与矩母函数不同,特征函数总是存在。
如果F_X是累积分布函数,那么特征函数由黎曼-斯蒂尔杰斯积分给出:
:\operatorname{E}\left(e^{itX}\right) = \int_{-\infty}^{\infty} e^{itx}\,dF_X(x)。
在概率密度函数f_X存在的情况下,该公式就变为:
:\operatorname{E}\left(e^{itX}\right) = \int_{-\infty}^{\infty} e^{itx} f_X(x)\,dx。
如果X是一个向量值随机变量,我们便取自变量t为向量,tX为数量积。
R或R^n上的每一个概率分布都有特征函数,因为我们是在有限测度的空间上对一个有界函数进行积分,且对于每一个特征函数都正好有一个概率分布。
一个对称概率密度函数的特征函数(也就是满足f_X(x)=f_X(-x))是实数,因为从x>0所获得的虚数部分与从x所获得的相互抵消。
性質
连续性
勒维连续定理说明,假设(X_n)_{n=1}^\infty为一个随机变量序列,其中每一个X_n都有特征函数\varphi_n,那么它依分布收敛于某个随机变量X:
:X_n \xrightarrow{\mathcal D} X 当 n \to \infty
如果
:\varphi_n \quad \xrightarrow{\textrm{pointwise}} \quad \varphi 当 n \to \infty
且\varphi(t)在\ t=0处连续,\varphi是X的特征函数。
勒维连续定理可以用来证明弱大数定律。
反演定理
在累积概率分布函数与特征函数之间存在双射。也就是说,两个不同的概率分布不能有相同的特征函数。
给定一个特征函数φ,可以用以下公式求得对应的累积概率分布函数 F:
:F_X(y) - F_X(x) = \lim_{\tau \to +\infty} \frac{1} {2\pi}
\int_{-\tau}^{+\tau} \frac{e^{-itx} - e^{-ity}} {it}\, \varphi_X(t)\, dt。
一般地,这是一个广义积分;被积分的函数可能只是条件可积而不是勒贝格可积的,也就是说,它的绝对值的积分可能是无穷大。
博赫纳-辛钦定理/公理化定義
任意一个函数\varphi 是对应于某个概率律\mu 的特征函数,当且仅当满足以下三个条件:
#\varphi \, 是连续的;
#\varphi(0) = 1 \, ;
#\varphi \, 是一个正定函数(注意这是一个复杂的条件,与\varphi >0 不等价)。
計算性质
特征函数对于处理独立随机变量的函数特别有用。例如,如果 X_1、 X_2、……、 X_n是一个独立(不一定同分布)的随机变量的序列,且
:S_n = \sum_{i=1}^n a_i X_i,\,\!
其中 a_i是常数,那么 S_n的特征函数为:
:\varphi_{S_n}(t)=\varphi_{X_1}(a_1t)\varphi_{X_2}(a_2t)\cdots \varphi_{X_n}(a_nt). \,\!
特别地,\varphi_{X+Y}(t) = \varphi_X(t)\varphi_Y(t)。这是因为:
:\varphi_{X+Y}(t)=E\left(e^{it(X+Y)}\right)=E\left(e^{itX}e^{itY}\right)=E\left(e^{itX}\right)E\left(e^{itY}\right)=\varphi_X(t) \varphi_Y(t)。
注意我们需要X和Y的独立性来确立第三和第四个表达式的相等性。
另外一个特殊情况,是a_i=\frac{1}{n}且S_n为样本平均值。在这个情况下,用\overline{X}表示平均值,我们便有:
:\varphi_{\overline{X}}(t)=\left(\varphi_X \left ( \frac{t}{n} \right )\right)^n。
特征函数举例
|-
| 伽玛分布 \Gamma(k, \theta)
| (1 - it\theta)^{-k}
|-
| 指数分布 \mathrm{Exp}(\lambda)
| (1 - it\lambda^{-1})^{-1}
|-
| 多元正态分布 N(\mu, \Sigma)
| e^{it^T\mu - \frac{1}{2}t^T\Sigma t}
|-
| 多元柯西分布 \mathrm{MultiCauchy}(\mu, \Sigma)
| e^{it^T\mu - \sqrt{t^T\Sigma t}}
|-
|}
Oberhettinger (1973) 提供的特征函数表.
特征函数的应用
由于连续定理,特征函数被用于中心极限定理的最常见的证明中。
矩
特征函数还可以用来求出某个随机变量的矩。-{只}-要第n个矩存在,特征函数就可以微分n次,得到:
:\operatorname{E}\left(X^n\right) = i^{-n}\, \varphi_X^{(n)}(0)
= i^{-n}\, \left[\frac{d^n}{dt^n} \varphi_X(t)\right]_{t=0}. \,\!
例如,假设X具有标准柯西分布。那么\varphi_X(t)=e^{-|t|}。它在t=0处不可微,说明柯西分布没有期望值。另外,注意到n个独立的观测的样本平均值\overline{X}具有特征函数\varphi_{\overline{X}}(t)=(e^{- \frac{\left \vert t \right \vert}{n}})^n=e^{-|t|},利用前一节的结果。这就是标准柯西分布的特征函数;因此,样本平均值与总体本身具有相同的分布。
特征函数的对数是一个累积量母函数,它对于求出累积量是十分有用的;注意有时定义累积量母函数为矩母函数的对数,而把特征函数的对数称为第二累积量母函数。
一个例子
具有尺度参数\theta和形状参数k的伽玛分布的特征函数为:
:(1 - \theta\,i\,t)^{-k}。
现在假设我们有:
:\ X \sim \Gamma(k_1,\theta) 且\ Y \sim \Gamma(k_2,\theta)
其中X和Y相互独立,我们想要知道X+Y的分布是什么。X和Y特征函数分别为:
:\varphi_X(t)=(1 - \theta\,i\,t)^{-k_1},\,\qquad \varphi_Y(t)=(1 - \theta\,i\,t)^{-k_2}
根据独立性和特征函数的基本性质,可得:
:\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t)=(1 - \theta\,i\,t)^{-k_1}(1 - \theta\,i\,t)^{-k_2}=\left(1 - \theta\,i\,t\right)^{-(k_1+k_2)}。
这就是尺度参数为\theta、形状参数为k_1+k_2的伽玛分布的特征函数,因此我们得出结论:
:X+Y \sim \Gamma(k_1+k_2,\theta),
这个结果可以推广到n个独立、具有相同尺度参数的伽玛随机变量:
:\forall i \in \{1,\ldots, n\} : X_i \sim \Gamma(k_i,\theta) \qquad \Rightarrow \qquad \sum_{i=1}^n X_i \sim \Gamma\left(\sum_{i=1}^nk_i,\theta\right)。
多元特征函数
如果X是一个多元随机变量,那么它的特征函数定义为:
:\varphi_X(t)=\operatorname{E}\left(e^{it\cdot X}\right)。
这裡的点表示向量的点积,而向量t位于X的对偶空间内。用更加常见的矩阵表示法,就是:
:\varphi_X(t)=\operatorname{E}\left(e^{it^TX}\right)。
例子
如果X\sim N(0,\Sigma) \,是一个平均值为零的多元高斯随机变量,那么:
:\varphi_X(t)=\operatorname{E}\left(e^{it^T X}\right)
=\int_{x\in \mathbf{R}^n}\frac{1}{\left(2\pi\right)^{n/2}\left|\Sigma\right|^{1/2}} \, e^{-\frac{1}{2}x^T\Sigma^{-1}x}\cdot e^{it^T x} \, dx = e^{-\frac{1}{2}t^T\Sigma t}, \quad t \in \mathbf{R}^n,
其中|\Sigma|表示正定矩阵 Σ的行列式。
矩阵值随机变量
如果X是一个矩阵值随机变量,那么它的特征函数为:
:\varphi_X(T)=\operatorname{E}\left(e^{i\, \mathrm{Tr}(XT)}\right)
在这裡,\mathrm{Tr}(\cdot)是迹函数,\ XT表示T与X的矩阵乘积。由于矩阵XT一定有迹,因此矩阵X必须与矩阵T的转置的大小相同;因此,如果X是m × n矩阵,那么T必须是n × m矩阵。
注意乘法的顺序不重要(XT\neq TX但\ tr(XT)=tr(TX))。
矩阵值随机变量的例子包括威沙特分布和矩阵正态分布。
相关概念
相关概念有矩母函数和概率母函数。特征函数对于所有概率分布都存在,但矩母函数不是这样。
特征函数与傅里叶变换有密切的关系:一个概率密度函数p(x)的特征函数是p(x)的连续傅里叶变换的共轭复数(按照通常的惯例)。
:\varphi_X(t) = \langle e^{itX} \rangle = \int_{-\infty}^{\infty} e^{itx}p(x)\, dx = \overline{\left( \int_{-\infty}^{\infty} e^{-itx}p(x)\, dx \right)} = \overline{P(t)},
其中P(t)表示概率密度函数p(x)的连续傅里叶变换。类似地,从\varphi_X(t)可以通过傅里叶逆变换求出p(x):
:p(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{itx} P(t)\, dt = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{itx} \overline{\varphi_X(t)}\, dt。
确实,即使当随机变量没有密度时,特征函数仍然可以视为对应于该随机变量的测度的傅里叶变换。
参考文献
*Lukacs E. (1970) Characteristic Functions. Griffin, London. pp. 350
*Bisgaard, T. M., Sasvári, Z. (2000) Characteristic Functions and Moment Sequences, Nova Science
评论 (0)