重要性采样

重要性采样（）是统计学中估计某一分布性质时使用的一种方法。该方法从与原分布不同的另一个分布中采样，而对原先分布的性质进行估计。重要性采样与计算物理学中的相关。

原理
假设X:\Omega\to \mathbb{R}为概率空间(\Omega,\mathcal{F},P)上的一个随机变量。我们想要估计X的期望值，记作E[X;P]。如果根据P随机抽取样本x_1, \ldots, x_n，估计的期望值即
:
\widehat{\mathbf{E}}_{n}[X;P] = \frac{1}{n} \sum_{i=1}^n x_i

这一估计的精确度取决于X的方差，
:
\operatorname{var}[\widehat{\mathbf{E}}_{n};P] = \operatorname{var}[X;P]/n

而重要性采样的基本思想则是从另一个分布中抽取样本，用以降低E[X;P]估计的方差。进行重要性采样时，首先选择一个随机变量L\geq 0，使得E[L;P]=1，并满足P*上几乎处处L(\omega)\neq 0。由此，可以定义新的概率
:
\mathbf{E}[X;P] = \mathbf{E}\left[\frac{X}{L};P^{(L)}\right].

于是，我们可以从P(L)上抽样，通过变量X/L估计E[X;P]。如果\operatorname{var}\left[\frac{X}{L};P^{(L)}\right] 成立，此时的估计便优于直接在原分布上采样得到的估计。

当X在Ω上不变号时，最优的L为L^=\frac{X}{\mathbf{E}[X;P]}\geq 0。此时X/L即为要估计的E*[X;P]，只需一个样本便可得到该值。然而由于L与要估计的E*[X;P]有关，在实际操作中我们无法取到理论上最优的L**。不过，我们仍可以采用如下方式逼近该理论值：
:
\begin{align}\forall a\in\mathbb{R}, \; P^{(L^*)}(X\in[a;a+da]) &= \int_{\omega\in\{X\in[a;a+da]\}} \frac{X(\omega)}{E[X;P]}dP(\omega) \\ &= \frac{1}{E[X;P]}\; a\,P(X\in[a;a+da])
\end{align}

于是，要估计的期望值可改写为：
: E[X;P] = \int_{a=-\infty}^{+\infty} a\,P(X\in[a;a+da])

注意到，更优（即让估计值方差更小）的P(L)会使得样本分布的频率与其在E[X;P]计算中的权重更加相关。这也是该方法得名“重要性采样”的原因。

重要性采样常用于蒙特卡洛积分。当P为均匀分布、\Omega =\mathbb{R}时，E[X;P]即为实函数X:\mathbb{R}\to\mathbb{R}的积分。

参考文献
*
*
*
*
*
*
*
*
*
*