切比雪夫不等式

切比雪夫不等式(),是概率论中的一个不等式,顯示了隨機變量的「幾乎所有」值都會「接近」平均。在20世纪30年代至40年代刊行的书中,其被称为比奈梅不等式()或比奈梅-切比雪夫不等式()。切比雪夫不等式对任何分布数据都适用。

切比雪夫不等式可表示为以下形式:对于任何随机变量 X 和实数 b>0,都有 P(|X-E(X)|\geq b)\le\frac{Var(X)}{b^2},其中 E(X) 表示 X 的数学期望,Var(X) 为 X 的方差。

該不等式以俄羅斯數學家帕夫努季·柴比雪夫命名。

概念
這個不等式以數量化這方式來描述,究竟「幾乎所有」是多少,「接近」又有多接近:

  • 與平均相差2個標準差以上的值,數目不多於1/4
  • 與平均相差3個標準差以上的值,數目不多於1/9
  • 與平均相差4個標準差以上的值,數目不多於1/16

......

  • 與平均相差k個標準差以上的值,數目不多於1/k2

舉例說,若一班有36個學生,而在一次考試中,平均分是80分,標準差是10分,我們便可得出結論:少於50分或多於110分(與平均相差3個標準差以上)的人,數目不多於4個(=36*1/9)。

公式:P(\mu - k \sigma

推论
測度論說法
設(X,Σ,μ)為一測度空間,f為定義在X上的廣義實值可測函數。對於任意實數t > 0,

:\mu(\{x\in X\,:\,\,|f(x)|\geq t\}) \leq {1\over t^2} \int_X f^2 \, d\mu.

一般而言,若g是非負廣義實值可測函數,在f的定義域非降,則有

:\mu(\{x\in X\,:\,\,f(x)\geq t\}) \leq {1\over g(t)} \int_X g\circ f\, d\mu.

上面的陳述,可透過以|f|取代f,再取如下定義而得:

:g(t)=\begin{cases}t^2&\mbox{if }t\geq0\\0&\mbox{otherwise,}\end{cases}

概率論說法
設X為隨機變量,期望值為\mu,标准差為\sigma。對於任何實數k>0,
:\Pr(\left|X-\mu\right|\geq k\sigma)\leq\frac{1}{k^2}.

改進
一般而言,切比雪夫不等式給出的上界已無法改進。考慮下面例子:
: \Pr(X = 1) = \Pr(X = -1) = 1/(2k^2)
: \Pr(X = 0) = 1 - 1/k^2
這個分布的標準差\sigma = 1/k,\mu=0。

对于任意分布形态的数据,根据切比雪夫不等式,至少有 1-1/k^2 的数据落在k个标准差之内。其中k>1,但不一定是整数。

當只求其中一邊的值的時候,有Cantelli不等式
:\Pr(X-\mu \geq k\sigma)\leq\frac{1}{1+k^2}.[http://www.mcdowella.demon.co.uk/Chebyshev.html]

證明
定義~A_t := \{x \in X \mid f(x) \geq t\},設1_{A_t}為集~A_t的指示函数,有
:0\leq g(t) 1_{A_t}\leq g\circ f\,1_{A_t}\leq g\circ f,
:g(t)\mu(A_t)=\int_X g(t)1_{A_t}\,d\mu\leq\int_{A_t} g\circ f\,d\mu\leq\int_X g\circ f\,d\mu.

又可從馬爾可夫不等式直接證明:馬氏不等式說明對任意隨機變量Y和正數a有\Pr(|Y|>a) \le \operatorname{E}(|Y|)/a。取Y=(X-\mu)^2及a=(k \sigma)^2。

亦可從概率論的原理和定義開始證明:
::\Pr(|X-\mu| \geq k\sigma) = \operatorname{E}(I_{|X-\mu| \geq k\sigma})
= \operatorname{E}(I_{[(X-\mu)/(k\sigma)]^2 \geq 1})

:\leq \operatorname{E}\left( \left( {X-\mu \over k\sigma} \right)^2 \right)
= {1 \over k^2} {\operatorname{E}((X-\mu)^2) \over \sigma^2} = {1 \over k^2}.

參見
*馬爾可夫不等式
*弱大數定律
*大數定律

参考来源
*《基本統計學 觀念與應用二版》,林惠玲 陳正倉 著
*《應用統計學 第四版》 修訂版,林惠玲 陳正倉 著

评论 (0)

  • 还没有评论,来抢沙发吧。