在统计学中,一个概率样本的置信区间(,),是对产生这个样本的总体的参数分布()中的某一个未知母數值,以区间形式给出的估计。相对于点估计()用一个样本统计量来估计参数值,置信区间还蕴含了估计的精确度的信息。在现代机器学习中越来越常用的置信集合()概念是置信区间在多维分析的推广。
置信区间在频率学派中间使用,其在贝叶斯统计中的对应概念是()。两者建立在不同的概念基础上的,贝叶斯统计将分布的位置参数视为随机变量,并对给定观测到的数据之后未知参数的后验分布进行描述,故无论对随机样本还是已观测数据,构造出来的可信区间,其可信水平都是一个合法的概率;而置信区间的置信水平,只在考虑随机样本时可以被理解为一个概率。
定义
对随机样本的定义
定义置信区间最清晰的方式是从一个随机样本出发。考虑一个一维随机变量{\cal X}服从分布{\cal F},又假设\theta是{\cal F}的参数之一。假设我们的数据采集计划将要独立地抽样n次,得到一个随机样本\{X_1,\ldots,X_n\},注意这里所有的X_i都是随机的,我们是在讨论一个尚未被观测的数据集。如果存在统计量(统计量定义为样本X=\{X_1,\ldots,X_n\}的一个函数,且不得依赖于任何未知参数)u(X_1,\ldots,X_n),v(X_1,\ldots,X_n)满足u(X_1,\ldots,X_n)使得:
: \mathbb{P}\left(\theta\in\left(u(X_1,\ldots,X_n),v(X_1,\ldots,X_n)\right)\right)=1-\alpha
则称\left(u(X_1,\ldots,X_n),v(X_1,\ldots,X_n)\right)为一个用于估计参数\theta的1-\alpha置信区间,其中的,1-\alpha称为置信水平,\alpha在假设检验中也称为显著性水平。
对观测到的数据的定义
接续随机样本版本的定义,现在,对于随机变量{\cal X}的一个已经观测到的样本\{x_1,\ldots,x_n\},注意这里用小写x表记的x_i都是已经观测到的数字,没有随机性了,定义基于数据的1-\alpha置信区间为:
: \left(u(x_1,\ldots,x_n),v(x_1,\ldots,x_n)\right)
注意,置信区间可以是单尾或者双尾的,单尾的置信区间中设定u=-\infty或者v=+\infty,具体前者还是后者取决于所构造的置信区间的方向。
初学者常犯一个概念性错误,是将基于观测到的数据所同样构造的置信区间的置信水平,误认为是它包含真实未知参数的真实值的概率。正确的理解是:置信水平只有在描述这个同样构造置信区间的过程(或称方法)的意义下才能被视为一个概率。一个基于已经观测到的数据所构造出来的置信区间,其两个端点已经不再具有随机性,因此,类似的构造的间隔将会包含真正的值的比例在所有值中,其包含未知参数的真实值的概率是0或者1,但我们不能知道是前者还是后者。
例子
例1:正态分布,已知总体方差\sigma^2
1-\alpha水平的正态置信区间为:
: \left( \bar{x}-z_{\alpha/2}\frac{\sigma}{\sqrt{n}}, \bar{x}+z_{\alpha/2}\frac{\sigma}{\sqrt{n}} \right) (双尾)
: \left( -\infty, \bar{x}+z_{\alpha}\frac{\sigma}{\sqrt{n}} \right) (单尾)
: \left( \bar{x}-z_{\alpha}\frac{\sigma}{\sqrt{n}}, +\infty \right) (单尾)
以下为方便起见,只列出双尾置信区间的例子,且区间中用"\pm"进行简记:
例2:正态分布,未知总体方差\sigma^2
1-\alpha水平的双尾正态置信区间为:
: \left( \bar{x}\pm t_{n-1;\alpha/2}\frac{s}{\sqrt{n}}\right)
例3:两个独立正态样本
設有兩個獨立正態樣本x和y,样本大小为m和n,估计总体均值之差\mu_1-\mu_2,假设总体方差未知但相等:\sigma_1=\sigma_2(如果未知且不等就要应用来确定t分布的自由度)
1-\alpha水平的双尾正态置信区间为:
: \left( \bar{x}-\bar{y}\pm t_{m+n-2;\alpha/2}\cdot s_p\cdot \sqrt{\frac1m+\frac1n} \right),其中s_p=\sqrt{\frac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}}且s_x,s_y分别表示x和y的样本标准差。
常見誤解
信賴區間及信心水準常被誤解,出版的研究也顯示出既使是專業的科學家也常做出錯誤的詮釋。
- 以95%的信賴區間來說,建構出一個信賴區間,不代表分佈的參數有95%的機率會落在該信賴區間內(也就是說該區間有95%的機率涵蓋了分佈參數)。 內曼本人(信賴區間的原始提倡者)在他的原始論文提出此點:
}}
参考书目
- 羅納德·費雪 (1956) Statistical Methods and Scientific Inference. Oliver and Boyd, Edinburgh. (See p. 32.)
- 弗罗因德 (1962) Mathematical Statistics Prentice Hall, Englewood Cliffs, NJ. (See pp. 227–228.)
- 伊安·海金 (1965) Logic of Statistical Inference. Cambridge University Press, Cambridge
- 齐平 (1962) Introduction to Statistical Inference. D. Van Nostrand, Princeton, NJ.
- 杰克·基弗(1977) [http://links.jstor.org/sici?sici=0162-1459%28197712%2972%3A360%3C789%3ACCSACE%3E2.0.CO%3B2-9 "Conditional Confidence Statements and Confidence Estimators (with discussion)"] Journal of the American Statistical Association, 72, 789–827.
- 泽西·内曼 (1937) [http://links.jstor.org/sici?sici=0080-4614%2819370830%29236%3A767%3C333%3AOOATOS%3E2.0.CO%3B2-6 "Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability"] Philosophical Transactions of the Royal Society of London A, 236, 333–380. (Seminal work.)
- G.K.罗宾逊 (1975) [http://links.jstor.org/sici?sici=0006-3444%28197504%2962%3A1%3C155%3ASCTTTO%3E2.0.CO%3B2-4 "Some Counterexamples to the Theory of Confidence Intervals."] Biometrika, 62, 155–161.
评论 (0)