两端的尾部，共占曲线下方面积的5%。]]
統計學的假說檢定中，顯著性差異（或统计学意义，）是對數據差異性的評價，當某次實驗的结果在虛無假說下不大可能发生时，就認為該結果具有顯著性差異。更準確而言，譬如某項研究設定了一個數值α（顯著水準），表示虛無假說本來正確但卻被拒絕的出錯概率（並非虛無假設為真的機率、對立假設為假的機率、實驗再現失敗率），然後用p值表示虛無假說条件为真時得到某結果或更極端结果的概率。當 p \leq \alpha 時，就可以認為結果具有統計學意義，或數據之間具有了顯著性差異。顯著水準應當在開始數據收集前就設定，通常習慣設定為5%或更低，因研究的具體學科領域而異。
在任何涉及到从总体中抽取样本的实验或观察性研究中，观察到的结果都有可能只不过是由抽样误差产生的。但是，如果一个观察结果的 p 值小于（或等于）显著性水平 \alpha，研究者就可以得出“该结果能反映总体的特征”的结论。
顯著性差異的原因可能是：
*參與比對的數據是來自不同實驗對象，如比－西一般能力測驗中，大學學歷被試組的成績與小學學歷被試組之間，會存在顯著性差異；
*也可能是因為實驗處理對實驗對象造成了改變，因而前測、後測的數據會有顯著性差異。例如，記憶術研究發現，被試者學習某記憶法前的成績，和學習記憶法後的記憶成績會有顯著性差異，則這一差異很可能來自於這種記憶法對被試記憶能力的改變。
歷史
顯著性差異的提出可追溯到18世纪，约翰·阿布斯诺特和皮埃尔-西蒙·拉普拉斯作出了男女出生概率均等的零假设，然后计算了人类出生时性别比的p值。
1925年，羅納德·費雪在《》一书中提出了统计假设检验的思想，称之为“显著性检验”（）。費雪建議将1/20（=0.05）的概率作为拒绝虛無假說的一个截断值。在1933年的一篇论文中，耶日·内曼和埃贡·皮尔逊把这个截断值称为“显著性水平”，並賦予它符號 \alpha。他们建议，\alpha 值應當在收集任何数据收集之前提前设定。
費雪最初將显著性水平定為0.05，但他并不打算将这一截断值定死。在他1956年出版的《统计方法与科学推断》一书中，他建议根据具体情况确定显著性水平。置信水平和置信区间是Neyman于1937年提出的。
顯著水準
顯著水準（，符號：\alpha ）常用于假设检验中检验假设和实验结果是否一致，它代表在虛無假說（記作H_0）為真時，錯誤地拒絕H_0的機率，即發生型一錯誤（棄真錯誤、\alpha 錯誤）的機率。
比如，我們從兩個母體中分別抽取了兩組樣本數據A和B，這兩組數據在顯著水準 \alpha=0.05 下具備顯著性差異。這是說，兩組數據所代表的母體具備顯著性差異的可能性為95%；但它們代表的母體仍有5%的可能性是沒有顯著性差異的，這5%是由於抽样误差造成的。也可表述为：
*如果拒绝“两组数据一致（二者不具备显著性差异）”的零假设（接受“两组数据不一致”的备择假设），此时有5%的可能性犯第一类错误；
*如果 A= 两组数据不具备显著差异；B= 实际数据具有显著差异，則 P(A|B)=0.05，即統計100次，預期是 B 情況，但可能出現5次的 A 情況。
當假說檢定所測得之數據之間具有顯著性差異，實驗的虛無假說就可被推翻，也就是拒絕H_0，接受對立假說（alternative hypothesis，記作H_1或H_a）；反之，若數據之間不具備顯著性差異，則拒絕對立假說，不拒絕虛無假說。通常情況下，實驗結果需要證明達到顯著水準 \alpha=0.05或0.01，才可以說數據之間具備了顯著性差異，否則就如上所述，容易作出錯誤的推論。在作結論時，應確實描述方向性（例如顯著大於或顯著小於）。
数学表述为：引入p值作为检验样本（test statistic）观察值的最低顯著水準。在 \alpha=0.01 或 \alpha=0.05 的条件下，若零假设成立的概率（p）小于 \alpha，则表示零假设成立的情况下得到这种观测结果的概率，比1%或5%還低，在该显著性水平下，我们可拒绝该零假设。
P(X=x)为“显著（significant)”，统计分析软件SPSS中以标记；
P(X=x)为“极显著（extremely significant）”，通常以*标记。
局限性
研究人员常常只关注他们的结果是否具有统计学意义，但其报告的结果可能并没有实质性，或者研究结果无法重現。统计学意义与实际意义之间也不能等同，有统计学意义的研究未必就有实际意义。
效应值
效应值是衡量一项研究的实际意义。
再现性
统计上显著的结果未必能够轻易重現。
参见
- 假說檢定
- A/B測試
*
- 多重比較謬誤
- 样本量确定
- 德州神槍手謬誤
参考文献
评论 (0)