统计学和最优化中，误差（error）和残差（residual）是两个相近但有区别的概念，二者均是统计样本中某一元素的与其“真值”（未必可直接观测得到）之间的离差的度量。观察的误差是观测值与相关量（例如总体平均值）的真值之间的差值。残差是观测值与统计量的估计值（例如）之间的差值。这种区别在迴歸分析中至关重要，回归分析中，这些概念有时称为回归误差（regression errors）和回归残差（regression residuals），它们引出了的概念。
计量经济学中，误差也称为扰动（disturbances）。
简介
假设有一系列取自的观察结果，我们想要估计该分布的平均值。此时，误差是观测值与总体均值的偏差，而残差是观测值与样本均值的偏差。
统计误差（statistical error）是观察值与其期望值的差异程度，而期望值基于随机选择统计单位的总体。例如，如果21岁男性的平均身高为1.75米，而随机选出的一名男性身高为1.80米，则“误差”为0.05米；如果随机选出男性人身高1.70米，则“误差”为-0.05 米。期望值是整个总体的均值，通常是无法观测的，因此统计误差也无从知晓。
而残差（residual）是对无法观测的统计误差的可观测估计。在上述的男性身高的例子中，假设我们随机抽取n个人作为样本。样本均值可以很好地估计总体均值。此时：
- 样本中每个人的身高与无法观测的总体均值之间的差值是统计误差，
- 样本中每个人的身高与可观测的样本均值之间的差值是残差。
注意，由于样本均值的定义，随机样本内的残差之和必然为零，因此残差必然不是相互独立的。而统计误差是独立的，它们在随机样本中的总和几乎肯定不为零。
统计误差（尤其是正态分布的）的数值可以用標準分數（或“z分数”）来标准化，而残差可以用，或更一般的来标准化。
单变量分布
假定有一个均值为、標準差为的正态分布总体，从中随机选择个体，得到样本：
:X_1, \dots, X_n \sim N\left(\mu, \sigma^2\right)\,
其样本均值为
:\overline{X}={X_1 + \cdots + X_n \over n}
它是一个随机变量分布，服从：
:\overline{X} \sim N \left(\mu, \frac {\sigma^2} n \right).
其统计误差为：
:e_i = X_i - \mu,\,
其期望值为0，而残差为：
:r_i = X_i - \overline{X}.
统计误差的平方和除以，得到自由度为的卡方分布：
: \frac 1 {\sigma^2}\sum_{i=1}^n e_i^2\sim\chi^2_n.
然而，因为总体均值未知，这个数量是不可观测的。但是，残差的平方和是可观测的。该总和除以的商是自由度的卡方分布：
: \frac 1 {\sigma^2} \sum_{i=1}^n r_i^2 \sim \chi^2_{n-1}.
自由度为和之间的区别是对总体（均值、方差未知）的方差估计值的。若总体均值已知，则无需进行校正。
参见
- 离差
- 错误检测与纠正
- 误差范围
- 平均绝对误差
- 测量误差
- 误差传播
*
*
- 均方根误差
- 抽样误差
- 标准误差
*
- 型一錯誤與型二錯誤
参考文献
*
*
*
*
外部链接
*
评论 (0)