在回归分析当中，最常用的估计\beta（回归系数）的方法是普通最小二乘法（，簡稱OLS），它基於誤差值之上。用這種方法估计\beta，首先要計算残差平方和（；RSS），RSS是指将所有误差值的平方加起來得出的数：
RSS=\sum_{i=1}^n e_i^2 \,
\beta_0與\beta_1的数值可以用以下算式计算出來：
\widehat{\beta}_1=\frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{\sum(x_i-\bar{x})^2}
\widehat{\beta}_0=\bar{y}-\widehat{\beta}_1\bar{x}
当中\bar{x}為x的平均值，而\bar{y}為y的平均值。
假设总体的误差值有一个固定的變異數，這个變異數可以用以下算式估计：
\hat{\sigma}^2_\varepsilon = \frac{RSS}{n-2}.\,
這個数就是均方误差（mean square error），這個分母是样本大小减去模型要估计的参数的量。這個回归模型当中有两个未知的参数（\beta_0與\beta_1）。
而這些参数估计的标准误差（standard error）為：
\hat\sigma_{\beta_1}=\hat\sigma_{\varepsilon} \sqrt{\frac{1}{\sum(x_i-\bar x)^2}}
\hat\sigma_{\beta_0}=\hat\sigma_{\varepsilon} \sqrt{\frac{1}{n} + \frac{\bar{x}^2}{\sum(x_i-\bar x)^2}}=\hat\sigma_{\beta_1} \sqrt{\frac{\sum x_i^2}{n}}
有了上面這个模型，研究者手上就有会有\beta_0與\beta_1的估计值，就可以用這個算式來预测Y的数值。
參見
- 最小均方误差
- 非线性最小二乘法
參考資料
评论 (0)