簡單線性迴歸

在總體經濟學是簡單線性迴歸的實例。圖中應變數（經濟增長率）被推論為與自變數（失業率變動）存在負向的線性關係。]]

在統計學中，簡單線性迴歸是指僅具有單一的自變數的線性迴歸，其中「簡單」係單一自變數之意。此迴歸可用於估計有限的截距與斜率以推論應變數在特定自變數為條件下的均值。

普通最小二乘法是常見用於尋求簡單線性迴歸式的方法，目的是得到能使殘差平方和最小的迴歸式。其它方法，諸如（使殘差絕對值的總和最小）、泰爾－森估算（所有樣本點兩兩配對的斜率中位數做為整體斜率）等，亦可應用於簡單線性迴歸的命題。（考慮自變數與應變數同時為誤差來源）的功能雖然與上述方法相似但不屬於簡單線性迴歸的範疇，因其不區分自變數與應變數且可能得到多個迴歸式。

以最小平方法處理簡單線性迴歸，則求得的斜率等於自變數與應變數的皮爾森積動差相關係數與二者的標準偏差比值的乘積，
: \hat{\beta} = r_{x, y} \frac{s_y}{s_x}
而再考慮截距則保證使迴歸線通過自變數與應變數的均值 。

計算迴歸式
以下皆以普通最小二乘法求解簡單線性迴歸式。考慮以下的數學模型函數

: y = \alpha + \beta x，

是一條斜率為且y軸截距為的直線。通常實際上自變數與應變數並非如此完美的關係而存在未知的誤差，即

: y_i = \alpha + \beta x_i + \varepsilon_i, i = 1, \ldots, n，

以表示第i對資料中自變數與應變數的關係。此模型稱為簡單線性模型。

計算迴歸式的目標是根據資料計算估計值\hat\alpha與\hat\beta以「最佳地」估計參數與。由於採用最小平方法進行計算，「最佳」係指能使殘差平方和\hat\varepsilon_i =y_i-\alpha -\beta x_i最小的參數估計值為目標。換句話說，我們尋求能使函數值最小的解，

: Q(\alpha, \beta) = \sum_{i=1}^n\hat\varepsilon_i^{\,2} = \sum_{i=1}^n (y_i -\alpha - \beta x_i)^2。

此解為\hat{\alpha}與\hat{\beta}，

: \begin{align}
\hat\alpha & = \bar{y} - ( \hat\beta\,\bar{x}), \\
\hat\beta &= \frac{ \sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y}) }{ \sum_{i=1}^n (x_i - \bar{x})^2 } \\
&= \frac{ s_{x, y} }{ s^2_{x} } \\
&= r_{xy} \frac{s_y}{s_x}
\end{align}
其中
{{unordered list
|\bar x與\bar y分別為與的計數平均數，
|為與的皮爾森積動差相關係數，
|與分別為與的樣本標準偏差，
|s^2_x與s_{x, y}分別為的樣本變異數及與間的樣本共變異數。
}}

將\hat{\alpha}與\hat{\beta}帶入

: \hat{y} = \hat{\alpha} + \hat{\beta} x

可得

: \frac{ \hat{y} - \bar{y}}{s_y} = r_{xy} \frac{ x - \bar{x}}{s_x}。

此式呈現了為預先將自變數與應變數預先標準化後的迴歸斜率。由於界於與之間，左式的絕對值勢必不大於右式，體現了的現象。

以\overline{xy}表示對應的與的乘積和，

:\overline{xy} = \frac{1}{n} \sum_{i=1}^n x_i y_i，

可使簡化成

:r_{xy} = \frac{ \overline{xy} - \bar{x}\bar{y} }{ \sqrt{ \left(\overline{x^2} - \bar{x}^2\right)\left(\overline{y^2} - \bar{y}^2\right)} }。

簡單線性迴歸的判定係數即為二變數間皮爾森積動差相關係數的平方：
: R^2 = r_{xy}^2。

迴歸係數（斜率）的意義
將\hat\beta的估計式分子乘以\frac{(x_i - \bar{x})}{(x_i - \bar{x})}，可改寫為

\hat\beta = \frac{ \sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y}) }{ \sum_{i=1}^n (x_i - \bar{x})^2 } = \frac{ \sum_{i=1}^n \left( (x_i - \bar{x})^2 \times \frac{(y_i - \bar{y})}{(x_i - \bar{x})} \right) }{ \sum_{i=1}^n (x_i - \bar{x})^2 }
。

可以看出，迴歸式的斜率為\frac{(y_i - \bar{y})}{(x_i - \bar{x})}以(x_i - \bar{x})^2為權數的加權平均。因此，(x_i - \bar{x})^2越大的資料對斜率\hat\beta的影響力越大。

截距的意義
\hat\alpha可經由下列式子估算：
\hat\alpha = \bar{y} - \hat\beta\ \bar{x}。
由於\hat\beta = \tan(\theta) = dy / dx \rightarrow dy = dx \times \hat\beta，其中\theta即為與橫軸正值的夾角，可以得到\hat\alpha = \bar{y} - dx \times \hat\beta = \bar{y} - dy。

參考文獻