设计矩阵

设计矩阵（）在统计学和机器学习中，是一组观测结果中的所有解释变量的值构成的矩阵，常用X表示。设计矩阵常用于一些统计模型，如一般线性模型，方差分析中。

定义
通常情况下，设计矩阵的第i行代表第i次观测的结果，第j列代表第j种解释变量。如此一来，线性回归模型就可以用矩阵乘法表达为
:
y = X \beta

其中X是设计矩阵，\beta是对应每一种解释变量的系数组成的系数向量，y是每一个观测对应的预测值构成的向量。

例子
算数平均
算数平均的设计矩阵是一个全为1的列向量。

简单线性回归
本节给出了一个簡單線性迴歸的例子，其中有一个解释变量和有七个观测值。这七个数据点是\left\{ y_i, x_i\right\}, i=1,2,\cdots,7。该简单线性回归模型可以表示为：

: y_i = \beta_0 + \beta_1 x_i +\varepsilon_i, \,

其中 \beta_0 为y轴的截距，\beta_1是回归线的斜率。该模型可以表示为矩阵形式：

:
\begin{bmatrix}y_1 \\ y_2 \\ y_3 \\ y_4 \\ y_5 \\ y_6 \\ y_7 \end{bmatrix}
=
\begin{bmatrix}1 & x_1 \\1 & x_2 \\1 & x_3 \\1 & x_4 \\1 & x_5 \\1 & x_6 \\ 1 & x_7 \end{bmatrix}
\begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix}
+
\begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\
\varepsilon_4 \\ \varepsilon_5 \\ \varepsilon_6 \\ \varepsilon_7 \end{bmatrix}

其中设计矩阵中的第一列用以估计y轴的截距，而第二列包含与相应y值相关的x值。

多元線性回归
本节给出了一个有两个协变量（解释变量）的多多元線性回归例子： w 和 x 。假设数据由七个观测值组成，对于每个待预测的观测值y_i，两个协变量的值 w_i 和 x_i 也被观察到。该模型可以表示为：

: y_i = \beta_0 + \beta_1 w_i + \beta_2 x_i + \varepsilon_i

该模型可以表示为矩阵形式：

:
\begin{bmatrix}y_1 \\ y_2 \\ y_3 \\ y_4 \\ y_5 \\ y_6 \\ y_7 \end{bmatrix} =
\begin{bmatrix} 1 & w_1 & x_1 \\1 & w_2 & x_2 \\1 & w_3 & x_3 \\1 & w_4 & x_4 \\1 & w_5 & x_5 \\1 & w_6 & x_6 \\ 1& w_7 & x_7 \end{bmatrix}
\begin{bmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \end{bmatrix}
+
\begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\
\varepsilon_4 \\ \varepsilon_5 \\ \varepsilon_6 \\ \varepsilon_7 \end{bmatrix}

右侧的 7 \times 3 矩阵即为设计矩阵。

单方向方差分析
在单方向方差分析中，此时的模型为
: y_{ij} = \mu + \tau_i + \varepsilon_{ij}

限制：\tau_1为0

:
\begin{bmatrix}y_1 \\ y_2 \\ y_3 \\ y_4 \\ y_5 \\ y_6 \\ y_7 \end{bmatrix} =
\begin{bmatrix}1 &0 &0 \\1 &0 &0 \\ 1 & 0 & 0 \\ 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{bmatrix}
\begin{bmatrix}\mu \\ \tau_2 \\ \tau_3 \end{bmatrix}
+
\begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\
\varepsilon_4 \\ \varepsilon_5 \\ \varepsilon_6 \\ \varepsilon_7 \end{bmatrix}

参考文献
延伸閲讀
*