在多元变量统计中，如果 \varepsilon 为 n 维随机向量， \Lambda 是一个 n 维对称矩阵，则随机变量 \varepsilon^T\Lambda\varepsilon 称为 \varepsilon 的二次型。
期望
二次型的期望可表示为，
:\operatorname{E}\left[\varepsilon^T\Lambda\varepsilon\right]=\operatorname{tr}\left[\Lambda \Sigma\right] + \mu^T\Lambda\mu
其中，\mu 和 \Sigma 分别表示 \varepsilon 的期望值 和方差-协方差矩阵， tr 为矩阵的迹。其结果仅仅取决于是否存在 \mu 和 \Sigma；并且，\varepsilon 的正态性不是必要条件。
关于随机变量的二次型参考书籍
证明
由于二次型是标量，所以二次型的迹就是它本身 \operatorname{E}\left[\varepsilon^T\Lambda\varepsilon\right] = \operatorname{tr}(\operatorname{E}[\varepsilon^T\Lambda\varepsilon])。
由于矩阵的迹是其对角线元素之和（即矩阵元素线性组合的结果），因此服从期望的线性，有
: \operatorname{tr}(\operatorname{E} \left[ \varepsilon^T \Lambda \varepsilon \right]) = \operatorname{E}[\operatorname{tr}(\varepsilon^T\Lambda\varepsilon)].
利用迹的可交换性，
: \operatorname{E}[\operatorname{tr}(\varepsilon^T\Lambda\varepsilon)] = \operatorname{E}[\operatorname{tr}(\Lambda\varepsilon\varepsilon^T)].
由期望的线性可得
: \operatorname{E}[\operatorname{tr}(\Lambda\varepsilon\varepsilon^T)] = \operatorname{tr}(\Lambda \operatorname{E}(\varepsilon\varepsilon^T)).
由方差的标准属性可知：
: \operatorname{tr}(\Lambda (\Sigma + \mu \mu^T)).
再次应用迹的可交换性可得：
: \operatorname{tr}(\Lambda\Sigma) + \operatorname{tr}(\Lambda \mu \mu^T) = \operatorname{tr}(\Lambda\Sigma) + \operatorname{tr}(\mu^T\Lambda\mu) = \operatorname{tr}(\Lambda\Sigma) + \mu^T\Lambda\mu.
方差
通常情况下，二次型的方差在很大程度上取决于 \varepsilon 的分布。 然而，如果 \varepsilon 服从多元正态分布，则二次型的方差的求解非常容易。假设 \Lambda 是一个对称矩阵，则有，
:\operatorname{var} \left[\varepsilon^T\Lambda\varepsilon\right] = 2\operatorname{tr}\left[\Lambda \Sigma\Lambda \Sigma\right] + 4\mu^T\Lambda\Sigma\Lambda\mu .
事实上，这可以推广到同一向量 \varepsilon 的两个二次型的协方差计算中 (注意, \Lambda_1 和 \Lambda_2 必须都是对称矩阵):
:\operatorname{cov}\left[\varepsilon^T\Lambda_1\varepsilon,\varepsilon^T\Lambda_2\varepsilon\right]=2\operatorname{tr}\left[\Lambda _1\Sigma\Lambda_2 \Sigma\right] + 4\mu^T\Lambda_1\Sigma\Lambda_2\mu。
不对称矩阵的方差计算
在某些参考资料中，在 \Lambda 为非对称矩阵情况下，也错误地得到了上述方差/协方差的结果。
在一般情况下，\Lambda 可以通过下面方式得到：
:\varepsilon^T\Lambda^T\varepsilon=\varepsilon^T\Lambda\varepsilon
因此
:\varepsilon^T\tilde{\Lambda}\varepsilon=\varepsilon^T\left(\Lambda+\Lambda^T\right)\varepsilon/2
但是，这是一个二次型的对称矩阵 \tilde{\Lambda}=\left(\Lambda+\Lambda^T\right)/2，所以其均值和方差表达式相同，只是将 \Lambda 替换为 \tilde{\Lambda}。
二次型举例
设有观测值的集合 y 和运算矩阵 H，则 y 的残差平方和可表示为其二次型：
:\textrm{RSS}=y^T(I-H)^T (I-H)y.
其中，矩阵 H 为对称和等幂的，其误差为协方差矩阵为 \sigma^2I 的高斯分布, \textrm{RSS}/\sigma^2 为自由度是 k 的卡方分布，参数为 \lambda，有
:k=\operatorname{tr}\left[(I-H)^T(I-H)\right]
:\lambda=\mu^T(I-H)^T(I-H)\mu/2
如果 Hy 在估计 \mu 时没有偏差，则参数 \lambda 为零且 \textrm{RSS}/\sigma^2 服从中心卡方分布。
参考文献
参看
- 二次型
- 协方差矩阵
评论 (0)