线性代数中，广义奇异值分解（GSVD）是基于奇异值（SVD）的两种不同算法的统称。其区别在于，一个是分解两个矩阵（类似于高阶或张量SVD），另一种使用施加于单矩阵SVD奇异向量上的约束。
版本1：双矩阵分解
广义奇异值分解（GSVD）是对矩阵对的矩阵分解，将奇异值分解推广到两个矩阵的情形。它由Van Loan 被广泛用于研究线性系统在二次半范数方面的条件调节与正则化。下面设\mathbb{F} = \mathbb{R}，或\mathbb{F} = \mathbb{C}。
定义
A_1 \in \mathbb{F}^{m_1 \times n}与A_2 \in \mathbb{F}^{m_2 \times n}的广义奇异值分解为
\begin{align}
A_1 & = U_1\Sigma_1 [ W^ D, 0_D] Q^, \\
A_2 & = U_2\Sigma_2 [ W^ D, 0_D] Q^,
\end{align}
，其中
- U_1 \in \mathbb{F}^{m_1 \times m_1}为酉矩阵；
- U_2 \in \mathbb{F}^{m_2 \times m_2}为酉矩阵；
- Q \in \mathbb{F}^{n \times n}为酉矩阵；
*
W \in \mathbb{F}^{k \times k}
为酉矩阵；
*
D \in \mathbb{R}^{k \times k}
对角线元素为正实数，包含C = \begin{bmatrix} A_1 \\ A_2 \end{bmatrix}的非零奇异值的降序排列，
- 0_D = 0 \in \mathbb{R}^{k \times (n - k)} ,
- \Sigma_1 = \lceil I_A, S_1, 0_A \rfloor \in \mathbb{R}^{m_1 \times k}是非负实数分块对角阵，其中S_1 = \lceil \alpha_{r + 1}, \dots, \alpha_{r + s} \rfloor，其中 1 > \alpha_{r + 1} \ge \cdots \ge \alpha_{r + s} > 0, I_A = I_r，且0_A = 0 \in \mathbb{R}^{(m_1 - r - s) \times (k - r - s)} ；
- \Sigma_2 = \lceil 0_B, S_2, I_B \rfloor \in \mathbb{R}^{m_2 \times k}是非负实数分块对角阵，其中S_2 = \lceil \beta_{r + 1}, \dots, \beta_{r + s} \rfloor ，其中 0 , I_B = I_{k - r - s}，且0_B = 0 \in \mathbb{R}^{(m_2 - k + r) \times r} ；
- \Sigma_1^* \Sigma_1 = \lceil\alpha_1^2, \dots, \alpha_k^2\rfloor,
- \Sigma_2^* \Sigma_2 = \lceil\beta_1^2, \dots, \beta_k^2\rfloor,
- \Sigma_1^ \Sigma_1 + \Sigma_2^ \Sigma_2 = I_k,
- k = \textrm{rank}(C).
记\alpha_1 = \cdots = \alpha_r = 1,\ \alpha_{r + s + 1} = \cdots = \alpha_k = 0,\ \beta_1 = \cdots = \beta_r = 0,\ \beta_{r + s + 1} = \cdots = \beta_k = 1。而\Sigma_1是对角阵，\Sigma_2 不总是对角阵，因为前导矩形零矩阵；相反，\Sigma_2是“副对角阵”。
变体
GSVD有许多变体，与这样一个事实有关：Q^总可以左乘E E^ = I是任意酉矩阵。记
- X = ([W^ D, 0_D] Q^)^*
*
X^ = [0, R] \hat{Q}^
，其中
R \in \mathbb{F}^{k \times k}
是上三角可逆阵；
\hat{Q} \in \mathbb{F}^{n \times n}
是酉矩阵。QR分解总可以得到这样的矩阵。
- Y = W^* D，那么
Y
可逆。
下面是GSVD的一些变体：
- MATLAB（gsvd）：
\begin{aligned}
A_1 & = U_1 \Sigma_1 X^*, \\
A_2 & = U_2 \Sigma_2 X^*.
\end{aligned}
- LAPACK（LA_GGSVD）：
\begin{aligned}
A_1 & = U_1 \Sigma_1 [0, R] \hat{Q}^*, \\
A_2 & = U_2 \Sigma_2 [0, R] \hat{Q}^*.
\end{aligned}
- 简化：
\begin{align}
A_1 & = U_1\Sigma_1 [ Y, 0_D] Q^*, \\
A_2 & = U_2\Sigma_2 [ Y, 0_D] Q^*.
\end{align}
广义奇异值
A_1与A_2的广义奇异值 是一对(a, b) \in \mathbb{R}^2使得
\begin{align}
\lim_{\delta \to 0} \det(b^2 A_1^ A_1 - a^2 A_2^ A_2 + \delta I_n) / \det(\delta I_{n - k}) & = 0, \\
a^2 + b^2 & = 1, \\
a, b & \geq 0.
\end{align}
我们有
- A_i A_j^ = U_i \Sigma_i Y Y^ \Sigma_j^ U_j^
- A_i^ A_j = Q \begin{bmatrix} Y^ \Sigma_i^ \Sigma_j Y & 0 \\ 0 & 0 \end{bmatrix} Q^ = Q_1 Y^ \Sigma_i^ \Sigma_j Y Q_1^*
根据这些性质，可以证明广义奇异值正是成对的(\alpha_i, \beta_i)。有
\begin{aligned}
& \det(b^2 A_1^ A_1 - a^2 A_2^ A_2 + \delta I_n) \\
= & \det(b^2 A_1^ A_1 - a^2 A_2^ A_2 + \delta Q Q^*) \\
= & \det\left(Q \begin{bmatrix} Y^ (b^2 \Sigma_1^ \Sigma_1 - a^2 \Sigma_2^ \Sigma_2) Y + \delta I_k & 0 \\ 0 & \delta I_{n - k} \end{bmatrix} Q^\right) \\
= & \det(\delta I_{n - k}) \det(Y^ (b^2 \Sigma_1^ \Sigma_1 - a^2 \Sigma_2^* \Sigma_2) Y + \delta I_k).
\end{aligned}
因此
:
\begin{aligned}
{} & \lim_{\delta \to 0} \det(b^2 A_1^ A_1 - a^2 A_2^ A_2 + \delta I_n) / \det(\delta I_{n - k}) \\
= & \lim_{\delta \to 0} \det(Y^ (b^2 \Sigma_1^ \Sigma_1 - a^2 \Sigma_2^* \Sigma_2) Y + \delta I_k) \\
= & \det(Y^ (b^2 \Sigma_1^ \Sigma_1 - a^2 \Sigma_2^* \Sigma_2) Y) \\
= & |\det(Y)|^2 \prod_{i = 1}^k (b^2 \alpha_i^2 - a^2 \beta_i^2).
\end{aligned}
对某个i，当a = \alpha_i,\ b = \beta_i时，表达式恰为零。
在已成功应用于信号处理和数据科学，如基因组信号处理。
这些应用启发了其他几种比较谱分解，即高阶GSVD（HO GSVD）
版本2：加权单矩阵分解
广义奇异值分解（GSVD）的加权情形是一种有约束矩阵分解，约束施加在奇异向量上。这种GSVD是SVD的推广。给定m×n实或复数矩阵M的SVD分解
:M = U\Sigma V^* \,
，其中
:U^ W_u U = V^ W_v V = I.
其中I是单位矩阵；U与V在约束条件下（W_u；W_v）是标准正交矩阵。另外，W_u、W_v是正定矩阵（通常是权的对角矩阵）。这种形式的GSVD是某些算法的核心，如广义主成分分析和对应分析。
加权形式的GSVD之所以被称为加权形式，是因为在正确取权时，可以推出许多算法（如多维标度与线性判别分析）。
参考文献
阅读更多
*
- LAPACK manual [http://www.netlib.org/lapack/lug/node36.html]
评论 (0)