$§$ 9.14 谱分解、极分解、奇异值分解及其应用
矩阵分解是矩阵理论中一个重要的应用,具有广泛的应用. 前面我们已经应用介绍过矩阵的满秩分解. $Cholesky$ 分解和 $QR$ 分解等内容,本节将分为 $4$ 个部分,分别介绍谱分解、极分解、奇异值分解以及广义逆等内容
1. 谱分解及其应用
设 $φ$ 是欧氏空间 $V$ 上的自伴随算子或酉空间 $V$ 上的正规算子, $λ_{1},λ_{2},⋯,λ_{k}$ 是 $φ$ 的全体特征值, $V_{1},V_{2},⋯,V_{k}$ 是对应的特征子空间,则 $$ V = V_{1} ⟂ V_{2} ⟂ ⋯ ⟂ V_{k}. \tag{9.21} $$
设 $E_{i}$ 是从 $V$ 到 $V_{i}$ 上的正交投影算子,则 $φ = λ_{1}E_{1} + λ_{2}E_{2} + ⋯ + λ_{k}E_{k}$ 称为 $φ$ 的谱分解. 容易验证谱分解一定是存在并且唯一的. 其实,谱分解等价于欧氏空间中的自伴随算子(实对称矩阵)的正交相似标准型,以及酉空间中正规算子(复正规矩阵)的酉相似标准型. 因此上述两个标准型分解有时也称为对应算子或者矩阵的谱分解.
谱分解有着广泛的应用. 例如在 $§ 9.10$ ,我们利用谱分解证明了复正规算子的 $3$ 个充要条件; 在绿皮书教材中,我们利用谱分解证明了复正规算子是自伴随算子、正定或半正定自伴随算子、酉算子关于特征值的判定准则,利用谱分解的存在唯一性证明了半正定自伴随算子的算术平方根的存在唯一性,进一步给出了线性算子的极分解.
事实上,(9.21)式是欧氏空间中自伴随算子和酉空间中正规算子的判定准则,即若内积空间 $V$ 上的线性算子 $φ$ 的特征值都在基域中,则 $φ$ 为实自伴随算子或复正规算子的充要条件是全空间等于特征子空间的正交直和. 这一判定准则的两个典型应用是例题 $9.93,9.131$
9.131
设 $φ$ 是 $n$ 维欧式空间 $V$ 上的幂等线性变换(即 $φ^{2} = φ$),若对 $V$ 中任一向量 $α$ ,均有 $||φ(α)|| ≤ ||α||$,求证: $φ$ 是自伴随算子
下面是利用谱分解唯一性的一个典型例题
9.132
设 $φ,ψ$ 为 $n$ 维酉空间 $V$ 上的正规算子,它们都满足不同特征值的模长互不相同. 证明: $||φ(v)|| = ||ψ(v)||$ 对任意的 $v ∈ V$ 成立的充要条件是存在谱分解: $$ φ = λ_{1}E_{1} + λ_{2}E_{2} + ⋯ + λ_{k}E_{k}, ψ = μ_{1}E_{1} + μ_{2}E_{2} + ⋯ + μ_{k}E_{k} $$ 其中 $λ_{1},⋯,λ_{k}$ 和 $μ_{1},⋯,μ_{k}$ 分别是 $φ$ 和 $ψ$ 的全体不同特征值,$E_{i}$ 是对应的正交投影算子,并且 $|λ_{i}| = |μ_{i}|(1≤i≤k)$
2. 极分解及其应用
$n$ 阶实(复)矩阵的极分解 $A = QS = S_{1}Q$ ,其中 $Q$ 是正交矩阵(酉矩阵),$S,S_{1}$ 是半正定实对称矩阵($Hermite$ 矩阵) ,是复数的极分解 $z = ρ(cosθ + isinθ)$ 的推广,下面我们来看应用极分解的两道典型例题
9.133
设 $A$ 为 $n$ 阶实矩阵,$A’A$ 的全体特征值为 $λ_{1}^{2},λ_{2}^{2},⋯,λ_{n}^{2}$ ,其中 $0 ≤ λ_{i} ≤ 1(1 ≤ i ≤ n)$ .证明: $$ |I_{n} - A| ≥ (1 - λ_{1})(1 - λ_{2})⋯(1 - λ_{n}) $$
9.134
设 $ J = \begin{pmatrix} O&I_{n}\\ -I_{n} & O \end{pmatrix} $ ,$A$ 为 $2n$ 阶实矩阵,满足 $AJA’ = J$ ,求证: $|A| = 1$
3. 奇异值分解及其应用
首先,我们简单地回顾一下矩阵奇异值分解的求法,设 $A$ 是 $m × n$ 实矩阵,则 $A’A$ 是 $n$ 阶半正定实对称矩阵,故存在 $n$ 阶正交矩阵 $Q$ ,使得 $Q’A’AQ = diag{λ_{1},⋯,λ_{r},0,⋯,0}$ ,其中 $r = r(A’A) = r(A)$ 且 $λ_{1} ≥ ⋯ ≥ λ_{r} > 0$ 为 $A’A$ 的正特征值. 设 $Q = (α_{1},α_{2},⋯,α_{n})$ 为列分块,令 $σ_{i} = √λ_{i}, β_{i} = \dfrac{1}{σ_{i}}Aα_{i}(1 ≤ i ≤ r)$ ,则 $β_{1},⋯,β_{r}$ 是两两正交长度为 $1$ 的 $m$ 维列向量,将其扩张为 $\mathbb{R}^{m}$ (取标准内积)的一组标准正交基 $β_{1},β_{2},⋯,β_{m}$ . 令 $P = (β_{1},β_{2},⋯,β_{m})$ ,则 $P$ 为 $m$ 阶正交矩阵,满足 $AQ = PΛ$ ,其中 $Λ = \begin{pmatrix} S & O\\ O & O \end{pmatrix}, S = diag{σ_{1},σ_{2},⋯,σ_{r}}$ 且 $σ_{1} ≥ σ_{2} ≥ ⋯ ≥ σ_{r} ≥ 0$ 为 $A$ 的全体正奇异值, $A = PΛQ’$ 即为 $A$ 的奇异值分解.
我们注意以下两点:
(1) 方阵 $A$ 的极分解和奇异值分解之阿金可以互相推导. 例如,由奇异值分解 $A = PΛQ’$ 可得极分解 $A = (PQ’)(QΛQ’)$ ,反之亦然. 因此在处理方阵问题时,这两种分解所起的作用是类似的.
(2) $A$ 的正奇异值就是 $A’A$ 的正特征值的算数平方根. 因此遇到 $A’A$ 的问题时(如例题 $9.133$) ,利用极分解或者奇异值分解来考虑是一种自然的选择
下面我们老款一些应用奇异值分解的典型例题
9.39
第 $2$ 章解答题15
9.135
设 $A$ 为 $n$ 阶实矩阵,求证: $A$ 的谱半径 $ρ(A)$ (即 $A$ 的特征值模长的最大值) 小于等于 $A$ 的最大奇异值
9.136
设 $A$ 为 $n$ 阶实矩阵,求证: $tr(A)^{2} ≤ r(A)tr(A’A)$ ,并求等号成立的充要条件
9.137
设 $A$ 为 $n$ 阶幂等实矩阵,求证: $A’A$ 的非零特征值都大于等于 $1$
9.131(代数版本)
设 $A$ 为 $n$ 阶幂等实矩阵,若对任意的实列向量 $x$ ,均有 $x’A’Ax ≤ x’x$ ,求证: $A$ 是实对称矩阵
4. 广义逆及其应用
利用奇异值分解.我们还可以定义线性映射和矩阵的广义逆. 下面对欧式空间之间的线性映射和实矩阵进行阐述,酉空间之间的线性映射和复矩阵的情形同理可得.
9.138
设 $V,U$ 分别为 $n,m$ 维欧氏空间,$φ: V → U$ 为线性映射,求证: 存在唯一的线性映射 $ψ:U→V$ ,满足下列条件:
(1) $φψφ = φ$ ;
(2) $ψφψ = φ$ ;
(3) $ψφ$ 与 $φψ$ 都是自伴随算子.
上述 $ψ$ 称为 $φ$ 的 $Moore-Penrose$ 广义逆,记为 $φ^{\dag}$
注意: (1) 当 $φ: V → U$ 是线性同构时,容易看出 $φ^{†} = φ^{-1}$ ,因此线性映射的广义逆是线性同构的逆的推广. 例题 $9.138$ 告诉我们,对于欧氏空间之阿金的任意线性映射的奇异值分解构造出其广义逆,即存在 $V$ 和 $U$ 的标准正交基,使得 $φ$ 在这两组基下的表示矩阵为 $\begin{pmatrix} S&O\\ O&O \end{pmatrix}$ ,且 $φ^{†}$ 在这两组基下的表示矩阵为 $\begin{pmatrix} S^{-1}&O\\ O&O \end{pmatrix}$ ,其中 $S = diag{σ_{1},σ_{2},⋯,σ_{r}}, σ_{1}≥σ_{2}≥⋯≥σ_{r}>0$ 为 $φ$ 的全体正奇异值
(2) 例题 $9.138$ 的代数版本就是矩阵的广义逆,设 $A$ 为 $m × n$ 实矩阵,则存在唯一的 $n × m$ 实矩阵 $A^{†}$ 满足下列条件:
$$ (1) AA^{†}A = A; (2) A^{†}AA^{†} = A^{†} (3)A^{†}A = AA^{†} 都是实对称矩阵 $$ 上述矩阵 $A^{†}$ 称为 $A$ 的 $Moore-Penrose$ 广义逆. 若 $A$ 是 $n$ 阶可逆矩阵,则 $A^{†} = A^{-1}$ ,因此矩阵的广义逆就是方阵的逆阵的推广. 当 $A = O_{m×n}$ 时,$A^{†} = O_{n × m}$. 若设 $A = P \begin{pmatrix} S&O\\ O&O \end{pmatrix}Q’$ 为 $A$ 的奇异值分解,则 $A^{†} = Q \begin{pmatrix} S^{-1}&O\\ O&O \end{pmatrix}P’$ 为 $A^{†}$ 的奇异值分解. 这也给出了从矩阵 $A$ 求其广义逆 $A^{†}$ 的计算方法. 矩阵的广义逆在矩阵理论中有着重要的应用,限于篇幅我们不准备展开这方面的讨论. 为了联系起内积空间理论和线性方程组的求解理论,我们来看广义逆的如下应用
9.139
设 $V,U$ 分别为 $n,m$ 维欧氏空间,$φ:V → U$ 为线性映射,$φ^{†}$ 为 $φ$ 广义逆. 求证: $φ^{†}φ$ 是 $V$ 到 $(Kerφ)^{⟂}$ 上的正交投影算子,$φφ^{†}$ 是 $U$ 到 $Imφ$ 上的正交投影算子
9.140
设 $A$ 为 $m×n$ 实矩阵,$β$ 是 $m$ 维实列向量,并取实列向量空间上的标准内积. 求证:
(1)若线性方程组 $Ax = β$ 有解,则 $z = A^{†}β$ 是唯一的长度最小的解;
(2)若线性方程组 $Ax = β$ 无解,则 $z = A^{†}β$ 是最佳逼近,即满足 $$ ||Az - β|| ≤ ||Ax - β||, ∀ x ∈ \mathbb{R}^{n} $$ 并且是所有最佳逼近中唯一的长度最小的最佳逼近
注意: 在实际问题中我们遇到的 $Ax = β$ 通常是系数矩阵 $A$ 列满秩但无解的线性方程组. 此时,容易验证 $A^{†} = (A’A)^{-1}A’$ ,因此最佳逼近为 $z = (A’A^{-1})^{-1}A’β$ ,这就是矛盾线性方程组 $Ax = β$ 的最小二乘解