矩阵分析与应用-1.7-逆矩阵
前言
本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.
这部分内容与线性代数的内容重合, 讲述的是逆矩阵的一些性质.
一、逆矩阵的定义与性质
对于一个 \(n \times n\) 的矩阵, 要是它具有 \(n\) 个线性无关的列向量和 \(n\) 个线性无关的行向量, 我们就把这个矩阵叫做非奇异矩阵. 在之前也提到过这个概念, 非奇异说的就是不特别, 具有很多良好的性质. 矩阵可逆就是这诸多性质中的一种.
从线性系统的观点出发: 一线性变换或正方矩阵 \(A\) 只对零输入产生零输出, 就是非奇异的. 反之就是奇异的. 非奇异矩阵必定有逆矩阵, 奇异矩阵必没有逆矩阵.
一个 \(n \times n\) 的正方矩阵 \(B\) 满足 \(BA=AB=I\) 时, 就称矩阵 \(B\) 是矩阵 \(A\) 的逆矩阵, 记作 \(A^{-1}\).
在之前也提到过非奇异矩阵的行列式是不为 \(0\) 的, 这里就从这一方面入手来详细解释一下.
这里又提到了初学线代时提到的一个概念, 叫做伴随矩阵.
若一个正方矩阵 \(A\) 的所有元素 \(a_{ij}\) 分别由它们的余子式 \(A_{ij}\) 代替, 然后转置, 所得到的矩阵称为 \(A\) 的伴随矩阵, 记作 \(adj(A)\) 或者 \(A^*\), 就有式子:
\[ \mathrm{adj}(A) = \begin{bmatrix} A_{11}& A_{21}& \cdots& A_{n1}\\ A_{12}& A_{22}& \cdots& A_{n2}\\ \vdots& \vdots& & \vdots\\ A_{1n}& A_{2n}& \cdots& A_{nn} \end{bmatrix} \tag{1} \]
若行列式 \(\mathrm{det}(A) \neq 0\), 则矩阵 \(A\) 的逆矩阵 \(A^{-1}\) 存在, 并且唯一. 逆矩阵 \(A^{-1}\) 由下式给出:
\[ A^{-1} = \frac{1}{\mathrm{det}(A)}\mathrm{adj}(A) = \frac{1}{|A|}\begin{bmatrix} A_{11}& A_{21}& \cdots& A_{n1}\\ A_{12}& A_{22}& \cdots& A_{n2}\\ \vdots& \vdots& & \vdots\\ A_{1n}& A_{2n}& \cdots& A_{nn} \end{bmatrix} \tag{2} \]
伴随矩阵具有下面的性质:
矩阵 \(A_{n \times n}\) 的伴随矩阵 \(\mathrm{adj}(A)\) 的转置等于 \(A\) 的转置的伴随矩阵, 即 \([\mathrm{adj}(A)]^{\mathrm{T}} = \mathrm{adj}(A^{\mathrm{T}})\). 分别按照顺序列出式子就可以很轻易证明出等式了.
若矩阵 \(A \in C^{n \times n}\) 的逆矩阵存在, 则称矩阵 \(A\) 是非奇异的或可逆的. 关于矩阵的奇异性或可逆性, 下列叙述等价:
\(A\) 非奇异
\(A^{-1}\) 存在
\(\mathrm{rank}(A) = n\)
\(A\) 的行线性无关
\(A\) 的列线性无关
\(\mathrm{det}(A) \neq 0\)
\(A\) 的值域的维数是 \(n\)
\(A\) 的零空间的维数是 \(0\)
\(Ax=b\) 对每一个 \(b \in C^n\) 都是一致方程. (一致方程指至少有一个解)
\(Ax=b\) 对每一个 \(b\) 有唯一的解.
\(Ax=0\) 只有平凡解 \(x=0\)
对 \(n \times n\) 矩阵 \(A\) 的逆矩阵 \(A^{-1}\) 具有以下性质.
\(A^{-1}A=AA^{-1}=I\). 假定另一个矩阵 \(P\) 满足 \(AP=I\) 来证明.
\(A^{-1}\) 是唯一的.
逆矩阵的行列式等于原矩阵行列式的倒数, 即 \(|A^{-1}|=\frac{1}{|A|}\). 证明的时候需要先了解一下拉普拉斯定理, 得到 \(|AB|=|A||B|\), 然后再对这个性质证明.
逆矩阵是非奇异的. 证明自然就是式子 \(|A^{-1}|=\frac{1}{|A|} \neq 0\).
\((A^{-1})^{-1}=A\)
复共轭转置矩阵 \(A^{\mathrm{H}}\) 的逆矩阵等于逆矩阵 \(A^{-1}\) 的复共轭转置, 即 \((A^{\mathrm{H}})^{-1}=(A^{-1})^{\mathrm{H}}\). 逆矩阵的复共轭转置常采用符号 \(A^{\mathrm{-H}}=(A^{-1})^{\mathrm{H}}\) 简化.
若 \(A^{\mathrm{H}}=A\), 则 \((A^{-1})^{\mathrm{H}}=A^{-1}\)
\((A^*)^{-1}=(A^{-1})^*\)
如果 \(A\) 和 \(B\) 都是可逆的, 则有:
\[ (AB)^{-1}=B^{-1}A^{-1} \tag{3} \]
更一般的有
\[ (ABC)^{-1}=C^{-1}B^{-1}A^{-1} \tag{4} \]
- 若 \(A = \mathrm{diag}(a_1,a_2,\dots,a_m)\) 为对角矩阵, 则其逆矩阵
\[ A^{-1} = \mathrm{diag}(a_1^{-1},a_2^{-1},\dots,a_m^{-1}) \]
- 若 \(A\) 非奇异, 则有
\[ A 为正交矩阵 \Longleftrightarrow A^{-1} = A^{\mathrm{T}} \\ A 为酉矩阵 \Longleftrightarrow A^{-1} = A^{\mathrm{H}} \]
二、矩阵求逆引理
引理 1: (\(\mathrm{Sherman-Morrison}\) 公式) 令 \(A\) 是一个 \(n \times n\) 的可逆矩阵, 并且 \(x\) 和 \(y\) 是两个 \(n \times 1\) 向量, 使得 \((A+xy^{\mathrm{H}})\) 可逆, 则
\[ (A + xy^{\mathrm{H}})^{-1} = A^{-1} - \frac{A^{-1}xy^{\mathrm{H}}A^{-1}}{1+y^{\mathrm{H}}A^{-1}x} \tag{5} \]
证明过程中需要用到两个公式
若 \((I+B)\) 可逆, 并且 \(B \neq I\), 则 \((I+B)^{-1} = I -B+B^2-B^3+\dots\).
\(\frac{1}{1-x}=1+x+x^2+\dots+x^n+\dots(-1<x<1)\)
矩阵求逆引理可以推广为矩阵之和的求逆公式, 也叫 \(\mathrm{Woodbury}\) 公式
\[ \begin{aligned} (A+UBV)^{-1} &= A^{-1} - A^{-1}UB(B+BVA^{-1}UB)^{-1}BVA^{-1} \\ &= A^{-1} - A^{-1}U(I+BVA^{-1}U)^{-1}BVA^{-1} \end{aligned} \tag{6} \]
或
\[ (A-UV)^{-1} = A^{-1}+A^{-1}U(I-VA^{-1}U)^{-1}VA^{-1} \tag{7} \]
矩阵 \(I-VA^{-1}U\) 有时被称为容量矩阵.
当 \(U = u, B=b\) 和 \(V = v^{\mathrm{H}}\) 时, \(\mathrm{Woodbury}\) 公式给出结果
\[ (A+buv^{\mathrm{H}})^{-1}=A^{-1} - \frac{b}{1+bv^{\mathrm{H}}A^{-1}u}A^{-1}uv^{\mathrm{H}}A^{-1} \tag{8} \]
\(Duncan-Guttman\) 求逆公式
\[ (A - UD^{-1}V)^{-1} = A^{-1}+A^{-1}U(D-VA^{-1}U)^{-1}VA^{-1} \tag{9} \]
除了以上的公式外, 矩阵之和的逆矩阵还有下面的形式
\[ \begin{aligned} (A+UBV)^{-1} &= A^{-1} - A^{-1}(I+UBVA^{-1})^{-1}UBVA^{-1} \\ &= A^{-1} - A^{-1}UB(I+VA^{-1}UB)^{-1}VA^{-1} \\ &= A^{-1} - A^{-1}UBV(I+A^{-1}UBV)^{-1}A^{-1} \\ &= A^{-1} - A^{-1}UBVA^{-1}(I+UBVA^{-1})^{-1} \end{aligned} \tag{10} \]
然后就是分块矩阵求逆公式.
- 矩阵 \(A\) 可逆时, 为
\[ \begin{bmatrix} A& U\\ V& D \end{bmatrix}^{-1}=\begin{bmatrix} A^{-1}+A^{-1}U(D-VA^{-1}U)^{-1}VA^{-1}& -A^{-1}U(D-VA^{-1}U)^{-1}\\ -(D-VA^{-1}U)^{-1}VA^{-1}& (D-VA^{-1}U)^{-1} \end{bmatrix} \tag{11} \]
- 矩阵 \(A\) 和 \(D\) 可逆时, 为
\[ \begin{bmatrix} A& U\\ V& D \end{bmatrix}^{-1}=\begin{bmatrix} (A-UD^{-1}V)^{-1}& -A^{-1}U(D-VA^{-1}U)^{-1}\\ -D^{-1}V(A-UD^{-1}V)^{-1}& (D-VA^{-1}U)^{-1} \end{bmatrix} \tag{12} \]
- 矩阵 \(A\) 和 \(D\) 可逆时, 为
\[ \begin{bmatrix} A& U\\ V& D \end{bmatrix}^{-1}=\begin{bmatrix} (A-UD^{-1}V)^{-1}& -(A-UD^{-1}V)^{-1}UD^{-1}\\ -(D-VA^{-1}U)^{-1}VA{-1}& (D-VA^{-1}U)^{-1} \end{bmatrix} \tag{13} \]
或者
\[ \begin{bmatrix} A& U\\ V& D \end{bmatrix}^{-1}=\begin{bmatrix} (A-UD^{-1}V)^{-1}& -(V-DU^{-1}A)^{-1}\\ (U-AV^{-1}D)^{-1}& (D-VA^{-1}U)^{-1} \end{bmatrix} \tag{14} \]
\(\mathrm{Hermitian}\) 矩阵的求逆引理, 令 \(\mathrm{Hermitian}\) 矩阵的分块形式为
\[ R_{m+1} = \begin{bmatrix} R_m& r_m\\ r_m^{\mathrm{H}}& \rho_m \end{bmatrix} \tag{15} \]
考虑使用 \(R_m^{-1}\) 逆推 \(R_{m+1}^{-1}\), 令
\[ Q_{m+1} = \begin{bmatrix} Q_m& q_m\\ q_m^{\mathrm{H}}& \alpha_m \end{bmatrix} \tag{16} \]
于是就有
\[ R_{m+1}Q_{m+1} = \begin{bmatrix} R_m& r_m\\ r_m^{\mathrm{H}}& \rho_m \end{bmatrix} \begin{bmatrix} Q_m& q_m\\ q_m^{\mathrm{H}}& \alpha_m \end{bmatrix} = \begin{bmatrix} I_m& 0_m\\ 0_m^{\mathrm{H}}& 1 \end{bmatrix} \tag{17} \]
由此可以推导出下面四个方程式:
\[ R_mQ_m + r_mq_m^{\mathrm{H}}=I_m \tag{18} \]
\[ r_m^{\mathrm{H}}Q_m + \rho_mq_m^{\mathrm{H}} = 0_m^{\mathrm{H}} \tag{19} \]
\[ R_mq_m + r_m\alpha_m = 0_m \tag{20} \]
\[ r_m^{\mathrm{H}}q_m + \rho_m\alpha_m = 1 \tag{21} \]
若 \(R_m\) 可逆, 则由式子 (20) 可得
\[ q_m = -\alpha_m R_m^{-1}r_m \tag{22} \]
代入式子 (21) 得
\[ \alpha_m = \frac{1}{\rho_m - r_m^{\mathrm{H}}R_m^{-1}r_m} \tag{23} \]
将式子 (23) 代入式子 (22), 又可得
\[ q_m = \frac{-R_m^{-1}r_m}{\rho_m - r_b^{\mathrm{H}}R_m^{-1}r_m} \tag{24} \]
将式子 (24) 代入式子 (18), 则
\[ Q_m = R_m^{-1}-R_m^{-1}r_mq_m^{\mathrm{H}} = R_m^{-1} + \frac{R_m^{-1}r_m(R_m^{-1}r_m)^{\mathrm{H}}}{\rho_m - r_m^{\mathrm{H}}R_m^{-1}r_m} \tag{25} \]
简化式子 (23)~(25), 令
\[ b_m \overset{def}{=}[b_0^{(m)},b_1^{(m)},\dots,b_{m-1}^{(m)}]^{\mathrm{T}}=-R_m^{-1}r_m \tag{26} \]
\[ \beta_m \overset{def}{=}\rho_m - r_m^{\mathrm{H}}R_m^{-1}r_m = \rho_m + r_m^{\mathrm{H}}b_m \tag{27} \]
那么式子 (23)~(25) 就简化为
\[ \alpha_m = \frac{1}{\beta_m} \]
\[ q_m = \frac{1}{\beta_m}b_m \]
\[ Q_m = R_m^{-1}+\frac{1}{\beta_m}b_mb_m^{\mathrm{H}} \]
代入式子 (17) 得
\[ R_{m+1}^{-1} = Q_{m+1}=\begin{bmatrix} R_m^{-1}& 0_m\\ 0_m^{\mathrm{H}}& 0 \end{bmatrix} + \frac{1}{\beta_m}\begin{bmatrix} b_mb_m^{\mathrm{H}}& b_m\\ b_m^{\mathrm{H}}& 1 \end{bmatrix} \tag{28} \]
这个由 \(R_m^{-1}\) 求 \(R_{m+1}^{-1}\) 的秩 1 修正公式称为 \(\mathrm{Hermitian}\) 矩阵的分块求逆引理.