矩阵分析与应用-1.9-Moore-Penrose逆矩阵-Section1

前言

本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.

我们之前一节的广义逆矩阵已经包含了逆矩阵、左逆矩阵和右逆矩阵

我们现在面临一个问题: 最小二乘解是非唯一的, 其会有通解. 这就会引申出两个问题

  • 是否存在某种意义下的唯一解?

  • 若存在唯一解，那么广义逆矩阵 \(AGA = A\) 是否仍旧有效？

为此, 我们引入了涵义更为广泛的广义逆矩阵: \(Moore-Penrose\) 逆矩阵

\(Moore-Penrose\) 逆矩阵的定义与性质

我们用 \(P_S\) 表示到向量空间 \(S\) 上的正交投影. 明显的, 有 \(P_Sx\) 在空间 \(S\) 上,且 \(x-P_Sx\) 与子空间 \(S\) 正交.

对于任意一个 \(m \times n\) 的复矩阵 \(G\) 我们使用 \(Range(G)\) 来表示其值域空间.

\(\mathrm{Moore}\) 则证明出了, 矩阵 \(G\) 的广义逆矩阵 \(G^{\dagger}\) 必须满足条件:

\[ GG^{\dagger} = P_{Range(G)},\qquad G^{\dagger}G = P_{Range(G^H)} \tag{1} \]

我们将上述两条件称为 \(\mathrm{Moore}\) 条件, 而满足 \(\mathrm{Moore}\) 条件的矩阵 \(G^{\dagger}\) 被称为 \(\mathrm{Moore}\) 逆矩阵

此外, 由于上述条件不好使用, \(\mathrm{Penrose}\) 提出的另外一组条件

1. \(Moore-Penrose\) 条件

定义 1: 令A是任意的 \(m \times n\) 矩阵, 若称矩阵 \(G\) 是 \(A\) 的广义逆矩阵, 则需要满足下面四个条件 (\(\mathrm{Moore-Penrose}\) 条件):

  • \((1) \ AGA = A\)

  • \((2) \ GAG = G\)

  • \((3) \ AG\) 为 \(\mathrm{Hermitian}\) 矩阵, 即 \((AG)^{\mathrm{H}} = AG\)

  • \((4) \ GA\) 为 \(\mathrm{Hermitian}\) 矩阵, 即 \((GA)^H = GA\)

然后 \(\mathrm{Rado}\) 证明了 \(\mathrm{Penrose}\) 的定义与 \(\mathrm{Moore}\) 的定义等价.

2. 以条件满足数目分类

  • 自反广义逆矩阵: 只满足条件 (1) 和 (2) 的矩阵 \(G=A^{\dagger}\) 称为 \(A\) 的自反广义矩阵.

  • 正规化广义逆矩阵: 只满足条件(1)、(2) 和 (3) 的矩阵 \(A^{\dagger}\) 称为 \(A\) 的正规化广义逆矩阵.

  • 弱广义逆矩阵: 只满足条件(1)、(2) 和 (4) 的矩阵 \(A^{\dagger}\) 称为 \(A\) 的弱广义逆矩阵.

  • \(Moore-Penrose\) 逆矩阵: 满足 4 个条件

3. 一般广义矩阵的特性

定理 1:

若 \(A^g\) 是矩阵 \(A\) 的任意一种广义逆矩阵, 则有:

\[ \mathrm{rank}(A^g) \geq \mathrm{rank}(A) = \mathrm{rank}(A^gA) = \mathrm{rank}(AA^g) \]

秩 \(\mathrm{rank}(A^g) = \mathrm{rank}(A)\) 的一个充要条件：\(A^g\) 是 \(A\) 的自反广义逆矩阵

我们上面的 \(Moore-Penrose\) 条件可以引申到下面的几条性质：

  • \((A^H) ^{\dagger} = (A^{\dagger}) ^H\)

  • \(A^{\dagger} AA^H = A^H AA^{\dagger} = A^H\)

  • \(AA^H (A^H) ^{\dagger} = (A^H) ^{\dagger} A^HA = A\)

  • \(AA^{\dagger} ,\ A^{\dagger}A ,\ (I-AA^{\dagger}) ,\ (I-A^{\dagger}A)\) 均为幂等矩阵

之前几篇博客里的广义逆矩阵的特例

  • \(n \times n\) 的正方非奇异矩阵 \(A_{n \times n}\) 的逆矩阵 \(A^{-1}\) 满足 4 个条件

  • \(m \times n\) 的 \(A_{m \times n} (m > n)\) 的左伪逆矩阵 \((A^HA) ^{-1} A^H\) 满足 4 个条件

  • \(m \times n\) 的 \(A_{m \times n} (m < n)\) 的右伪逆矩阵 \(A^H (AA^H) ^{-1}\) 满足 4 个条件

  • 满足 \(LA_{m \times n} = I_n\) 的一般左逆矩阵 \(L_{n \times m}\) 满足 (1), (2)和 (4) 条件, 是弱广义逆矩阵

  • 满足 \(A_{m \times n}R = I_m\) 的一般右逆矩阵 \(R_{n \times m}\) 满足 (1), (2)和 (3)条件, 是正规化广义逆矩阵

  • 广义逆矩阵 \(A^{-}\) 只满足条件 (1)

不同于左逆矩阵 \(L\) 右逆矩阵 \(R\) 和广义逆矩阵 \(A^{-}\) 的多值性, \(\mathrm{Moore-Penrose}\) 逆矩阵定义唯一.

一般的, 我们使用广义逆矩阵直接当作 \(\mathrm{Moore-Penrose}\) 逆矩阵的简称, 使用 \(A^{\dagger}\) 表示.

而原来的广义逆矩阵 (即只用条件 (1) \(AGA = A\) 定义的) 广义逆矩阵只用 \(A^{-}\) 表示.

一般情况下, \(A^{\dagger}\) 并不满足逆矩阵的性质 \((AB)^{-1} = B^{-1} A^{-1}\), 即有:

\[ (AB)^{\dagger} \neq B^{\dagger} A^{\dagger} \]

定理 2:

若 \(A,B\) 均为使得矩阵 \(AB\) 存在的任意矩阵, 则 \((AB)^{\dagger} = B^{\dagger} A^{\dagger}\) 的充要条件为以下之一:

  • $A^{}AB B^H A^H = BB^H A^H $ 和 $ BB^{} A^HAB = A^HAB$

  • \(A^{\dagger} ABB^H\) 和 \(A^HA BB^{\dagger}\) 都是 \(\mathrm{Heritian}\) 矩阵

  • \(A^{\dagger}A BB^H A^HA BB^{\dagger} = BB^H A^HA\)

  • \(A^{\dagger}AB = B(AB)^{\dagger}AB\) 且 \(BB^{\dagger} A^H = A^HAB (AB)^{\dagger}\)

4. \(\mathrm{Moore-Penrose}\) 逆矩阵 \(A^{\dagger}\) 的性质

  • 广义逆矩阵 \(A^{\dagger}\) 唯一

  • \((A^H) ^{\dagger} = (A^{\dagger}) ^H = A^{\dagger H} = A^{H \dagger}\)

  • \((A^{\dagger}) ^{\dagger} = A\)

  • 若 $c $，则有 $ (cA)^{} = A^{}$

  • 若 \(D = diag(d_{11},d_{22},\cdots,d_{nn})\) 为 \(n \times n\) 对角矩阵, 则 \(D^{\dagger} = diag(d_{11}^{\dagger}, d_{22}^{\dagger}, \cdots, d_{nn}^{\dagger})\) (其中 \(d_{ii}^{\dagger} = d_{ii}^{-1}\) 或 \(d_{ii}^{\dagger} = 0\) )

  • 零矩阵的广义逆矩阵为零矩阵, 即: \(O_{m \times n}^{\dagger} = O_{n \times m}\)

  • 向量 $ x $ 的Moore-Penrose逆矩阵为: \(x^{\dagger} = (x^Hx) ^{-1} x^H\)

  • 关于几个真假的判断:

    • \(AA^{\dagger} \neq I_{m}\)

    • \(A^{\dagger}A \neq I_{n}\)

    • \(A^H (A^H) ^{\dagger} \neq I_{n}\)

    • \((A^H) ^{\dagger} A^H \neq I_{m}\)

    • \(A^{\dagger}A A^H = A^H\)

    • \(A^{H} AA^{\dagger} = A^{H}\)

    • \(A^{H} AA^{\dagger} = A^{H}\)

    • \(A^{H} A^{\dagger}A = A^{H}\)

    • \(A A^{\dagger} (A^{\dagger}) ^H = (A^{\dagger}) ^H\)

    • \((A^{\dagger}) ^H A^{\dagger} A = (A^{\dagger}) ^H\) 这里存疑。。。

    • \((A^H) ^{\dagger} A^H A = A\)

    • \(A A^H (A^H) ^{\dagger} = A\)

    • \(A^H (A^{\dagger}) ^H A^{\dagger} = A^{\dagger}\)

    • \(A^{\dagger} (A^{\dagger}) ^H A^H = A^{\dagger}\)

  • 任何矩阵 \(A_{m \times n}\) 的广义逆矩阵都可以用 \(A^{\dagger} = (A^H A) ^{\dagger} A^H\) 或者 \(A^{\dagger} = A^H (AA^H) ^{\dagger}\) 确定, 且他们有特殊情况:

    • 若 \(A\) 列满秩, 则 \(A^{\dagger} = (A^HA) ^{-1} A^{\dagger}\) , 此时退化为左伪逆矩阵

    • 若 \(A\) 行满秩, 则 \(A^{\dagger} = A^H (AA^H) ^{-1}\) , 此时退化为右伪逆矩阵

    • 若 \(A\) 为非奇异的正方矩阵, 则 \(A^{\dagger} = A^{-1}\) , 此时退化为逆矩阵

  • 若 \(A^H A = PDP^H\) , 其中 \(PP^H = P^HP = I\) , 且 \(D\) 为对角矩阵 , 则 \(A^{\dagger} = PD^{\dagger} P^H A^H\)

  • 若 \(A = BC\) , 且 \(B\) 列满秩 , \(C\) 行满秩, 则有:

\[ A^{\dagger} = C^{\dagger} B^{\dagger} = C^H (CC^H) ^{-1} (B^HB) ^{-1} B^H \]

  • 若 $A^H = A $ ，其 $ A^2 = A $ ，则 $ A^{} = A$

  • 如矩阵 \(A_{i}\) 相互正交, 即 \(A_i^H A_j = O\) , 则我们有:

\[ (A_1 + A_2 + \cdots + A_m) ^{\dagger} = A_1^{\dagger} + A_2^{\dagger} + \cdots + A_m^{\dagger} \]

  • \((AA^H) ^{\dagger} = (A^{\dagger}) ^H A^{\dagger}\)

  • \((AA^H) ^{\dagger} (AA^H) = AA^{\dagger}\)

  • 一般来说 \((A^m) ^{\dagger} \neq (A^{\dagger}) ^m\) , 但只要 \(AA^H = A^HA\) , 则有 \((A^m) ^{\dagger} = (A^{\dagger}) ^m\)

  • 若 \(A\) 为 \(m \times n\) 矩阵，则有:

\[ \begin{bmatrix} A_{m \times n} & O_{m \times q} \\ O_{p \times n} & O_{p \times q} \\ \end{bmatrix} ^{\dagger} = \begin{bmatrix} (A^{\dagger})_{n \times m} & O_{n \times p} \\ O_{q \times m} & O_{q \times p} \\ \end{bmatrix} \]

\[ \begin{bmatrix} O_{p \times q} & O_{p \times n} \\ O_{m \times q} & A_{m \times n} \\ \end{bmatrix} ^{\dagger} = \begin{bmatrix} O_{q \times p} & O_{q \times m} \\ O_{m \times q} & (A^{\dagger})_{n \times m} \\ \end{bmatrix} \]

  • 对于广义逆矩阵的秩, 有:

\[ \begin{aligned} \mathrm{rank}(A^{\dagger}) & = \mathrm{rank}(A) = \mathrm{rank}(A^H) \\ &= \mathrm{rank}(A^{\dagger}A) = \mathrm{rank}(AA^{\dagger}) \\ &= \mathrm{rank}(AA^{\dagger}A) = \mathrm{rank}(A^{\dagger}AA^{\dagger}) \\ \end{aligned} \]

  • 广义逆矩阵 \(A^{\dagger}\) 和 \(A^H\) 的行空间相同 (即他们的行空间都互相包含)

  • 广义逆矩阵 \(A^{\dagger}\) 和 \(A^H\) 的列空间相同 ( 即 \(\mathrm{Span}(A^{\dagger}) = \mathrm{Span}(A^H)\) 或者 \(\mathrm{Range}(A^{\dagger}) = \mathrm{Range}(A^H)\) )

  • 对于 \(m > n\) , 且 \(\mathrm{rank}(A) = n\) 时, 我们有广义逆矩阵 (左伪逆矩阵) \(A^{\dagger} = (A^HA) ^{-1} A^H\)

    • \(A\) 和 \(AA^{\dagger}\) 的列空间相同

    • \((I_m -AA^{\dagger})\) 的列空间是矩阵 \(A\) 的列空间的正交补

    • \(AA^{\dagger} = A(A^HA) ^{-1} A^H\) 是幂等矩阵

    • \(I_m-AA^{\dagger}\) 是幂等矩阵

  • 对于 \(m < n\) , 且 \(\mathrm{rank}(A) = m\) 时, 我们有广义逆矩阵 (右伪逆矩阵) \(A^{\dagger} = A^H (AA^H) ^{-1}\)

    • \(A^{\dagger}\) 和 \(A^{\dagger}A\) 的列空间相同

    • \((I_n -A^{\dagger}A)\) 的列空间是矩阵 \(A^H\) 的列空间的正交补

    • \(A^{\dagger}A = A^H (AA^H) ^{-1} A\) 是幂等矩阵

    • \(I_n - A^{\dagger}A\) 是幂等矩阵

  • 若 \(A_{m \times n} , B_{m \times p}\) , 则我们有:

    \[ \begin{bmatrix} A,& B \\ \end{bmatrix} ^{\dagger} = \begin{bmatrix} A^{\dagger} - A^{\dagger} B (C^{\dagger}+D) \\ C^{\dagger}+D \end{bmatrix} \]

    其中, 我们有 \(C = (I_m - AA^{\dagger})B\) , 且 \(D = (I_p - C^{\dagger}C) [I_p + (I_p-C^{\dagger}C) B^H (A^{\dagger}) ^H B (I_p - C^{\dagger}C)] ^{-1} B^H (A^{\dagger}) ^H (I_m - BC^{\dagger})\)

  • 若 \(A_{m \times n} , B_{p \times n}\) , 则我们有:

    \[ \begin{bmatrix} A \\ B \\ \end{bmatrix} ^{\dagger} = \begin{bmatrix} A^{\dagger} - TBA^{\dagger}, &T \end{bmatrix} \]

    其中, 我们有 \(T = E^{\dagger} + (I_n -E^{\dagger}B) A^{\dagger} (A^{\dagger}) ^H B^H K(I_p-EE^{\dagger})\) , 且 \(K = [I_p + (I_p - EE^{\dagger}) BA^{\dagger} (A^{\dagger}) ^H B^H (I_p - EE^{\dagger})]^{-1}\)