矩阵分析与应用-1.10-Hadamard积与Kronecker积

前言

一、矩阵的直和

1. 直和定义

定义 1: \(m \times m\) 矩阵 \(A\) 与 \(n \times n\) 矩阵 \(B\) 的直和记作 \(A \oplus B\), 它是一个 \((m+n) \times (m+n)\) 的矩阵, 定义为

\[ A \oplus B = \begin{bmatrix} A& O_{m \times n}\\ O_{n \times m}& B \end{bmatrix} \tag{1} \]

只是在对角线上堆加元素, 和求和并无关系, 有点像分块矩阵那种感觉. 当然也可以定义多个矩阵的直和.

\[ B = \underset{i=0}{\overset{N-1}{\oplus}} A_i = A_0 \oplus A_1 \oplus \dots \oplus A_{N-1} = \begin{bmatrix} A_0& & & \\ & A_1& & \\ & & \ddots& \\ & & & A_{N-1} \end{bmatrix} \tag{2} \]

2. 直和性质

根据定义直和有一些性质:

• 若 \(c\) 是常数, 则 \(c(A \oplus B) = cA \oplus cB\)

• 若 \(A \neq B\), 则 \(A \oplus B \neq B \oplus A\)

• 矩阵直和的复共轭、转置、复共轭转置与逆矩阵

\[ \begin{aligned} (A \oplus B)^* &= A^* \oplus B^* \\ (A \oplus B)^{\mathrm{T}} &= A^{\mathrm{T}} \oplus B^{\mathrm{T}} \\ (A \oplus B)^{\mathrm{H}} &= A^{\mathrm{H}} \oplus B^{\mathrm{H}} \\ (A \oplus B)^{-1} &= A^{-1} \oplus B^{-1}, \quad A,B 可逆 \end{aligned} \]

• 若 \(A,B\) 为 \(m \times m\) 矩阵, 且 \(C,D\) 为 \(n \times n\) 矩阵, 则

\[ \begin{aligned} (A \pm B) \oplus (C \pm D) &= (A \oplus C) \pm (B \oplus D) \\ (A \oplus C)(B \oplus D) &= AB \oplus CD \end{aligned} \]

• 若 \(A,B,C\) 分别是 \(m \times m , n \times n , p \times p 矩阵\), 则

\[ A \oplus (B \oplus C) = (A \oplus B) \oplus C = A \oplus B \oplus C \]

• 矩阵直和的迹、秩、行列式:

\[ \begin{aligned} \mathrm{tr}(\underset{i=0}{\overset{N-1}{\oplus}}A_i) &= \sum_{i=0}^{N-1}\mathrm{tr}(A_i)\\ \mathrm{rank}(\underset{i=0}{\overset{N-1}{\oplus}}A_i) &= \sum_{i=0}^{N-1}\mathrm{rank}(A_i) \\ \mathrm{det}(\underset{i=0}{\overset{N-1}{\oplus}}A_i) &= \prod_{i=0}^{N-1}\mathrm{det}(A_i) \end{aligned} \]

• 若 \(A,B\) 分别是 \(m \times m , n \times n\) 正交矩阵, 则 \(A \oplus B\) 是 \((m + n) \times (m + n)\) 正交矩阵.

二、\(\mathrm{Hadamard}\) 积

1. \(\mathrm{Hadamard}\) 积定义

定义 2: \(m \times n\) 矩阵 \(A = [a_{ij}]\) 与 \(m \times n\) 矩阵 \(B = [b_{ij}]\) 的 \(\mathrm{Hadamard}\) 积记作 \(A \odot B\), 它仍是一个 \(m \times n\) 矩阵, 定义为

\[ A \odot B = [a_{ij}b_{ij}] \tag{3} \]

不得不说这比矩阵乘法简单多了.

定理 1: 若 \(m \times m\) 矩阵 \(A,B\) 是正定 (或半正定) 的, 则它们的 \(\mathrm{Hadamard}\) 积 \(A \odot B\) 也是正定 (或半正定) 的.

推论 1(\(\mathrm{Fejer}\) 定理): 令 \(A\) 是一个 \(m \times m\) 矩阵, 则 \(A\) 是半正定矩阵, 当且仅当

\[ \sum_{i=1}^{m}\sum_{j=1}^{m}a_{ij}b_{ij} \ge 0 \]

对所有 \(m \times m\) 半正定矩阵 \(B\) 成立.

定理 2: 令 \(A,B,C\) 为 \(m \times n\) 矩阵, 并且 \(\mathbf{1} = [1,1,\dots,1]^{\mathrm{T}}\) 为 \(n \times 1\) 求和向量, \(D = \mathrm{diag}(d_1,d_2,\dots,d_m)\), 其中, \(d_i = \sum_{j=1}^{n}a_{ij}\), 则

\[ \mathrm{tr} \left ( A^{\mathrm{T}}(B \odot C) \right ) = \mathrm{tr}\left ( (A^{\mathrm{T}}\odot B^{\mathrm{T}}) C \right ) \tag{4} \]

和

\[ \mathbf{1}^{\mathrm{T}}A^{\mathrm{T}}(B \odot C)\mathbf{1} = \mathrm{tr}(B^{\mathrm{T}}DC) \tag{5} \]

定理 3: 令 \(A,B\) 为 \(n \times n\) 正方矩阵, 并且 \(\mathbf{1} = [1,1,\dots,1]^{\mathrm{T}}\) 为 \(n \times 1\) 求和向量. 假定 \(M\) 是一个 \(n \times n\) 对角矩阵 \(M = \mathrm{diag}(\mu_1,\mu_2,\dots,\mu_n)\), 而 \(m = M\mathbf{1}\) 为 \(n \times 1\) 向量, 则有

\[ \mathrm{tr}(AMB^{\mathrm{T}}M) = m^{\mathrm{T}}(A \odot B)m \tag{6} \]

\[ \mathrm{tr}(AB^{\mathrm{T}}) = \mathbf{1}^\mathrm{T}(A \odot B)\mathbf{1} \tag{7} \]

\[ MA \odot B^{\mathrm{T}}M = M(A \odot B^{\mathrm{T}})M \tag{8} \]

2. \(\mathrm{Hadamard}\) 积性质

• 若 \(A,B\) 均为 \(m \times n\) 矩阵, 则

\[ \begin{aligned} A \odot B &= B \odot A \\ (A \odot B)^{\mathrm{T}} &= A^{\mathrm{T}} \odot B^{\mathrm{T}} \\ (A \odot B)^{\mathrm{H}} &= A^{\mathrm{H}} \odot B^{\mathrm{H}} \\ (A \odot B)^* &= A^{*}\odot B^{*} \end{aligned} \]

• 任何一个 \(m \times n\) 矩阵 \(A\) 与 \(m \times n\) 零矩阵 \(O_{m \times n}\) 的 \(\mathrm{Hadamard}\) 积等于 \(m \times n\) 零矩阵, 即 \(A \odot O_{m \times n} = O_{m \times n} \odot A = O_{m \times n}\)

• 若 \(c\) 为常数, 则

\[ c(A \odot B) = (cA) \odot B = A \odot (cB) \]

• 矩阵 \(A_{m \times m} = [a_{ij}]\) 与单位矩阵 \(I_m\) 的 \(\mathrm{Hadamard}\) 积为 \(m \times m\) 对角矩阵, 即

\[ A \odot I_m = I_m \odot A = \mathrm{diag}(A) = \mathrm{diag}(a_{11},a_{22},\dots,a_{mm}) \]

• 若 \(A,B,C,D\) 均为 \(m \times n\) 矩阵, 则

\[ \begin{aligned} A \odot (B \odot C) &= (A \odot B)\odot C = A \odot B \odot C \\ (A \pm B)\odot C &= A \odot C \pm B \odot C \\ (A + B) \odot (C + D) &= A \odot C + A \odot D + B \odot C + B \odot D \end{aligned} \]

• 若 \(A,C\) 为 \(m \times m\) 矩阵, 并且 \(B,D\) 为 \(n \times n\) 矩阵, 则

\[ (A \odot B) \odot (C \odot D) = (A \odot C) \odot (B \odot D) \]

• 若 \(A,B,C\) 为 \(m \times n\) 矩阵, 则

\[ \mathrm{tr}(A^{\mathrm{T}}(B \odot C)) = \mathrm{tr}((A^{\mathrm{T}} \odot B^{\mathrm{T}})C) \]

• 若 \(A,B,D\) 为 \(m \times m\) 矩阵, 则

\[ D 为对角矩阵 \Longrightarrow (DA) \odot (BD) = D(A \odot B) D \]

• 若 \(m \times m\) 矩阵 \(A,B\) 是正定 (或半正定) 的, 则它们的 \(\mathrm{Hadamard}\) 积 \(A \odot B\) 也是正定 (或半正定) 的.

书上的例子是关于盲信号分离的问题, 还是先把这部分搁置了吧.

三、矩阵化函数和向量化函数

矩阵和向量之间存在相互转换的函数

定义 3: 一个 \(mn \times 1\) 向量 \(a = [a_1,a_2,\dots,a_{mn}]^{\mathrm{T}}\) 的矩阵化函数 \(\mathrm{unver}_{m,n}\) 是一个将 \(mn\) 个元素的列向量转化为 \(m \times n\) 矩阵的算子, 即

\[ \mathrm{unver}_{m,n}(a) = A_{m \times n} = \begin{bmatrix} a_1& a_{m+1}& \cdots& a_{m(n-1)+1}\\ a_2& a_{m+2}& \cdots& a_{m(n-1)+2}\\ \vdots& \vdots& & \vdots\\ a_m& a_{2m}& \cdots & a_{mn} \end{bmatrix} \tag{9} \]

相反, 若 \(A = [a_{ij}]\) 是一个 \(m \times n\) 矩阵, 则 \(A\) 的向量化函数 \(\mathrm{vec}(A)\) 是一个 \(mn \times 1\) 向量, 其元素是 \(A\) 的元素的字典式排序, 即

\[ \mathrm{vec}(A) =\begin{bmatrix} a_{11}&\\ \vdots&\\ a_{m1}&\\ \vdots&\\ a_{1n}&\\ \vdots&\\ a_{mn}& \end{bmatrix} \tag{10} \]

矩阵元素的字典式排序也叫做按列堆栈.

所以两者一结合就可以得到

\[ \mathrm{unver}_{m,n}(a) = A_{m \times n} \Longrightarrow \mathrm{vec}(A) = a \tag{11} \]

当然除了按列堆栈还可以按行堆栈, 记作 \(\mathrm{rvec}(A)\), 结果就是一行一行取数据来构成向量.

存在一个唯一的 \(mn \times mn\) 置换矩阵, 可以将 \(\mathrm{vec}(A)\) 变换为 \(\mathrm{vec}(A^{\mathrm{T}})\). 这个置换矩阵叫做交换矩阵, 记作 \(K_{mn}\), 满足如下等式

\[ K_{mn}\mathrm{vec}(A) = \mathrm{vec}(A^{\mathrm{T}}) \tag{12} \]

交换矩阵有这样的性质

\[ K_{mn}^{\mathrm{T}} = K_{mn}^{-1} = K_{nm} \tag{13} \]

构造方法想一想矩阵的初等变换.

四、\(\mathrm{Kronecker}\) 积

1. \(\mathrm{Kronecker}\) 积定义

一个 \(m \times n\) 矩阵 \(A\) 和一个 \(p \times q\) 矩阵 \(B\) 的 \(\mathrm{Kronecker}\) 记作 \(A \otimes B\), 这是一个 \(mp \times nq\) 矩阵.

定义 4 (右 \(\mathrm{Kronecker}\) ) : \(m \times n\) 矩阵 \(A\) 和 \(p \times q\) 矩阵 \(B\) 的右 \(\mathrm{Kronecker}\) \(A \otimes B\) 定义为

\[ A \otimes B = [a_{ij}B] = \begin{bmatrix} a_{11}B& a_{12}B& \cdots& a_{1n}B\\ a_{21}B& a_{22}B& \cdots& a_{2n}B\\ \vdots& \vdots& & \vdots\\ a_{m1}B& a_{m2}B& \cdots& a_{mn}B \end{bmatrix} \tag{14} \]

定义 5 (左 \(\mathrm{Kronecker}\) ) : \(m \times n\) 矩阵 \(A\) 和 \(p \times q\) 矩阵 \(B\) 的左 \(\mathrm{Kronecker}\) \(A \otimes B\) 定义为

\[ [A \otimes B]_{\mathrm{left}} = [Ab_{ij}] = \begin{bmatrix} Ab_{11}& Ab_{12}& \cdots& Ab_{1q}\\ Ab_{21}& Ab_{22}& \cdots& Ab_{2q}\\ \vdots& \vdots& & \vdots\\ Ab_{p1}& Ab_{p2}& \cdots& Ab_{pq} \end{bmatrix} \tag{15} \]

\(\mathrm{Kronecker}\) 积 也称直积或者张量积

若矩阵 \(A_{m \times n} = ab^{\mathrm{T}}\), 则

\[ \mathrm{vec}(ab^{\mathrm{T}}) = b \otimes a \tag{16} \]

定理 4: 令 \(A_{m \times p}, B_{p \times q}, C_{q \times n}\), 则

\[ \mathrm{vec}(ABC) = (C^{\mathrm{T}} \otimes A)\mathrm{vec}(B) \tag{17} \]

定理 4 的两个特例.

• 若 \(A\) 为单位矩阵 \(I_m\), 而 \(B \in R^{m \times q}, C \in R^{q \times n}\), 则

\[ \mathrm{vec}(BC) = (C^{\mathrm{T}} \otimes I_m)\mathrm{vec}(B) = (C^{\mathrm{T}} \otimes B)\mathrm{vec}(I_q) = (I_n \otimes B)\mathrm{vec}(C) \tag{18} \]

• 若 \(C=d\) 为 \(q\) 向量, 则

\[ ABd = \mathrm{vec}(ABd) = (d^{\mathrm{T}} \otimes A)\mathrm{vec}(B) = (A \otimes d^{\mathrm{T}})\mathrm{vec}(B^{\mathrm{T}}) \tag{19} \]

2. \(\mathrm{Kronecker}\) 积性质

然后就是一大堆性质:

• 对矩阵 \(A_{m \times n}\) 和 \(B_{p \times q}\), 一般有 \(A \otimes B \neq B \otimes A\)

• 任意矩阵与零矩阵的 \(\mathrm{Kronecker}\) 积等于零矩阵

• \(\alpha \beta\) 为常数

  \[ \alpha A \otimes \beta B = \alpha \beta (A \otimes B) \tag{20} \]

• 对矩阵 \(A_{m \times n},B_{n \times k},C_{l \times p},D_{p \times q}\) 有

  \[ AB \otimes CD = (A \otimes C)(B \otimes D) \tag{21} \]

• 对矩阵 \(A_{m \times n},B_{p \times q},C_{p \times q}\) 有

  \[ A \otimes (B \pm C) = A \otimes B \pm A \otimes C \tag{22} \]

  \[ (B \pm C) \otimes A = B \otimes A \pm C \otimes A \tag{23} \]

• 若矩阵 \(A,B\) 有广义逆矩阵 \(A^{\dagger},B^{\dagger}\), 则

  \[ (A \otimes B)^{\dagger} = A^{\dagger} \otimes B^{\dagger} \tag{24} \]

  特别地, 若 \(A,B\) 是可逆方阵, 则 \[ (A \otimes B)^{-1} = A^{-1} \otimes B^{-1} \tag{25} \]

• 对矩阵 \(A_{m \times n},B_{p \times q}\) 有

  \[ (A \otimes B)^{\mathrm{T}} = A^{\mathrm{T}} \otimes B^{\mathrm{T}} \tag{26} \]

  \[ (A \otimes B)^{\mathrm{H}} = A^{\mathrm{H}} \otimes B^{\mathrm{H}} \tag{27} \]

• 对矩阵 \(A_{m \times n},B_{p \times q}\) 有

  \[ \mathrm{rank}(A \otimes B) = \mathrm{rank}(A)\mathrm{rank}(B) \tag{28} \]

• 若 \(A\) 是 \(m \times m\) 矩阵, \(B\) 是 \(n \times n\) 矩阵, 则

  \[ \mathrm{det}(A \otimes B) = (\mathrm{det}(A))^n(\mathrm{det}(B))^n \tag{29} \]

• 若 \(A\) 是 \(m \times m\) 矩阵, \(B\) 是 \(n \times n\) 矩阵, 则

  \[ \mathrm{tr}(A \otimes B) = \mathrm{tr}(A)\mathrm{tr}(B) \tag{30 } \]

• 对矩阵 \(A_{m \times n},B_{n \times k},C_{p \times q},D_{p \times q}\) 有

  \[ (A+B) \otimes (C+D) = A \otimes C + A \otimes D + B \otimes C + B \otimes D \tag{31} \]

  更一般地, 有 \[ \bigg[ \sum_{i=1}^{M}A(i) \bigg] \otimes \bigg[ \sum_{j=1}^{N}B(j) \bigg] = \sum_{i=1}^{M}\sum_{j=1}^{N}[A(i) \otimes B(j)] \tag{32} \]

• 对矩阵 \(A_{m \times n},B_{k \times l},C_{p \times q},D_{r \times s}\) 有

  \[ (A \otimes B) \otimes (C \otimes D) = A \otimes B \otimes C \otimes D \tag{33} \]

• 若 \(\alpha_i\) 是矩阵 \(A\) 与特征值 \(\lambda_i\) 对应的特征向量, \(\beta_i\) 是矩阵 \(B\) 与特征值 \(\mu_i\) 对应的特征向量, 则 \(\alpha_i \otimes \beta_i\) 是矩阵 \(A \otimes B\) 与特征值 \(\lambda_i\mu_i\) 对应的特征向量, 也是与特征值 \(\lambda_i + \mu_i\) 对应的特征向量.

• 对矩阵 \(A_{m \times n},B_{p \times q},C_{k \times l}\) 有

  \[ (A \otimes B) \otimes C = A \otimes (B \otimes C) \tag{34} \]

  即 $ A B C$ 的结果是无模糊的.

• 对矩阵 \(A_{m \times n},B_{p \times q},C_{n \times r},D_{q \times s}\) 有

  \[ (A \otimes B)(C \otimes D) = AC \otimes BD \tag{35} \]

  更一般地, 有 \[ \prod_{i=1}^{N}[A(i) \otimes B(j)] = \bigg[\prod_{i=1}^{N}A(i)\bigg]\otimes \bigg[\prod_{i=1}^{N} B(i)\bigg] \tag{36} \]

• 对矩阵 \(A_{m \times n},B_{p \times q}\) 有

  \[ \mathrm{exp}(A \otimes B) = \mathrm{exp}(A) \otimes \mathrm{exp}(B) \tag{37} \]

• 若 \(B = I_p\) 和 \(C = I_q\), 则

  \[ A \otimes D = (AI_p) \otimes (I_qD) = (A \otimes I_q)(I_p \otimes D) \tag{38} \]

  式子中, \(I_p \otimes D\) 是块对角矩阵 (对应右 \(\mathrm{Kronecker}\) 积) 或稀疏矩阵 (对应左 \(\mathrm{Kronecker}\) 积). \(A \otimes I_q\) 是稀疏矩阵 (对应右 \(\mathrm{Kronecker}\) 积) 或块对角矩阵 (对应左 \(\mathrm{Kronecker}\) 积).

3. \(\mathrm{Khatri-Rao}\) 积的定义:

如果 \(G\) 是 \(t \times u\) 矩阵, \(F\) 是 \(q \times u\) 矩阵, 这两个矩阵的 \(\mathrm{Khatri-Rao}\) 积记为 \(F * G\), 定义为

\[ F * G = [f_1 \otimes g_1, f_2 \otimes g_2, \dots , f_u \otimes g_u] \tag{39} \]

4. 广义 \(\mathrm{Kronecker}\) 积

定义 6 : 给定 \(N\) 个 \(m \times r\) 矩阵 \(A_i,i = 1,2,\dots,N\), 它们组成矩阵组 \(\{A\}_N\). 该矩阵组与 \(N \times l\) 矩阵 \(B\) 的 \(\mathrm{Kronecker}\) 积称为广义 \(\mathrm{Kronecker}\) 积, 定义为

\[ \{ A \}_N \otimes B = \begin{bmatrix} A_1 \otimes b_1\\ A_2 \otimes b_2\\ \vdots\\ A_N \otimes b_N \end{bmatrix} \tag{40} \]

式中, \(b_i\) 是矩阵 \(B\) 的第 \(i\) 个行向量.

5. 广义 \(\mathrm{Kronecker}\) 积的性质

• 若 \(\{A\}\) 的每一个矩阵为 \(m_1 \times n_1\) 矩阵, \(\{B\}\) 的每一个矩阵为 \(m_2 \times n_2\) 矩阵, 并且 \(\{C\}\) 的每一个矩阵为 \(m_3 \times n_3\), 则

\[ (\{A\} \otimes \{B\}) \otimes \{C\} = \{A\} \otimes (\{B\} \otimes \{C\}) \]

• 广义 \(\mathrm{Kronecker}\) 积与矩阵直和之间存在关系

\[ \{A\}_N \otimes I_N = \underset{i=0}{\overset{N}{\oplus}}A_i \]

• 若

  \[ \{A\} E = \begin{bmatrix} A_1 E\\ A_2 E\\ \vdots\\ A_N E \end{bmatrix} \]

  则 \[ (\{A\} E) \otimes (\{B\} F) = (\{A\} \otimes \{B\})(E \otimes F) \]

• 令 \(\{A^{(0)}\},\{A^{(1)}\},\dots,\{A^{(p-1)}\}\) 为 \(p\) 个矩阵组, 并且第 \(k\) 个矩阵组有 \(N_k = m^k\) 个矩阵, 即 \(\{A^{(k)}\}_{N_k}\). 定义

  \[ R = \{A^{(p-1)}\}_{m^{p-1}} \otimes \{A^{(p-2)}\}_{m^{p-2}} \otimes \dots \otimes \{A^{(1)}\}_{m} \otimes A^{(0)} \]

  则矩阵 \(R\) 具有稀疏矩阵分解形式

  \[ R = \prod_{k=0}^{p-1} \bigg[ \underset{i=0}{\overset{m^{p-k-1}-1}{\oplus}} (I_{n^k} \otimes A_i^{(p-k-1)})\bigg] \]

• 若每一个矩阵 \(A_i^{(k)}\) 为酉 (或者仿酉) 矩阵, 则 \(R\) 是酉 (或者仿酉) 矩阵.

• 若 \(m = n\), 使得 \(A_i^{(k)}, i = 0,1,\dots,m^k-1, k = 0,1,\dots,p-1\) 均为正方矩阵, 则

  \[ \mathrm{det}(R) = \prod_{k=0}^{p-1} \prod_{i=0}^{m^k-1}[\mathrm{det}(A_i^{(k)})]^{m^k} \]

6. 向量化函数、\(\mathrm{Kronecker}\) 乘幂和 \(\mathrm{Khatri-Rao}\) 积的性质.

• 矩阵之和向量化

\[ \mathrm{vec}(A+B) = \mathrm{vec}(A) + \mathrm{vec}(B) \tag{41} \]

• 转置矩阵的向量化

\[ \mathrm{vec}(A^{\mathrm{T}}) = K_{pq}\mathrm{vec}(A) \tag{42} \]

• 两个矩阵 \(A_{m \times n}, B_{n \times p}\) 的向量化

\[ \mathrm{vec}(AB) = (I_s \otimes A)\mathrm{vec}(B)=(B^{\mathrm{T}} \otimes I_p)\mathrm{vec}(A) = (B^{\mathrm{T}} \otimes A)\mathrm{vec}(I_q) \tag{43} \]

• 三个矩阵 \(A_{m \times n}, B_{n \times p}, C_{p \times q}\) 的向量化

\[ \mathrm{vec}(ABC) = (C^{\mathrm{T}} \otimes A)\mathrm{vec}(B) \tag{44} \]

• 矩阵的 \(\mathrm{Kronecker}\) 乘幂

\[ A^{[k+1]} = A \otimes A^{[k]} \tag{45} \]

• 矩阵乘积的 \(\mathrm{Kronecker}\) 乘幂

\[ (AB)^{[k]} = A^{[k]} \otimes B^{[k]} \tag{46} \]

• 三个矩阵乘积的迹

\[ \mathrm{tr}(ABC) = (\mathrm{vec}(A))^{\mathrm{T}}(I_p \otimes B)\mathrm{vec}(C) \tag{47} \]

• 四个矩阵乘积的迹

\[ \mathrm{tr}(ABCD) = (\mathrm{vec}(D^{\mathrm{T}}))^{\mathrm{T}}(C^{\mathrm{T}} \otimes A)\mathrm{vec}(B) = (\mathrm{vec}(D))^{\mathrm{T}}(A \otimes C^{\mathrm{T}})\mathrm{vec}(B^{\mathrm{T}}) \tag{48} \]

• 矩阵内积的迹等于两个矩阵的向量化函数的内积

\[ \mathrm{tr}(A^{\mathrm{T}}D) = (\mathrm{vec}(A))^{\mathrm{T}}\mathrm{vec}(D) \tag{49} \]

• \(\mathrm{Khatri-Rao}\) 积的结合律

\[ A * (D * F) = (A * D) * F \tag{50} \]

• \(\mathrm{Khatri-Rao}\) 积 \(A*B\) 与 \(B*A\) 之间的关系

\[ A * B = K_{nn}(B*A) \tag{51} \]

• \(\mathrm{Kronecker}\) 积与 \(\mathrm{Khatri-Rao}\) 积的乘积

\[ (A \otimes B)(F \otimes G) = AF * BG \tag{52} \]

五、\(\mathrm{Kronecker}\) 积的应用

最直接的应用就是求解矩阵方程组

\[ AXB = C \tag{53} \]

式中, \(A\) 和 \(X\) 分别是 \(m \times n\) 和 \(n \times p\) 矩阵, 而 \(B\) 和 \(C\) 维数分别是 \(p \times q\) 和 \(m \times q\)

利用向量化算符, 定义 \(x = \mathrm{vec}(X)\) 和 \(c = \mathrm{vec}(C)\), 则上述方程组可以用 \(\mathrm{Kronecker}\) 积改写为

\[ (A \otimes B^{\mathrm{T}})x = c \tag{54} \]

解出向量 \(x\) 就可利用向量 \(x\) 的矩阵化算符得到原矩阵方程组的解矩阵 \(X = \mathrm{unvec}(x)\)

还可以用于向量过程的累积量以及推导出多信道 \(BBR\) 公式