特征值与奇异值分解|EVD & SVD | SLie's Blog|琴弦之轮

特征值分解

$Eigen\ Value\ Decomposition$

如果矩阵 $A$ 是一个 $n×n$ 的实对称矩阵（即 $A=A^T$ ），那么它可以被分解成如下的形式：

$A = Q\varLambda Q^T= Q\left[ \begin{matrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_m\\ \end{matrix} \right]Q^T$

其中 $Q$ 为标准正交阵，即有 $QQ^T=I$ ， $\varLambda$ 为对角矩阵，且上面的矩阵的维度均为 $n×n$ ， $λ_i$ 称为特征值， $q_i$ 是 $Q$ （特征矩阵）中的列向量，称为特征向量。

而关于特征值和特征向量此处暂作简单阐述。详情见本站文章：

SLie的【数学基础】集装箱

https://qslie.top/posts/9a95977b

特征值和特征向量

特征值是指对于 $n$ 阶方阵 $A$

如果存在数 $\lambda$ 和非零的 $n$ 维列向量 $x$ ，使得 $Ax=\lambda x$ 成立，

则称 $\lambda$ 是 $A$ 的一个特征值| $characteristic\ value$ 或本征值| $eigenvalue$ .

而那个非零的 $n$ 维列向量 $x$ 称为矩阵 $A$ 的属于（对应于）特征值 $\lambda$ 的特征向量或本征向量，简称 $A$ 的特征向量.

计算与求解

由 $Ax=\lambda x \Rightarrow\ (\lambda I-A)x=0$ ，且 $x$ 为非零列向量，于是可以通过 $|\lambda I-A|=0$ 得到关于 $\lambda$ 的多项式方程 $P(\lambda)=0$ ，解得的 $\lambda_i$ 则为矩阵 $A$ 的第 $i$ 个特征值，其中：

$P(\lambda)=(\lambda-\lambda_1)^{m_1}(\lambda-\lambda_2)^{m_2}\cdots(\lambda-\lambda_k)^{m_k}\\ \sum_{i=1}^km_i=n$

对于每一个 $\lambda_i$ 显然有：

$(\lambda_iI-A)x=0$

解此方程（通常被称作 特征方程）可解得 $k_i$ 个线性无关的解（向量） $x$ ，其中 $1\leq k_i\leq m_i$ ，这些向量即为特征向量。

特征分解

定义对角矩阵 $\Lambda$ ，其中各个对角元素与矩阵 $A$ 的特征值一一对应，即 $\Lambda_{ii}=\lambda_i$

定义矩阵 $Q$ ，由各特征值对应的列向量 $q_i$ 组成（各列是线性无关的）

根据矩阵分块的规则，显然有：

$A=Q\Lambda Q^{-1}$

注：只有可对角化的矩阵才可以作特征分解

当 $A$ 为 实对称矩阵 时，其特征向量都可以正交单位化而得到一组正交且模为1的向量。故实对称矩阵可被分解成：

$A=Q\Lambda Q^T$

其中 $Q$ 为正交矩阵，为 $\Lambda$ 实对角矩阵。

在上述阐述中，运用到了如下性质：

实对称矩阵 $A$ 在任意两个特征值 $\lambda_i$ 和 $\lambda_j$ （ $\lambda_i\neq\lambda_j$ ）中对应的特征向量 $p_i$ 、 $p_j$ ，有 $p_i^Tp_j=0$

证明过程

证明

设 $z=p_i^TAp_j$ ，显然 $z^T=z$ （ $z$ 为标量）

所以 $p_i^TAp_j=p_j^TA^Tp_i=p_j^TAp_i$ ，进而：

$p_i^TAp_j=p_i^T\lambda_jp_j=\lambda_jp_i^Tp_j\\p_j^TAp_i=p_j^T\lambda_ip_i=\lambda_ip_j^Tp_i\\p_j^Tp_i=p_i^Tp_j$

由此可得：

$\lambda_jp_i^Tp_j=\lambda_ip_i^Tp_j\\(\lambda_i-\lambda_j)p_i^TAp_j=0\\p_i^TAp_j=0$

证毕

奇异值分解

$Singular\ Value\ Decomposition$

特征值分解对矩阵有着较高的要求，它需要被分解的矩阵 $A$ 为实对称矩阵，但是实际上我们所遇到的问题一般不是实对称矩阵。下面我们将讨论更具有一般性的矩阵，即一个 $m×n$ 的矩阵 $A$ ，能否被分解成类似的形式。

定义

对于 $m\times n$ 的实数矩阵 $A$ ，分解为如下形式：

$A=U\Sigma V^T$

其中， $U$ 和 $V$ 均为单位正交矩阵，即 $UU^T=I,VV^T=I$ ，并且我们称 $U$ 为左奇异矩阵，称 $V$ 为右奇异矩阵，而 $\Sigma$ 为主对角线上有值，其他元素为0的，主对角线上的值称为奇异值。

显然有： $U\in\mathbb{R}^{m\times m},\Sigma\in\mathbb{R}^{m\times n},V\in\mathbb{R}^{n\times n}$

$\Sigma = \left[ \begin{matrix} \sigma_1 & 0 & 0 & 0 & 0\\ 0 & \sigma_2 & 0 & 0 & 0\\ 0 & 0 & \ddots & 0 & 0\\ 0 & 0 & 0 & \ddots & 0\\ \end{matrix} \right]_{m\times n}$

特征值分解

特征值和特征向量

计算与求解

特征分解

奇异值分解

定义

求解

参考