数值线性代数与总结

学习目标

完成本节后，你将能够： - 理解数值稳定性问题 - 选择合适的算法 - 回顾整个课程的核心思想 - 了解下一步学习方向

1. 数值稳定性

### 1.1 为什么需要数值线性代数？

理论上的完美公式在实际计算中可能出问题。

例：正规方程 \(A^T A \hat{\mathbf{x}} = A^T \mathbf{b}\)

虽然理论上正确，但当 \(A\) 的条件数大时，\(A^T A\) 的条件数是 \(A\) 的平方——稳定性更差！

经验法则：优先使用 QR 分解或 SVD 而不是正规方程。

### 1.2 算法选择

| 问题 | 推荐算法 | 复杂度 | |------|---------|--------| | 解 \(A\mathbf{x} = \mathbf{b}\) | LU 分解 | \(\frac{2}{3}n^3\) | | 最小二乘 | QR 分解 | \(2mn^2\) | | 秩亏最小二乘 | SVD | \(O(mn^2)\) | | 特征值 | QR 算法 | \(O(n^3)\) | | SVD | 分治算法 | \(O(mn^2)\) |

2. 线性代数全景图

让我们退后一步，看看整个课程的"大图景"：

### 第一板块：基本概念 \[\text{向量} \rightarrow \text{线性组合} \rightarrow \text{张成空间} \rightarrow \text{基与维度}\] \[\text{矩阵} \rightarrow \text{线性变换} \rightarrow \text{矩阵乘法（变换复合）}\]

### 第二板块：求解线性系统 \[A\mathbf{x} = \mathbf{b} \rightarrow \text{高斯消元} \rightarrow LU \text{分解}\] \[\text{当 } \mathbf{b} \notin C(A): \text{最小二乘} \rightarrow A^T A\hat{\mathbf{x}} = A^T\mathbf{b}\]

### 第三板块：空间结构 \[C(A) \oplus N(A^T) = \mathbb{R}^m,\quad C(A^T) \oplus N(A) = \mathbb{R}^n\]

### 第四板块：特征分析 \[A\mathbf{x} = \lambda\mathbf{x} \rightarrow \text{对角化 } A = S\Lambda S^{-1} \rightarrow \text{SVD } A = U\Sigma V^T\]

3. 核心公式备忘

| 概念 | 公式 | |------|------| | 向量长度 | \(\|\mathbf{v}\| = \sqrt{\sum v_i^2}\) | | 点积 | \(\mathbf{v}\cdot\mathbf{w} = \|\mathbf{v}\|\|\mathbf{w}\|\cos\theta\) | | 投影 | \(P = A(A^T A)^{-1}A^T\) | | LU | \(A = LU\) | | Gram-Schmidt | \(A = QR\) | | 对角化 | \(A = S\Lambda S^{-1}\) | | 谱定理 | \(A = Q\Lambda Q^T\)（对称） | | SVD | \(A = U\Sigma V^T\) | | 矩阵指数 | \(e^{At} = Se^{\Lambda t}S^{-1}\) |

4. 下一步学习方向

完成本课程后，你可能想继续学习：

**计算线性代数**：大规模矩阵、迭代方法、稀疏矩阵
**矩阵分析**：范数、扰动理论、广义逆
**张量分析**：高维数据的张量分解
**应用领域**：
**机器学习**：PCA、SVD、岭回归、核方法
**图形学**：仿射变换、投影矩阵
**量子力学**：Hermitian 矩阵、量子态
**信号处理**：FFT、滤波

5. 综合练习题

证明：\(C(A^T) \perp N(A)\)
证明：\(A^T A\) 总是半正定的
对 \(A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}\) 做：LU、QR、特征值分解、SVD
比较四种分解的结果和意义
用 Python 生成一个随机矩阵，分析它的四个基本子空间

总结

本课程的核心可以用一句话概括：

线性代数是关于线性变换和它们在空间中的作用的学科，矩阵是这种作用的代数表示。

我们学习了： - **直观**：向量是箭头，矩阵是变换，行列式是缩放因子 - **理论**：四个子空间、特征值、对角化、SVD - **计算**：消元、分解、数值稳定性 - **应用**：数据拟合、压缩、微分方程