【MIT线性代数】【番外review】向量、矩阵与子空间

线性代数复习：向量、矩阵与子空间

一、线性代数的重要性

• 教授观点：Gilbert Strang 教授认为线性代数非常重要，而美国大学通常过于注重微积分和微分方程的教学，导致学生在实际计算中缺乏线性代数的训练。
• 实际应用：在现实世界中，许多问题（如离散化后的微分方程）最终都归结为线性代数问题，尤其是矩阵运算。
  • 特别是人工智能方面，在深度学习中，神经网络的感受器采用的就是输入与权重的矩阵运算

二、线性代数的核心内容

线性代数从向量开始，逐步过渡到矩阵，最终抽象为子空间。理解子空间是掌握线性代数的关键。

三、向量与线性组合

1. 向量操作

• 基本操作：向量可以进行数乘和加法。
• 线性组合：给定向量 $\mathbf{u}, \mathbf{v}, \mathbf{w}$，可以形成线性组合 $c_1\mathbf{u} + c_2\mathbf{v} + c_3\mathbf{w}$，其中 $c_1, c_2, c_3$ 是标量。

2. 示例

• 向量：

$$\mathbf{u} = \begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix}, \quad \mathbf{v} = \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix}, \quad \mathbf{w} = \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}$$

• 线性组合：所有这些向量的线性组合将填充三维空间中的一个平面。

四、矩阵与矩阵乘法

1. 矩阵的定义

• 矩阵：将向量作为列向量组合成矩阵。
• 示例矩阵 $A$：

$$A = \begin{bmatrix} 1 & 0 & 0 \\ -1 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix}$$

2. 矩阵乘法

• 按列计算：矩阵 $A$ 乘以向量 $\mathbf{x}$ 的结果是 $A$ 的列向量的线性组合。

$$A\mathbf{x} = x_1 \begin{bmatrix} 1 \\ -1 \\ 0 \end{bmatrix} + x_2 \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix} + x_3 \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}$$

• 按行计算：矩阵的每一行与向量 $\mathbf{x}$ 的点积。

$$\begin{cases} x_1 = b_1 \\ x_2 - x_1 = b_2 \\ x_3 - x_2 = b_3 \end{cases}$$

3. 特殊矩阵

• 差分矩阵 $A$：计算向量的差分。
• 求和矩阵 $A^{-1}$：计算向量的累加和，是差分矩阵的逆矩阵。

五、解线性方程组

1. 正向计算

• 输入 $\mathbf{x} = [1, 4, 9]$：

$$A\mathbf{x} = \begin{bmatrix} 1 \\ 3 \\ 5 \end{bmatrix}$$

• 输出：差分结果为奇数序列。

2. 反向求解

• 给定 $\mathbf{b} = [1, 3, 5]$，求解 $\mathbf{x}$：

$$\begin{cases} x_1 = b_1 \\ x_2 = b_1 + b_2 \\ x_3 = b_1 + b_2 + b_3 \end{cases}$$

• 解：$\mathbf{x} = [1, 4, 9]$。

3. 逆矩阵

• 定义：如果 $A\mathbf{x} = \mathbf{b}$，则 $\mathbf{x} = A^{-1}\mathbf{b}$。
• 求和矩阵 $A^{-1}$：

$$A^{-1} = \begin{bmatrix} 1 & 1 & 1 \\ 0 & 1 & 1 \\ 0 & 0 & 1 \end{bmatrix}$$

六、矩阵的可逆性

1. 可逆矩阵

• 定义：矩阵 $A$ 可逆，意味着存在 $A^{-1}$ 使得 $A^{-1}A = I$。
• 示例 $A$：差分矩阵是可逆的，其逆矩阵为求和矩阵。

2. 不可逆矩阵

• 定义：矩阵 $C$ 不可逆，意味着不存在 $C^{-1}$。
• 示例 $C$：

$$C = \begin{bmatrix} 1 & 0 & -1 \\ -1 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix}$$

• 问题：$C\mathbf{x} = \mathbf{0}$ 有非零解 $\mathbf{x} = [1, 1, 1]$，说明 $C$ 不可逆。

七、子空间

1. 定义

• 子空间：向量空间的一个子集，其中任意两个向量的线性组合仍在该子集中。
• 示例：
  • 平面：所有 $\mathbf{u}, \mathbf{v}, \mathbf{w}^*$ 的线性组合构成一个平面。
  • 三维空间：所有 $\mathbf{u}, \mathbf{v}, \mathbf{w}$ 的线性组合构成整个三维空间。

2. 基础

• 定义：一组线性无关的向量，其线性组合可以生成整个空间。
• 示例：$\mathbf{u}, \mathbf{v}, \mathbf{w}$ 是三维空间的一个基。

3. 矩阵与子空间

• 可逆矩阵：其列向量构成一个基，生成整个空间。
• 不可逆矩阵：其列向量线性相关，生成的子空间是低维的（如平面或直线）。

八、总结

• 线性代数的核心：从向量到矩阵，再到子空间。
• 矩阵乘法：可以按列或按行计算。
• 可逆性：矩阵是否可逆决定了方程组是否有唯一解。
• 子空间：理解子空间是掌握线性代数的关键。