Skip to content

线性代数

参考笔记：线性代数笔记

向量

向量基础 (Vector Basics)

  • 核心概念 ：线性代数的基本元素。在线性代数中，向量通常被视为以原点为起点的有向箭头，或表示为有序的数字列表。
  • 基本运算 ：
  • 加法 (Addition) ：对应分量相加。几何上遵循“平行四边形法则”，表示相继的位移。 $$ \begin{bmatrix} a \ b \end{bmatrix} + \begin{bmatrix} c \ d \end{bmatrix} = \begin{bmatrix} a+c \ b+d \end{bmatrix} $$
  • 数乘 (Scalar Multiplication) ：标量与向量各分量相乘。几何上表示为 缩放 (Scaling) 。 $$ k \cdot \begin{bmatrix} a \ b \end{bmatrix} = \begin{bmatrix} ka \ kb \end{bmatrix} $$

线性组合 (Linear Combination)

  • 核心概念 ：将一组向量分别进行数乘后再相加的操作。
  • 公式 ：
\[ \mathbf{v} = c_1\mathbf{v_1} + c_2\mathbf{v_2} + \dots + c_n\mathbf{v_n} \]

(注：\(c_i\) 为标量系数)

张成的空间 (Span)

  • 核心概念 ：一组向量通过所有可能的线性组合所能到达的所有点的集合（即构成的空间）。
  • 空间形态 ：
  • 一维 ：共线向量张成一条直线。
  • 二维 ：不共线向量张成一个平面。
  • 三维 ：不共面向量张成整个三维空间。

线性相关与无关 (Linear Independence)

  • 核心概念 ：描述向量组中是否存在“多余”维度。
  • 线性相关 (Linearly Dependent) ：
  • 向量组中至少有一个向量可以由其他向量线性组合表示。
  • 几何意义 ：有向量落在其他向量张成的空间内（如三向量共面）。
  • 线性无关 (Linearly Independent) ：
  • 没有任何一个向量能被其他向量表示。
  • 几何意义 ：每个向量都为空间增加了一个新的维度。

基与维数 (Basis & Dimension)

  • 基 (Basis) ：向量空间 \(V\) 的一组基必须同时满足两个条件：
  1. 向量组 线性无关 。
  2. 向量组张成整个空间 \(V\)。
  • 维数 (Dimension) ：
  • 空间 \(V\) 的基中所含向量的个数，记作 \(\text{dim}(V)\)。
  • 结论 ：同一个空间可以有无数组基，但每组基包含的向量个数（维数）必须相等。

矩阵

线性变换

核心概念： 线性变换是保持原点不动、网格线平行且等距分布的特殊映射，其本质是 空间的运动描述 。

  • 线性性的判定条件：
    1. 直线保持直线 （不弯曲）。
    2. 原点保持固定 （不平移）。
  • 线性变换的数学刻画： 一个线性变换完全由其基向量（Basis Vectors）变换后的位置决定。
\[ \text{If } \mathbf{v} = x\mathbf{i} + y\mathbf{j}, \text{ then } T(\mathbf{v}) = xT(\mathbf{i}) + yT(\mathbf{j}) \]
  • 矩阵的本质： 将变换后的基向量坐标按列排列，即构成描述该运动的矩阵。 $$ A = \begin{bmatrix} \text{transformed } \mathbf{i} & \text{transformed } \mathbf{j} \end{bmatrix} = \begin{bmatrix} a & c \ b & d \end{bmatrix} $$

矩阵与基本运算

核心概念： 矩阵是数值的阵列，加法与数乘是空间的整体缩放/平移，而 乘法是线性变换的复合（连续作用） 。

知识点 核心定义 对应公式
矩阵定义 \(m \times n\)的二维数值数组 \(A = (a_{ij})_{m \times n}\)
矩阵加法 相同形状矩阵对应元素相加 \(C_{ij} = A_{ij} + B_{ij}\)
矩阵数乘 标量作用于矩阵的每一个元素 \(B = kA \implies B_{ij} = k \cdot a_{ij}\)
单位矩阵 (\(I\)) 对角线为1的方阵，代表“恒等变换” \(AI = IA = A\)

矩阵乘法 (Matrix Multiplication)

核心概念： 矩阵相乘 \(AB\) 表示先应用变换 \(B\)，再应用变换 \(A\)。

  • 计算逻辑： 结果矩阵的每一列是前一个矩阵对后一个矩阵基向量的线性变换。
  • 计算公式： $$ C = AB \implies C_{ij} = \sum_{k=1}^{n} A_{ik}B_{kj} $$
  • 核心性质：
    • 不满足交换律： \(AB \neq BA\)（操作顺序影响最终状态）。
    • 满足结合律： \((AB)C = A(BC)\)（相继执行三个变换，分组方式不改变最终运动轨迹）。

行列式 (Determinant)

核心概念： 行列式衡量的是线性变换对 空间区域（面积或体积）的缩放比例 。

  • 几何意义表征：
    • \(\det(A) > 0\) ：空间被拉伸或压缩，方向保持一致。
    • \(\det(A) = 0\) ：空间被降维（如平面压缩成线），意味着矩阵不可逆。
    • \(\det(A) < 0\) ：空间发生了“翻转”（定向改变）。
  • 二阶计算公式： $$ \det\left(\begin{bmatrix} a & c \ b & d \end{bmatrix}\right) = ad - bc $$
  • 乘法性质定理： 两个变换相继发生时，总的缩放比例等于各自缩放比例的乘积。 $$ \det(M_1 M_2) = \det(M_1) \cdot \det(M_2) $$

逆矩阵 (Inverse Matrix)

核心概念： 逆矩阵是线性变换的 反向运动 ，其物理意义是将变换后的空间还原回原始状态。

  • 几何判定：
    • 若 \(\det(A) \neq 0\)：空间未被压缩，存在唯一的逆变换 \(A^{-1}\)。
    • 若 \(\det(A) = 0\)：空间发生降维，信息丢失，无法还原，故 无逆矩阵 （奇异矩阵）。
  • 线性方程组视角： 求解 \(A\mathbf{x} = \mathbf{v}\) 等同于寻找一个向量 \(\mathbf{x}\)，使其经 \(A\) 变换后落在 \(\mathbf{v}\)。
  • 核心公式： $$ A^{-1}A = I \implies \mathbf{x} = A^{-1}\mathbf{v} $$

矩阵的秩 (Rank)

核心概念： 秩代表了线性变换后 空间的实际维数 。

  • 判定逻辑：
    • 秩为 1 ：变换后所有向量落在一条直线上（一维）。
    • 秩为 2 ：变换后所有向量落在一个平面上（二维）。
    • 满秩 (Full Rank) ：秩等于矩阵的列数，表示变换后空间维度没有损失。
  • 等价定义： 矩阵 \(A\) 的线性无关列（或行）的极大数目。

列空间 (Column Space)

核心概念： 矩阵各列向量张成的空间，即线性变换中 所有可能输出结果（象）的集合 。

  • 关系映射：
    • 秩与空间 ：矩阵的秩 = 列空间的维数。
    • 有解判定 ：方程 \(A\mathbf{x} = \mathbf{v}\) 有解 \(\iff\) 向量 \(\mathbf{v}\) 落在矩阵 \(A\) 的列空间内。

零空间 (Null Space / Kernel)

核心概念： 在线性变换中，所有被压缩映射到原点（零向量）的输入向量集合。

  • 几何意义： 对于非满秩变换，会存在一个子空间（点、线或面），其上的所有向量在变换后都会“消失”在原点。
  • 代数意义： 零空间是齐次方程组 \(A\mathbf{x} = \mathbf{0}\) 的所有解的集合。

。

非方阵跨维度线性变换

核心概念： 非方阵描述的是不同维度空间之间的映射关系。

  • 几何意义：
    • \(3 \times 2\) 矩阵 ：将 2D 空间 映射到 3D 空间 。
    • \(2 \times 3\) 矩阵 ：将 3D 空间 映射到 2D 空间 。
  • 结构理解：
    • 列数 ：表示输入空间的维数（基向量的个数）。
    • 行数 ：表示输出空间的维数（变换后每个基向量所需的坐标数）。

模、点积与正交

向量的模 (Norms)

核心概念： 模是向量“长度”的广义度量，满足非负性、齐次性和三角不等式。

L1范数：曼哈顿距离，即各分量绝对值之和

L2范数：欧式距离，即物理长度

向量点积 (Dot Product)

核心概念： 点积描述了一个向量在另一个向量上的 投影效应 ，体现了两个向量的相关性。

  • 几何判定逻辑：
    • \(\mathbf{a} \cdot \mathbf{b} = 0 \implies\) 正交 （垂直）。
    • \(\mathbf{a} \cdot \mathbf{b} > 0 \implies\) 方向基本一致（夹角 \(< 90^\circ\)）。
    • \(\mathbf{a} \cdot \mathbf{b} < 0 \implies\) 方向基本相反（夹角 \(> 90^\circ\)）。
  • 数学计算： $$ \mathbf{a} \cdot \mathbf{b} = \sum a_i b_i = |\mathbf{a}| |\mathbf{b}| \cos \theta $$
  • 对偶性 (Duality)： 多维空间到一维数轴的 线性变换 ，总能找到一个唯一的 对偶向量 ，使得该变换等效于与该向量做点积。

正定矩阵 (Positive Definite Matrix)

核心概念： 正定矩阵描述了一种“保角”运动，即变换后的向量与原向量的夹角 始终小于 \(90^\circ\)**** 。

  • 判定条件：
    1. \(A\) 是对称方阵。
    2. 对于任意非零向量 \(\mathbf{x}\)，满足下式： $$ \mathbf{x}^T A \mathbf{x} > 0 $$

。

特征分解与奇异值分解

特征向量与特征值 (Eigenvectors & Eigenvalues)

核心概念： 特征向量是在线性变换中 保持方向不变 （仅发生拉伸或压缩）的特殊向量；特征值则是该方向缩放的比例。

  • 核心公式：

    \[ A\mathbf{v} = \lambda \mathbf{v} \]

    （其中 \(A\) 为变换矩阵，\(\mathbf{v}\) 为特征向量，\(\lambda\) 为特征值）

矩阵对角化与特征分解

核心概念： 通过将基向量更换为特征向量，将复杂的线性变换简化为在各轴向上的 独立缩放 （对角矩阵）。

  • 对角化条件： 矩阵 \(M\) 必须拥有足够的线性无关特征向量来张成空间。

  • 特征分解公式：

    \[ M = ADA^{-1} \]

    （\(A\) 的列为特征向量，\(D\) 为对角矩阵，其对角元为对应特征值） * 应用判定：

    • 对称矩阵 ：总是可对角化。
    • 计算加速 ：\(M^k = A D^k A^{-1}\)，极大简化了矩阵的高次幂运算。

奇异值分解 (SVD)

核心概念： SVD 是特征分解的普适化，它将任何矩阵分解为“旋转—缩放（增减维）—旋转”三个连续动作。

  • 核心公式：

    \[ A = U \Sigma V^T \]
    组成部分 矩阵性质 几何/物理意义
    \(U\) \(m \times m\) 正交矩阵 输出空间的基变换（旋转）
    \(\Sigma\) \(m \times n\) 对角矩阵 空间的缩放与维度变换（对角元\(\sigma\) 为奇异值）
    \(V^T\) \(n \times n\) 正交矩阵 输入空间的基变换（旋转）
    * 几何直观：
    任何矩阵变换都能找到一组正交基，使得变换后的像依然保持正交。

低秩近似 (Low-Rank Approximation)

核心概念： 利用 SVD 将大矩阵分解为一系列秩一矩阵的和，并通过保留较大的奇异值实现数据压缩。

  • 近似公式： $$ A \approx \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^T \quad (r < \text{rank}(A)) $$
  • 判定逻辑： 奇异值 \(\sigma\) 越小，该项包含的信息量越少。舍弃微小的奇异值项可实现去噪或图像压缩。

评论 #