线性代数基础

线性代数描述向量、矩阵以及向量空间之间的变换。它是机器学习的核心，因为数据、参数、嵌入和许多模型操作都表示为数字数组。

向量与线性组合 #

向量是标量的有序集合。给定向量 \(v_1, \ldots, v_n\) 和标量 \(a_1, \ldots, a_n\)，它们的线性组合为：

text

a₁v₁ + a₂v₂ + ... + aₙvₙ

一组向量的张成空间是这些向量所有线性组合构成的集合。当一个空间中的每个向量都可以用该集合表示时，该集合张成这个向量空间。

当任何一个向量都不能写成其他向量的线性组合时，这些向量线性无关。基是张成该空间的线性无关集合。有限维空间的每个基所含向量数都等于该空间的维数。

这些概念很重要，因为基能够在没有冗余的情况下提供坐标。在数据分析中，冗余特征可能使矩阵秩亏，并使估计变得复杂。

矩阵表示线性变换。对于矩阵 \(A\)，列空间是其列向量的张成空间：当 \(x\) 变化时，它包含所有可能的输出 \(Ax\)。\(A\) 的秩就是该空间的维数。

对于方程组 \(Ax=b\)，当且仅当 \(b\) 位于 \(A\) 的列空间中时，方程才有解。如果不满足，最小二乘法会在选定范数下找到一个使输出 \(Ax\) 尽可能接近 \(b\) 的 \(x\)。

点积衡量向量之间的对齐程度。当两个非零向量的点积为零时，它们正交。正交基可以简化投影和数值计算；标准正交基还要求每个基向量的长度为单位长度。

矩阵乘法组合线性变换。乘法顺序很重要：一般而言，\(AB\) 不等于 \(BA\)。在计算前检查维度，是发现错误的实用方法。