線性代數基礎

線性代數描述向量、矩陣以及向量空間之間的轉換。線性代數是機器學習的核心，因為資料、參數、嵌入與許多模型運算都以數字陣列表示。

向量與線性組合 #

向量是純量的有序集合。給定向量 \(v_1, \ldots, v_n\) 與純量 \(a_1, \ldots, a_n\)，它們的線性組合為：

text

a₁v₁ + a₂v₂ + ... + aₙvₙ

一組向量的張成空間，是這些向量所有線性組合的集合。當某個空間中的每個向量都能使用該組向量表示時，便稱該組向量張成一個向量空間。

當沒有任何向量能寫成其他向量的線性組合時，這些向量便是線性獨立的。基底是能張成該空間的獨立集合。有限維空間中每個基底的向量數量，都是該空間的維度。

這些概念很重要，因為基底能在沒有冗餘的情況下提供座標。在資料分析中，冗餘特徵可能使矩陣秩不足，並使估計更加複雜。

矩陣表示線性轉換。對矩陣 \(A\) 而言，欄空間是其欄向量的張成空間：當 \(x\) 變化時，它包含所有可能的輸出 \(Ax\)。\(A\) 的秩就是這個空間的維度。

對於系統 \(Ax=b\)，當且僅當 \(b\) 位於 \(A\) 的欄空間中時，解才存在。若不在，最小平方法會找出一個 \(x\)，使其輸出 \(Ax\) 在所選範數下盡可能接近 \(b\)。

內積會衡量向量之間的對齊程度。兩個非零向量的內積為零時，稱它們互相正交。正交基底能簡化投影與數值計算；正交歸一基底則進一步讓每個基底向量具有單位長度。

矩陣乘法會組合線性轉換。乘法順序很重要：一般而言，\(AB\) 不等於 \(BA\)。在計算前檢查維度，是發現錯誤的實用方法。