Linear Algebra Essentials

線形代数は、ベクトル、行列、ベクトル空間間の変換を扱います。データ、パラメーター、埋め込み、多くのモデル演算が数値配列で表されるため、機械学習の中核を成します。

ベクトルと線形結合 #

ベクトルはスカラーの順序付き集合です。ベクトル \(v_1, \ldots, v_n\) とスカラー \(a_1, \ldots, a_n\) に対し、線形結合は次のようになります。

text

a₁v₁ + a₂v₂ + ... + aₙvₙ

ベクトル集合の張る空間（span）は、そのベクトルのあらゆる線形結合から成る集合です。空間内のすべてのベクトルをその集合で表せるとき、その集合はベクトル空間を張るといいます。

他のベクトルの線形結合として表せるベクトルが存在しないとき、ベクトルは線形独立です。基底は空間を張る線形独立集合です。有限次元空間の各基底に含まれるベクトル数が、その空間の次元です。

基底は冗長性のない座標を提供するため、これらの概念が重要になります。データ分析では、冗長な特徴量によって行列がランク落ちし、推定が複雑になることがあります。

行列は線形変換を表します。行列 \(A\) の列空間はその列が張る空間であり、\(x\) を変化させたときに得られるすべての出力 \(Ax\) を含みます。\(A\) のランクはこの空間の次元です。

連立方程式 \(Ax=b\) に解が存在するのは、\(b\) が \(A\) の列空間に含まれる場合に限ります。含まれない場合、最小二乗法は選択したノルムの下で出力 \(Ax\) が \(b\) に可能な限り近くなる \(x\) を求めます。

内積はベクトル間の向きの一致度を測ります。2 つの非零ベクトルの内積が 0 のとき、それらは直交します。直交基底は射影と数値計算を簡単にし、正規直交基底ではさらに各基底ベクトルの長さが 1 になります。

行列の積は線形変換を合成します。順序が重要であり、一般に \(AB\) は \(BA\) と等しくありません。計算前に次元を確認すると、実行時の誤りを実用的に検出できます。