分類模型與學習目標

統計學習假設訓練範例能提供模型運作所在母體的相關證據。抽樣偏差、標籤錯誤與分布偏移都可能使此假設失效；因此，高驗證分數並不能證明模型在生產環境中的效能。

線性分數與邏輯斯迴歸 #

線性模型會計算分數 \(z = w^\mathsf{T}x + b\)。線性迴歸會預測連續目標，因此對其輸出進行閾值化並不會使其成為機率分類器。

二元邏輯斯迴歸會透過 sigmoid 函數轉換該分數：

\[ P(y = 1 \mid x) = \sigma(z) = \frac{1}{1 + e^{-z}}. \]

多項邏輯斯迴歸會對互斥類別使用 softmax：

\[ P(y = k \mid x) = \frac{e^{z_k}}{\sum_j e^{z_j}}. \]

交叉熵會比較預測機率與標籤。對於二元標籤 \(y\)，每個範例的損失為 \(-y\log p - (1-y)\log(1-p)\)。不同於誤分類計數，交叉熵相對於模型分數可微分，並且會懲罰具有高度信心但預測錯誤的結果。

支援向量機 #

二元支援向量機會學習決策邊界 \(w^\mathsf{T}x + b = 0\)。到該邊界的帶符號距離與 \((w^\mathsf{T}x+b)/\lVert w\rVert\) 成正比。軟間隔 SVM 會最小化正則化項加上鉸鏈損失：

\[ \frac{1}{2}\lVert w\rVert^2 + C\sum_i \max(0, 1-y_i(w^\mathsf{T}x_i+b)). \]

間隔目標會獎勵分離效果，而懲罰項允許無法完美分離之資料存在違反間隔的情況。核心方法會在不建立每個特徵的情況下，評估隱含特徵空間的相似度，但預測與訓練成本取決於支援向量的數量。

神經網路輸出 #

隱藏單元會學習中間特徵；最後一層則將這些特徵映射至任務輸出。使用：

1. sigmoid 與獨立的二元交叉熵進行多標籤分類；
2. softmax 與類別交叉熵進行單一 \(K\) 分類；或
3. 線性輸出與迴歸損失處理連續目標。

間隔、機率校準、排序與成本敏感決策是不同的目標。根據模型所支援的決策選擇損失函數與評估指標，然後確認留出資料代表該決策情境。