分類モデルと学習目標

統計的学習では、訓練例がモデルの運用対象となる母集団についての証拠を提供すると仮定します。サンプリングバイアス、ラベル誤り、分布シフトによってこの仮定が無効になる可能性があり、その場合、高い検証スコアを得ても本番環境での性能は立証されません。

線形スコアとロジスティック回帰 #

線形モデルはスコア \(z = w^\mathsf{T}x + b\) を計算します。線形回帰は連続値の目的変数を予測するため、その出力をしきい値処理しても確率的分類器にはなりません。

二値ロジスティック回帰では、シグモイド関数を通してスコアを写像します。

\[ P(y = 1 \mid x) = \sigma(z) = \frac{1}{1 + e^{-z}}. \]

多項ロジスティック回帰では、相互排他的なクラスに対してソフトマックスを使用します。

\[ P(y = k \mid x) = \frac{e^{z_k}}{\sum_j e^{z_j}}. \]

交差エントロピーは、予測確率とラベルを比較します。二値ラベル \(y\) に対する各例の損失は \(-y\log p - (1-y)\log(1-p)\) です。誤分類数とは異なり、モデルスコアに関して微分可能であり、自信を持って誤った予測をした場合にペナルティを課します。

二値サポートベクターマシンは、決定境界 \(w^\mathsf{T}x + b = 0\) を学習します。その境界までの符号付き距離は \((w^\mathsf{T}x+b)/\lVert w\rVert\) に比例します。ソフトマージン SVM では、正則化項とヒンジ損失の和を最小化します。

\[ \frac{1}{2}\lVert w\rVert^2 + C\sum_i \max(0, 1-y_i(w^\mathsf{T}x_i+b)). \]

マージンの目的関数は分離を促進し、ペナルティ項は完全には分離できないデータに対する違反を許容します。カーネル法は、すべての特徴を構成せずに暗黙的な特徴空間の類似度を評価しますが、予測および学習のコストはサポートベクターの数に依存します。

隠れユニットは中間特徴を学習し、最終層はそれらの特徴をタスクの出力に写像します。次を使用します。

マージン、確率キャリブレーション、ランキング、コスト考慮型の意思決定は、それぞれ異なる目的です。モデルが支援する意思決定に基づいて損失関数と評価指標を選択し、その意思決定の文脈をホールドアウトデータが代表していることを検証してください。