分类模型与学习目标

统计学习假设训练样本能够为模型将要运行于其上的总体提供证据。抽样偏差、标签错误和分布偏移都可能使该假设失效；因此，高验证分数并不能证明模型在生产环境中的性能。

线性分数与逻辑回归 #

线性模型计算分数 \(z = w^\mathsf{T}x + b\)。线性回归预测连续目标，因此对其输出进行阈值化并不会使其成为概率分类器。

二元逻辑回归通过 sigmoid 函数映射该分数：

\[ P(y = 1 \mid x) = \sigma(z) = \frac{1}{1 + e^{-z}}. \]

多项逻辑回归对互斥类别使用 softmax：

\[ P(y = k \mid x) = \frac{e^{z_k}}{\sum_j e^{z_j}}. \]

交叉熵将预测概率与标签进行比较。对于二元标签 \(y\)，每个样本的损失为 \(-y\log p - (1-y)\log(1-p)\)。与错误分类计数不同，它相对于模型分数是可微的，并且会惩罚高置信度的错误预测。

支持向量机 #

二元支持向量机学习决策边界 \(w^\mathsf{T}x + b = 0\)。到该边界的有符号距离与 \((w^\mathsf{T}x+b)/\lVert w\rVert\) 成正比。软间隔 SVM 最小化正则化项与合页损失之和：

\[ \frac{1}{2}\lVert w\rVert^2 + C\sum_i \max(0, 1-y_i(w^\mathsf{T}x_i+b)). \]

间隔目标函数鼓励类别分离，而惩罚项允许数据存在违反间隔的情况，因为数据不一定能够被完美分离。核方法无需构造每个特征即可计算隐式特征空间中的相似度，但预测和训练成本取决于支持向量的数量。

神经网络输出 #

隐藏单元学习中间特征；最终层将这些特征映射到任务输出。使用：

1. sigmoid 和相互独立的二元交叉熵进行多标签分类；
2. softmax 和分类交叉熵进行单一-\(K\) 分类；或
3. 线性输出和回归损失处理连续目标。

间隔、概率校准、排序和成本敏感决策是不同的目标。根据模型支持的决策选择损失函数和评估指标，然后验证留出数据能够代表该决策场景。