概率描述模型下的不确定性。概率不能确立因果关系：相关变量之间可能存在很强的条件关系， 但二者都未必导致对方。
随机变量和矩 #
随机变量将结果映射为数值。其分布为这些数值分配概率质量或密度。对于标量随机变量 \(X\)，期望和方差为：
\[ \mathbb{E}[X], \qquad \operatorname{Var}(X) = \mathbb{E}[(X-\mathbb{E}[X])^2]. \]标准差是方差的平方根。对于随机向量 \(X\)，均值是向量，协方差是矩阵：
\[ \operatorname{Cov}(X) = \mathbb{E}[(X-\mu)(X-\mu)^\mathsf{T}]. \]协方差度量分布下的线性共同变化；协方差本身不能确定因果机制。
条件概率和贝叶斯法则 #
当 \(P(B) > 0\) 时，
\[ P(A \mid B) = \frac{P(A \cap B)}{P(B)}. \]贝叶斯法则反转条件关系：
\[ P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}. \]机器学习分类器通常会估计 \(P(y \mid x)\)。此类估计需要校准和验证；只有当经验频率 支持这种解释时，将某个分数表示为概率才有用。
常见分布 #
| 分布 | 支持集 | 参数和用途 |
|---|---|---|
| 伯努利分布 | \(0, 1\) | 一次二元试验中取某个结果的概率 \(p\) |
| 二项分布 | 从 \(0\) 到 \(n\) 的整数 | \(n\) 次独立伯努利试验中的成功次数 |
| 几何分布 | 正整数 | 直到第一次成功所需的试验次数 |
| 泊松分布 | 非负整数 | 速率为 \(\lambda\) 的时间区间内事件数量 |
| 指数分布 | 非负实数 | 泊松过程的等待时间 |
| 正态分布 | 实数 | 均值 \(\mu\) 和方差 \(\sigma^2\) |
| 伽马分布 | 正实数 | 等待时间和正尺度建模 |
| 贝塔分布 | \([0, 1]\) | 概率参数的分布 |
| 多项分布 | 计数向量 | 互斥类别中的计数 |
大数定律指出，随着样本量增长，适当的独立同分布观测值的平均值会趋近于期望值。它 不会使小样本具有代表性，不会使结果交替出现，也不能修复系统性抽样偏差。
评论
在 GitHub 上阅读或评论（发表评论需要登录）