確率は、モデルの下で不確実性を記述します。因果関係を確立するものではありません。相関する変数は、どちらか一方が他方の原因でなくても、強い条件付き関係を持つことがあります。
確率変数とモーメント #
確率変数は、結果を値に写像します。その分布は、それらの値に確率質量または密度を割り当てます。スカラー確率変数 \(X\) の期待値と分散は次のとおりです。
\[ \mathbb{E}[X], \qquad \operatorname{Var}(X) = \mathbb{E}[(X-\mathbb{E}[X])^2]. \]標準偏差は分散の平方根です。確率ベクトル \(X\) では、平均はベクトルであり、共分散は行列です。
\[ \operatorname{Cov}(X) = \mathbb{E}[(X-\mu)(X-\mu)^\mathsf{T}]. \]共分散は分布の下での線形な共変動を測定しますが、それだけで因果メカニズムを特定することはありません。
条件付き確率とベイズの法則 #
\(P(B) > 0\) のとき、
\[ P(A \mid B) = \frac{P(A \cap B)}{P(B)}. \]ベイズの法則は条件付き関係を逆転させます。
\[ P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}. \]機械学習の分類器は、一般に \(P(y \mid x)\) を推定します。このような推定にはキャリブレーションと検証が必要です。確率として提示されたスコアは、経験的な頻度がその解釈を裏付ける場合にのみ有用です。
一般的な分布 #
| 分布 | 台 | パラメーターと用途 |
|---|---|---|
| ベルヌーイ分布 | \(0, 1\) | 1 回の二値試行における確率 \(p\) |
| 二項分布 | \(0\) から \(n\) までの整数 | 独立したベルヌーイ試行 \(n\) 回における成功回数 |
| 幾何分布 | 正の整数 | 最初の成功までの試行回数 |
| ポアソン分布 | 非負整数 | 率 \(\lambda\) での区間内のイベント数 |
| 指数分布 | 非負の実数 | ポアソン過程の待ち時間 |
| 正規分布 | 実数 | 平均 \(\mu\) と分散 \(\sigma^2\) |
| ガンマ分布 | 正の実数 | 待ち時間と正の尺度のモデリング |
| ベータ分布 | \([0, 1]\) | 確率パラメーター上の分布 |
| 多項分布 | カウントベクトル | 相互排他的なカテゴリ間のカウント |
大数の法則は、適切に独立で同一分布に従う観測値の平均が、標本数の増加に伴って期待値へ収束することを示します。少標本を代表的なものにすること、結果が交互に現れるようにすること、体系的なサンプリングバイアスを修正することはありません。
コメント
GitHub で閲覧・コメントする（投稿にはログインが必要です）