機率描述模型中的不確定性。它不會建立因果關係：相關變數可能具有強烈的條件關係，但其中任一者都不一定造成另一者。
隨機變數與動差 #
隨機變數會將結果映射至數值。其分布會將機率質量或密度指定給這些數值。對純量隨機變數 \(X\) 而言，期望值與變異數為：
\[ \mathbb{E}[X], \qquad \operatorname{Var}(X) = \mathbb{E}[(X-\mathbb{E}[X])^2]. \]標準差是變異數的平方根。對隨機向量 \(X\) 而言，平均值是向量，而共變異數是矩陣：
\[ \operatorname{Cov}(X) = \mathbb{E}[(X-\mu)(X-\mu)^\mathsf{T}]. \]共變異數會量測分布中的線性共同變化；它本身無法識別因果機制。
條件機率與貝氏定理 #
對於 \(P(B) > 0\)，
\[ P(A \mid B) = \frac{P(A \cap B)}{P(B)}. \]貝氏定理會反轉條件關係：
\[ P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}. \]機器學習分類器通常會估計 \(P(y \mid x)\)。這類估計需要校準與驗證；只有在經驗頻率支持該解讀時，呈現為機率的分數才有用。
常見分布 #
| 分布 | 支援集 | 參數與用途 |
|---|---|---|
| 伯努利 | \(0, 1\) | 一次二元試驗的機率 \(p\) |
| 二項 | 從 \(0\) 到 \(n\) 的整數 | \(n\) 次獨立伯努利試驗中的成功次數 |
| 幾何 | 正整數 | 直到首次成功所需的試驗次數 |
| 卜瓦松 | 非負整數 | 速率為 \(\lambda\) 的區間事件計數 |
| 指數 | 非負實數 | 卜瓦松過程的等待時間 |
| 常態 | 實數 | 平均值 \(\mu\) 與變異數 \(\sigma^2\) |
| Gamma | 正實數 | 等待時間與正尺度建模 |
| Beta | \([0, 1]\) | 機率參數的分布 |
| 多項 | 計數向量 | 互斥類別的計數 |
大數法則指出，當樣本數增加時，適當的獨立同分布觀測值之平均會收斂至期望值附近。它不會使小樣本具代表性、不會造成結果交替，也不會修正系統性的抽樣偏差。
評論
在 GitHub 上閱讀或評論（發表評論需要登入）