大數法則

設 $X_1, X_2, \dots$ 是從同一個分布獨立抽出的樣本，其平均數 $\mu = E[X]$ 有限（滿足 $E|X| < \infty$ 即可），並以 $\bar X_n$ 表示前 n 個樣本的平均。大數法則指出 $\bar X_n \to \mu$：依機率收斂（弱大數法則），以及以機率一收斂（強大數法則）。對硬幣，正面時 $X_i$ 為 1，因此 $\bar X_n = \hat p_n = H_n/n$ 是正面比例，且 $\mu = p$。本頁追蹤一條或多條各投擲 100 000 次的路徑，探究比例為何逐漸穩定。

上層顯示 $\hat p_n$，下層顯示正面數超過預期次數的差額 $H_n - np$；對公平硬幣，這是「正面數減反面數」的一半。同一個偏差在上方縮小，在下方增大。每個 n 的虛線範圍帶是二項分布精確的 95% 範圍：滿足 $H_n$ 在其下方與上方的機率各不超過 2.5% 的最窄整數區間 $[a_n, b_n]$，因此涵蓋至少 95%（讀值顯示精確涵蓋率）。用比例表示是 $[a_n/n,\ b_n/n]$，用次數表示是 $[a_n - np,\ b_n - np]$，兩者是同一事件。若起初十次皆正面，另一枚起初有五次正面的配對硬幣會共用之後每次結果：兩者永遠恰好相差 5 次正面，比例就恰好相差 $5/n$。領先被稀釋，並沒有被補回。