機率與統計 · 中央極限定理

中央極限定理

從變異數有限且為正的母體獨立抽取 n 次,再取平均:以平均數為中心放大 n\sqrt{n} 倍後,隨著 n 增大,平均值的分布會趨近常態曲線,無論母體原本是什麼形狀。

01

本頁中的中央極限定理

設 X1,…,XnX_1, \dots, X_n 是從同一母體獨立抽取的數值(獨立且同分布),平均數為 μ\mu,變異數為 0<σ2<∞0 < \sigma^2 < \infty,並令 Xˉ\bar X 為它們的平均值。林德伯格–萊維形式的中央極限定理指出,標準化後的平均值依分布收斂至標準常態:其分布函數在每一點都趨近 Φ\Phi。非正式地說,Xˉ≈N(μ,σ2/n)\bar X \approx N(\mu, \sigma^2/n)。本頁呈現 Xˉ\bar X 的分布形狀如何隨 n 改變。

定理
P ⁣(n (Xˉ−μ)σ≤z)→Φ(z)對每個 zP\!\left(\frac{\sqrt{n}\,(\bar X - \mu)}{\sigma} \le z\right) \to \Phi(z) \quad \text{對每個 } z

上層是母體。下層顯示 nn 次抽取的平均值 Xˉ\bar X 的分布。重複 NN 次便得到黃色直方圖:它會隨抽樣波動,可與理論曲線比較。固定種子可重現相同樣本。放大 √n 倍後,下方座標軸為 Y=μ+n (xˉ−μ)Y = \mu + \sqrt{n}\,(\bar x - \mu):它的平均數 μ 與標準差 σ 都與母體相同,更容易比較形狀。

標示「數值計算」的曲線以數值方法求得;其他使用精確分布公式。偏態係數衡量不對稱程度。超額峰度將標準化的四階動差與常態分布相比,常態的超額峰度為零。當相應的母體動差存在時,平均值的偏態係數是 γ/n\gamma/\sqrt{n},超額峰度是 κ/n\kappa/n。任何一項單獨都無法保證常態近似足夠好。

02

值得觀察的地方

  • 定理談的是平均值的分布,不是資料本身:上層始終不變。在實際寬度下像 σ/n\sigma/\sqrt{n} 一樣縮窄,是 √n 法則,屬於另一個事實。
  • 「n ≥ 30 就夠了」只是經驗法則。對機率為 1% 的事件,30 次試驗的平均值恰為 0 的機率仍是 0.9930≈0.7400.99^{30} \approx 0.740,其偏態係數 γ/n\gamma/\sqrt{n} 要到 n = 2426 才降至 0.2。偏態係數 0 也不夠:對稱版本(±10,各有 0.5% 機率)在每個 n 的偏態係數都是 0,卻仍有大量機率集中在 0。
  • 格點分布的長條寬度等於一個格點間距,所以面積代表機率:應比較形狀,而非逐點比較高度。柯西分布沒有平均數,也沒有變異數:n 次抽取的平均值與單次抽取的分布完全相同,中央極限定理不適用。
  • 常態極限可追溯至棣莫弗(1733,二項分布)與拉普拉斯(1812);名稱由波利亞提出(1920)。
03

操作方式

  • 繪製將上層變成畫板:放開時,所畫曲線會縮放至面積 1。紅鍵重播預先算好的 10 000 個平均值;播放中按下會停止,再按則以同一種子繼續,結束後按下會開始下一個種子。分享會保存種子、演算法版本與重播進度。
04

相關概念

  • H05常態分布規劃中
  • H18抽樣分布規劃中
  • H12大數法則
  • H16二項分布規劃中
  • H20信賴區間規劃中
  • H26機率密度函數規劃中

延伸閱讀: 維基百科: Central limit theorem (英文); OpenStax, Introductory Statistics 2e, 7 The Central Limit Theorem (英文).