概率与统计 · 中心极限定理

中心极限定理

从方差有限且大于0的总体独立抽n个数取平均:绕均值放大n\sqrt{n}倍后,平均数的分布随n增大趋于正态曲线,与总体的形状无关。

01

中心极限定理与本页画面

设X1,…,XnX_1, \dots, X_n是从同一总体独立抽取的数(独立同分布),均值为μ\mu,方差0<σ2<∞0 < \sigma^2 < \infty,Xˉ\bar X是它们的平均数。中心极限定理(林德伯格–莱维形式)说:标准化后的平均数依分布收敛于标准正态分布,即它的分布函数在每一点都趋于Φ\Phi。粗略地说,Xˉ≈N(μ,σ2/n)\bar X \approx N(\mu, \sigma^2/n)。本页演示Xˉ\bar X的分布的形状怎样随n变化。

定理
P ⁣(n (Xˉ−μ)σ≤z)→Φ(z)对每一个 zP\!\left(\frac{\sqrt{n}\,(\bar X - \mu)}{\sigma} \le z\right) \to \Phi(z) \quad \text{对每一个 } z

上层是总体,下层是每组抽取nn个数后所得平均数Xˉ\bar X的分布。重复抽样NN组,得到黄色直方条;它会随抽样波动,用来与理论曲线对照。固定种子可重现同一批样本。放大√n倍后,下层横轴是Y=μ+n (xˉ−μ)Y = \mu + \sqrt{n}\,(\bar x - \mu):均值μ、标准差σ与总体相同,便于单独比较形状。

标“数值”的分布曲线由数值计算得到,其余按精确分布公式计算。偏度衡量左右不对称;超额峰度比较标准化后的四阶矩与正态分布,正态的超额峰度为0。总体相应矩存在时,平均数的偏度为γ/n\gamma/\sqrt{n},超额峰度为κ/n\kappa/n;这些量不能单独保证分布已接近正态。

02

值得注意的现象

  • 定理说的是平均数的分布,不是数据本身:上层从头到尾不变。实际宽度下它按σ/n\sigma/\sqrt{n}变窄,那是√n定律,是另一件事。
  • “n ≥ 30就够了”只是经验。概率为1%的事件,30次的平均数仍有0.9930≈0.7400.99^{30} \approx 0.740的概率恰好是0,偏度γ/n\gamma/\sqrt{n}要到n = 2426才降到0.2。偏度为0也不够:对称的版本(±10各占0.5%)任何n的偏度都是0,0处仍有很大的一块概率。
  • 格点分布的柱宽一个格距,面积才是概率:只比较形状,不逐点比较高度。柯西分布没有均值,也没有方差:n个数的平均数和单独一个数的分布完全相同,定理不适用。
  • 正态极限可追溯到棣莫弗(1733,二项分布)和拉普拉斯(1812);这个名称出自波利亚(1920)。
03

操作

  • 自己画把上层变成画板:松手后画出的曲线按面积归一。红键回放预先算好的一万个平均数;运行中再按就停下,再按用同一个种子接着走,到终点再按换下一个种子。分享记下种子、算法版本和回放到了哪里。
04

相关概念

  • H05正态分布筹备中
  • H18抽样分布筹备中
  • H12大数定律
  • H16二项分布筹备中
  • H20置信区间筹备中
  • H26概率密度函数筹备中

延伸阅读:维基百科:中心极限定理;OpenStax:Introductory Statistics 2e, 7 The Central Limit Theorem(英文)。