大数定律

设$X_1, X_2, \dots$独立地来自同一个分布，期望$\mu = E[X]$有限（只要$E|X| < \infty$即可），$\bar X_n$是前n个的平均数。大数定律说$\bar X_n \to \mu$：依概率收敛（弱大数定律），并且以概率1收敛（强大数定律）。抛硬币时正面记1，于是$\bar X_n = \hat p_n = H_n/n$就是正面的比例，$\mu = p$。本页跟着一条或几条抛十万次的路径，问比例是靠什么稳下来的。

上层是$\hat p_n$，下层是比期望个数多出的正面数$H_n - np$；公平硬币时它是“正面数减反面数”的一半。同一个偏离，在上面越来越小，在下面越来越大。虚线带是二项分布在每个n上精确的95%范围：最窄的整数区间$[a_n, b_n]$，使$H_n$落在它下面的概率不超过2.5%、上面也不超过2.5%，所以它至少装下95%（读数写出精确的覆盖率）。换成比例是$[a_n/n,\ b_n/n]$，换成次数是$[a_n - np,\ b_n - np]$，是同一件事。“先来10个正面”时，另一枚开局5个正面的耦合硬币此后每一次都和它相同：两枚永远恰好差5个正面，比例恰好差$5/n$。领先被冲淡了，没有被还回来。