抽样分布

统计量是由样本算出来的一个数，比如均值、中位数。从同一个总体里一次又一次独立地抽大小为$n$的样本，每次算一遍统计量，这些值的分布就是它的抽样分布。它的期望减去真值是偏差，它的标准差是标准误。画面的三层把三种分布分开：总体，一个样本的$n$个值，以及每个样本贡献一个点的抽样分布。

为什么一个样本始终散得很开，均值却越收越拢？样本是总体的一份粗糙复制，$n$变大时，它的标准差$s$稳定在总体的$\sigma$附近，并不缩小。$n$个独立值的均值就不同了：偏高和偏低的值互相抵消一部分，只要总体方差有限，就有$\operatorname{Var}(\bar x) = \sigma^2/n$，所以均值的标准误是$\sigma/\sqrt{n}$。样本量变成四倍，标准误减半。可见标准误不是一个样本的散布，它说的是换一个样本时均值会移动多少。均值为什么还会排成钟形，见中心极限定理。

样本方差为什么除以$n - 1$？每个样本都满足$\sum (x - \mu)^2 = \sum (x - \bar x)^2 + n(\bar x - \mu)^2$。从样本自己的均值量起，离差平方和最小；它比从总体均值量起的平方和少了$n(\bar x - \mu)^2$，平均起来，这一块是$\bar x$的方差的$n$倍，恰好是$\sigma^2$。所以$\sum (x - \bar x)^2$平均是$(n - 1)\sigma^2$：除以$n - 1$，$s^2$就是无偏的；除以$n$，平均少$\sigma^2/n$。这个修正只管方差：开平方是往下弯的，$s$本身平均仍比$\sigma$小（正态数据、$n = 5$时约小6%）。最大值偏小的原因更直接：均匀总体里每个数都小于100，样本的最大值平均起来也就比100小。

估计中心，均值总是更好吗？要看总体。对称的总体里，均值和中位数都以真正的中心为中心，标准误小的那个更好。正态数据里中位数的标准误更大，$n$大时约是均值的$\sqrt{\pi/2} \approx 1.25$倍；尾巴更厚的拉普拉斯数据里它反而更小，约是$1/\sqrt{2} \approx 0.71$倍。一个极端值能把均值拉走，却几乎挪不动中位数，而厚尾的总体常出极端值。偏斜的总体里，两者估计的可能不是同一个数：本页的指数总体均值是50，中位数是$40 + 10\ln 2 \approx 46.93$。