標本分布

統計量とは、平均や中央値など、標本から計算される数です。同じ母集団から同じサイズ$n$の標本を独立に何度も抽出し、そのたびに統計量を計算すると、その値の分布が標本分布になります。期待値から真値を引いたものがバイアス、標準偏差が標準誤差です。3つの層は、母集団、1標本の$n$個の値、そして1標本につき1点の標本分布という3種類の分布を分けて示します。

なぜ1つの標本は広いままなのに、平均は集中するのでしょう？標本は母集団を大まかに写したものなので、$n$が増えると標準偏差$s$は縮むのではなく、母集団の$\sigma$付近に落ち着きます。$n$個の独立な値の平均は違います。中心より高い値と低い値が部分的に打ち消し合い、分散が有限な母集団では$\operatorname{Var}(\bar x) = \sigma^2/n$が成り立ちます。したがって平均の標準誤差は$\sigma/\sqrt{n}$です。標本サイズを4倍にすると半分になります。標準誤差は1標本のばらつきではなく、標本を変えたときに平均がどれくらい動くかを示します。平均が釣鐘形にもなる理由は中心極限定理で説明されます。

なぜ標本分散を$n - 1$で割るのでしょう？すべての標本で$\sum (x - \mu)^2 = \sum (x - \bar x)^2 + n(\bar x - \mu)^2$が成り立ちます。偏差平方和は、標本自身の平均から測ると最小になり、真の平均から測った平方和より$n(\bar x - \mu)^2$だけ小さくなります。その平均は$\bar x$の分散の$n$倍、つまりちょうど$\sigma^2$です。したがって$\sum (x - \bar x)^2$の平均は$(n - 1)\sigma^2$です。$n - 1$で割ると$s^2$は不偏になりますが、$n$で割ると平均で$\sigma^2/n$だけ小さくなります。補正が効くのは分散だけです。平方根の関数は上に凸なので、$s$自体は平均すると依然として$\sigma$を過小評価します（正規データで$n = 5$の場合、約6%）。最大値が届かない理由はもっと単純です。一様母集団ではすべての値が100未満なので、標本最大値も平均すると100未満になります。

中心を推定するには、平均が常によいのでしょうか？母集団によります。対称な母集団では、平均も中央値も真の中心を中心とするので、標準誤差が小さい方がよい推定です。正規データでは中央値の方が大きく、$n$が大きいとき、平均の標準誤差の約$\sqrt{\pi/2} \approx 1.25$倍になります。裾の重いラプラスデータでは逆に小さく、同じ大標本での近似では約$1/\sqrt{2} \approx 0.71$倍です。1つの極端な値は平均を動かしますが、中央値はほとんど動かしません。裾の重い母集団では極端な値が頻繁に現れます。非対称な母集団では、両者が異なる数を推定することもあります。ここでの指数母集団は平均50、中央値$40 + 10\ln 2 \approx 46.93$です。