抽樣分布

統計量是從樣本算出的一個數，例如平均數或中位數。從同一母體一次又一次獨立抽取大小為$n$的樣本，每次計算統計量，這些值的分布就是它的抽樣分布。其期望值減去真值是偏誤，其標準差是標準誤。畫面的三層分開呈現三種分布：母體、單一樣本的$n$個值，以及每份樣本貢獻一個點的抽樣分布。

為什麼單一樣本仍然很分散，平均數卻越來越集中？樣本是母體的粗略複製，所以$n$增大時，其標準差$s$會穩定在母體的$\sigma$附近，而非縮小。$n$個獨立值的平均數則不同：高於與低於中心的值會部分抵消。只要母體變異數有限，就有$\operatorname{Var}(\bar x) = \sigma^2/n$，因此平均數的標準誤為$\sigma/\sqrt{n}$。樣本數變成四倍，標準誤就減半。可見標準誤並非單一樣本的離散程度，而是換一份樣本時，平均數會變動多少。至於平均數為何還會呈現鐘形，則由中央極限定理說明。

樣本變異數為什麼除以$n - 1$？每份樣本都滿足$\sum (x - \mu)^2 = \sum (x - \bar x)^2 + n(\bar x - \mu)^2$。從樣本自己的平均數量起，離差平方和最小；它比從真實平均數量起的平方和少了$n(\bar x - \mu)^2$。平均而言，這個差是$\bar x$變異數的$n$倍，恰好為$\sigma^2$。因此$\sum (x - \bar x)^2$的期望值是$(n - 1)\sigma^2$：除以$n - 1$使$s^2$成為不偏估計；除以$n$則平均少了$\sigma^2/n$。這個校正只適用於變異數：平方根函數向下彎曲，$s$本身平均仍會低估$\sigma$（常態資料且$n = 5$時，約低估6%）。最大值偏小的理由更直接：均勻母體中的每個值都小於100，因此樣本最大值平均也低於100。

估計中心時，平均數總是比較好嗎？要看母體。對稱母體中，平均數與中位數都以真實中心為中心，因此標準誤較小者較好。常態資料中，中位數的標準誤較大，$n$很大時約為平均數的$\sqrt{\pi/2} \approx 1.25$倍；尾部較厚的拉普拉斯資料中，它反而較小，同樣在大樣本近似下約為$1/\sqrt{2} \approx 0.71$倍。一個極端值能拉動平均數，卻幾乎不影響中位數，而厚尾母體經常產生極端值。偏斜母體中，兩者估計的可能是不同數字：此處指數母體的平均數為50，中位數為$40 + 10\ln 2 \approx 46.93$。