Stichprobenverteilung

Eine Statistik ist eine aus einer Stichprobe berechnete Zahl, etwa ihr Mittelwert oder Median. Ziehe wiederholt unabhängige Stichproben derselben Größe $n$ aus einer Grundgesamtheit und berechne die Statistik jedes Mal. Die Verteilung dieser Werte ist ihre Stichprobenverteilung. Ihr Erwartungswert minus dem wahren Wert ist die Verzerrung; ihre Standardabweichung ist der Standardfehler. Die drei Ebenen trennen drei Verteilungen: die Grundgesamtheit, die $n$ Werte einer Stichprobe und die Stichprobenverteilung mit einem Punkt je Stichprobe.

Warum bleibt eine Stichprobe breit, während die Mittelwerte zusammenrücken? Eine Stichprobe bildet die Grundgesamtheit grob ab. Mit wachsendem $n$ nähert sich ihre Standardabweichung $s$ daher dem $\sigma$ der Grundgesamtheit, statt zu schrumpfen. Der Mittelwert von $n$ unabhängigen Werten verhält sich anders: Werte über und unter dem Zentrum gleichen sich teilweise aus. Für jede Grundgesamtheit mit endlicher Varianz gilt $\operatorname{Var}(\bar x) = \sigma^2/n$; der Standardfehler des Mittelwerts beträgt deshalb $\sigma/\sqrt{n}$. Die vierfache Stichprobengröße halbiert ihn. Der Standardfehler ist also nicht die Streuung innerhalb einer Stichprobe. Er beschreibt, wie stark der Mittelwert von Stichprobe zu Stichprobe schwankt. Warum die Mittelwerte auch eine Glockenform annehmen, erklärt der zentraler grenzwertsatz.

Warum teilt die Stichprobenvarianz durch $n - 1$? Für jede Stichprobe gilt $\sum (x - \mu)^2 = \sum (x - \bar x)^2 + n(\bar x - \mu)^2$. Vom eigenen Stichprobenmittelwert aus gemessen ist die Summe der quadrierten Abweichungen am kleinsten. Sie liegt um $n(\bar x - \mu)^2$ unter der Summe, die vom wahren Mittelwert aus gemessen wird. Dieser Unterschied ist im Mittel das $n$-Fache der Varianz von $\bar x$, also genau $\sigma^2$. Daher beträgt $\sum (x - \bar x)^2$ im Mittel $(n - 1)\sigma^2$. Division durch $n - 1$ macht $s^2$ unverzerrt; bei Division durch $n$ fehlen im Mittel $\sigma^2/n$. Die Korrektur gilt nur für die Varianz: Weil die Quadratwurzel eine nach unten gekrümmte Funktion ist, unterschätzt $s$ selbst $\sigma$ weiterhin im Mittel (bei normalverteilten Daten und $n = 5$ um etwa 6%). Beim Maximum ist der Grund einfacher: In der gleichverteilten Grundgesamtheit liegt jeder Wert unter 100, also bleibt auch das Stichprobenmaximum im Mittel unter 100.

Schätzt der Mittelwert das Zentrum immer besser? Das hängt von der Grundgesamtheit ab. Bei einer symmetrischen Grundgesamtheit liegen sowohl Mittelwert als auch Median im Mittel im wahren Zentrum. Besser ist dann derjenige mit dem kleineren Standardfehler. Bei normalverteilten Daten hat der Median den größeren: Für großes $n$ beträgt er etwa das $\sqrt{\pi/2} \approx 1.25$-Fache des Standardfehlers des Mittelwerts. Bei Laplace-Daten mit schwereren Verteilungsrändern ist er im selben Grenzfall kleiner, etwa das $1/\sqrt{2} \approx 0.71$-Fache. Ein Extremwert verschiebt den Mittelwert, den Median aber kaum; schwere Verteilungsränder liefern häufig Extremwerte. Bei einer schiefen Grundgesamtheit können beide unterschiedliche Werte schätzen: Die hier gezeigte Exponentialverteilung hat Mittelwert 50 und Median $40 + 10\ln 2 \approx 46.93$.