p-Wert

Ein Hypothesentest fragt, ob die Daten unter einer Ausgangsannahme, der Nullhypothese $H_0$, überraschend wären. Hier besagt $H_0$, dass eine Maschine im Mittel $\mu = 500$ g je Beutel abfüllt. Die Beutelgewichte sind unabhängig und normalverteilt mit $\sigma = 10$ g. Eine Studie wiegt $n$ Beutel und bildet ihren Mittelwert $\bar x$. Der p-Wert ist die unter Annahme von $H_0$ berechnete Wahrscheinlichkeit für einen mindestens so extremen Mittelwert wie den beobachteten, in der von der Alternativhypothese $H_1$ festgelegten Richtung. Ein Test zum Niveau $\alpha = 0.05$ schlägt bei $p < 0.05$ Alarm.

Wofür genau ist p die Wahrscheinlichkeit? Unter $H_0$ ist der Mittelwert $\bar X$ normalverteilt mit Mittelwert 500 und Standardfehler $10/\sqrt{n}$. Der beobachtete Mittelwert liegt daher bei $z = (\bar x - 500)/(10/\sqrt{n})$. Für $H_1\!: \mu < 500$ ist der p-Wert die Fläche links von $z$, also $\Phi(z)$; für $\mu > 500$ ist es die Fläche rechts, für $\mu \neq 500$ sind es beide Randbereiche, $2\Phi(-|z|)$. Die Wiederholungen zeigen dasselbe durch Zählen: Bei einer Maschine mit tatsächlicher mittlerer Füllmenge 500 g stabilisiert sich der Anteil mindestens so extremer Studienmittelwerte nahe p. Die Richtung muss vor dem Betrachten der Daten gewählt werden. Wählt man danach den kleineren der beiden einseitigen p-Werte, wird bei wahrem $H_0$ in 10% der Fälle Alarm ausgelöst, doppelt so oft wie angegeben. Bei vorab festgelegter Richtung ist p unter $H_0$ zwischen 0 und 1 gleichverteilt; die Wahrscheinlichkeit eines Fehlalarms beträgt also genau $\alpha$.

Warum ist p nicht die Wahrscheinlichkeit, dass $H_0$ wahr ist? Es wird vollständig in der Welt von $H_0$ berechnet: Es ist $P(\text{ein mindestens so extremer Mittelwert} \mid H_0)$, nicht $P(H_0 \mid \text{die Daten})$. Die Umkehrung benötigt zwei Größen, die p nicht verwendet: wie häufig zu wenig abfüllende Maschinen ursprünglich sind, und die Teststärke, also die Wahrscheinlichkeit eines Alarms bei einer solchen Maschine. Bei 25 Beuteln und 3 g Fehlmenge beträgt die Teststärke etwa $\Phi(1.5 - 1.645)$. In der Odds-Form von Satz von Bayes multipliziert ein Alarm die Odds für „zu wenig“ gegenüber „einwandfrei“ mit Teststärke ÷ $\alpha$, hier etwa 8,85. Aus A-priori-Odds von 1 : 4 werden etwa 2,2 : 1. Nach demselben Alarm beträgt der Anteil einwandfreier Maschinen unter den Alarmen etwa 2,7%, wenn 80% der Maschinen zu wenig abfüllen, und etwa 68%, wenn es 5% sind. Diese Anteile nutzen nur die Tatsache, dass ein Alarm ausgelöst wurde. Der konkrete Wert von $\bar x$ enthält weitere Information.

Warum kann ein winziger Unterschied signifikant sein? Bei fester beobachteter Fehlmenge wächst $|z| = |\bar x - 500|\sqrt{n}/\sigma$ mit $\sqrt{n}$. Je mehr Beutel gewogen werden, desto kleiner wird der p-Wert des linksseitigen Tests: Viermal so viele Beutel verdoppeln $|z|$. Im linksseitigen Test ist ein halbes Gramm unter 500 ab 1083 Beuteln zum Niveau $\alpha = 0.05$ signifikant. Ein kleines p besagt, dass die Daten bei einem $\mu$ von genau 500 ungewöhnlich wären. Es besagt nicht, dass der Unterschied praktisch wichtig ist. Auch die Umkehrung gilt nicht: Eine echte Fehlmenge löst oft keinen Alarm aus, daher zeigt $p > 0.05$ nicht, dass die Maschine einwandfrei ist. Berichte die Größe des Unterschieds zusammen mit einem konfidenzintervall: Der zweiseitige Test zum Niveau $\alpha = 0.05$ verwirft $\mu = 500$ genau dann, wenn das 95%-Intervall $\bar x \pm z^*\sigma/\sqrt{n}$ ($z^* \approx 1.96$) den Wert 500 ausschließt.