Teststärke

Die Teststärke ist die Wahrscheinlichkeit, dass ein Test die Nullhypothese $H_0$ verwirft, wenn eine bestimmte Alternative gilt. Hier besagt $H_0$, dass eine Maschine im Mittel $\mu = 500$ g pro Beutel abfüllt. Die Beutelgewichte sind unabhängig und normalverteilt mit $\sigma = 10$ g. Eine Studie wiegt $n$ Beutel und verwirft $H_0$ zum Niveau $\alpha$, wenn ihr Mittelwert $\bar x$ jenseits einer kritischen Grenze liegt. Die Teststärke beim wahren Mittelwert $\mu$ ist die Fläche der wahren Kurve jenseits dieses Werts. Der Rest, $\beta$, ist die Wahrscheinlichkeit, die Abweichung zu übersehen: ein Fehler zweiter Art. Bei $\mu = 500$ gibt es keine Abweichung zu übersehen; die Teststärke ist dann $\alpha$ selbst.

Wovon hängt die Teststärke ab? Für den Test auf $H_1\!: \mu < 500$ bei einer Fehlmenge $\delta = 500 - \mu$ beträgt sie $\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$. Eine größere Abweichung oder mehr Beutel erhöhen sie; ein strengeres $\alpha$ verschiebt den kritischen Wert weiter weg von 500 und senkt sie. Da $n$ nur über $\sqrt{n}$ eingeht, wächst die für eine feste Teststärke benötigte Beutelzahl wie $1/\delta^2$. Ebenso wichtig ist die Richtung: Füllt die Maschine tatsächlich zu viel ab, nähert sich die Teststärke des Tests auf $\mu < 500$ der 0, und mehr Beutel senken sie weiter. Ein zweiseitiger Test verteilt $\alpha$ auf beide Verteilungsenden und kann Abweichungen auf beiden Seiten erkennen. Auf der Seite, die ein einseitiger Test betrachtet, hat er jedoch eine geringere Teststärke als dieser.

Warum zeigt ein nicht signifikantes Ergebnis nicht, dass es keinen Unterschied gibt? Ein Test mit geringer Teststärke übersieht meist einen echten Unterschied: Bei 25 Beuteln und $\alpha = 0.05$ erkennt der einseitige Test eine Fehlmenge von 2 g nur in etwa einem Viertel der Fälle. Die meisten Studien an dieser Maschine bleiben also nicht signifikant. Wie aussagekräftig ein solches Ergebnis ist, hängt von der Teststärke für eine relevante Abweichung ab. Das wird vor der Datensichtung berechnet: zuerst die kleinste relevante Abweichung festlegen, dann ein $n$ wählen, das genügend Teststärke liefert, oft 80%.

Warum überzeichnen signifikante Schätzungen die Abweichung im Mittel, wenn die Teststärke gering ist? Betrachten wir eine Maschine, die tatsächlich zu wenig abfüllt und darauf getestet wird. Nur Studien, deren Mittelwert zufällig weit unter 500 liegt, liegen jenseits der kritischen Grenze. Die signifikanten Studien sind somit eine Auswahl: Ihre mittlere Schätzung ist der Mittelwert des Teils der wahren Kurve jenseits der Grenze und entspricht einer größeren Fehlmenge als der tatsächlichen. Die Grenze selbst legt ein Minimum fest: Bei 25 Beuteln und $\alpha = 0.05$ muss die geschätzte Fehlmenge für ein signifikantes Ergebnis mehr als etwa 3.29 g betragen, unabhängig von der tatsächlichen Fehlmenge. Bei festem $n$ und $\alpha$ gilt: Je kleiner die wahre Fehlmenge, desto geringer die Teststärke und desto größer der Faktor, um den signifikante Schätzungen sie im Mittel überschätzen. Das ist ein Fehler vom Typ M (Magnitude, Größe). Bei einem zweiseitigen Test zeigen manche signifikanten Ergebnisse sogar in die falsche Richtung: ein Fehler vom Typ S (Sign, Vorzeichen). Ein Forschungsbestand, der nur signifikante Ergebnisse berichtet, trägt diese Verzerrung in sich.