Potencia estadística

La potencia de un contraste es la probabilidad de que rechace la hipótesis nula $H_0$ cuando una alternativa concreta es verdadera. Aquí $H_0$ afirma que una máquina llena las bolsas con $\mu = 500$ g de media; los pesos son independientes y normales, con $\sigma = 10$ g. Un estudio pesa $n$ bolsas y rechaza $H_0$ al nivel $\alpha$ cuando su media $\bar x$ cruza un valor crítico. La potencia para una media real $\mu$ es el área de la curva real más allá de ese valor; el resto, $\beta$, es la probabilidad de no detectar la diferencia, un error de tipo II. En $\mu = 500$ no hay diferencia que detectar, y la potencia es el propio $\alpha$.

¿De qué depende la potencia? Para el contraste de $H_1\!: \mu < 500$ con un déficit $\delta = 500 - \mu$, la potencia es $\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$. Una diferencia mayor o más bolsas la aumentan; un $\alpha$ más estricto aleja el valor crítico de 500 y la reduce. Como $n$ solo interviene mediante $\sqrt{n}$, el número de bolsas necesario para una potencia dada crece como $1/\delta^2$. El sentido importa tanto como lo demás: si la máquina llena de más, la potencia del contraste de $\mu < 500$ tiende a 0, y añadir bolsas la reduce aún más. Un contraste bilateral reparte $\alpha$ entre las colas, por lo que detecta diferencias a ambos lados; pero en el lado que vigila un contraste unilateral, tiene menos potencia que este.

¿Por qué un resultado no significativo no demuestra que no haya diferencia? Porque un contraste con poca potencia suele pasar por alto una diferencia real: con 25 bolsas y $\alpha = 0.05$, el contraste unilateral detecta un déficit de 2 g solo alrededor de una cuarta parte de las veces. La mayoría de los estudios de esa máquina resultan no significativos. El valor de un resultado así depende de la potencia frente a una diferencia que merezca detectarse, calculada antes de ver los datos: se elige la menor diferencia relevante y después un $n$ que dé potencia suficiente, a menudo el 80%.

¿Por qué las estimaciones significativas exageran la diferencia en promedio cuando la potencia es baja? Pensemos en una máquina que realmente llena de menos y se contrasta en ese sentido. Solo los estudios cuya media cae por azar muy por debajo de 500 cruzan el valor crítico. Los significativos son, por tanto, un grupo seleccionado: su estimación media es la media de la parte de la curva real situada más allá del corte, que supone un déficit mayor que el real. El propio corte impone un mínimo: con 25 bolsas y $\alpha = 0.05$, un resultado significativo debe estimar un déficit superior a unos 3.29 g, sea cual sea el déficit real. Con $n$ y $\alpha$ fijos, cuanto menor es el déficit real, menor es la potencia y mayor el factor por el que las estimaciones significativas lo exageran en promedio: un error de tipo M (magnitud). En un contraste bilateral, algunos resultados significativos incluso apuntan en el sentido equivocado: un error de tipo S (signo). Un conjunto de investigaciones que solo comunica resultados significativos incorpora este sesgo.