Potência estatística

A potência de um teste é a probabilidade de rejeitar a hipótese nula $H_0$ quando uma alternativa específica é verdadeira. Aqui, $H_0$ afirma que uma máquina enche os sacos com $\mu = 500$ g em média; os pesos são independentes e normais, com $\sigma = 10$ g. Um estudo pesa $n$ sacos e rejeita $H_0$ ao nível $\alpha$ quando a média $\bar x$ passa para lá de um valor crítico. A potência para uma média verdadeira $\mu$ é a área da curva verdadeira para lá desse valor; o restante, $\beta$, é a probabilidade de não detetar a diferença, um erro de tipo II. Em $\mu = 500$ não há diferença a detetar, e a potência é o próprio $\alpha$.

De que depende a potência? Para o teste de $H_1\!: \mu < 500$ com uma falta $\delta = 500 - \mu$, a potência é $\Phi(\delta\sqrt{n}/\sigma - z_{1-\alpha})$. Uma diferença maior ou mais sacos aumentam-na; um $\alpha$ mais rigoroso afasta o valor crítico de 500 e reduz a potência. Como $n$ só entra através de $\sqrt{n}$, o número de sacos necessário para uma dada potência cresce como $1/\delta^2$. O sentido é igualmente importante: se a máquina encher a mais, a potência do teste de $\mu < 500$ tende para 0, e mais sacos só a fazem descer. Um teste bilateral reparte $\alpha$ pelas duas caudas e deteta diferenças de ambos os lados, mas tem menos potência do que um teste unilateral no lado que este vigia.

Porque é que um resultado não significativo não demonstra a ausência de diferença? Porque um teste com pouca potência costuma não detetar uma diferença real: com 25 sacos e $\alpha = 0.05$, o teste unilateral deteta uma falta de 2 g apenas em cerca de um quarto dos casos. A maioria dos estudos dessa máquina dá, portanto, resultados não significativos. O valor de tal resultado depende da potência face a uma diferença que importe detetar, calculada antes de observar os dados: escolher a menor diferença relevante e depois um $n$ que dê potência suficiente, frequentemente 80%.

Porque é que as estimativas significativas exageram, em média, a diferença quando a potência é baixa? Considere uma máquina que realmente enche a menos e é testada nesse sentido. Só os estudos cuja média fica, por acaso, muito abaixo de 500 passam o valor crítico. Os significativos são, assim, um grupo selecionado: a sua estimativa média é a média da parte da curva verdadeira para lá do corte, correspondendo a uma falta maior do que a verdadeira. O próprio corte impõe um mínimo: com 25 sacos e $\alpha = 0.05$, um resultado significativo tem de estimar uma falta superior a cerca de 3.29 g, qualquer que seja a falta verdadeira. Com $n$ e $\alpha$ fixos, quanto menor a falta verdadeira, menor a potência e maior o fator pelo qual as estimativas significativas a exageram em média: um erro de tipo M (magnitude). Num teste bilateral, alguns resultados significativos apontam até no sentido errado: um erro de tipo S (sinal). Um conjunto de estudos que apresente apenas resultados significativos transporta este enviesamento.