Testes de Hipóteses, Valor-p e Erros Tipo I e II: estatística para a prova e para a prática

A leitura crítica de qualquer ensaio clínico, revisão sistemática ou diretriz começa por uma pergunta estatística: o resultado observado é real ou fruto do acaso? A teoria dos testes de hipóteses foi construída justamente para quantificar esse risco, mas é também a área da medicina em que erros conceituais são mais frequentes — entre autores e revisores de periódicos, não apenas entre estudantes. A declaração da American Statistical Association de 2016 e o movimento estatístico posterior (Wasserstein e colaboradores, 2019) formalizaram o problema: o valor-p é o conceito mais mal-interpretado da ciência aplicada, e a fixação no limiar de 0,05 tem gerado conclusões clínicas equivocadas em massa, do fármaco inútil aprovado por p = 0,049 ao tratamento eficaz descartado por p = 0,06. Para o estudante brasileiro, o tema é duplamente cobrado: em provas de bioestatística (definições, fórmulas e escolha do teste) e em medicina baseada em evidências (interpretação de resultados e limitações). Esta revisão cobre os dois eixos com números, exemplos resolvidos e a tabela de decisão de testes que resolve 90% das questões.

01Hipótese nula e hipótese alternativa

Todo teste estatístico formaliza duas hipóteses mutuamente exclusivas. A hipótese nula (H0) afirma que não existe diferença ou associação entre os grupos comparados: a droga nova tem o mesmo efeito que o placebo, a exposição tem a mesma prevalência nos casos e controles, a correlação é zero. A hipótese alternativa (H1) afirma que existe diferença — e pode ser unicaudal (especifica a direção: a droga é superior ao placebo) ou bicaudal (apenas diferente, para mais ou para menos). O teste de hipóteses clássico (frequentista) assume provisoriamente que H0 é verdadeira e calcula a probabilidade de observar dados tão ou mais extremos que os obtidos; se essa probabilidade for menor que o alfa pré-definido, rejeita-se H0. Ponto de prova: o teste nunca aceita ou prova H0 — ele apenas rejeita ou não rejeita H0. Dizer que p maior que 0,05 prova a ausência de diferença é erro conceitual grave: pode simplesmente faltar poder (amostra pequena). O uso de teste unicaudal exige justificativa prévia e direção definida a priori; usá-lo depois de olhar os dados para alcançar significância é p-hacking.

02Erros tipo I e tipo II: a tabela de decisões

Como a decisão estatística é tomada sobre amostras, ela pode estar errada de duas maneiras simétricas. Erro tipo I (alfa): rejeitar H0 quando ela é verdadeira — concluir que existe diferença que não existe, o falso positivo. É o erro de aprovar um tratamento ineficaz, de publicar uma associação espúria. Erro tipo II (beta): não rejeitar H0 quando ela é falsa — deixar de detectar uma diferença real, o falso negativo. É o erro de descartar um tratamento eficaz por amostra insuficiente. Convenciona-se alfa de 0,05 (5% de chance de falso positivo) e beta de 0,20 (20% de chance de falso negativo), valores arbitrários consolidados pela tradição de Fisher (0,05) e Neyman-Pearson (beta de 0,2). Em cenários com custo assimétrico, os limiares mudam: no rastreamento de sangue de doadores, um alfa um pouco maior é tolerável para não perder bolsas infectadas; em provas de conceito caras, tolera-se mais beta. A analogia do tribunal ajuda a fixar: H0 é a inocência; erro tipo I é condenar o inocente; erro tipo II é absolver o culpado.

03Poder estatístico: o que o aumenta e o que o destrói

Poder é a probabilidade de o teste detectar uma diferença que realmente existe: poder = 1 − beta, convencionalmente 0,80 (80%) ou 0,90. Quatro fatores o determinam, todos cobrados em prova: 1) tamanho da amostra — o fator mais manipulável, com relação de raiz quadrada: quadruplicar n reduz o erro-padrão à metade e estreita o intervalo de confiança; 2) magnitude do efeito — efeitos grandes são mais fáceis de detectar; 3) variabilidade dos dados — desvio-padrão menor aumenta poder (por isso desenhos pareados e crossover têm mais poder com o mesmo n, pois removem variabilidade interindividual); 4) alfa — elevar alfa de 0,01 para 0,05 aumenta o poder ao preço de mais falsos positivos; testes unicaudais e maiores efeitos esperados também o elevam. A regra prática para dimensionar amostras em questões é a fórmula de Lehr: n por grupo = 16/d² para poder de 80% e alfa bicaudal de 0,05, em que d é a diferença esperada expressa em desvios-padrão. Exemplo resolvido: para detectar um efeito médio (d = 0,5), n = 16/0,25 = 64 por grupo; para 90% de poder, usa-se 21/d² = 84 por grupo. Um estudo negativo sem cálculo de poder é inconclusivo, não negativo — essa frase resume por que ensaios pequenos sem diferença estatística não provam equivalência.

04Valor-p: a definição correta e os erros clássicos

Definição da ASA: o valor-p é a probabilidade de obter dados tão ou mais extremos que os observados, assumindo que a hipótese nula (e todo o resto do modelo) é verdadeira. É uma declaração sobre os DADOS dado H0 — P(dados | H0) — e não sobre as hipóteses dado os dados. Dessa assimetria nascem os erros clássicos, que aparecem literalmente em provas: 1) p NÃO é a probabilidade de H0 ser verdadeira (não é 5% de chance do resultado ser acaso quando p = 0,05); 2) p maior que 0,05 NÃO prova ausência de diferença — pode haver poder insuficiente; 3) p NÃO mede o tamanho do efeito nem a importância clínica (com n grande, diferenças clinicamente irrelevantes geram p minúsculos); 4) p = 0,049 versus p = 0,051 não são decisões qualitativamente distintas — o limiar é arbitrário e dicotomizá-lo gera o falso prestígio da significância; 5) p não é a probabilidade de replicação do resultado. A probabilidade de H0 ser verdadeira dado os dados exige abordagem bayesiana, e depende da probabilidade prévia de H0 — que em pesquisas biomédicas exploratórias é alta, motivo pelo qual Ioannidis argumentou que a maior parte dos achados publicados com p justo abaixo de 0,05 não se replica. Corolário de prova: resultados com p próximo do limiar em amostras pequenas, testes múltiplos não corrigidos e desfechos não pré-especificados devem ser lidos como geradores de hipóteses.

05Intervalos de confiança: a estimativa que o valor-p não dá

O intervalo de confiança de 95% (IC 95%) é o intervalo de valores compatíveis com os dados, dentro do qual o verdadeiro parâmetro populacional estará contido em 95% das repetições hipotéticas do experimento. Interpretação frequentista estrita: se o estudo fosse repetido 100 vezes, cerca de 95 dos intervalos calculados conteriam o valor real — não é correto dizer que há 95% de probabilidade de o parâmetro específico deste intervalo estar dentro (interpretação bayesiana popular, mas tecnicamente incorreta). O IC entrega três informações que o p sozinho não entrega: a estimativa pontual, a precisão (largura do intervalo, que cai com o quadrado de n) e o teste de hipóteses embutido. Relação com o valor-p, de alta aplicabilidade: se o IC 95% da diferença de médias ou da diferença de riscos exclui o zero, então p menor que 0,05; se o IC 95% de risco relativo, odds ratio ou hazard ratio exclui 1, então p menor que 0,05 — e vice-versa. Exemplo numérico: redução absoluta de risco de 10% com IC 95% de 2% a 18% é estatisticamente significante (exclui o zero) e clinicamente relevante; a mesma redução de 10% com IC 95% de −4% a 24% não é significante (inclui o zero) e, além disso, é imprecisa — os dados são compatíveis desde prejuízo de 4% até benefício de 24%. Estimativa pontual + IC deve substituir o p nu em qualquer leitura crítica séria.

06Significância estatística versus relevância clínica

Significância estatística responde se o achado provavelmente não é acaso; relevância clínica pergunta se o achado melhora a vida do paciente o suficiente para justificar custo, risco e incômodo. As duas dimensões são independentes: um estudo com 10.000 pacientes por grupo detecta como significante (p menor que 0,001) uma redução de 1,5 mmHg na pressão arterial ou de 0,2 pontos numa escala de dor — estatisticamente real, clinicamente trivial; inversamente, uma redução de mortalidade de 30% pode aparecer com p = 0,08 num ensaio pequeno subdimensionado. O tamanho de efeito quantifica a magnitude: para diferença de médias, o d de Cohen (diferença dividida pelo desvio-padrão combinado), com 0,2 pequeno, 0,5 médio e 0,8 grande; para desfechos binários, risco relativo, redução relativa e absoluta de risco e o número necessário para tratar (NNT = 1/redução absoluta de risco). Exemplo resolvido: um anticoagulante reduz eventos de 25% para 15% em dois anos — redução absoluta de 10 pontos percentuais, NNT = 1/0,10 = 10 pacientes tratados por dois anos para evitar um evento, número excelente em cardiologia; já uma redução de 25% para 23% (ARR de 2%) daria NNT = 50, ponderável conforme custo e segurança. Sempre traduza o resultado primário em NNT antes de mudar conduta — é o hábito central da medicina baseada em evidências.

07Escolha do teste: a tabela que resolve a prova

A escolha depende de três perguntas em sequência: qual o tipo de variável desfecho (contínua, categórica, ordinal)? quantos grupos e são pareados ou independentes? e, para testes paramétricos, as premissas se sustentam (distribuição aproximadamente normal, avaliada por Shapiro-Wilk para n menor que 50 ou Kolmogorov-Smirnov para n maior; homogeneidade de variâncias, avaliada por Levene; dados em escala intervalar)? Testes paramétricos assumem essas condições e são mais potentes quando válidos; testes não paramétricos dispensam a normalidade, trocando valores por postos (ranks), com leve perda de poder e resultados em medidas de tendência central (mediana).

• Regra do qui-quadrado: exige frequências esperadas (não observadas) de pelo menos 5 em cada célula para n maior ou igual a 40; com alguma célula abaixo disso ou amostra menor, usa-se o exato de Fisher; em tabelas 2 por 2 com n entre 20 e 40 e esperados limítrofes, aplica-se a correção de Yates (mais conservadora).
• ANOVA compara 3 ou mais médias testando a variância entre grupos contra a variância intra-grupo (razão F); significante indica que ao menos um grupo difere — o post-hoc de Tukey identifica quais pares diferem. Fazer vários t de Student em vez de ANOVA infla o erro tipo I (testes múltiplos).
• Pareado versus independente é a pegadinha mais comum: se o mesmo paciente é medido duas vezes (antes/depois, olho tratado/olho controle, cruzamento de tratamentos), use t pareado ou Wilcoxon signed-rank; usar teste para grupos independentes perde poder e está errado.
• Contínua grotescamente assimétrica (tempo até evento, contagem de crises, creatinina em doença grave): não paramétrico, ou transformação logarítmica antes do teste paramétrico, ou métodos de sobrevivência (Kaplan-Meier e log-rank para comparar curvas, Cox para hazard ratio).

08Testes múltiplos: por que 20 comparações a 5% dão 64% de falso positivo

A cada teste realizado com alfa de 0,05 sob H0 verdadeira, há 5% de chance de falso positivo — e essas chances se acumulam quando múltiplos testes são feitos nos mesmos dados. A probabilidade de pelo menos um resultado significante por puro acaso em k testes independentes é 1 − (1 − alfa) elevado a k: com 5 testes, 23%; com 10 testes, 40%; com 20 testes, 1 − 0,95 elevado a 20 = 64%. É por isso que subgrupos múltiplos, desfechos secundários e análises temporais de cortes podem fabricar achados — a base matemática do fenômeno descrito por Ioannidis. As correções clássicas: Bonferroni divide o alfa pelo número de comparações (com 4 comparações, alfa corrigido = 0,05/4 = 0,0125) — simples e conservador, perde poder com muitas comparações; Holm (sequencial, menos conservador); Tukey especificamente para todas as comparações de médias após ANOVA. A estratégia moderna privilegia: definir um desfecho primário único pré-especificado, tratar desfechos secundários e subgrupos como exploratórios e reportar estimativas com intervalos de confiança em vez de apenas significativo ou não significativo (a recomendação central do movimento Beyond p menor que 0,05).

09Exemplos numéricos resolvidos

Exemplo 1 (t de Student): ensaio randomizado de um anti-hipertensivo, 50 pacientes por grupo, pressão sistólica média de 138 mmHg (desvio-padrão 12) com a droga e 132 mmHg (desvio-padrão 12) com placebo. Diferença observada: 6 mmHg. Erro-padrão da diferença = desvio-padrão combinado vezes raiz de (2/n) = 12 × raiz de (2/50) = 12 × 0,2 = 2,4 mmHg. t = 6/2,4 = 2,5, com 98 graus de liberdade — o t crítico bicaudal de 0,05 é cerca de 1,98, logo p aproximado de 0,014: rejeita-se H0. IC 95% da diferença: 6 ± 1,98 × 2,4 = 6 ± 4,8 = 1,2 a 10,8 mmHg — exclui o zero, coerente com o p menor que 0,05. Interpretação crítica: estatisticamente significante, benefício médio modesto (6 mmHg é clinicamente relevante se mantido em anos, mas o IC mostra que o verdadeiro efeito pode ser de apenas 1,2 mmHg — precisão limitada pelo tamanho da amostra).

Exemplo 2 (qui-quadrado e NNT): ensaio com 400 pacientes, 200 por braço; evento clínico (morte hospitalar) em 30/200 (15%) com o tratamento novo e 50/200 (25%) com o controle. Tabela 2 por 2: a = 30, b = 170, c = 50, d = 150. Qui-quadrado = n × (ad − bc)² / [(a+b)(c+d)(a+c)(b+d)] = 400 × (30×150 − 170×50)² / (200 × 200 × 80 × 320) = 400 × 16.000.000 / 1.024.000.000 = 6,25, acima do crítico de 3,84 para 1 grau de liberdade — p aproximado de 0,012. Risco relativo = 15/25 = 0,60 (redução relativa de 40%); redução absoluta de risco = 25% − 15% = 10 pontos; NNT = 1/0,10 = 10 pacientes tratados para evitar uma morte hospitalar. Todos os valores batem com as frequências esperadas acima de 5, autorizando o qui-quadrado sem correção; se o total fosse 40 pacientes com as mesmas proporções, as esperadas cairiam abaixo de 5 e o teste correto seria o exato de Fisher.

Exemplo 3 (poder a posteriori): um estudo com 25 pacientes por grupo relatou p = 0,30 para a comparação de um analgésico com placebo e concluiu que a droga não funciona. Verificação pela aproximação de Lehr: para detectar um efeito médio de 0,5 desvios-padrão com 80% de poder seriam necessários 16/0,25 = 64 por grupo; com 25 por grupo, o poder real para esse efeito cai para aproximadamente 58%. A conclusão correta do estudo é inconclusiva — os dados são compatíveis tanto com ausência de efeito quanto com um benefício médio que a amostra não teve poder para detectar. É a armadilha clássica dos ensaios pequenos negativos, e a razão de toda conclusão negativa exigir o cálculo de poder ou o IC do efeito.

10Pontos de prova e pegadinhas consolidadas