Exemplo fictício: de 5 % para 6 %
Dois grupos recebem 1000 pessoas elegíveis cada, atribuídas aleatoriamente. Na mesma janela de acompanhamento, A tem 50 pessoas com conversão qualificada e B tem 60. As taxas são 5 % e 6 %: diferença de 1 ponto percentual, aumento relativo de 20 %.
| Medida fictícia | A | B |
|---|---|---|
| Pessoas atribuídas | 1000 | 1000 |
| Pessoas com conversão qualificada | 50 | 60 |
| Taxa de conversão | 5 % | 6 % |
| Diferença absoluta face a A (pontos percentuais) | 0 | +1 |
| Diferença relativa face a A | 0 % | +20 % |
Preparar um resultado interpretável
- Defina hipótese, unidade de atribuição, métrica principal, amostra necessária, horizonte e regra de paragem. Planeie um método de incerteza compatível com análises intermédias e comparações múltiplas.
- Mantenha o denominador coerente com a atribuição. Selecionar apenas quem clicou após exposição pode introduzir enviesamento. Verifique duplicados, perdas de medição e distribuição dos grupos.
- Aguarde a maturação das conversões prevista. Uma distribuição anormal exige diagnóstico antes de interpretar o efeito.
Decidir sem prometer retorno do investimento
Estas contagens, por si só, não demonstram efeito certo nem maior rentabilidade. Examine intervalos de incerteza, custo, qualidade das conversões e efeitos adversos. O antes/depois pode refletir sazonalidade ou mudanças de público; não substitui automaticamente um controlo comparável.