Recursos · 26
Execute um teste A/B que suporte uma decisão sólida.
Especifique a hipótese, a atribuição, a métrica principal e as diretrizes antes de comparar variantes.
Atualizado · 2 min
O que este guia ajuda a alcançar
- Pré-registrar o protocolo
- Verificar a atribuição
- Observar as salvaguardas
- Decidir com incerteza
Verificação rápida
- Qual hipótese precisa poderia ser refutada?
- Qual unidade receberá a variante?
- A alocação observada corresponde ao plano?
- Qual dano justifica uma pausa?
- A duração e os segmentos foram definidos antes da visualização dos resultados?
Método passo a passo
- 1
Declare a mudança proposta
Descreva o mecanismo esperado, a população-alvo e o efeito em uma métrica principal. Descreva os possíveis riscos de acessibilidade e serviço.
Entregável: hipótese datada e critérios de sucesso.
- 2
Definir a atribuição
Escolher a unidade de randomização e manter a atribuição estável entre as visitas. Excluir bots e especificar segmentos fora do escopo antes do lançamento.
Entregável: protocolo de atribuição e exclusões.
- 3
Instrumento e teste
Verificar eventos de exposição, conversão e salvaguarda para ambas as variantes. Testar estados de dispositivo móvel, recusa de consentimento e erro.
Entregável: Registro de controle de qualidade de ambas as jornadas.
- 4
Verificar a proporção da amostra
Comparar as alocações observadas e esperadas antes de ler o efeito do tratamento. Uma discrepância pode expor defeitos de atribuição, medição ou direcionamento.
Entregável: verificação da proporção e diagnóstico de discrepâncias.
- 5
Analisar no momento planejado
Respeitar a janela escolhida e relatar incerteza, métrica primária, danos e análise do segmento planejado. Inspecionar surpresas sem selecionar apenas o número favorável posteriormente.
Entregável: análise com limitações e incertezas.
- 6
Decidir e acompanhar
Atribuir um responsável pela implementação, abandono ou outro teste. Após a implementação, verificar se o efeito e as salvaguardas permanecem consistentes.
Entregável: decisão arquivada e verificação pós-implementação.
Indicadores de gestão
| Indicador | O que mede | Primeira ação |
|---|---|---|
| Atribuição | Proporção de amostra esperada versus observada | Diagnóstico antes da análise |
| Exposição | Usuários elegíveis realmente expostos | Direcionamento de reparos |
| Efeito | Mudança e incerteza da métrica primária | Aplicar regra de decisão planejada |
| Salvaguardas | Erros, latência e abandono por variante | Pausar tratamento prejudicial |
Erros comuns
- Parar quando um número parecer favorável pela primeira vez
- Coletar muitas métricas sem uma primária
- Ignorar discrepância na proporção da amostra
- Tratar um pequeno segmento como prova geral
Perguntas frequentes
A proporção da amostra é uma mera formalidade?
Não. Uma discrepância inexplicável pode tornar a comparação não confiável.
A conversão deve ser verificada diariamente?
O monitoramento operacional ajuda, mas alterar a duração ou a regra de decisão em resposta aos resultados prejudica a interpretação planejada.
E se o resultado for incerto?
Relate a incerteza e o tamanho do efeito plausível e, em seguida, decida se outro experimento tem valor real.
Referências oficiais
As referências apoiam o método. Adapte as verificações ao seu contexto; elas não são uma certificação. Os títulos das referências originais e os documentos de origem podem estar em outro idioma.
