Recursos · 26
Ejecute un experimento A/B que respalde una decisión acertada
Especificar hipótesis, asignación, métrica principal y barreras de seguridad antes de comparar variantes.
Actualizado · 3 min
Lo que esta guía ayuda a lograr
- Preregistrar el protocolo
- Consultar asignación
- Vigilar barandillas
- Decidir con incertidumbre
Comprobación rápida
- ¿Qué hipótesis concreta se podría refutar?
- ¿Qué unidad recibe la variante?
- ¿La asignación observada coincide con el plan?
- ¿Qué daño amerita una pausa?
- ¿Se establecieron la duración y los segmentos antes de que se vieran los resultados?
Método paso a paso
- 1
Indique el cambio propuesto
Escriba el mecanismo esperado, la población objetivo y el efecto en una métrica principal. Describir los posibles riesgos de accesibilidad y servicio.
Entregable: hipótesis fechadas y criterios de éxito.
- 2
Definir asignación
Elija la unidad de aleatorización y mantenga la asignación estable entre las visitas. Excluya bots y especifique segmentos fuera de alcance antes del lanzamiento.
Entregable: protocolo de asignación y exclusiones.
- 3
Instrumento y prueba
Verificar eventos de exposición, conversión y guardarraíl para ambas variantes. Pruebe los estados móviles, de rechazo de consentimiento y de error.
Entregable: Registro de QA de ambos recorridos.
- 4
Comprobar proporción de muestra
Comparar las asignaciones observadas y esperadas antes de leer el efecto del tratamiento. Una discrepancia puede exponer defectos de asignación, medición o orientación.
Entregable: verificación de ratios y diagnóstico de discrepancias.
- 5
Analizar en el tiempo planificado
Respetar la ventana elegida y reportar incertidumbre, métrica primaria, daños y análisis de segmentos planificados. Inspeccione las sorpresas sin seleccionar sólo el número favorable después del hecho.
Entregable: análisis con limitaciones e incertidumbre.
- 6
Decidir y dar seguimiento
Asignar un propietario para implementación, abandono u otra prueba. Después del lanzamiento, verifique que el efecto y las barreras de seguridad sigan siendo consistentes.
Entregable: decisión archivada y verificación post-lanzamiento.
Indicadores de gestión
| Indicador | Qué mide | Primera acción |
|---|---|---|
| Asignación | Proporción de muestra esperada versus observada | Diagnóstico antes del análisis |
| Exposición | Usuarios elegibles realmente expuestos | Reparar segmentación |
| Efecto | Cambio e incertidumbre en métricas primarias | Aplicar regla de decisión planificada |
| Barandillas | Errores, latencia y abandono por variante | Pausar tratamiento nocivo |
Errores comunes
- Parar cuando un número parece favorable por primera vez
- Recopilando muchas métricas sin una principal
- Ignorar la discrepancia en la proporción de muestras
- Tratar un pequeño segmento como prueba general
Preguntas frecuentes
¿El ratio de muestreo es una formalidad menor?
No. Una discrepancia inexplicable puede hacer que la comparación no sea confiable.
¿Se debe comprobar la conversión diariamente?
El seguimiento operativo ayuda, pero cambiar la duración o la regla de decisión en respuesta a los resultados socava la interpretación planificada.
¿Qué pasa si el resultado es incierto?
Informar la incertidumbre y el tamaño del efecto plausible, luego decidir si otro experimento tiene valor real.
Referencias oficiales
Las referencias respaldan el método. Adapte los controles a su contexto; no constituyen certificación. Los títulos de referencia originales y los documentos fuente pueden estar en otro idioma.
