Risorse · 26
Eseguire un esperimento A/B che supporti una decisione valida.
Specificare ipotesi, assegnazione, metrica principale e limiti prima di confrontare le varianti.
Aggiornato · 3 min
Obiettivi di questa guida
- Preregistrare il protocollo
- Verificare l'assegnazione
- Monitorare i parametri di controllo
- Decidere in condizioni di incertezza
Verifica rapida
- Quale ipotesi specifica potrebbe essere smentita?
- Quale unità riceve la variante?
- L'assegnazione osservata corrisponde al piano?
- Quale danno giustifica una sospensione?
- La durata e i segmenti sono stati definiti prima di osservare i risultati?
Metodo passo passo
- 1
Indicare la modifica proposta
Descrivere il meccanismo previsto, la popolazione target e l'effetto su una metrica primaria. Descrivere i possibili rischi di accessibilità e di servizio.
Risultato: ipotesi datata e criteri di successo.
- 2
Definire l'assegnazione
Scegliere l'unità di randomizzazione e mantenere l'assegnazione stabile tra le visite. Escludere i bot e specificare i segmenti non inclusi nell'ambito prima dell'avvio.
Risultato: protocollo di assegnazione ed esclusioni. Risultato: protocollo di assegnazione ed esclusioni.
- 3
Strumentazione e test
Verificare gli eventi di esposizione, conversione e guardrail per entrambe le varianti. Testare gli stati mobile, di rifiuto del consenso e di errore.
Risultato: registro di controllo qualità di entrambi i percorsi.
- 4
Verifica del rapporto di campionamento
Confrontare le assegnazioni osservate e previste prima di leggere l'effetto del trattamento. Una discrepanza può rivelare difetti di assegnazione, misurazione o targeting.
Risultato: verifica del rapporto e diagnosi delle discrepanze.
- 5
Analisi al momento previsto
Rispettare la finestra temporale scelta e segnalare l'incertezza, la metrica primaria, i danni e l'analisi del segmento pianificata. Esaminare le sorprese senza selezionare solo il numero favorevole a posteriori.
Risultato: analisi con limitazioni e incertezza.
- 6
Decisione e follow-up
Assegnare un responsabile per l'implementazione, l'abbandono o un altro test. Dopo l'implementazione, verificare che l'effetto e i guardrail rimangano coerenti.
Risultato: decisione archiviata e verifica post-implementazione.
Indicatori di gestione
| Indicatore | Cosa misura | Prima azione |
|---|---|---|
| Assegnazione | Rapporto campione previsto rispetto a quello osservato | Diagnosi prima dell'analisi |
| Esposizione | Utenti idonei effettivamente esposti | Targeting di riparazione |
| Effetto | Modifica e incertezza della metrica primaria | Applicazione della regola decisionale pianificata |
| Misure di salvaguardia | Errori, latenza e abbandono per variante | Sospensione del trattamento dannoso |
Errori comuni
- Interruzione quando un valore appare inizialmente favorevole
- Raccolta di molte metriche senza una primaria
- Ignorare la discrepanza del rapporto campione
- Trattare un piccolo segmento come prova generale
Domande frequenti
Il rapporto campione è una formalità minore?
No. Una discrepanza inspiegabile può rendere il confronto inaffidabile.
Il tasso di conversione deve essere verificato quotidianamente?
Il monitoraggio operativo è utile, ma modificare la durata o la regola decisionale in risposta ai risultati compromette l'interpretazione prevista.
Cosa fare se il risultato è incerto?
Segnalare l'incertezza e la plausibile dimensione dell'effetto, quindi decidere se un altro esperimento ha un reale valore.
Riferimenti ufficiali
I riferimenti supportano il metodo. Adattare i controlli al proprio contesto; non costituiscono una certificazione. I titoli dei riferimenti originali e i documenti di origine potrebbero essere in un'altra lingua.
