Bronnen · 26
Voer een A/B-experiment uit dat een gefundeerde beslissing ondersteunt.
Specificeer de hypothese, toewijzing, primaire meetwaarde en richtlijnen voordat varianten worden vergeleken.
Bijgewerkt · 2 min
Wat deze handleiding helpt bereiken
- Registreer het protocol vooraf
- Controleer de toewijzing
- Houd de richtlijnen in de gaten
- Beslis met onzekerheid
Snelle controle
- Welke precieze hypothese zou weerlegd kunnen worden?
- Welke eenheid ontvangt de variant?
- Komt de waargenomen toewijzing overeen met het plan?
- Welke schade rechtvaardigt een pauze?
- Waren de duur en segmenten vastgesteld voordat de resultaten zichtbaar waren?
Stapsgewijze methode
- 1
Beschrijf de voorgestelde wijziging
Beschrijf het verwachte mechanisme, de doelgroep en het effect op één primaire meetwaarde. Beschrijf mogelijke toegankelijkheids- en servicerisico's.
Resultaat: gedateerde hypothese en succescriteria.
- 2
Definieer de toewijzing
Kies de randomisatie-eenheid en houd de toewijzing stabiel over de bezoeken heen. Sluit bots uit en specificeer segmenten die buiten het toepassingsgebied vallen vóór de lancering.
Resultaat: toewijzingsprotocol en uitsluitingen.
- 3
Instrument en test
Controleer blootstelling, conversie en vangrail-gebeurtenissen voor beide varianten. Test mobiele, toestemmingsweigering- en foutstatussen.
Resultaat: QA-rapport van beide trajecten.
- 4
Controleer de steekproefverhouding
Vergelijk de waargenomen en verwachte toewijzingen voordat het behandelingseffect wordt afgelezen. Een discrepantie kan wijzen op toewijzings-, meet- of targetingfouten.
Resultaat: controle van de verhouding en diagnose van discrepanties.
- 5
Analyse op het geplande tijdstip
Respecteer het gekozen tijdsvenster en rapporteer onzekerheid, primaire meetwaarde, schade en geplande segmentanalyse. Onderzoek verrassingen zonder achteraf alleen het gunstige getal te selecteren.
Resultaat: analyse met beperkingen en onzekerheid.
- 6
Beslissing en follow-up
Wijs een verantwoordelijke toe voor de uitrol, stopzetting of een andere test. Controleer na de uitrol of het effect en de vangrails consistent blijven.
Resultaat: gearchiveerde beslissing en controle na de uitrol.
Managementindicatoren
| Indicator | Wat het meet | Eerste actie |
|---|---|---|
| Toewijzing | Verwachte versus waargenomen steekproefverhouding | Diagnose vóór analyse |
| Blootstelling | In aanmerking komende gebruikers die daadwerkelijk zijn blootgesteld | Gerichte reparatie |
| Effect | Wijziging en onzekerheid van de primaire metriek | Geplande beslissingsregel toepassen |
| Beveiligingsmaatregelen | Fouten, latentie en afbreking per variant | Schadelijke behandeling pauzeren |
Veelvoorkomende fouten
- Stoppen wanneer een getal er voor het eerst gunstig uitziet
- Veel metrieken verzamelen zonder een primaire
- Mismatch in steekproefverhouding negeren
- Een klein segment als algemeen bewijs behandelen
Veelgestelde vragen
Is de steekproefverhouding een kleine formaliteit?
Nee. Een onverklaarde mismatch kan de vergelijking onbetrouwbaar maken.
Moet de conversie dagelijks worden gecontroleerd?
Operationele monitoring helpt, maar het wijzigen van de duur of de beslissingsregel naar aanleiding van de resultaten ondermijnt de geplande interpretatie.
Wat als het resultaat onzeker is?
Rapporteer de onzekerheid en de plausibele effectgrootte en bepaal vervolgens of een ander experiment echt waardevol is.
Officiële referenties
Referenties ondersteunen de methode. Pas controles aan uw context aan; ze zijn geen certificering. Originele referentietitels en brondocumenten kunnen in een andere taal zijn.
