Resurssit · 26
Suorita A/B-koe, joka tukee järkevää päätöstä.
Määritä hypoteesi, määritys, ensisijainen mittari ja suojakaiteet ennen varianttien vertailua.
Päivitetty · 2 min
Mitä tämä opas auttaa saavuttamaan
- Protokollan ennakkorekisteröinti
- Tehtävän määrityksen tarkistaminen
- Kaiteiden tarkkailu
- Päätöksen tekeminen epävarmuudella
Pikatarkistus
- Mikä tarkka hypoteesi voitaisiin kumota?
- Mikä yksikkö saa variantin?
- Vastaako havaittu allokaatio suunnitelmaa?
- Mikä haitta oikeuttaa tauon?
- Asetettiinko kesto ja segmentit ennen tulosten näkemistä?
Vaiheittainen menetelmä
- 1
Ilmoita ehdotettu muutos
Kirjoita odotettu mekanismi, kohderyhmä ja vaikutus yhteen ensisijaiseen mittariin. Kuvaile mahdolliset esteettömyys- ja palveluriskit.
Tuotos: päivätty hypoteesi ja onnistumiskriteerit.
- 2
Määrittele tehtävän määrittäminen
Valitse satunnaistamisyksikkö ja pidä tehtävän määrittäminen vakaana eri käyntien välillä. Sulje pois botit ja määritä soveltamisalan ulkopuoliset segmentit ennen julkaisua.
Tuotos: tehtävän määrittämisprotokolla ja poikkeukset.
- 3
Instrumentti ja testaus
Altistumisen, muuntamisen ja suojakaiteen tapahtumien tarkistaminen molemmille varianteille. Mobiililaitteen testaus, suostumuksen epääminen ja virhetilat.
Tuotos: Molempien matkaen laadunvarmistustiedot.
- 4
Otossuhteen tarkistaminen
Havaittujen ja odotettujen allokaatioiden vertailu ennen käsittelyvaikutuksen lukemista. Epäsuhta voi paljastaa kohdistus-, mittaus- tai kohdentamisvirheitä.
Tuotos: suhdeluvun tarkistus ja ristiriitaisuuksien diagnosointi.
- 5
Analysointi suunniteltuun aikaan
Valitun ikkunan noudattaminen ja epävarmuuden, ensisijaisen mittarin, haittojen ja suunnitellun segmentin analyysin raportointi. Yllätysten tarkastaminen ilman, että valitaan vain suotuisaa lukua jälkikäteen.
Tuotos: analyysi rajoituksilla ja epävarmuudella.
- 6
Päätöksenteko ja seuranta
Käyttöönoton, hylkäämisen tai toisen testin omistajan määrittäminen. Käyttöönoton jälkeen vaikutuksen ja suojakaiteiden yhdenmukaisuuden tarkistaminen.
Tuotos: Arkistoitu päätös ja käyttöönoton jälkeinen tarkistus.
Johdon indikaattorit
| Indikaattori | Mitä se mittaa | Ensimmäinen toimenpide |
|---|---|---|
| Tehtävä | Odotettu vs. havaittu otossuhde | Diagnosointi ennen analyysia |
| Altistuminen | Todellisuudessa altistuneet kelvolliset käyttäjät | Korjauksen kohdentaminen |
| Vaikutus | Ensisijaisen mittarin muutos ja epävarmuus | Suunnitellun päätössäännön soveltaminen |
| Kaiteet | Virheet, latenssi ja hylkääminen varianttikohtaisesti | Haitallisen käsittelyn keskeyttäminen |
Yleisiä virheitä
- Pysäyttäminen, kun luku näyttää aluksi suotuisalta
- Useiden mittareiden kerääminen ilman ensisijaista mittareita
- Otossuhteen epäsuhdan huomiotta jättäminen
- Pienen segmentin käsittely yleisenä todisteena
Usein kysytyt kysymykset
Onko otossuhde pieni muodollisuus?
Ei. Selittämätön epäsuhta voi tehdä vertailusta epäluotettavan.
Pitäisikö muunnos tarkistaa päivittäin?
Toiminnan seuranta auttaa, mutta keston tai päätössäännön muuttaminen tulosten perusteella heikentää suunniteltua tulkintaa.
Entä jos tulos on epävarma?
Raportoi epävarmuus ja uskottava vaikutuskoko ja päätä sitten, onko toisella kokeella todellista arvoa.
Viralliset viitteet
Viitteet tukevat menetelmää. Sovita tarkastukset kontekstiisi; ne eivät ole sertifiointia. Alkuperäiset viitteiden otsikot ja lähdeasiakirjat voivat olla toisella kielellä.
