Kaksi vaihtoehtoa voi erota yhdellä osalla tai muutoskokonaisuudella. Kokonaisuuksien vertailu ei automaattisesti paljasta kunkin muutoksen osuutta.
Valitse kokeen kysymys
A/B-testi voi verrata nykyistä versiota uudistukseen. Otsikon, kuvan ja niiden yhteisvaikutuksen erilliseen tutkimiseen faktorikoe on selkeämpi. Valinta riippuu kysymyksestä ja hyödylliseen tarkkuuteen tarvittavista resursseista.
Rakenna täydellinen faktorikoe
Kuvitteellinen esimerkki yhdistää kaksi otsikkoa ja kaksi kuvaa neljäksi soluksi. Täydellinen koe sisältää kaikki valittujen tasojen yhdistelmät. Pää- ja yhteisvaikutuksia voi tutkia, jos suunnitelma ja otoskoko riittävät; yhdistely yksin ei sitä takaa.
| Solu | Otsikko | Kuva |
|---|---|---|
| V1 | T1 | I1 |
| V2 | T1 | I2 |
| V3 | T2 | I1 |
| V4 | T2 | I2 |
Suunnittele analyysi ja mittauskyky
Määritä jako, vertailut, vaikutuksen koko ja monivertailujen käsittely etukäteen. Useammat solut eivät automaattisesti paranna päätöstä. Jos aineistoa on vähän, rajaa kysymystä tai hyväksy suurempi epävarmuus voittajayhdistelmän julistamisen sijaan.
Lähteet ja tarkistus
- NIST — Full factorial designs
- NIST — Two-level full factorial designs
- ASA — Statement on statistical significance and p-values
Määrittele päätös ennen testin lukemista.
Määritä hypoteesi, populaatio, tehtäväyksikkö ja ensisijainen mittari ennen julkaisua. Muutokset testin aikana tai toistuva kurkistus voivat muuttaa tulkintaa. Tarkista myös suojakaiteet, kuten virheet, liidien laatu ja saatavuus, vaikka konversioprosentti näyttäisi paremmalta.
- Määrittele pysäytyssäännöt ja pienin merkityksellinen muutos.
- Tarkista vakaa tehtävä ja kontaminaation puuttuminen.
- Säilytä kielteiset tulokset ja testirajoitukset.
Voidaanko vain voittava segmentti säilyttää?
Segmenttien tutkiminen voi ehdottaa uutta hypoteesia. Älä esitä sitä suunniteltuna vahvistuksena, jos se valitaan tulosten näkemisen jälkeen; järjestä erillinen tarkistus.
Ensisijainen lähde: Microsoft Research — Online experimentation. Aiheeseen liittyvä menetelmä: lue käytännön opas.