A/B-testi vertaa kahta vaihtoehtoa satunnaistamalla kelpoiset yksiköt ryhmiin. Se voi mitata eron testatussa tilanteessa, mutta ei takaa lisämyyntiä tai koko sivustolle siirrettäviä tuloksia.
Määritä suunnitelma ennen aloittamista
Valitse satunnaistamisen yksikkö, päämittari, pienin kiinnostava vaikutus ja lopetussääntö. Pidä saman käyttäjän ryhmä johdonmukaisena ja tutki suunnitellun ja toteutuneen jaon erot. Uudistusta voi verrata kokonaisuutena, mutta se ei erota osien vaikutuksia.
Lue esimerkki julistamatta voittajaa
Kuvitteellisessa tapauksessa kummassakin ryhmässä on 2000 käyttäjää: A:ssa 100 ostajaa ja B:ssä 120. Havaitut osuudet ovat 5 % ja 6 %. Arvioitu ero on 1 prosenttiyksikkö eli suhteellisesti 20 %; epävarmuus ja suojamittarit on vielä arvioitava.
| Vaihtoehto | Käyttäjät | Ostajat / osuus |
|---|---|---|
| A | 2000 | 100 (5 %) |
| B | 2000 | 120 (6 %) |
Käytä ajantasaisia välineitä ja kriteerejä
Google Optimize ja Optimize 360 suljettiin 30. syyskuuta 2023. Valitse suunnitelmaan, käyttöoikeuksiin ja tiedonkeruun velvoitteisiin sopiva ratkaisu. Yksi tai kaksi viikkoa ei takaa riittävää testin voimaa; tarkista myös virheet, palautukset ja vaikutukset asiakaspolkuun.
Lähteet ja tarkistus
- Google Analytics — Google Optimize sunset, 30 September 2023
- Microsoft Research — Diagnosing Sample Ratio Mismatch in A/B Testing
- NIST — Difference of Proportions Confidence Interval
Kokeile tuotesivuja piilottamatta vahinkoa.
Tuotesivun konversiomuutos tulisi lukea yhdessä valintavirheiden, palautusten ja näytetyn tarjouksen tarkkuuden kanssa. Variantti, joka tuottaa enemmän klikkauksia, mutta enemmän virheellisiä ostoksia, ei ole automaattisesti parempi.
- Pidä tehtävänanto vakaana, jotta yksi asiakas ei näe ristiriitaisia tarjouksia.
- Seuraa ostoskoriin lisäämisen, oston, hylkäämisen ja varianttien virheitä erikseen.
- Tarkista molempien varianttien kuvat, hinnat ja saatavuus mobiililaitteella.
Ensisijainen lähde: Microsoft Research — Online experimentation. Aiheeseen liittyvä menetelmä: lue käytännön opas.