Kuvitteellinen esimerkki: 5 prosentista 6 prosenttiin
Kumpaankin ryhmään osoitetaan satunnaisesti 1000 kelpoisuusehdot täyttävää henkilöä. Samassa seurantaikkunassa A:ssa 50 ja B:ssä 60 henkilöä saavuttaa määritetyn konversion. Osuudet ovat 5 % ja 6 %: ero on 1 prosenttiyksikkö ja suhteellinen kasvu 20 %.
| Kuvitteellinen mittari | A | B |
|---|---|---|
| Ryhmään osoitetut henkilöt | 1000 | 1000 |
| Määritetyn konversion saavuttaneet | 50 | 60 |
| Konversioaste | 5 % | 6 % |
| Absoluuttinen ero A:han (prosenttiyksikköä) | 0 | +1 |
| Suhteellinen ero A:han | 0 % | +20 % |
Valmistele tulkittava tulos
- Määritä hypoteesi, satunnaistamisyksikkö, päämittari, tarvittava otos, aikajänne ja lopetussääntö. Suunnittele epävarmuusmenetelmä, joka sopii väli- ja monivertailuihin.
- Pidä nimittäjä ryhmäjaon mukaisena. Vain altistumisen jälkeen klikanneiden valitseminen voi vinouttaa tulosta. Tarkista kaksoislaskenta, mittaushävikki ja ryhmien jakauma.
- Odota konversioiden ennalta sovittu kypsymisaika. Poikkeava ryhmäjakauma on selvitettävä ennen vaikutuksen tulkintaa.
Päätä lupaamatta sijoituksen tuottoa
Nämä määrät eivät yksin todista varmaa vaikutusta tai parempaa kannattavuutta. Tarkista epävarmuusvälit, kulut, konversioiden laatu ja haitat. Ennen–jälkeen-vertailu voi heijastaa kausivaihtelua tai yleisön muutosta eikä automaattisesti korvaa vertailukelpoista kontrolliryhmää.