Tilastollinen merkitsevyys ei takaa tuloksen totuutta, tärkeyttä tai toistettavuutta. Päätöksessä on huomioitava myös suunnitelma, vaikutuksen koko ja epävarmuus.
Tulkitse p-arvo oikein
Nollahypoteesin ja testin oletusten vallitessa p-arvo kuvaa vähintään yhtä äärimmäisen tuloksen todennäköisyyttä. Se ei ole hypoteesin totuuden eikä pelkän sattuman tuottaman tuloksen todennäköisyys. Suunnittele vertailut ennen analyysiä.
Kuvitteellinen esimerkki ja leveä väli
Kun A:ssa on 100 ostajaa 2000:sta ja B:ssä 120 ostajaa 2000:sta, korjaamaton normaaliapproksimaatio antaa riippumattomille ryhmille B:n ja A:n eron 95 prosentin väliksi noin −0,41–+2,41 prosenttiyksikköä. Väli sisältää nollan: esimerkki ei osoita selvää paremmuutta eikä samanarvoisuutta.
| Mittari | Laskenta | Arvo |
|---|---|---|
| Absoluuttinen ero (prosenttiyksikköä) | (0.06 - 0.05) * 100 | +1 |
| Suhteellinen muutos (%) | (0.06 - 0.05) / 0.05 * 100 | +20 |
| Eron 95 prosentin väli (prosenttiyksikköä, normaaliapproksimaatio) | z = 1.96 | [-0.41; +2.41] |
100 * (0.01 +/- 1.96 * sqrt(0.05 * 0.95 / 2000 + 0.06 * 0.94 / 2000))Noudata valittua lopetusmenetelmää
Kiinteän analyysihorisontin testissä ei pidä lopettaa ensimmäiseen suotuisaan rajaan toistuvien tarkastelujen jälkeen. Sekventiaalisen menetelmän on huomioitava nämä analyysit. Raportoi myös suojamittarit ja rajat; suuri suhteellinen vaikutus voi jäädä epävarmaksi tai käytännössä pieneksi.
Lähteet ja tarkistus
- ASA — Statement on statistical significance and p-values
- NIST — Difference of Proportions Confidence Interval
- Kharitonov et al. — Sequential Testing for Early Stopping of Online Experiments
Valitse testattava A/B- tai monimuuttujakysymys.
Useammat variantit luovat enemmän vertailuja ja vaativat selkeämmän analyysisuunnitelman. Ennen julkaisua määritä satunnaistamisyksikkö, ensisijainen mittari ja vuorovaikutukset, joita kokeilu voi todella arvioida.
- Kirjoita hypoteesi ja päätössääntö ennen tulosten näkemistä.
- Tarkista, että varianttien välinen näkyvyys ja konversiokeruu ovat yhtäläiset.
- Tarkista otossuhde ja suojakaiteet ennen vaikutusten tulkintaa.
Ensisijainen lähde: Microsoft Research — Online experimentation. Aiheeseen liittyvä menetelmä: lue käytännön opas.
Julkaistujen lukujen tarkistus
Luku tarvitsee lähteen, päivämäärän, yksikön ja vertailupohjan.
- Kirjaa lähde, päivä, perusjoukko, yksikkö ja poissulut ennen luvun lainaamista. Säilytä aineisto ja toistettavan laskennan kaava.
- Kuvitteellinen esimerkki: muutos 2 prosentista 3 prosenttiin on 1 prosenttiyksikkö ja 50 prosentin kasvu lähtöarvosta.
- P-arvo ei ole hypoteesin totuuden todennäköisyys. Kerro estimaatin epävarmuus ja otannan rajoitukset.
Toistettava hyväksyntätapaus
Kuvitteellinen esimerkki: tiedot eivät kuvaa asiakasta tai havaittua tulosta.
Näytä tapauksen tiedot
{
"population": 200,
"eligible": 80,
"positive": 20,
"rate_all": 0.1,
"rate_eligible": 0.25
}Odotettu päätös
20/200 on 10 % ja 20/80 on 25 %. Ilmoita valittu nimittäjä. 80 kelpoista henkilöä on tässä 200:n osajoukko: säilytä muiden 120:n poissulkusyyt. Ero 10 %:n ja 25 %:n välillä on 15 prosenttiyksikköä ja johtuu rajauksesta, ei osoita ilmiön muutosta.
Tarkistusmenettely
- Kirjaa lähde, jakso, yksikkö ja kohdejoukko.
- Laske osuus kullakin ehdotetulla nimittäjällä.
- Säilytä kaava ja poissulut luvun yhteydessä.
Todistaako tilastollinen merkitsevyys käytännön hyödyn?
Ei. Tutki vaikutuksen kokoa, epävarmuutta ja päätöksen kustannusta.
Ensisijainen lähde: NIST — Critical values and p values. Aiheeseen liittyvä menetelmä: lue käytännön opas.
A/B-jako: tiedot ja SRM
Tämän kieliversion tarkemmat lähdekuvaukset ovat englanniksi.
A/B tests: check allocation before deciding
An unexplained discrepancy may arise from assignment, the executed journey, logs or analysis filters. SRM supports investigation; it does not measure product improvement.
- Check intended allocation and unit stability before comparing conversions.
- Do not interpret absence of a signal as proof of overall validity.
- Document the quality check, measured effect and deployment decision separately.
Explore the allocation check and its limitations →
Microsoft Research · Diagnosing Sample Ratio Mismatch · Published 2020-09-14 · consulted 2026-10-23
NIST/SEMATECH · Binomial distribution · e-Handbook §1.3.6.6.18 · consulted 2026-10-23