Ennuste on tietoihin ja oletuksiin perustuva arvio, ei lupaus tuloksesta. Havainnon luokittelu ja tulevan arvon ennustaminen ovat eri tehtäviä.
Määritä arvioinnin kohde
Määrittele perusjoukko, kohdemuuttuja, aikajänne ja suunniteltu päätös. Pistemäärä ei välttämättä ole hyvin kalibroitu todennäköisyys. Varaa riippumaton arviointiaineisto äläkä käytä sitä mallin koulutukseen, esikäsittelyn sovittamiseen tai mallin valintaan.
Lue virheet, älä vain prosenttia
Alla olevassa kuvitteellisessa esimerkissä kynnys on kiinteä: 200 todellisesta positiivisesta tapauksesta havaitaan 80 ja havaitsematta jää 120. Oikeiden luokitusten 86 prosentin osuus ei siis tarkoita, että useimmat positiiviset tapaukset olisi tunnistettu.
| Todellinen tulos | Ennustettu positiivinen | Ennustettu negatiivinen |
|---|---|---|
| Todellinen positiivinen | 80 | 120 |
| Todellinen negatiivinen | 20 | 780 |
| Mittari | Laskenta | Arvo |
|---|---|---|
| Positiivinen ennustearvo (precision) | 80 / (80 + 20) | 80 % |
| Herkkyys (recall) | 80 / (80 + 120) | 40 % |
| Oikeiden luokitusten osuus (accuracy) | (80 + 780) / 1000 | 86 % |
Valitse kynnys seurausten perusteella
Precision on todellisten positiivisten osuus positiivisista ennusteista; recall on havaittujen osuus kaikista todellisista positiivisista. Kynnyksen muuttaminen voi muuttaa molempia. Vertaa tuloksia samassa perusjoukossa ja arvioi väärien hälytysten sekä havaitsematta jäävien tapausten kustannuksia.
Lähteet ja tarkistus
- Google — Classification: Accuracy, recall, precision
- scikit-learn — Probability calibration
- scikit-learn — Common pitfalls
Testaa ennusteita niiden operatiivisessa aikajärjestyksessä
Operatiivisen ennusteen tulisi käyttää vain päätöksentekohetkellä saatavilla olevia tietoja. Satunnainen jakaminen ei välttämättä sovi aikasarjoille. Simuloi peräkkäisiä ajanjaksoja, säilytä ominaisuusversiot ja vertaa yksinkertaiseen lähtötasoon ennen ennustamiskyvyn väittämistä.
- Sulje pois ominaisuudet, jotka tunnetaan vasta tuloksen jälkeen.
- Arvioi harjoitusta myöhemmällä ajanjaksolla.
- Mittaa virheitä ennustehorisontin mukaan.
Miksi erinomainen testitulos voi epäonnistua myöhemmin?
Tietovuoto, populaatiomuutokset tai ajallinen ajautuminen voivat muuttaa tuloksia. Toista datan saatavuusolosuhteet ja seuraa virheitä käyttöönoton jälkeen.
Ensisijainen lähde: scikit-learn — Cross-validation. Aiheeseen liittyvä menetelmä: lue käytännön opas.