Määräennuste ja yksilöllinen taipumuspisteytys vastaavat eri kysymyksiin. Kumpikaan ei yksin osoita kampanjan kausaalista vaikutusta.
Kohde, aikajänne ja saatavilla olevat tiedot
Määrittele ennustettava määrä, yksikkö, jakso ja päätöksen aikajänne. Käytä vain muuttujia, jotka olisivat olleet saatavilla ennustamishetkellä. Tulevan tiedon sisällyttäminen aiheuttaa tietovuodon ja voi tehdä testituloksesta keinotekoisen hyvän.
Testaa aikajärjestyksessä
Kouluta menneillä tiedoilla, arvioi myöhemmällä jaksolla ja toista ajassa eteenpäin. Huomioi todellisten tulosten saatavuusviive. Sovita muunnokset vain koulutusaineistolla ja pidä lopullinen testiaineisto erillään mallin valinnasta.
Vertaa perustasoon ja testaa toimenpide
Vertaa yksinkertaiseen perustasoon, kuten edelliseen jaksoon tai kausivertailuun, samoilla tiedoilla ja aikajänteellä. Raportoi virhe ja epävarmuus: hyvä historiallinen testi ei takaa tulevaa suorituskykyä. Toimenpiteen vaikutuksen mittaaminen vaatii sopivan kausaalisen tutkimusasetelman, esimerkiksi asianmukaisesti suunnitellun kokeen.
Lähteet ja tarkistus
- scikit-learn — Common pitfalls
- scikit-learn — TimeSeriesSplit
- TensorFlow — Time series forecasting
- NIH — Research Methods Resources
Validoi ennuste reaaliaikaisesti.
Liikennemalli voi näyttää tarkalta, jos arviointi sekoittaa aikaisempia ja myöhempiä ajanjaksoja. Aikatietoinen validointi erottaa koulutuksen ja testin aikajärjestyksessä ja mahdollistaa ennusteiden vertaamisen yksinkertaiseen lähtötilanteeseen näkymättömillä ajanjaksoilla.
- Määritä horisontti, yksikkö ja hyväksyttävä virhe ennen suunnitteluominaisuuksia.
- Vertaa mallia kausittaiseen lähtötilanteeseen ja sulje pois tiedot, jotka eivät ole käytettävissä ennusteen aikaan.
- Seuraa virheitä ajanjaksoittain ja segmenteittäin julkaisun jälkeen ja kouluta sitten uudelleen dokumentoidulla syyllä.
Ensisijainen lähde: scikit-learn — TimeSeriesSplit. Aiheeseen liittyvä menetelmä: lue käytännön opas.
Hiilimittauksen rajat
Vertailu tarvitsee yhteiset järjestelmärajat ja toiminnallisen yksikön.
- Luettele osat, alue, ajanjakso ja toiminnallinen yksikkö, esimerkiksi valmis tapahtuma. Vertaa samaa palvelua tuottavia vaihtoehtoja.
- Kirjaa energia, päästökerroin ja laitteiston kohdistettu osuus. Erota mittaus arviosta; kuvaa poissulut olettamatta niiden vaikutusta nollaksi.
- Kuvitteellinen esimerkki: (12 + 3) gCO2e / 5 tapahtumaa = 3 gCO2e tapahtumaa kohti. Vaihtele epävarmoja oletuksia ja vertaa myös kokonaispäästöjä.
Toistettava hyväksyntätapaus
Kuvitteellinen esimerkki: tiedot eivät kuvaa asiakasta tai havaittua tulosta.
Näytä tapauksen tiedot
{
"functional_unit": "accepted_task",
"energy_kWh": 2,
"intensity_gCO2e_per_kWh": 100,
"embodied_gCO2e": 50,
"accepted_tasks": 100,
"SCI_gCO2e_per_task": 2.5
}Odotettu päätös
(2 × 100 + 50)/100 = 2,5 gCO2e tehtävää kohti, vain ilmoitetulla rajauksella.
Tarkistusmenettely
- Määritä rajaus, toiminnallinen yksikkö ja kertoimet.
- Erota energia, laitteistopäästöt ja tulokset.
- Säilytä alkuperä ja laskelma ilman piilokompensaatiota.
Riittääkö uusiutuvan energian osuus ohjelmistojen vertailuun?
Ei. Ilmoita rajat, energia, kertoimet, laitteisto ja toiminnallinen yksikkö.
Ensisijainen lähde: Green Software Foundation — Software Carbon Intensity. Aiheeseen liittyvä menetelmä: lue käytännön opas.
Puuttuvat arvot, nolla ja arvio
Puuttuva havainto ei vastaa mitattua nollaa.
- Erota saamatta jäänyt kenttä, soveltumaton havainto ja keruuvirhe. Säilytä nolla, kun se on kelvollinen mittaus; kaikkien puuttuvien arvojen nollaus sekoittaa eri tilat.
- Kuvitteellisessa esimerkissä [10, puuttuva, 0] kahden havainnon keskiarvo on 5. Puuttuvan nollaaminen ja jakaminen kolmella vastaa eri kysymykseen; näytä molemmat lukumäärät.
- Säilytä arvioidun arvon tunniste ja korvaussääntö. Vertaa tuloksia arvioiden kanssa ja ilman; jos kelvollisia havaintoja ei ole, näytä tuloksen puuttuminen nollakeskiarvon sijaan.
Toistettava hyväksyntätapaus
Kuvitteellinen esimerkki: tiedot eivät kuvaa asiakasta tai havaittua tulosta.
Näytä tapauksen tiedot
{
"values": [
10,
null,
0
],
"observed_count": 2,
"mean_observed": 5,
"mean_if_missing_replaced_with_zero": 3.3333333333,
"extended_sample": {
"values": [
10,
null,
0,
20,
null,
30
],
"known_count": 4,
"expected_count": 6,
"known_sum": 60,
"mean_observed": 15,
"mean_after_zero_fill": 10
},
"missing_only_sample": {
"values": [
null,
null
],
"known_count": 0,
"mean_observed": null
}
}Odotettu päätös
Havaittujen arvojen keskiarvo on 5. Puuttuvan korvaaminen nollalla muuttaa joukkoa ja tulosta.
Samat tiedot, kaksi keskiarvoa: näytä sääntö
Kuvitteelliset tiedot: [10, puuttuva, 0, 20, puuttuva, 30]. Neljä tunnettua arvoa kuudesta odotetusta havainnosta; tunnettu summa: 60. Mukana oleva nolla on havaittu arvo.
| Käsittely | Keskiarvon laskenta | Tulkinta |
|---|---|---|
| Vain tunnetut arvot | 60 ÷ 4 = 15 | Keskiarvo kuvaa neljää tunnettua arvoa. Se ei osoita kahden puuttuvan arvon jakaumaa samanlaiseksi. |
| Puuttuvat korvataan nollalla | 60 ÷ 6 = 10 | Kaksi nollaa lisättiin säännöllä, ei havaittu. Keskiarvo vastaa eri kysymykseen; perustele sääntö ennen vertailua. |
| Toinen otos: [puuttuva, puuttuva] | Ei laskettavissa | Ei tunnettuja arvoja: näytä ei saatavilla. Nollakeskiarvo antaisi ymmärtää, että olematon havainto on tehty. |
Tarkistusmenettely
- Erota puuttuva, nolla ja arvio.
- Laske keskiarvot ennen ja jälkeen poissulun.
- Säilytä määrät ja muuttujakohtaiset säännöt. Testaa myös kokonaan puuttuvista arvoista koostuva ryhmä ja varmista, ettei sitä esitetä mitattuna nollana ilman selkeää sääntöä.
Ensisijainen lähde: pandas — Working with missing data. Aiheeseen liittyvä menetelmä: lue käytännön opas.