Kalibrointi tarkoittaa sitä, että ennustajan todennäköisyydet vastaavat toteutuneita taajuuksia. Jos ennustaja sanoo ”70 prosenttia” sadassa samankaltaisessa tilanteessa, noin 70 niistä pitäisi toteutua. Muuten ennustaja on liian varma tai liian epävarma.
Miksi kalibrointi on vaikeaa
Ihminen muistaa onnistumiset ja unohtaa epäonnistumiset. Uutisvirta suosii varmoja kannanottoja, vaikka epävarmuus olisi rehellisempää. Kalibrointi vaatii kirjaamista ja nöyryyttä.
Brier-pisteet lyhyesti
Kalibrointia voidaan mitata esimerkiksi Brier-pisteillä: mitä lähempänä ennuste oli lopputulosta, sitä parempi. Järjestelmä palkitsee sekä oikeasta suunnasta että oikeasta varmuudesta. 50 prosentin ennuste ei ole häpeä, jos epävarmuus on todellista.
Miten parantaa kalibrointia
- Kirjaa ennusteet ja todennäköisyydet etukäteen.
- Arvioi säännöllisesti, toteutuivatko ne odotetulla tavalla.
- Erottele tietämys ja mielipide toisistaan.
- Kysy, mikä olisi muuttanut mielesi.
Markkinat kalibroinnin apuna
Ennustemarkkinan hinta antaa ulkopuolisen vertailukohdan. Jos oma arvio poikkeaa markkinasta paljon, joko sinulla on tietoa, jota markkinalla ei ole, tai olet väärässä. Molemmat ovat hyödyllisiä havaintoja.
Lähteet
Mitä tämä tarkoittaa käytännössä
Aloita pienestä: kirjaa kymmenen ennustetta ja niiden todennäköisyydet. Kuukauden päästä tarkista, kuinka moni toteutui. Jos sanoit usein ”90 prosenttia” mutta vain puolet toteutui, olit liian varma. Tämä on arvokkaampaa kuin yksittäisen ennusteen osuminen.
Kalibrointi ei tee ennusteista oikeita. Se tekee niistä rehellisempiä. Hyvä ennustaja voi olla väärässä ja silti hyvin kalibroitunut, jos todennäköisyydet vastaavat pitkän aikavälin taajuuksia.
Yleisimmät virheet
- Vain onnistumisten muistaminen.
- Epävarmuuden piilottaminen varmojen lauseiden taakse.
- Ennusteiden jälkikäteinen muuttaminen.
- Kalibroinnin sekoittaminen osumatarkkuuteen.