Evaluering av Tippeligamodellen etter 5 runder

Nå er det spilt fem runder i Tippeligaen og totalt 40 kamper. Det betyr at det vi har 40 kamper å evaluere Tippeligamodellen mot for å se om den stemmer sånn noenlunde eller om den har vært helt på bærtur og det bare er å skrinlegge hele prosjektet.

For å kunne evaluere noe må vi først og fremst ha en metode for evaluering. Tippeligamodellen er dog ikke første gang noen har laget modeller for å prøve å spå utfallet i sportskamper, og det finnes forskjellige statistiske scoringmetoder for å evaluere modeller. For fotballkamper velger vi å bruke Rank Probability Score (RPS) siden den ikke bare tar hensyn til om modellen har størst tro på det som blir riktig utfall i kampen, men også straffer modellen mer dess mer feil den har. Det vil si at om modellen har størst tro på hjemmeseier, så blir den straffet mer dersom det blir borteseier enn uavgjort. Man trenger jo flere mål for å gjøre en B om til en H enn for å gjøre en U om til en H. Kort fortalt “måler” denne metoden avstanden mellom det man har tippet og det som faktisk skjedde, og jo nærmere 0 man er jo bedre har tipset vært.

I tillegg til å ha en metode for evaluering, så er det også greit å ha andre modeller å sammenligne med. For det første bør jo modellen være bedre enn ren tilfeldighet, så den første modellen vi sammenligner med er en modell som antar at det er like stor sannsynlighet for hjemmeseier, uavgjort og borteseier. I tillegg finnes det jo ren statistikk, og i sesongene 2009-2014 så var det 49,4% hjemmeseier, 25,2% uavgjort og 25,4% borteseier. Så modellen vi kaller statistikk har dette som tips. I tillegg til dette er det jo andre som også setter sannsynligheter på forskjellige utfall, og vi har i hver runde sammenlignet modellens tips med Norsk Tipping. Så den tredje modellen vi sammenligner med er Oddsen, som omregner oddsen til sannsynlighet og fjerner “house cut”.

For de første 5 serierundene får vi da denne evalueringen, for hver runde individuelt og totalt. Den laveste scoren per runde er uthevet:

RPS evaluering de første 5 rundene.

Vi ser her at når det er mange uavgjorte kamper så gjør “tilfeldig” det relativt bra, og “statistikk” gjør det bra når det er få borteseiere. De har også én “rundeseier” hver, mens de tre andre rundene og totalt har gått til Tippeligamodellen, mens Oddsen fremdeles har til gode å vinne. Nå skal det presiseres at formålet til Oddsen ikke er å tippe rett utfall i kampen, men å tjene penger. I tillegg er det variasjon fra runde til runde, og det er totalen som er det viktige i evalueringen.

For Tippeligamodellen sin del, så har de første fem rundene vært oppløftende og denne evalueringen viser at den har truffet bra til nå. Det er med andre ord bare å fortsette med modellen, og i morgen kommer en oppsummering av de første 5 rundene samt en oppdatering på hvordan modellen nå tror det går til slutt.