Dette er en gammel utgave av dokumentet!
Probabilistisk flervalgsprøve
For probabilistiske flervalgsprøver er det meningen at man skal vurdere hvilken grad av tro man setter til hvert alternativ, i motsetning til å kun velge ett alternativ som på en tradisjonell flervalgsprøve (typisk det alternativet man vurderer som mest sannsynlig).
Det er til sammen 27 spørsmål, hvert med fire svaralternativer. Rekkefølge på spørsmål og svaralternativer randomiseres for hver deltaker. Testen skal gjennomføres uten hjelpemidler.
Det velges tilfeldig for hver deltager hvilken score funksjon som skal brukes, hvor man enten får logaritmisk eller kvadratisk score funksjon. Noen vil få feedback etter hvert spørsmål, mens andre vil ikke få feedback før prøven er ferdig. Det velges tilfeldig hvem av dere som deltar i to ulike trekninger av en premie på 500kr. I den ene trekningen har alle lik sannsynlighet for å vinne dersom de klarer minstekrav til score (\(40\%\) av maksimal score). Den andre trekningen trekkes vinneren med sannsynlighet proporsjonal med den poengsum ulike deltakere har oppnådd.
La \(\mathbf{r}=(r_1,r_2,\dots,r_4)\) være dine subjektive sannsynligheter for at de ulike svaralternativene på et gitt spørsmål er sanne (den grad av tro du faktisk har til hvert alternativ), og la \(\mathbf{p}=(p_1,p_2,\dots,p_4)\) være de sannsynlighetene du velger å oppgi på hvert svaralternativ (den fordelingen du skriver ned).
Logaritmisk score regnes ut fra den grad av tro (\(p_j\)) du oppgir for det alternativet \(j\) som viser seg å være riktig slik at du får
\[L(p_j)=\ln p_j\]
i poeng (se demo). Fra deltakers synspunkt vil poengsummen \(L\) ta verdien \(\ln p_i\) med sannsynlighet \(r_i\), og forventningsverdien er da
\[E(L)=\sum\limits_{i=1}^4r_i \ln p_i\]
Det kan vises at denne forventningsverdien maksimeres ved å velge hver \(p_i=r_i\), altså ved å oppgi dine egne subjektive sannsynligheter på hvert svaralternativ.
Den kvadratiske score-funksjonen avhenger av den totale fordelingen du oppgir for alle alternativene (\(p_1,p_2,p_3,p_4\)). Dersom alternativ \(j\) viser seg å være riktig blir
\[Q(\mathbf{p})=1-\sum_{i=1}^4 (p_i-d_i)^2\]
hvor \(d_i=1\) for \(i=j\) og 0 for \(i\neq j\). Dersom for eksempel alternativ 3 er riktig får du m.a.o. \[ Q(\mathbf{p}) = 1- \left((p_1-0)^2 + (p_2-0)^2 + (p_3-1)^2 + (p_4-0)^2\right) \] i poeng. Dersom du er helt sikker på at alternativ 3 er riktig maksimaliserer du altså \(Q\) ved å velge \(p_3=1\) og \(p_1=p_2=p_4=0\). Mer generelt, på samme måte som for logaritmisk score-funksjon, kan det vises at forventet score maksimaliseres ved å velge hver \(p_i=r_i\).
Begge scorefunksjonene er reskalert i flervalgsprøven slik at maksimum score per spørsmål er 1 og uniforme sannsynligheter (ingen kunnskap) gir score 0. Potensielle poeng gitt at ulike svaralternativ viser seg å bli riktige vises til enhver tid i parantes etter hvert svaralternativ når du tar prøven. Viktig før du tar prøven: Dersom du blir vurdert etter logaritmisk score funksjon og setter \(p_i=0\) for et alternativ som viser seg å være riktig vil din score settes til \(-\infty\) Merk også at beregnet poengsum avhenger kun av det relative forholdet mellom sannsynlighetene du velger. Det er m.a.o. ikke nødvendig at oppgitte valgte sannsynligheter summerer seg til 1.