Konfidensintervall og prediksjonsintervall

Innledning: Her finner du en definisjon av konfidensintervall og en diskusjon av denne definisjonen, inkludert en diskusjon om hvordan man skal tolke et konfidensintervall. Når man starter med å lære om konfidensintervall kan mye av dette for en del oppfattes som ganske vanskelig. En alternativ inngang til begrepet konfidensintervall er å studere eksemplet på utregning av konfidensintervall gitt under begrepet «Utlede et konfidensintervall» på temasiden for regneprosedyrer for konfidensintervall og prediksjonsintervall. Etter å ha studert dette vil man være bedre rustet til å forstå den formelle definisjonen av konfidensintervall som er gitt her.

Definisjon: Anta at vi har stokastiske variabler \(X_1,X_2,\ldots,X_n\) der sannsynlighetsfordelingen for disse inneholder en parameter \(\theta\), og der verdien til parameteren \(\theta\) er ukjent. La \(x_1,x_2,\ldots,x_n\) betegne observerte verdier for de stokastiske variablene \(X_1,X_2,\ldots,X_n\). Anta videre at man for to observatorer \(\widehat{\theta}_L(X_1,X_2,\ldots,X_n)\) og \(\widehat{\theta}_U(X_1,X_2,\ldots,X_n)\) har at \[ P\left(\widehat{\theta}_L(X_1,X_2,\ldots,X_n) \leq \theta \leq \widehat{\theta}_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha, \] der \(\alpha \in (0,1)\). Det numeriske intervallet \[ \left[\widehat{\theta}_L(x_1,x_2,\ldots,x_n),\widehat{\theta}_U(x_1,x_2,\ldots,x_n)\right] \] kalles da et \((1-\alpha)\cdot 100\%\)-konfidensintervall for \(\theta\).

Kommentar: Typiske verdier for \(\alpha\) er \(0.05\), \(0.10\) og \(0.01\). Verdien \(1-\alpha\) kalles konfidenskoeffisienten til intervallet. Hvis \(\alpha=0.05\) sier vi for eksempel at vi har et \(95\%\)-konfidensintervall.

Kommentar: I definisjonen over er \(\widehat{\theta}_L(X_1,X_2,\ldots,X_n)\) og \(\widehat{\theta}_U(X_1,X_2,\ldots,X_n)\) antatt å være observatorer. Dette innebærer at disse skal være observerbare, slik at når man har observert tallverdier \(x_1,x_2,\ldots,x_n\) for de stokastiske variablene \(X_1,X_2,\ldots,X_n\) skal man være i stand til å regne ut tallverdier for \(\widehat{\theta}_L(x_1,x_2,\ldots,x_n)\) og \(\widehat{\theta}_U(x_1,x_2,\ldots,x_n)\). Som for alle observatorer, kan dermed disse to observatorene ikke være funksjoner at parametre som man ikke kjenner verdien til.

Kommentar: \(\widehat{\theta}_L\) og \(\widehat{\theta}_U\) er funksjoner av \(n\) variabler og vil typisk være definert ved formler. Hvis vi setter inn de stokastiske variablene \(X_1,X_2,\ldots,X_n\) i disse funksjonene blir resultatet stokastiske variabler, mens vi i stedet setter inn de observerte tallene \(x_1,x_2,\ldots,x_n\) får vi tall som resultat.

Kommentar: Et konfidensintervall er altså et numerisk intervall, så grensene i konfidensintervallet er tall. Konfidensintervallet må ikke forveksles med \[ \left[\widehat{\theta}_L(X_1,X_2,\ldots,X_n),\widehat{\theta}_U(X_1,X_2,\ldots,X_n)\right], \] der grensene er observatorer (og dermed stokastiske variabler) og kalles ofte en intervallestimator. Forskjellen mellom et konfidensintervall og tilhørende intervallestimator er tilsvarende som mellom et estimat og en estimator. En estimator er en stokastisk variabel og en intervallestimator er et intervall der nedre og øvre grense er stokastiske variabler, mens et estimat er et tall og et konfidensintervall er et intervall der nedre og øvre grense er tall. For å gjøre analogien til en estimator og et estimat klarere bruker en del tekster et kalle et konfidensintervall for et intervallestimat.

Noe som kan gjøre det ekstra komplisert å holde et klart skille mellom et konfidensintervall og tilhørende intervallestimator er at en del tekster (inkludert en del tidligere eksamensoppgaver) ikke skiller klart mellom de to og omtaler begge som konfidensintervall.

Utregning av et konfidensintervall: For å regne ut et konfidensintervall må man først finne formler for observatorer \(\widehat{\theta}_L(X_1,X_2,\ldots,X_n)\) og \(\widehat{\theta}_U(X_1,X_2,\ldots,X_n)\) slik at \[ P\left(\widehat{\theta}_L(X_1,X_2,\ldots,X_n) \leq \theta \leq \widehat{\theta}_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha. \] Deretter finner man konfidensintervallet ved å erstatte de stokastiske variablene \(X_1,X_2,\ldots,X_n\) med de observerte verdiene \(x_1,x_2,\ldots,x_n\) i formlene for disse to observatorene. En trinn-for-trinn beskrivelse for dette er gitt på temasiden med regneprosedyrer for konfidensintervall og prediksjonsintervall.

Tolkning: For å gi en korrekt tolkning av et konfidensintervall må man ta utgangspunkt i sannsynlighetsuttrykket \[ P\left(\widehat{\theta}_L(X_1,X_2,\ldots,X_n) \leq \theta \leq \widehat{\theta}_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha, \] og kombinere dette med vår tolkning av sannsynlighet. Vi tolker sannsynlighet for en hendelse \(A\) som den relative hyppigheten av hendelsen \(A\) når vi gjentar det stokastiske forsøket uendelig mange ganger. Les eventuelt mer om tolkning av sannsynlighet under begrepet «Sannsynlighet» på temasiden for hendelser og sannsynlighet.

Det stokastiske forsøket det er snakk om her er det at vi observerer verdiene \(x_1,x_2,\ldots,x_n\) for de stokastiske variablene \(X_1,X_2,\ldots,X_n\) og hendelsen er at den sanne (ukjente) verdien til \(\theta\) ligger inni konfidensintervallet. For å tolke sannsynlighetsuttrykket over må vi dermed tenke oss at vi gjentar det å observere verdier \(x_1,x_2,\ldots,x_n\) for \(X_1,X_2,\ldots,X_n\) og regner ut tilhørende konfidensintervall uendelig mange ganger. Hver gang observerer vi altså nye verdier \(x_1,x_2,\ldots,x_n\) og får et nytt konfidensintervall, mens verdien til \(\theta\) er et tall og dermed lik for alle forsøkene. Vi får dermed uendelig mange konfidensintervall og sannsynlighetsuttrykket over sier at for en andel \(1-\alpha\) av disse ligger \(\theta\) inne i konfidensintervallet.

I praksis gjør vi selvfølgelig forsøket bare en gang og regner dermed bare ut et konfidensintervall. For dette konfidensintervallet har vi to muligheter, enten ligger \(\theta\) inne i intervallet eller så ligger \(\theta\) utenfor intervallet, og vi vet ikke hvilken av disse som er korrekt. Det finnes ikke noe sannsynlighetsuttrykk som sier noe om det spesielle konfidensintervallet vi observerer. Sannsynligheten \(1-\alpha\) er kun relatert til den prosedyren eller fremgangsmåten vi benytter for å komme frem til konfidensintervallet, ikke til det spesielle konfidensintervallet vi endte opp med.

Simuleringseksempel: En måte for å visualisere tolkningen av konfidensintervall diskutert over, er å benytte Matlab til å simulere observerte verdier \(x_1,x_2,\ldots,x_n\) og regne ut tilhørende konfidensintervall. Vi kan da lett gjenta forsøket mange ganger, men selvfølgelig bare et endelig antall ganger. I figuren under har vi tatt utgangspunkt i at \(X_i\)-ene er normalfordelte med forventingsverdi \(\mu=20\) og varians \(\sigma^2=5^2\). I hvert forsøk genererer vi først \(n=30\) observasjoner fra den spesifiserte normalfordelingen, betrakter så både \(\mu\) og \(\sigma^2\) som ukjente og regner ut et \(95\%\)-konfidensintervall for \(\mu\). Vi gjentar forsøket \(50\) ganger. Figuren viser de resulterende konfidensintervallene, og siden dette er et simuleringsforsøk slik at vi faktisk kjenner den sanne verdien til \(\mu\) er denne markert med en stipla rød linje i figuren. Vi ser at \(48\) av de \(n=50\) konfidensintervallene inneholder den sanne verdien \(\mu=20\).

Innledning: Her finner du en definisjon av prediksjonsintervall og en diskusjon av denne definisjonen, inkludert en diskusjon om hvordan man skal tolke et prediksjonsintervall. Når man starter med å lære om prediksjonsintervall kan mye av dette for en del oppfattes som ganske vanskelig. En alternativ inngang til begrepet prediksjonsintervall er å studere eksemplet på utregning av prediksjonsintervall gitt under begrepet «Utlede et prediksjonsintervall» på temasiden for regneprosedyrer for konfidensintervall og prediksjonsintervall. Etter å ha studert dette vil man være bedre rustet til å forstå den formelle definisjonen av predikssjonsintervall som er gitt her.

Definisjon: Anta at vi har stokastiske variabler \(X_1,X_2,\ldots,X_n\) der sannsynlighetsfordelingen til disse kan avhenge av en eller flere parametre som vi ikke kjenner verdien til, og la \(x_1,x_2,\ldots,x_n\) betegne observerte verdier for de stokastiske variablene \(X_1,X_2,\ldots,X_n\). Anta videre at vi har en annen stokastisk variabel \(X^\star\) som representerer en fremtidig observasjon og sannsynlighetsfordelingen til denne avhenger av de samme ukjente parametrene. Anta så at vi for to observatorer \(\hat{X}^\star_L(X_1,X_2,\ldots,X_n)\) og \(\hat{X}^\star_U(X_1,X_2,\ldots,X_n)\) har at \[ P\left(\hat{X}^\star_L(X_1,X_2,\ldots,X_n) \leq X^\star \leq \hat{X}^\star_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha, \] der \(\alpha \in (0,1)\). Det numeriske intervallet \[ \left[\hat{X}^\star_L(x_1,x_2,\ldots,x_n),\hat{X}^\star_U(x_1,x_2,\ldots,x_n)\right] \] kalles da et \((1-\alpha)\cdot 100\%\)-prediksjonsintervall for \(X^\star\).

Kommentar: Typiske verdier for \(\alpha\) er \(0.05\), \(0.10\) og \(0.01\). Hvis \(\alpha=0.05\) sier vi for eksempel at vi har et \(95\%\)-prediksjonsintervall.

Kommentar: I definisjonen over er \(\hat{X}^\star_L(X_1,X_2,\ldots,X_n)\) og \(\hat{X}^\star_U(X_1,X_2,\ldots,X_n)\) antatt å være observatorer. Dette innebærer at disse skal være observerbare, slik at når man har observert tallverdier \(x_1,x_2,\ldots,x_n\) for de stokastiske variablene \(X_1,X_2,\ldots,X_n\) skal man være i stand til å regne ut tallverdier for \(\hat{X}^\star_L(x_1,x_2,\ldots,x_n)\) og \(\hat{X}^\star_U(x_1,x_2,\ldots,x_n)\). Spesielt kan disse observatorene ikke være funksjoner av parametre som en ikke kjenner verdien til.

Kommentar: \(\hat{X}^\star_L\) og \(\hat{X}^\star_U\) er funksjoner av \(n\) variabler og vil typisk være definert ved formler. Hvis vi setter inn de stokastiske variablene \(X_1,X_2,\ldots,X_n\) i disse funksjonene blir resultatet stokastiske variabler, mens vi i stedet setter inn de observerte tallene \(x_1,x_2,\ldots,x_n\) får vi tall som resultat.

Kommentar: Et prediksjonsintervall er altså et numerisk intervall, så grensene i prediskjonsintervallet er tall. Prediksjonsintervallet må ikke forveksles med \[ \left[\hat{X}^\star_L(X_1,X_2,\ldots,X_n),\hat{X}^\star_U(X_1,X_2,\ldots,X_n)\right], \] der grensene er observatorer (og dermed stokastiske variabler). Forskjellen mellom et prediksjonsintervall og det stokastiske intervallet er helt tilsvarende som forskjellen mellom et konfidensintervall og en intervallestimator, se derfor diskusjonen om dette under temaet «Konfidensintervall» lenger opp på denne temasiden.

Utregning av et prediksjonsintervall: For å regne ut et prediksjonsintervall må man først finne formler for observatorer \(\hat{X}^\star_L(X_1,X_2,\ldots,X_n)\) og \(\hat{X}^\star_U(X_1,X_2,\ldots,X_n)\) slik at \[ P\left(\hat{X}^\star_L(X_1,X_2,\ldots,X_n) \leq X^\star \leq \hat{X}^\star_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha. \] Deretter finner man prediksjonsintervallet ved å erstatte de stokastiske variablene \(X_1,X_2,\ldots,X_n\) med de observerte verdiene \(x_1,x_2,\ldots,x_n\) i formlene for disse to observatorene. En trinn-for-trinn beskrivelse for dette er gitt på temasiden med regneprosedyrer for konfidensintervall og prediksjonsintervall.

Tolkning: For å gi en korrekt tolkning av et prediksjonsintervall må man ta utgangspunkt i sannsynlighetsuttrykket \[ P\left(\hat{X}^\star_L(X_1,X_2,\ldots,X_n) \leq X^\star \leq \hat{X}^\star_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha, \] og kombinere dette med vår tolkning av sannsynlighet. Vi tolker sannsynlighet for en hendelse \(A\) som den relative hyppigheten av hendelsen \(A\) dersom vi gjentar det stokastiske forsøket uendelig mange gang. Les eventuelt mer om tolkning av sannsynlighet under begrepet «Sannsynlighet» på temasiden for hendelser og sannsynlighet.

Det stokastiske forsøket det er snakk om her er det at vi observerer verdiene \(x_1,x_2,\ldots,x_n\) for de stokastiske variablene \(X_1,X_2,\ldots,X_n\) og at vi observerer en verdi \(x^\star\) for den stokastiske variabelen \(X^\star\). Hendelsen det er snakk om er at den observerte verdien \(x^\star\) ligger inni prekisjonsintervallet. For å tolke prediksjonsintervallet må vi dermed tenke oss at vi gjentar det å observere verdier \(x_1,x_2,\ldots,x_n\) for \(X_1,X_2,\ldots,X_n\) og en verdi \(x^\star\) for \(X^\star\) uendelig mange ganger. Hver gang observerer vi altså nye verdier \(x_1,x_2,\ldots,x_n\) og får dermed et nytt prediksjonsintervall, og observerer en ny verdi \(x^\star\). Sannsynlighetsuttrykket over sier at for en andel \(1-\alpha\) av disse forsøkene vil \(x^\star\) ligge inne i prediskjonsintervallet.

I praksis gjør vi selvfølgelig forsøket bare en gang (og observerer kun verdiene \(x_1,x_2,\ldots,x_n\), men ikke \(x^\star\)!) og regner dermed bare ut et prediksjonsintervall. For dette prediksjonsintervallet har vi to muligheter for en fremtidig observasjon \(x^\star\), enten vil den fremtidige observasjonen \(x^\star\) ligge inne i intervallet eller så vil \(x^\star\) komme utenfor intervallet. Det finnes ikke noe sannsynlighetsuttrykk som sier noe om det spesielle prediksjonsintervallet vi fikk. Sannsynligheten \(1-\alpha\) er altså kun relatert til den prosedyren eller fremgangsmåten vi benytter for å komme frem til prediksjonsintervallet, ikke til det spesielle prediksjonsintervallet vi endte opp med.

Simuleringseksempel: En måte for å visualisere tolkningen av prediksjonsintervall diskutert over, er å benytte Matlab til å simulere observerte verdier \(x_1,x_2,\ldots,x_n\), regne ut tilhørende prediksjonsintervall fra disse, og så simulere en verdi \(x^\star\) for den fremtidige observasjonen. Vi kan da lett gjenta forsøket mange ganger, men bare et endelig antall ganger selvfølgelig. I figuren under har vi tatt utgangspunkt i at \(X_i\)-ene er normalfordelte med forventingsverdi \(\mu=20\) og varians \(\sigma^2=5^2\). I hvert forsøk genererer vi først \(n=30\) observasjoner fra den spesifiserte normalfordelingen, betrakter så både \(\mu\) og \(\sigma^2\) som ukjente og regner ut et \(95\%\)-prediksjonsintervall for en fremtidig observasjon fra den samme normalfordelingen. Vi gjentar forsøket \(50\) ganger. Figuren viser de resulterende prediksjonsintervallene tegnet i blått. Den simulerte fremtidige observasjonen \(x^\star\) er vist som et rødt kryss. De samme verdiene \(x_1,x_2,\ldots,x_n\) er også benyttet til å regne ut et \(95\%\)-konfidensintervall for \(\mu\) og dette er tegnet i grønt sammen med tilhørende prediksjonsintervall. Den sanne verdien \(\mu=20\) er markert med en stiplet rød linje. Vi ser at \(47\) av de \(n=50\) prediksjonsintervallene inneholder den simulerte fremtidige obervasjonen \(x^\star\), mens \(48\) av de \(50\) konfidensintervallene inneholder den sanne verdien \(\mu=20\).