Temaside for TMA4240/TMA4245 Statistikk

Begreper, definisjoner og tolkninger

Konfidensintervall og prediksjonsintervall

På denne temasiden skal vi ta utgangspunkt i samme situasjon som vi gjorde på temasiden for parameterestimering. Vi er dermed interessert i verdien til en ukjent størrelse \(\theta\). Det er ikke mulig å måle denne størrelsen eksakt, men vi kan gjøre målinger eller observasjoner der verdiene vi observerer avhenger av verdien til \(\theta\). Vi antar at vi innhenter informasjon om verdien til \(\theta\) ved å gjøre \(n\) slike målinger, og lar den stokastiske variabelen \(X_i\) betegne resultatet av måling nummer i. Vi antar videre at vi gjør målingene på en slik måte at det er rimelig å anta at \(X_1,X_2,\ldots,X_n\) er uavhengige stokastiske variabler og at de alle har samme sannsynlighetsfordeling. Den felles sannsynlighetsfordelingen for \(X_i\)-ene betegner vi med \(f(x;\theta)\). Vi antar at vi kjenner en formel for \(f(x;\theta)\), men at \(\theta\) inngår i denne formelen og verdien til \(\theta\) er som tidligere nevnt ukjent. På temasiden for parameterestimering så vi på hvordan man kunne anslå eller estimere verdien til \(\theta\) ut fra observerte verdier \(x_1,x_2,\ldots,x_n\) for \(X_1,X_2,\ldots,X_n\). På temasiden du nå ser på skal vi se på hvordan man ut fra de samme observerte verdiene \(x_1,x_2,\ldots,x_n\) også kan regne ut et intervall som i en viss forstand inneholder verdien til \(\theta\) med en spesifisert sannsynlighet. Et slikt konfidensintervall angir dermed hva som er rimelige verdier for \(\theta\) ut fra observasjonene \(x_1,x_2,\ldots,x_n\), og lengden på konfidensintervallet tallfester hvor sikker vi er på verdien til \(\theta\).

Vi skal på denne temasiden også se på hvordan vi fra observasjonene \(x_1,x_2,\ldots,x_n\) kan regne ut et intervall som med en spesifisert sannsynlighet vil inneholde verdien til en ny observasjon. Et slikt intervall kalles et prediksjonsintervall siden det predikerer (eller forutsier) hva vi vil kommer til å observere dersom vi en gang i fremtiden gjør en ny observasjon.

Introduksjonsvideo: Konfidensintervall (16:46, Håkon Tjelmeland)

Sentrale begreper

Trykk på det grå feltet for mer informasjon om temaet.

Konfidensintervall

Konfidensintervall

Innledning: Her finner du en definisjon av konfidensintervall og en diskusjon av denne definisjonen, inkludert en diskusjon om hvordan man skal tolke et konfidensintervall. Når man starter med å lære om konfidensintervall kan mye av dette for en del oppfattes som ganske vanskelig. En alternativ inngang til begrepet konfidensintervall er å studere eksemplet på utregning av konfidensintervall gitt under begrepet «Utlede et konfidensintervall» på temasiden for regneprosedyrer for konfidensintervall og prediksjonsintervall. Etter å ha studert dette vil man være bedre rustet til å forstå den formelle definisjonen av konfidensintervall som er gitt her.

Definisjon: Anta at vi har stokastiske variabler \(X_1,X_2,\ldots,X_n\) der sannsynlighetsfordelingen for disse inneholder en parameter \(\theta\), og der verdien til parameteren \(\theta\) er ukjent. La \(x_1,x_2,\ldots,x_n\) betegne observerte verdier for de stokastiske variablene \(X_1,X_2,\ldots,X_n\). Anta videre at man for to observatorer \(\widehat{\theta}_L(X_1,X_2,\ldots,X_n)\) og \(\widehat{\theta}_U(X_1,X_2,\ldots,X_n)\) har at \[ P\left(\widehat{\theta}_L(X_1,X_2,\ldots,X_n) \leq \theta \leq \widehat{\theta}_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha, \] der \(\alpha \in (0,1)\). Det numeriske intervallet \[ \left[\widehat{\theta}_L(x_1,x_2,\ldots,x_n),\widehat{\theta}_U(x_1,x_2,\ldots,x_n)\right] \] kalles da et \((1-\alpha)\cdot 100\%\)-konfidensintervall for \(\theta\).

Kommentar: Typiske verdier for \(\alpha\) er \(0.05\), \(0.10\) og \(0.01\). Verdien \(1-\alpha\) kalles konfidenskoeffisienten til intervallet. Hvis \(\alpha=0.05\) sier vi for eksempel at vi har et \(95\%\)-konfidensintervall.

Kommentar: I definisjonen over er \(\widehat{\theta}_L(X_1,X_2,\ldots,X_n)\) og \(\widehat{\theta}_U(X_1,X_2,\ldots,X_n)\) antatt å være observatorer. Dette innebærer at disse skal være observerbare, slik at når man har observert tallverdier \(x_1,x_2,\ldots,x_n\) for de stokastiske variablene \(X_1,X_2,\ldots,X_n\) skal man være i stand til å regne ut tallverdier for \(\widehat{\theta}_L(x_1,x_2,\ldots,x_n)\) og \(\widehat{\theta}_U(x_1,x_2,\ldots,x_n)\). Som for alle observatorer, kan dermed disse to observatorene ikke være funksjoner at parametre som man ikke kjenner verdien til.

Kommentar: \(\widehat{\theta}_L\) og \(\widehat{\theta}_U\) er funksjoner av \(n\) variabler og vil typisk være definert ved formler. Hvis vi setter inn de stokastiske variablene \(X_1,X_2,\ldots,X_n\) i disse funksjonene blir resultatet stokastiske variabler, mens vi i stedet setter inn de observerte tallene \(x_1,x_2,\ldots,x_n\) får vi tall som resultat.

Kommentar: Et konfidensintervall er altså et numerisk intervall, så grensene i konfidensintervallet er tall. Konfidensintervallet må ikke forveksles med \[ \left[\widehat{\theta}_L(X_1,X_2,\ldots,X_n),\widehat{\theta}_U(X_1,X_2,\ldots,X_n)\right], \] der grensene er observatorer (og dermed stokastiske variabler) og kalles ofte en intervallestimator. Forskjellen mellom et konfidensintervall og tilhørende intervallestimator er tilsvarende som mellom et estimat og en estimator. En estimator er en stokastisk variabel og en intervallestimator er et intervall der nedre og øvre grense er stokastiske variabler, mens et estimat er et tall og et konfidensintervall er et intervall der nedre og øvre grense er tall. For å gjøre analogien til en estimator og et estimat klarere bruker en del tekster et kalle et konfidensintervall for et intervallestimat.

Noe som kan gjøre det ekstra komplisert å holde et klart skille mellom et konfidensintervall og tilhørende intervallestimator er at en del tekster (inkludert en del tidligere eksamensoppgaver) ikke skiller klart mellom de to og omtaler begge som konfidensintervall.

Utregning av et konfidensintervall: For å regne ut et konfidensintervall må man først finne formler for observatorer \(\widehat{\theta}_L(X_1,X_2,\ldots,X_n)\) og \(\widehat{\theta}_U(X_1,X_2,\ldots,X_n)\) slik at \[ P\left(\widehat{\theta}_L(X_1,X_2,\ldots,X_n) \leq \theta \leq \widehat{\theta}_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha. \] Deretter finner man konfidensintervallet ved å erstatte de stokastiske variablene \(X_1,X_2,\ldots,X_n\) med de observerte verdiene \(x_1,x_2,\ldots,x_n\) i formlene for disse to observatorene. En trinn-for-trinn beskrivelse for dette er gitt på temasiden med regneprosedyrer for konfidensintervall og prediksjonsintervall.

Relevante kapitler: 9.3.
Relevante videoer:
\(\ \ \ \)Konfidensintervall (16:46, Håkon Tjelmeland).
\(\ \ \ \)Eksamen august 2015, oppgave 3a (18:09, Mette Langaa).
Relevante oppgaver:
\(\ \ \ \)Eksamen august 2016, oppgave 3d (b,n,e).
\(\ \ \ \)Eksamen mai 2016, oppgave 1c (b,n,e).
\(\ \ \ \)Eksamen august 2015, oppgave 3a (b,n,e).
\(\ \ \ \)Eksamen juni 2015, oppgave 3d (b,n,e).
\(\ \ \ \)Eksamen desember 2014, oppgave 3d (b,n,e).
\(\ \ \ \)Eksamen august 2014, oppgave 1d (b,n).
\(\ \ \ \)Eksamen mai 2014, oppgave 2e (b,n,e).
\(\ \ \ \)Eksamen desember 2013, oppgave 4a (b,n,e).
\(\ \ \ \)Eksamen august 2013, oppgave 3b (b,n,e).
\(\ \ \ \)Eksamen mai 2013, oppgave 3e (b,n,e).
\(\ \ \ \)Eksamen desember 2012, oppgave 3b (b,n,e).
\(\ \ \ \)Eksamen august 2012, oppgave 3cd (b).
\(\ \ \ \)Eksamen mai 2012, oppgave 2b (b,n,e).
\(\ \ \ \)Eksamen desember 2011, oppgave 3b (b,n,e).
\(\ \ \ \)Eksamen august 2011, oppgave 4d (b).
\(\ \ \ \)Eksamen juni 2011, oppgave 2c (b,n,e).
\(\ \ \ \)Eksamen juni 2011, oppgave 3b (b,n,e).
\(\ \ \ \)Eksamen desember 2010, oppgave 2b (b,n,e).
\(\ \ \ \)Eksamen august 2010, oppgave 1j (b,n,e).
\(\ \ \ \)Eksamen juni 2010, oppgave 2d (b,n,e).
\(\ \ \ \)Eksamen desember 2009, oppgave 3cd (b,n,e).
\(\ \ \ \)Eksamen mai 2009, oppgave 3b (b,n,e).


Tolkning av konfidensintervall

Tolkning av konfidensintervall

Tolkning: For å gi en korrekt tolkning av et konfidensintervall må man ta utgangspunkt i sannsynlighetsuttrykket \[ P\left(\widehat{\theta}_L(X_1,X_2,\ldots,X_n) \leq \theta \leq \widehat{\theta}_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha, \] og kombinere dette med vår tolkning av sannsynlighet. Vi tolker sannsynlighet for en hendelse \(A\) som den relative hyppigheten av hendelsen \(A\) når vi gjentar det stokastiske forsøket uendelig mange ganger. Les eventuelt mer om tolkning av sannsynlighet under begrepet «Sannsynlighet» på temasiden for hendelser og sannsynlighet.

Det stokastiske forsøket det er snakk om her er det at vi observerer verdiene \(x_1,x_2,\ldots,x_n\) for de stokastiske variablene \(X_1,X_2,\ldots,X_n\) og hendelsen er at den sanne (ukjente) verdien til \(\theta\) ligger inni konfidensintervallet. For å tolke sannsynlighetsuttrykket over må vi dermed tenke oss at vi gjentar det å observere verdier \(x_1,x_2,\ldots,x_n\) for \(X_1,X_2,\ldots,X_n\) og regner ut tilhørende konfidensintervall uendelig mange ganger. Hver gang observerer vi altså nye verdier \(x_1,x_2,\ldots,x_n\) og får et nytt konfidensintervall, mens verdien til \(\theta\) er et tall og dermed lik for alle forsøkene. Vi får dermed uendelig mange konfidensintervall og sannsynlighetsuttrykket over sier at for en andel \(1-\alpha\) av disse ligger \(\theta\) inne i konfidensintervallet.

I praksis gjør vi selvfølgelig forsøket bare en gang og regner dermed bare ut et konfidensintervall. For dette konfidensintervallet har vi to muligheter, enten ligger \(\theta\) inne i intervallet eller så ligger \(\theta\) utenfor intervallet, og vi vet ikke hvilken av disse som er korrekt. Det finnes ikke noe sannsynlighetsuttrykk som sier noe om det spesielle konfidensintervallet vi observerer. Sannsynligheten \(1-\alpha\) er kun relatert til den prosedyren eller fremgangsmåten vi benytter for å komme frem til konfidensintervallet, ikke til det spesielle konfidensintervallet vi endte opp med.

Simuleringseksempel: En måte for å visualisere tolkningen av konfidensintervall diskutert over, er å benytte Matlab til å simulere observerte verdier \(x_1,x_2,\ldots,x_n\) og regne ut tilhørende konfidensintervall. Vi kan da lett gjenta forsøket mange ganger, men selvfølgelig bare et endelig antall ganger. I figuren under har vi tatt utgangspunkt i at \(X_i\)-ene er normalfordelte med forventingsverdi \(\mu=20\) og varians \(\sigma^2=5^2\). I hvert forsøk genererer vi først \(n=30\) observasjoner fra den spesifiserte normalfordelingen, betrakter så både \(\mu\) og \(\sigma^2\) som ukjente og regner ut et \(95\%\)-konfidensintervall for \(\mu\). Vi gjentar forsøket \(50\) ganger. Figuren viser de resulterende konfidensintervallene, og siden dette er et simuleringsforsøk slik at vi faktisk kjenner den sanne verdien til \(\mu\) er denne markert med en stipla rød linje i figuren. Vi ser at \(48\) av de \(n=50\) konfidensintervallene inneholder den sanne verdien \(\mu=20\).

Relevante kapitler: 9.3.
Relevante videoer:
Relevante oppgaver:
\(\ \ \ \)Eksamen mai 2014, oppgave 2e (b,n,e).
\(\ \ \ \)Eksamen august 2012, oppgave 1e (b).


Prediksjonsintervall

Prediksjonsintervall

Innledning: Her finner du en definisjon av prediksjonsintervall og en diskusjon av denne definisjonen, inkludert en diskusjon om hvordan man skal tolke et prediksjonsintervall. Når man starter med å lære om prediksjonsintervall kan mye av dette for en del oppfattes som ganske vanskelig. En alternativ inngang til begrepet prediksjonsintervall er å studere eksemplet på utregning av prediksjonsintervall gitt under begrepet «Utlede et prediksjonsintervall» på temasiden for regneprosedyrer for konfidensintervall og prediksjonsintervall. Etter å ha studert dette vil man være bedre rustet til å forstå den formelle definisjonen av predikssjonsintervall som er gitt her.

Definisjon: Anta at vi har stokastiske variabler \(X_1,X_2,\ldots,X_n\) der sannsynlighetsfordelingen til disse kan avhenge av en eller flere parametre som vi ikke kjenner verdien til, og la \(x_1,x_2,\ldots,x_n\) betegne observerte verdier for de stokastiske variablene \(X_1,X_2,\ldots,X_n\). Anta videre at vi har en annen stokastisk variabel \(X^\star\) som representerer en fremtidig observasjon og sannsynlighetsfordelingen til denne avhenger av de samme ukjente parametrene. Anta så at vi for to observatorer \(\hat{X}^\star_L(X_1,X_2,\ldots,X_n)\) og \(\hat{X}^\star_U(X_1,X_2,\ldots,X_n)\) har at \[ P\left(\hat{X}^\star_L(X_1,X_2,\ldots,X_n) \leq X^\star \leq \hat{X}^\star_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha, \] der \(\alpha \in (0,1)\). Det numeriske intervallet \[ \left[\hat{X}^\star_L(x_1,x_2,\ldots,x_n),\hat{X}^\star_U(x_1,x_2,\ldots,x_n)\right] \] kalles da et \((1-\alpha)\cdot 100\%\)-prediksjonsintervall for \(X^\star\).

Kommentar: Typiske verdier for \(\alpha\) er \(0.05\), \(0.10\) og \(0.01\). Hvis \(\alpha=0.05\) sier vi for eksempel at vi har et \(95\%\)-prediksjonsintervall.

Kommentar: I definisjonen over er \(\hat{X}^\star_L(X_1,X_2,\ldots,X_n)\) og \(\hat{X}^\star_U(X_1,X_2,\ldots,X_n)\) antatt å være observatorer. Dette innebærer at disse skal være observerbare, slik at når man har observert tallverdier \(x_1,x_2,\ldots,x_n\) for de stokastiske variablene \(X_1,X_2,\ldots,X_n\) skal man være i stand til å regne ut tallverdier for \(\hat{X}^\star_L(x_1,x_2,\ldots,x_n)\) og \(\hat{X}^\star_U(x_1,x_2,\ldots,x_n)\). Spesielt kan disse observatorene ikke være funksjoner av parametre som en ikke kjenner verdien til.

Kommentar: \(\hat{X}^\star_L\) og \(\hat{X}^\star_U\) er funksjoner av \(n\) variabler og vil typisk være definert ved formler. Hvis vi setter inn de stokastiske variablene \(X_1,X_2,\ldots,X_n\) i disse funksjonene blir resultatet stokastiske variabler, mens vi i stedet setter inn de observerte tallene \(x_1,x_2,\ldots,x_n\) får vi tall som resultat.

Kommentar: Et prediksjonsintervall er altså et numerisk intervall, så grensene i prediskjonsintervallet er tall. Prediksjonsintervallet må ikke forveksles med \[ \left[\hat{X}^\star_L(X_1,X_2,\ldots,X_n),\hat{X}^\star_U(X_1,X_2,\ldots,X_n)\right], \] der grensene er observatorer (og dermed stokastiske variabler). Forskjellen mellom et prediksjonsintervall og det stokastiske intervallet er helt tilsvarende som forskjellen mellom et konfidensintervall og en intervallestimator, se derfor diskusjonen om dette under temaet «Konfidensintervall» lenger opp på denne temasiden.

Utregning av et prediksjonsintervall: For å regne ut et prediksjonsintervall må man først finne formler for observatorer \(\hat{X}^\star_L(X_1,X_2,\ldots,X_n)\) og \(\hat{X}^\star_U(X_1,X_2,\ldots,X_n)\) slik at \[ P\left(\hat{X}^\star_L(X_1,X_2,\ldots,X_n) \leq X^\star \leq \hat{X}^\star_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha. \] Deretter finner man prediksjonsintervallet ved å erstatte de stokastiske variablene \(X_1,X_2,\ldots,X_n\) med de observerte verdiene \(x_1,x_2,\ldots,x_n\) i formlene for disse to observatorene. En trinn-for-trinn beskrivelse for dette er gitt på temasiden med regneprosedyrer for konfidensintervall og prediksjonsintervall.

Relevante kapitler: 9.6.
Relevante videoer:
Relevante oppgaver:
\(\ \ \ \)Eksamen august 2014, oppgave 3c (b,n).
\(\ \ \ \)Eksamen mai 2014, oppgave 2e (b,n,e).
\(\ \ \ \)Eksamen desember 2013, oppgave 4b (b,n,e).
\(\ \ \ \)Eksamen mai 2013, oppgave 3f (b,n,e).
\(\ \ \ \)Eksamen desember 2012, oppgave 3c (b,n,e).
\(\ \ \ \)Eksamen august 2012, oppgave 1e (b).
\(\ \ \ \)Eksamen mai 2012, oppgave 4c (b,n,e).
\(\ \ \ \)Eksamen desember 2011, oppgave 3c (b,n,e).
\(\ \ \ \)Eksamen august 2009, oppgave 3c (n).


Tolkning av prediksjonsintervall

Tolkning av prediksjonsintervall

Tolkning: For å gi en korrekt tolkning av et prediksjonsintervall må man ta utgangspunkt i sannsynlighetsuttrykket \[ P\left(\hat{X}^\star_L(X_1,X_2,\ldots,X_n) \leq X^\star \leq \hat{X}^\star_U(X_1,X_2,\ldots,X_n)\right) = 1 - \alpha, \] og kombinere dette med vår tolkning av sannsynlighet. Vi tolker sannsynlighet for en hendelse \(A\) som den relative hyppigheten av hendelsen \(A\) dersom vi gjentar det stokastiske forsøket uendelig mange gang. Les eventuelt mer om tolkning av sannsynlighet under begrepet «Sannsynlighet» på temasiden for hendelser og sannsynlighet.

Det stokastiske forsøket det er snakk om her er det at vi observerer verdiene \(x_1,x_2,\ldots,x_n\) for de stokastiske variablene \(X_1,X_2,\ldots,X_n\) og at vi observerer en verdi \(x^\star\) for den stokastiske variabelen \(X^\star\). Hendelsen det er snakk om er at den observerte verdien \(x^\star\) ligger inni prekisjonsintervallet. For å tolke prediksjonsintervallet må vi dermed tenke oss at vi gjentar det å observere verdier \(x_1,x_2,\ldots,x_n\) for \(X_1,X_2,\ldots,X_n\) og en verdi \(x^\star\) for \(X^\star\) uendelig mange ganger. Hver gang observerer vi altså nye verdier \(x_1,x_2,\ldots,x_n\) og får dermed et nytt prediksjonsintervall, og observerer en ny verdi \(x^\star\). Sannsynlighetsuttrykket over sier at for en andel \(1-\alpha\) av disse forsøkene vil \(x^\star\) ligge inne i prediskjonsintervallet.

I praksis gjør vi selvfølgelig forsøket bare en gang (og observerer kun verdiene \(x_1,x_2,\ldots,x_n\), men ikke \(x^\star\)!) og regner dermed bare ut et prediksjonsintervall. For dette prediksjonsintervallet har vi to muligheter for en fremtidig observasjon \(x^\star\), enten vil den fremtidige observasjonen \(x^\star\) ligge inne i intervallet eller så vil \(x^\star\) komme utenfor intervallet. Det finnes ikke noe sannsynlighetsuttrykk som sier noe om det spesielle prediksjonsintervallet vi fikk. Sannsynligheten \(1-\alpha\) er altså kun relatert til den prosedyren eller fremgangsmåten vi benytter for å komme frem til prediksjonsintervallet, ikke til det spesielle prediksjonsintervallet vi endte opp med.

Simuleringseksempel: En måte for å visualisere tolkningen av prediksjonsintervall diskutert over, er å benytte Matlab til å simulere observerte verdier \(x_1,x_2,\ldots,x_n\), regne ut tilhørende prediksjonsintervall fra disse, og så simulere en verdi \(x^\star\) for den fremtidige observasjonen. Vi kan da lett gjenta forsøket mange ganger, men bare et endelig antall ganger selvfølgelig. I figuren under har vi tatt utgangspunkt i at \(X_i\)-ene er normalfordelte med forventingsverdi \(\mu=20\) og varians \(\sigma^2=5^2\). I hvert forsøk genererer vi først \(n=30\) observasjoner fra den spesifiserte normalfordelingen, betrakter så både \(\mu\) og \(\sigma^2\) som ukjente og regner ut et \(95\%\)-prediksjonsintervall for en fremtidig observasjon fra den samme normalfordelingen. Vi gjentar forsøket \(50\) ganger. Figuren viser de resulterende prediksjonsintervallene tegnet i blått. Den simulerte fremtidige observasjonen \(x^\star\) er vist som et rødt kryss. De samme verdiene \(x_1,x_2,\ldots,x_n\) er også benyttet til å regne ut et \(95\%\)-konfidensintervall for \(\mu\) og dette er tegnet i grønt sammen med tilhørende prediksjonsintervall. Den sanne verdien \(\mu=20\) er markert med en stiplet rød linje. Vi ser at \(47\) av de \(n=50\) prediksjonsintervallene inneholder den simulerte fremtidige obervasjonen \(x^\star\), mens \(48\) av de \(50\) konfidensintervallene inneholder den sanne verdien \(\mu=20\).

Relevante kapitler: 9.6.
Relevante videoer:
Relevante oppgaver:
\(\ \ \ \)Eksamen mai 2014, oppgave 2e (b,n,e).
\(\ \ \ \)Eksamen august 2012, oppgave 1e (b).


2017-02-20, Håkon Tjelmeland