Forventningsverdi og varians

Definisjon: Hvis \(X\) er en diskret stokastisk variabel med punktsannsynlighet \(f(x)\) er forventningsverdien til \(X\) gitt som \[ \text{E}[X] = \sum_x xf(x) \] der summen er over alle mulige verdier for \(X\). Hvis \(X\) er en kontinuerlig stokastisk variabel med sannsynlighetstetthet \(f(x)\) er forventningsverdien til \(X\) gitt som \[ \text{E}[X] = \int_{-\infty}^\infty x f(x) \text{d}x. \]

Notasjon: Det benyttes ulike notasjoner for forventningsverdien til en stokastisk variabel \(X\). Den mest vanlige er kanskje \(\text{E}[X]\) som benyttes i definisjonen over. 'E'-en er her forkortelse for det engelske ordet for forventningsverdi, 'expectation'. Den greske bokstaven \(\mu\) er også mye benyttet som et symbol for forventningsverdi, eventuelt \(\mu_X\) der indeksen angir hvilken stokastisk variabel \(\mu_X\) er forventningsverdien til.

Tolkning: For å gi en tolkning til \(E[X]\) må man huske på at den stokastiske variabelen får en verdi ved at vi gjør et stokastisk forsøk. Anta nå at vi gjentar dette forsøket \(n\) ganger. Den stokastiske variabelen \(X\) vil da få en verdi for hvert av disse forsøkene. La \( X_1,X_2,\ldots,X_n\) betegne verdiene \(X\) får i disse \(n\) forsøkene, og la \[ \bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \] betegne gjennomsnittsverdien til \(X\). Man kan da vise at dersom man lar \(n\) gå mot uendelig vil \(\bar{X}_n\) i en viss forstand konvergere mot forventningsverdien \(E[X]\), \[ \frac{1}{n}\sum_{i=1}^n X_i \rightarrow E[X] \ \ \ \text{når}\ n\rightarrow \infty. \] Vi kan altså tenke på \(E[X]\) som gjennomsnittsverdien til \(X\) når vi gjentar forsøket uendelig mange ganger.

Tolkning: En annen tolkning av forventingsverdien får man ved å observere at definisjonen av \( E[X]\) matematisk sett er identisk med definisjonen av tyngdepunktet til et endimensjonalt legeme som har masse eller massetetthet \(f(x)\) i posisjon \(x\). Hvis man har plottet \(f(x)\) kan man ut fra denne tolkningen anslå cirka hva forventningsverdien til \(X\) er. Figurene under viser to sannsynlighetsfordelinger \(f(x)\) og tilhørende forventningsverdier er markert. Figuren til venstre er for en diskret stokastisk variabel med forventningsverdi \(E[X]=2.5\), mens figuren til høyre er for en kontinuerlig stokastisk variabel med forventningsverdi \(E[X]=2\).

Spesialtilfelle: Dersom \(f(x)\) er symmetrisk om et punkt \(a\), dvs \(f(a-x)=f(a+x)\) for alle \(x\), vet vi at tyngdepunktet til et slikt legeme vil være i \(a\), og dermed vil også \(E[X]=a\). I figurene over er sannsynlighetstettheten til høyre symmetrisk om verdien \(2\), og dermed er \(E[X]=2\).

Regneregler: Forvetningsverdien til \(X\) er definert som en sum (for en diskret stokastisk variabel) eller et integral (for en kontinuerlig stokastisk variabel). Vi kjenner allerede en del regneregler for summer og integraler og ut fra disse kan man utlede tilsvarende regneregler for forventningsverdioperatoren \(E\). Disse regnereglene er oppsummert og kort diskutert på temasiden med regneregler for forventningsverdi og varians.

Definisjon: Variansen til en (diskret eller kontinuerlig) stokastisk variabel \(X\) med forventningsverdi \(E[X]=\mu\) er \[ \text{Var}[X] = \text{E}\left[ (X-\mu)^2\right]. \]

Notasjon: Det benyttes ulike notasjoner for variansen til en stokastisk variabel \(X\). Den mest vanlige er kanskje \(\text{Var}[X]\) som benyttes i definisjonen over. Symbolet \(\sigma^2\) er også mye benyttet, eventuelt \(\sigma^2_X\) der indeksen angir hvilken stokastisk variabel \(\sigma^2_X\) er variansen til.

Tolkning: Verdien til variansen har ikke en like klar tolkning som for forventningsverdien. Variansen er et mål på hvor mye observert verdi for \(X\) vil variere dersom man gjentar det stokastiske forsøket som den stokastiske variabelen \(X\) er definert ut fra. Dersom man for to stokastiske variabler \(X\) og \(Y\) har at \(\text{Var}[X] > \mbox{Var}[Y]\) vil altså verdien til \(Y\) variere mindre enn verdien til \(X\) når man gjentar det eller de stokastiske forsøkene som definerer \(X\) og \(Y\).

Kommentar: Variansen til \(X\), \(\text{Var}[X]\), har ikke samme enhet som \(X\). Dersom for eksempel \(X\) måles i meter (\(m\)) vil \(\text{Var}[X]\) måles i \(m^2\). Det er derfor ikke rimelig å sammenligne en verdi av \(X\) med verdien til \(\text{Var}[X]\). For å få et tall som er sammenlignbart med \(X\) kan man ta kvadratroten av \(\text{Var}[X]\). Tallet man da får kalles standardavviket til \(X\) og dette diskuteres lenger ned på denne temasiden.

Regneregler: \(\text{Var}[X]\) er definert som en forventningsverdi. Ut fra definisjonen av og regneregler for forventingsverdi kan man utlede regneregler for varians. Disse regnereglene er oppsummert og kort diskutert på temasiden med regneregler for forventningsverdi og varians.

Definisjon: Standardavviket til en stokastisk variabel \(X\) med forventningsverdi \(E[X]=\mu\) er \[ \text{SD}[X] = \sqrt{\text{Var}[X]} = \sqrt{\text{E}\left[ (X-\mu)^2\right]}. \]

Notasjon: Det benyttes ulike notasjoner for standardavviket til en stokastisk variabel \(X\). Den mest vanlige er kanskje \(\text{SD}[X]\) som benyttes i definisjonen over. 'SD' er her forkortelse for det engelske betegnelsen for standardavvik, 'standard deviation'. Symbolet \(\sigma\) er også mye benyttet som et symbol for standardavvik, eventuelt \(\sigma_X\) der indeksen angir hvilken stokastisk variabel \(\sigma_X\) er standardavviket til.

Tolkning: I likhet med variansen \(\text{Var}[X]\) er standardavviket \(\text{SD}[X]\) et mål på hvor mye verdien til \(X\) vil variere dersom man gjentar det stokastiske forsøket som den stokastiske variabelen \(X\) er definert ut fra. Standardavviket \(\text{SD}[X]\) har samme dimensjon som \(X\) og man kan gjerne tenke på \(\text{SD}[X]\) som typisk avvik mellom \(X\) og forventningsverdien til \(X\). Hvis man har plottet \(f(x)\) kan man ut fra denne tolkningen anslå cirka hva standardavviket til \(X\) er. Figurene under viser to sannsynlighetsfordelinger \(f(x)\) og tilhørende forventningsverdi og standardavvik er markert. Figuren til venstre er for en diskret stokastisk variabel med forventningsverdi \(\mu=2.5\) og standardavvik \(\sigma=1.369\), mens figuren til høyre er for en kontinuerlig stokastisk variabel med forventningsverdi \(\mu=2\) og standardavvik \(\sigma=1\).

Regneregler: Det er ikke vanlig å formulere regneregler for standardavvik. Dersom man har behov for regneregler for standardavvik benytter man heller den nære sammenhengen mellom standardavvik og varians sammen med regnereglene for varians.

Definisjon: Kovariansen mellom to stokastiske variabler \(X\) og \(Y\) er \[ \text{Cov}[X,Y] = \text{E}[(X-\mu_X)(Y-\mu_Y)], \] der \(\mu_X=\mbox{E}[X]\) er forventningsverdien til \(X\) og \(\mu_Y=\mbox{E}[Y]\) er forventningsverdien til \(Y\).

Notasjon: Det benyttes ulike notasjoner for kovariansen mellom to stokastiske variabler. Den mest vanlige er kanskje \(\text{Cov}[X,Y]\) som benyttes i definisjonen over. Symbolet \(\sigma_{XY}\) benyttes ofte også, der indeksene angir hvilke stokastiske variabler \(\sigma_{XY}\) er kovariansen mellom.

Tolkning: Det er først og fremst fortegnet til kovariansen det er vanlig å tolke. Dersom \(\text{Cov}[X,Y]>0\) vil store verdier av \(X\) tendere til å komme sammen med store verdier av \(Y\) og små verdier av \(X\) tendere til å komme sammen med små verdier av \(Y\), slik at man kan si at \(X\) og \(Y\) tenderer til å gå i takt. Dersom \(\text{Cov}[X,Y]<0\) er det motsatt. Da vil store verdier av \(X\) tendere til å komme sammen med små verdier av \(Y\) og små verdier av \(X\) tendere til å komme sammen med store verdier av \(Y\), og man kan si at \(X\) og \(Y\) tenderer til å gå i utakt. Plottet til venstre under viser genererte par \((x,y)\) fra en simultan sannsynlighetsfordeling hvor \(\text{Cov}[X,Y]>0\), mens plottene i midten og til høyre er tilsvarende for sannsynlighetsfordelinger hvor henholdsvis \(\text{Cov}[X,Y]=0\) og \(\text{Cov}[X,Y]<0\).

Kommentar: Som nevnt over er det vanlig kun å tolke fortegnet til kovariansen. Før man prøver å tolke tallverdien til kovariansen er det vanlig å standardisere kovariansen slik at man får et tall i intervallet \([-1,1]\). Denne standardiserte kovariensen kalles korrelasjon og er definert og diskutert lenger ned på denne temasiden.

Regneregler: Kovarians er definert som en forventningsverdi og dette gjør at man kan benytte regneregler for forventningsverdi til å utlede en del regneregler for kovarians. Disse regnereglene er oppsummert og kort diskutert på temasiden med regneregler for forventningsverdi og varians.

Definisjon: Korrelasjonen mellom to stokastiske variabler \(X\) og \(Y\) er \[ \text{Corr}[X,Y] = \frac{\text{Cov}[X,Y]}{\sqrt{\text{Var}[X] \cdot \text{Var}[Y]}}. \]

Notasjon: Det benyttes ulike notasjoner for korrelasjonen mellom to stokastiske variabler. Den mest vanlige er kanskje \(\text{Corr}[X,Y]\) som benyttes i definisjonen over. Den greske bokstaven \(\rho\) er også mye benyttet som et symbol for korrelasjon, eventuelt \(\rho_{XY}\) der indeksene angir hvilke stokastiske variabler \(\rho_{XY}\) er korrelasjonen mellom.

Kommentar: Korrelasjon er en standardisert versjon av kovarians og man kan vise at \(-1\leq \text{Corr}[X,Y]\leq 1\). Man kan dessuten vise at dersom en simultan sannsynlighetsfordeling har \(\text{Corr}[X,Y]=-1\) så vil alle par \((x,y)\) generert fra denne fordelingen ligge på en rett linje \(y=ax+b\) med \(a<0\). Tilsvarende kan man vise at dersom en simultan sannsylighetsfordeling har \(\text{Corr}[X,Y]=1\) så vil par \((x,y)\) generert fra denne fordelingen også ligge på en rett \(y=ax+b\), men nå vil man ha at \(a>0\).

Tolkning: Korrelasjon måler graden av lineær sammenheng mellom \(X\) og \(Y\). Man kan tolke både fortegnet og tallverdien til korrelasjonen. Fortegnet til \(\text{Corr}[X,Y]\) vil være lik fortegnet til \(\text{Cov}[X,Y]\). Fortegnet til korrelasjonen har dermed samme tolkning som fortegnet til kovariansen, så \(X\) og \(Y\) tenderer til å gå i takt dersom \(\text{Corr}[X,Y]>0\) og de tenderer til å gå i utakt dersom \(\text{Corr}[X,Y]<0\). Tallverdien til korrelasjonen angir i hvor stor grad \(X\) og \(Y\) går i takt eller utakt. Dersom \(\text{Corr}[X,Y]=0\) er det ingen lineær sammenheng mellom \(X\) og \(Y\), mens dersom \(\text{Corr}[X,Y]\) er lik \(-1\) eller \(+1\) er det en perfekt lineær sammenheng mellom \(X\) og \(Y\) i den forstand at alle par \((x,y)\) generert fra en sannsynlighetsfordeling med en slik korrelasjonen vil ligge på en rett linje \(y=ax+b\). Plottene under viser genererte par \((x,y)\) fra simultane sannsynlighetsfordelinger med korrelasjoner fra \(\text{Corr}[X,Y]=0\) til \(\text{Corr}[X,Y]=1\).

Kommentar: Man kan vise at dersom \(X\) og \(Y\) er uavhengige stokastiske variabler vil man alltid ha at \(\text{Cov}[X,Y]=0\), og dermed vil også \(\text{Corr}[X,Y]=0\). Dette resultatet er intuitivt rimelig, hvis det ikke er noen avhengighet mellom \(X\) og \(Y\) kan det heller ikke være noen lineær avhengighet mellom disse variablene. Man skal dog merke seg at man kan ha \(\text{Corr}[X,Y]=0\) selv om \(X\) og \(Y\) er avhengige. Plottet under viser genererte par \((x,y)\) fra en simultan sannsynlighetsfordeling med \(\text{Corr}[X,Y]=0\), men hvor \(X\) og \(Y\) er avhengige. Selv om \(X\) og \(Y\) her ikke er uavhengige er det altså ingen lineær avhengighet mellom \(X\) og \(Y\) og dette er grunnen til at korrelasjonen mellom \(X\) og \(Y\) blir null.

Regneregler: Korrelasjon er definert ved hjelp av varians og kovarians. Ved å benytte regneregler for varians og kovarians kan man dermed utlede regneregler også for korrelasjon. Disse regnereglene er oppsummert og kort diskutert på temasiden med regneregler for forventningsverdi og varians.