Temaside for TMA4240/TMA4245 Statistikk
Regneregler og regneprosedyrer
Forventningsverdi og varians
For lineære funksjoner av stokastiske variabler finnes det praktiske regneregler for å regne ut forventningsverdi, varians og kovarians. For forventningsverdi er disse regnereglene spesielt enkle. Konstanter (både additive og multiplikative) kan alltid kan settes utenfor forventningsopertoren \(E\) og forventingsverdien av en sum er alltid lik summen av forventingsverdiene. Det siste innebærer for eksempel at summetegn alltid kan settes utenfor forventningsoperatoren \(E\). Dette kan man oppsummere ved å si at \(E\) er en lineær operator. For varians må man passe litt bedre på når man benytter regneregler, blant annet fordi regnereglene her ser forskjellige ut avhengig av om man har en lineær funksjon av uavhengige eller avhengige variabler. Dersom man har en lineær funksjon av uavhengige stokastiske variabler (noe man ofte har) blir regnereglene også her ganske enkle, men \(\text{Var}\) er ikke en lineær operator slik \(E\) er.
Regnereglene for kovarians og korrelasjon er mye mindre brukt enn regnereglene for forventningsverdi og varians, men i noen situasjoner trenger man regneregler også for disse størrelsene. Mens forventingsverdi og varians er funksjoner av en stokastisk variabel, er kovarians og korrelasjon funksjoner av to stokastiske variabler eller argumenter. Regnereglene for kovarians kan man oppsummere ved å si at kovarians er lineær i hvert argument. Dette betyr at for hvert argument separat er regnereglene for kovarians identisk med regnereglene for forventingsverdi. Korrelasjonen for generelle lineære funksjoner får ingen enkel form og det er derfor ikke vanlig å formulere noen regneregel for denne situasjonen. Derimot har man at korrelasjonen mellom \(aX+b\) og \(cY+d\) er lik korrelasjonen mellom \(X\) og \(Y\) for alle \(a,c > 0\).
Sentrale begreper
Trykk på det grå feltet for mer informasjon om temaet.
Forventningsverdi for funksjoner av stokastiske variabler, \(E[g(X)]\)
Forventningsverdi for funksjoner av stokastiske variabler, \(E[g(X)]\)
Teorem: La \(X\) være en stokastisk variabel med fordeling \(f_X(x)\), og la \(Z = g(X)\) for en funksjon \(g(x)\). Hvis \(X\) er en diskret stokastisk variabel har man da \[ E[Z] = E[g(X)] = \sum_x g(x)f_X(x). \] Hvis \(X\) er en kontinuerlig stokastisk variabel har man \[ E[Z] = E[g(X)] = \int_{-\infty}^\infty g(x)f_X(x) \mbox{d}x. \]
Bevis
Bevis
Her gis kun bevis for tilfellet at \(X\) er en diskret stokastisk variabel. Når \(X\) er en diskret stokastisk variabel vil også \(Z\) være en diskret stokastisk variabel, og fordelingen for \(Z\) blir \[ f_Z(z) = P(Z=z) = \sum_{x:g(x)=z}f_X(x), \] der \(z\) er en mulig verdi for \(Z\) og summen er over alle mulige verdier av \(X\) slik at \(g(x)=z\). Forventningsverdien til \(Z\) er dermed per definisjon av forventningsverdi gitt som \[ E[Z] = \sum_z z\ f_Z(z), \] der summen er over alle mulige verdier for \(Z\). Ved å sette uttrykket for \(f_Z(z)\) inn i dette uttrykket for \(E[Z]\) får man dermed \[ E[Z] = \sum_z \left[ z\ \sum_{x:g(x)=z} f_X(x)\right] = \sum_z\left[\sum_{x:g(x)=z} z\ f_X(x)\right] = \sum_z\left[\sum_{x:g(x)=z} g(x)\ f_X(x)\right]. \] Ved å observere at dobbelsummen over \(z\) og \(x:g(x)=z\) summerer over de samme verdiene av \(x\) som en enkeltsum over alle mulige verdier for \(x\) får man \[ E[Z] = \sum_x g(x)\ f_X(x) \] og resultatet er bevist.
Kommentar: Det er også mulig å regne ut \(E[Z]\) direkte fra definisjonen av forventningsverdi, men da må man først finne sannsynlighetsfordelingen for \(Z\) og dette gir i de fleste tilfeller vanskeligere regning enn ved å benytte resultatet i teoremet over.
Kommentar: I praksis benytter man resultatet i teoremet over til å beregne \(E[Z]\) bare hvis \(g(x)\) er en ikke-lineær funksjon av \(x\). Hvis \(g(x)\) er en lineær funksjon av \(x\) finnes det andre regneregler for forventingsverdi som er enklere å benytte for å regne ut \(E[Z]\). Disse er diskuteret lenger ned på denne temasiden.
Kommentar: Teoremet over kan generaliseres til en situasjon hvor \(g(\cdot)\) er en funksjon av to eller flere stokastiske variabler. Her gis dette teoremet uten bevis.
Teorem: La \(X_1,X_2,\ldots,X_n\) være \(n\) stokastiske variabler med simultanfordeling \(f(x_1,x_2,\ldots,x_n)\), og la \(Z = g(X_1,X_2,\ldots,X_n)\) for en skalar funksjon \(g(x_1,x_2,\ldots,x_n)\), dvs \(g(x_1,x_2,\ldots,x_n)\in\mathbb{R}\). Hvis \(X_1,X_2,\ldots,X_n\) er diskrete stokastiske variabler har man da \[ E[Z] = E[g(X_1,X_2,\ldots,X_n)] = \sum_{x_1}\sum_{x_2}\cdots \sum_{x_n} g(x_1,x_2,\ldots,x_n)f(x_1,x_2,\ldots,x_n). \] Hvis \(X_1,X_2,\ldots,X_n\) er kontinuerlige stokastiske variabler har man \[ E[Z] = E[g(X_1,X_2,\ldots,X_n)] = \int_{-\infty}^\infty \int_{-\infty}^\infty \cdots \int_{-\infty}^\infty g(x_1,x_2,\ldots,x_n)f(x_1,x_2,\ldots,x_n) \mbox{d}x_1\mbox{d}x_2\cdots\mbox{d}x_n. \]
Varians for funksjoner av stokastiske variabler, \(\text{Var}[g(X)]\)
Varians for funksjoner av stokastiske variabler, \(\text{Var}[g(X)]\)
Teorem: La \(X\) være en stokastisk variabel med fordeling \(f_X(x)\), la \(Z = g(X)\) for en funksjon \(g(x)\) og la \(\mu_Z=E[Z]\) være forventningsverdien til \(Z\). Hvis \(X\) er en diskret stokastisk variabel har man da \[ \text{Var}[Z] = E\left[ (Z - \mu_Z)^2\right] = \sum_x (g(x)-\mu_Z)^2 f_X(x). \] Hvis \(X\) er en kontinuerlig stokastisk variabel har man \[ \text{Var}[Z] = E\left[ (Z - \mu_Z)^2\right] = \int_{-\infty}^\infty (g(x)-\mu_Z)^2 f_X(x) \mbox{d}x. \]
Bevis
Bevis
Definisjon av forventningsverdi og at \(Z=g(X)\) gir at \[ \text{Var}[Z] = E\left[ (Z-\mu_Z)^2\right] = E\left[ (g(X)-\mu_Z)^2\right]. \] Uttrykket \((g(X)-\mu_Z)^2\) er en funksjon av \(X\) så ved å benytte teoremet lenger oppe på denne temasiden angående forventningsverdien av en funksjon av \(X\) følger resultatet gitt i teoremet.
Kommentar: Det er også mulig å regne ut \(\text{Var}[Z]\) direkte fra definisjonen av varians, men da må man først bestemme sannsynlighetsfordelingen til \(Z\) og dette gir vanligvis vanskeligere regning enn ved å benytte resultatet i teoremet over.
Kommentar: I praksis benytter man resultatet i teoremet over til å beregne \(\text{Var}[Z]\) bare hvis \(g(x)\) er en ikke-lineær funksjon av \(x\). Hvis \(g(x)\) er en lineær funksjon av \(x\) finnes det andre regneregler for varians som er enklere å benytte for å regne ut \(\text{Var}[Z]\). Disse er diskuteret lenger ned på denne temasiden.
Kommentar: Teoremet over kan generaliseres til en situasjon hvor \(g(\cdot)\) er en funksjon av to eller flere stokastiske variabler. Her gis dette teoremet uten bevis.
Teorem: La \(X_1,X_2,\ldots,X_n\) være \(n\) stokastiske variabler med simultanfordeling \(f(x_1,x_2,\ldots,x_n)\), la \(Z = g(X_1,X_2,\ldots,X_n)\) for en skalar funksjon \(g(x_1,x_2,\ldots,x_n)\), dvs \(g(x_1,x_2,\ldots,x_n)\in\mathbb{R}\), og la \(\mu_Z=E[Z]\) være forventningsverdien til \(Z\). Hvis \(X_1,X_2,\ldots,X_n\) er diskrete stokastiske variabler har man da \[ \text{Var}[Z] = \text{Var}[g(X_1,X_2,\ldots,X_n)] = \sum_{x_1}\sum_{x_2}\cdots \sum_{x_n} \left(g(x_1,x_2,\ldots,x_n)-\mu_Z\right)^2 f(x_1,x_2,\ldots,x_n). \] Hvis \(X_1,X_2,\ldots,X_n\) er kontinuerlige stokastiske variabler har man \[ E[Z] = E[g(X_1,X_2,\ldots,X_n)] = \int_{-\infty}^\infty \int_{-\infty}^\infty \cdots \int_{-\infty}^\infty \left(g(x_1,x_2,\ldots,x_n)-\mu_Z\right)^2 f(x_1,x_2,\ldots,x_n) \mbox{d}x_1\mbox{d}x_2\cdots\mbox{d}x_n. \]
Lineære funksjoner av stokastiske variabler, \(\sum_{i=1}^n a_iX_i + b\)
Lineære funksjoner av stokastiske variabler, \(\sum_{i=1}^n a_iX_i + b\)
Definisjon: La \(X_1,X_2,\ldots,X_n\) være \(n\) stokastiske variabler. En lineær funksjon av disse stokastiske variablene er \[ \sum_{i=1}^n a_i X_i + b= a_1X_1 + a_2X_2 + \ldots + a_nX_n + b, \] der \(a_1,a_2,\ldots,a_n\) og \(b\) er konstanter.
Kommentar: Slike lineære funksjoner av en eller flere stokastiske variabler dukker ofte opp i statistikk og det finnes relativt enkle regneregler for forventingsverdi og varians for slike uttrykk. Mange benytter også begrepet lineærkombinasjon av \(X_1,X_2,\ldots,X_n\) om uttrykket over, men dette er strengt tatt bare korrekt når \(b=0\).
Relevante videoer:
Relevante oppgaver:
Forventningsverdi for lineære funksjoner av stokastiske variabler, \(E\left[\sum_{i=1}^n a_iX_i+b\right]\)
Forventningsverdi for lineære funksjoner av stokastiske variabler, \(E\left[\sum_{i=1}^n a_iX_i+b\right]\)
Teorem: La \(X\) være en stokastiske variabel og la \(a\) og \(b\) være konstanter. Da har vi at \[ E[ aX + b] = a E[X] + b. \]
Bevis
Bevis
Her beviser vi teoremet når \(X\) er en kontinuerlige stokastisk variabel. For en diskret stokastisk variabel kan teoremet bevises helt tilsvarende, men da må alle integraler i beviset gitt her byttes ut med summer over alle mulige verdier av \(X\).
Ifølge det siste teoremet gitt under 'Forventningsverdi for funksjoner av stokastiske variabler' lenger oppe på denne temasiden har vi at \[ E[aX + b] = \int_{-\infty}^\infty (aX + b) f(x) \text{d}x, \] der \(f(x)\) er sannsynlighetstettheten til \(X\). Ved først å gange \(f(x)\) inn i parentesen \((aX+b)\) og deretter benytte velkjente regneregler for integraler får vi fra dette at \begin{eqnarray} E[ aX + b] &=& \int_{-\infty}^\infty (axf(x) + bf(x)) \text{d}x\\ &=& \int_{-\infty}^\infty axf(x)\text{d}x + \int_{-\infty}^\infty bf(x)\text{d}x\\ &=& a\int_{-\infty}^\infty xf(x)\text{d}x + b\int_{-\infty}^\infty f(x)\text{d}x. \end{eqnarray} Det første av de to integralene på linja over er definisjonsmessig lik forventningsverdien til \(X\), \(E[X]\), mens en av egenskapene til sannsynlighetstettheter er at det siste integralet alltid er lik \(1\). Dermed har vi \[ E[aX+b] = aE[X]+b, \] og teoremet er bevist.
Spesialtilfeller: Det er to viktige spesialtilfeller av teoremet over.
- Hvis \(b=0\) får vi at: \(E[ax] = aE[X]\).
- Hvis \(a=0\) får vi at: \(E[b] = b\).
Kommentar: Det første spesialtilfellet gir at en multiplikative konstant \(a\) alltid kan settes utenfor forventingsverdioperatoren \(E\). Det andre spesialtilfellet gir at forventningsverdien til en konstant er lik konstanten selv. Dette siste er intuitivt rimelig dersom vi tenker på tolkningen vi har av forventningsverdi som gjennomsnittsverdien til verdiene vi får når vi gjentar et stokastisk forsøk uendelig mange ganger. Hvis vi gjentar et stokastisk forsøk som alltid gir samme verdi \(b\) vil naturlig nok gjennomsnittsverdien av uendelig mange slike resultat også bli \(b\).
Generalisering: Teoremet over kan generaliseres til lineære funksjoner av mer enn en stokastisk variabel. Under gis det generalle teoremet for en lineær funksjon av \(n\) stokastiske variabler, uten bevis. Dette teoremet kan bevises på en tilsvarende måte som teoremet gitt over, men krever en mer generall notasjon enn i beviset over.
Teorem: La \(X_1,X_2,\ldots,X_n\) være \(n\) stokastiske variabler og la \(a_1,a_2,\ldots,a_n\) og \(b\) være konstanter. Da har vi at \[ E\left[ \sum_{i=1}^n a_iX_i + b\right] = \sum_{i=1}^n a_iE[X_i] + b. \]
Kommentar: Fra teoremene over ser vi at både additive konstanter (\(b\) i teoremene over) og multiplikative konstanter (\(a_i\)-ene i teoremet over) kan settes utenfor forventingsverdioperatoren \(E\). Dessuten ser vi at summetegn også kan settes utenfor operatoren \(E\). Vi sier da at \(E\) er en linær operator.
Kommentar: Man skal merke seg at i teoremet over krever man ikke at \(X_1,X_2,\ldots,X_n\) skal være uavhengige. Den samme regneregelen gjelder altså både når \(X_1,X_2,\ldots,X_n\) er uavhengige og når de er avhengige.
Relevante videoer:
\(\ \ \ \)Regneregler for forventingsverdi av lineære funksjoner (28:59, Håkon Tjelmeland)
Relevante oppgaver:
\(\ \ \ \)Eksamen august 2014, oppgave 3a (b,n).
\(\ \ \ \)Eksamen mai 2013, oppgave 3d (b,n,e).
\(\ \ \ \)Eksamen august 2012, oppgave 3b (b).
\(\ \ \ \)Eksamen mai 2012, oppgave 4b (b,n,e).
\(\ \ \ \)Eksamen desember 2011, oppgave 3a (b,n,e).
\(\ \ \ \)Eksamen august 2011, oppgave 4b (b).
\(\ \ \ \)Eksamen juni 2011, oppgave 2c (b,n,e).
\(\ \ \ \)Eksamen juni 2011, oppgave 3b (b,n,e).
\(\ \ \ \)Eksamen desember 2010, oppgave 2b (b,n,e).
\(\ \ \ \)Eksamen desember 2010, oppgave 3a (b,n,e).
\(\ \ \ \)Eksamen desember 2009, oppgave 3a (b,n,e).
\(\ \ \ \)Eksamen august 2009, oppgave 2d (n).
\(\ \ \ \)Eksamen mai 2009, oppgave 2c (b,n,e).
Varians og kovarians uttrykt ved forventningsverdier, \(\text{Var}[X]=E[X^2]-E[X]^2\)
Varians og kovarians uttrykt ved forventningsverdier, \(\text{Var}[X]=E[X^2]-E[X]^2\)
Teorem: La \(X\) være en stokastisk variabel. Da har vi at \[ \text{Var}[X] = E[X^2] - E[X]^2. \]
Bevis
Bevis
La \(\mu=E[X]\) betegne forventningsverdien til \(X\). Fra definisjonen av varians har vi da \[ \text{Var}[X] = E\left[ (X-\mu)^2\right] = E\left[ X^2 - 2\mu X + \mu^2\right]. \] Siden uttrykket \(X^2-2\mu X+\mu^2\) er en lineær funksjon av de to stokastiske variablene \(X^2\) og \(X\), får man ved å benytte regneregler for lineære funksjoner av stokastiske variabler at \[ \text{Var}[X] = E\left[ X^2\right] - 2\mu E[X] + \mu^2, \] og siden \(\mu=E[X]\) har vi dermed at \[ \text{Var}[X] = E\left[ X^2\right] - 2E[X]^2 + E[X]^2 = E\left[ X^2\right] - E[X]^2, \] og teoremet er bevist.
Kommentar: Det gir vanligvis enklere regning å benytte teoremet over for å regne ut en varians enn ved direkte å benytte definisjonen av varians. I praksis betyr dette at for å regne ut variansen til \(X\) vil man først regne ut \(E[X]\) og \(E\left[ X^2\right]\), og så benytte resultatet i teoremet over til å bestemme \(\text{Var}[X]\).
Teorem: La \(X\) og \(Y\) være to stokastiske variabler. Da har vi at \[ \text{Cov}[X,Y] = E[XY] - E[X]\ E[Y]. \]
Bevis
Bevis
La \(\mu_X=E[X]\) betegne forventningsverdien til \(X\) og la \(\mu_Y=E[Y]\) betegne forventningsverdien til \(Y\). Fra definisjonen av kovarians har vi da \[ \text{Cov}[X,Y] = E\left[ (X-\mu_X) (Y-\mu_Y\right] = E\left[ XY - \mu_X Y - \mu_Y X + \mu_X \mu_Y\right]. \] Siden uttrykket \(XY - \mu_X Y - \mu_Y X + \mu_X \mu_Y\) er en lineær funksjon av de tre stokastiske variablene \(XY\), \(X\) og \(Y\), får man ved å benytte regneregler for lineære funksjoner av stokastiske variabler at \[ \text{Cov}[X] = E[XY] - \mu_X E[Y] - \mu_Y E[X] + \mu_X \mu_Y, \] og siden \(\mu_X=E[X]\) og \(\mu_Y=E[Y]\) har vi dermed at \[ \text{Cov}[X,Y] = E[ XY] - E[X] E[Y] - E[Y] E[X] + E[X] E[Y] = E[ XY] - E[X] E[Y], \] og teoremet er bevist.
Kommentar: Det gir vanligvis enklere regning å benytte teoremet over for å regne ut en kovarians enn ved direkte å benytte definisjonen av kovarians. I praksis betyr dette at for å regne ut kovariansen mellom \(X\) og \(Y\) vil man først regne ut \(E[XY]\), \(E[X]\) og \(E[Y]\), og så benytte resultatet i teoremet over til å bestemme \(\text{Cov}[X,Y]\).
Varians for lineære funksjoner av stokastiske variabler, \(\text{Var}\left[\sum_{i=1}^n a_iX_i+b\right]\)
Varians for lineære funksjoner av stokastiske variabler, \(\text{Var}\left[\sum_{i=1}^n a_iX_i+b\right]\)
Teorem: La \(X\) være en stokastiske variabel og la \(a\) og \(b\) være konstanter. Da har vi at \[ \text{Var}[ aX + b] = a^2 \text{Var}[X]. \]
Bevis
Bevis
La \(Z=aX+b\), \(\mu_X=E[X]\) og \(\mu_Z=E[Z]\). Vi kan da finne \(\mu_Z\) ved å benytte regneregler for lineære funksjoner av stokastiske variabler, \[ \mu_Z = E[Z] = E[aX+b] = aE[X] + b = a\mu_X + b. \] Fra definisjonen av varians får vi \begin{eqnarray} \text{Var}[Z] &=& E\left[ (Z-\mu_Z)^2\right]\\ &=& E\left[ (aX+b - (a\mu_X + b))^2\right]\\ &=& E\left[ (aX+b-a\mu_X-b)^2\right]\\ &=& E\left[ (aX-a\mu_X)^2\right]\\ &=& E\left[ a^2 (X-\mu_X)^2\right]. \end{eqnarray} Ved å benytte at multiplikative konstanter \(\left(\text{her}\ a^2\right)\) alltid kan settes utenfor operatoren \(E\) får vi at \[ \text{Var}[Z] = a^2 E\left[ (X-\mu_X)^2\right] = a^2\text{Var}[X], \] og teoremet er bevist.
Spesialtilfeller: Det er to viktige spesialtilfeller av teoremet over.
- Hvis \(b=0\) får vi at: \(\text{Var}[aX] = a^2\text{Var}[X]\).
- Hvis \(a=0\) får vi at: \(\text{Var}[b] = 0\).
Kommentar: Det første spesialtilfellet gir at en multiplikative konstant \(a\) må kvadreres når den settes utenfor \(\text{Var}\). Det andre spesialtilfellet gir at variansen til en konstant er alltid er lik null. Dette siste er intuitivt rimelig dersom vi tenker på at varians måler variasjon når vi gjentar et stokastisk forsøk uendelig mange ganger. En konstant vil jo ikke variere selv om vi gjentar et forsøk og det er dermed rimelig at variansen er lik null.
Generalisering: Teoremet over kan generaliseres til lineære funksjoner av mer enn en stokastisk variabel. Under gis det generalle teoremet for en lineær funksjon av \(n\) stokastiske variabler.
Teorem: La \(X_1,X_2,\ldots,X_n\) være \(n\) stokastiske variabler og la \(a_1,a_2,\ldots,a_n\) og \(b\) være konstanter. Da har vi at \[ \text{Var}\left[\sum_{i=1}^n a_iX_i + b\right] = \sum_{i=1}^n a_i^2 \text{Var}[X_i] + 2 \sum_{i=2}^n \sum_{j=1}^{i-1} a_i a_j \text{Cov}[X_i,X_j]. \]
Bevis
Bevis
La \(Z=\sum_{i=1}^n a_iX_i + b\), la \(\mu_Z = E[Z]\), og la \(\mu_i=E[X_i]\) for \(i=1,2,\ldots,n\). Vi kan da finne \(\mu_Z\) ved å benytte regneregler for lineære funksjoner av stokastiske variabler, \[ \mu_Z = E[Z] = E\left[ \sum_{i=1}^n a_iX_i + b\right] = \sum_{i=1}^n a_iE[X]+b = \sum_{i=1}^n a_i \mu_i + b. \] Fra definisjonen av varians får vi \begin{eqnarray} \text{Var}[Z] &=& E\left[ (Z-\mu_Z)^2\right]\\ &=& E\left[ \left( \sum_{i=1}^n a_iX_i + b - \left( \sum_{i=1}^n a_i\mu_i + b\right)\right)^2\right]\\ &=& E\left[ \left( \sum_{i=1}^n a_iX_i - \sum_{i=1}^n a_i\mu_i\right)^2\right]\\ &=& E\left[ \left( \sum_{i=1}^n a_i(X_i - \mu_i)\right)^2\right]\\ &=& E\left[ \left( \sum_{i=1}^n a_i(X_i-\mu_i)\right) \cdot \left(\sum_{i=1}^n a_i(X_i-\mu_i)\right)\right]\\ &=& E\left[ \left( \sum_{i=1}^n a_i(X_i-\mu_i)\right) \cdot \left(\sum_{j=1}^n a_j(X_j-\mu_j)\right)\right]\\ &=& E\left[ \sum_{i=1}^n \sum_{j=1}^n a_ia_j(X_i-\mu_i)(X_j-\mu_j)\right]. \end{eqnarray} Ved å benytte at summetegn og multiplikative konstanter (her \(a_ia_j\)) alltid kan settes utenfor operatoren \(E\) får vi at \[ \text{Var}[Z] = \sum_{i=1}^n \sum_{j=1}^n a_ia_j E[(X_i-\mu_i)(X_j-\mu_j)] = \sum_{i=1}^n \sum_{j=1}^n a_ia_j \text{Cov}[X_i,X_j], \] der vi i den siste overgangen benytter definisjonen av kovarians. Fra regneregler for kovarians lenger ned på denne temasiden har vi at \[ \text{Cov}[X_i,X_i] = \text{Var}[X_i] \ \ \ \ \ \text{og}\ \ \ \ \ \text{Cov}[X_i,X_j] = \text{Cov}[X_j,X_i]. \] Ved å dele dobbeltsummen i det siste uttrykket for \(\text{Var}[Z]\) opp i en sum av tre summer, en sum over alle ledd hvor \(i=j\), en sum over alle ledd hvor \(i<j\) og en sum over alle ledd hvor \(i>j\), får vi da \begin{eqnarray} \text{Var}[Z] &=& \sum_{i=1}^n a_i^2 \text{Cov}[X_i,X_i] + \sum_{i=2}^n\sum_{j=1}^{i-1}a_ia_j\text{Cov}[X_i,X_j] + \sum_{i=1}^{n-1} \sum_{j=i+1}^n a_i a_j \text{Cov}[X_i,X_j]\\ &=& \sum_{i=1}^n a_i^2\text{Var}[X_i] + \sum_{i=2}^n\sum_{j=1}^{i-1}a_ia_j\text{Cov}[X_i,X_j] + \sum_{i=1}^{n-1} \sum_{j=i+1}^n a_i a_j \text{Cov}[X_j,X_i]. \end{eqnarray} Hvis man så bytter summerekkefølgen i den siste dobbeltsummen i dette uttrykket, dvs. summerer over \(j\) i den ytterste summen, over \(i\) i den innerste summer og passer på at summegrensene er slik at de samme leddene som før inkluderes i summen, får man \[ \text{Var}[Z] = \sum_{i=1}^n a_i^2\text{Var}[X_i] + \sum_{i=2}^n\sum_{j=1}^{i-1}a_ia_j\text{Cov}[X_i,X_j] + \sum_{j=2}^n \sum_{i=1}^{j-1} a_ia_j\text{Cov}[X_j,X_i] \] og så bytte om navnene på de to summeindeksene i den siste dobbeltsummen, dvs. kalle \(i\) for \(j\) og kalle \(j\) for \(i\) får vi \[ \text{Var}[Z] = \sum_{i=1}^n a_i^2\text{Var}[X_i] + \sum_{i=2}^n\sum_{j=1}^{i-1}a_ia_j\text{Cov}[X_i,X_j] + \sum_{i=2}^n \sum_{j=1}^{i-1} a_ja_i\text{Cov}[X_i,X_j] = \sum_{i=1}^n a_i^2\text{Var}[X_i] + 2\sum_{i=2}^n\sum_{j=1}^{i-1}a_ia_j\text{Cov}[X_i,X_j] \] og teoremet er bevist.
Spesialtilfelle: Dersom \(X_1,X_2,\ldots,X_n\) er uavhengige stokastiske variabler har vi at \(\text{Cov}[X_i,X_j]=0\) for \(i\neq j\) (se regneregler for kovarians lenger ned på denne temasiden) og resultatet i teoremet over forenkler seg da til \[ \text{Var}\left[ \sum_{i=1}^na_iX_i + b\right] = \sum_{i=1}^n a_i^2\text{Var}[X_i]. \]
Kommentar: Man bør merke seg at vi har ulike uttrykk for variansen til \(\sum_{i=1}^n a_iX_i+b\) avhengig av om \(X_1,X_2,\ldots,X_n\) er uavhengige stokastiske variabler eller ikke. I de fleste situasjonene hvor vi har behov for \(\text{Var}\left[\sum_{i=1}^na_iX_i+b\right]\) i TMA4240/TMA4245 Statistikk vil \(X_1,X_2,\ldots,X_n\) være uavhengige stokastiske variabler slik at det er den siste formelen som vil gjelde.
Relevante videoer:
Relevante oppgaver:
\(\ \ \ \)Eksamen desember 2014, oppgave 3d (b,n,e)).
\(\ \ \ \)Eksamen august 2014, oppgave 3a (b,n).
\(\ \ \ \)Eksamen august 2013, oppgave 1a (b,n,e).
\(\ \ \ \)Eksamen mai 2013, oppgave 3d (b,n,e).
\(\ \ \ \)Eksamen august 2012, oppgave 3b (b).
\(\ \ \ \)Eksamen mai 2012, oppgave 4b (b,n,e).
\(\ \ \ \)Eksamen desember 2011, oppgave 3a (b,n,e).
\(\ \ \ \)Eksamen august 2011, oppgave 4b (b).
\(\ \ \ \)Eksamen juni 2011, oppgave 2c (b,n,e).
\(\ \ \ \)Eksamen juni 2011, oppgave 3b (b,n,e).
\(\ \ \ \)Eksamen desember 2010, oppgave 2b (b,n,e).
\(\ \ \ \)Eksamen desember 2010, oppgave 3a (b,n,e).
\(\ \ \ \)Eksamen desember 2009, oppgave 3a (b,n,e).
\(\ \ \ \)Eksamen august 2009, oppgave 2d (n).
Kovarians for lineære funksjoner av stokastiske variabler, \(\text{Cov}\left[\sum_{i=1}^n a_iX_i + b,\sum_{j=1}^m c_jY + d\right]\)
Kovarians for lineære funksjoner av stokastiske variabler, \(\text{Cov}\left[\sum_{i=1}^n a_iX_i + b,\sum_{j=1}^m c_jY + d\right]\)
Teorem: La \(X\) og \(Y\) være stokastiske variabler. Da er \[ \text{Cov}[X,Y] = \text{Cov}[Y,X]. \]
Bevis
Bevis
Siden \((X-\mu_X)(Y-\mu_Y)=(Y-\mu_Y)(X-\mu_X)\) får vi fra definisjonen av kovarians at \[ \text{Cov}[X,Y] = E[(X-\mu_X)(Y-\mu_Y)] = E[(Y+\mu_Y)(X-\mu_X)] = \text{Cov}[Y,X]. \]
Kommentar: Fra teoremet over ser vi altså at kovariansen er symmetrisk mellom sine to argumenter, kovariansen mellom \(X\) og \(Y\) er lik kovariansen mellom \(Y\) og \(X\).
Teorem: La \(X\) være en stokastisk variabel. Da er \[ \text{Cov}[X,X] = \text{Var}[X]. \]
Bevis
Bevis
Dette resultatet følger direkte fra definisjonene av kovarians og varians, \[ \text{Cov}[X,X] = E[(X-\mu)(X-\mu)] = E\left[ (X-\mu)^2\right] = \text{Var}[X], \] der \(\mu=E[X]\) er forventningsverdien til \(X\).
Kommentar: Kovariansen mellom \(X\) og seg selv er altså lik variansen til \(X\). Dette innebærer også at kovariansen som begrep kan sees på som en generalisering av varians.
Teorem: La \(X\) og \(Y\) være stokastiske variabler og la \(a\), \(b\), \(c\) og \(d\) være konstanter. Det er \[ \text{Cov}[aX+b,cY+d] = ac\text{Cov}[X,Y]. \]
Bevis
Bevis
La \(\mu_X=E[X]\) og \(\mu_Y=E[Y]\). Da får vi fra regneregler for lineære funksjoner av stokastiske variabler at \[ E[aX+b] = aE[X]+ b = a\mu_X + b \ \ \ \ \ \ \text{og}\ \ \ \ \ \ E[cY+d] = cE[Y]+d = c\mu_Y+d. \] Fra definisjonen av kovarians og nok en gang regneregler for lineære funksjoner av stokastiske variabler får vi da \begin{eqnarray} \text{Cov}[aX+b,cY+d] &=& E[(aX+b-(a\mu_X+b))(cY+d-(c\mu_Y+d))]\\ &=& E[ac(X-\mu_X)(Y-\mu_Y)]\\ &=& acE[(X-\mu_X)(Y-\mu_Y)]\\ &=& ac\text{Cov}[X,Y], \end{eqnarray} og teoremet er bevist.
Spesialtilfeller: Det er to viktige spesialtilfeller av teoremet over
- Hvis \(a=1\) og \(b=c=0\) får vi at: \(\text{Cov}[X,d] = 0\).
- Hvis \(a=c=1\) får vi at: \(\text{Cov}[X+b,Y+d] = \text{Cov}[X,Y]\).
Kommentar: Det første spesialtilfelle sier at kovariansen mellom en stokastisk variabel og en konstant alltid er lik null. Dette er intuitivt rimelig når vi tar i betrakning tolkningen av kovarians. En stokastisk variabel vil hverken kunne gå i takt eller i utakt med en konstant og dermed må kovariansen bli lik null. Det andre spesialtilfellet sier at kovariansen mellom to stokastiske variabler forblir uforandret når man legger en konstant til den ene eller begge de stokastiske variablene. Men merk at kovariansen vil endres dersom man ganger de stokastiske variablene med konstanter.
Generalisering: Teoremet over kan generaliseres til kovarians der hvert argument er lineære funksjoner av mer enn en stokastisk variabel. Under gis det generalle teoremet for lineære funksjoner av stokastiske variabler.
Teorem: La \(X_1,X_2,\ldots,X_n\) og \(Y_1,Y_2,\ldots,Y_m\) være stokastiske variabler og la \(a_1,a_2,\ldots,a_n\), \( b\), \(c_1,c_2,\ldots,c_m\) og \(d\) være konstanter. Da har vi at \[ \text{Cov}\left[ \sum_{i=1}^n a_iX_i+b,\sum_{j=1}^m c_jY_j+d\right] = \sum_{i=1}^n\sum_{j=1}^m a_ic_j \text{Cov}[X_i,Y_j]. \]
Bevis
Bevis
La \(\mu_{X_i}=E[X_i]\) for \(i=1,2\ldots,n\) og \(\mu_{Y_j}=E[Y_j]\) for \(j=1,2\ldots,m\). Da får vi fra regneregler for lineære funksjoner av stokastiske variabler at \[ E\left[\sum_{i=1}^n a_iX_i+b\right] = \sum_{i=1}^n a_iE[X_i]+ b = \sum_{i=1}^n a_i\mu_{X_i} + b \ \ \ \ \ \ \text{og}\ \ \ \ \ \ E\left[\sum_{j=1}^n c_jY_j+d\right] = \sum_{j=1}^m c_jE[Y_j]+d = \sum_{j=1}^m c_j\mu_{Y_j}+d. \] Fra definisjonen av kovarians og nok en gang regneregler for lineære funksjoner av stokastiske variabler får vi da \begin{eqnarray} \text{Cov}\left[\sum_{i=1}^n a_iX_i+b,\sum_{j=1}^m c_jY_j+d\right] &=& E\left[\left(\sum_{i=1}^n a_iX_i+b-\left(\sum_{i=1}^n a_i\mu_{X_i}+b\right)\right) \left(\sum_{j=1}^m c_jY_j+d-\left(\sum_{j=1}^m c_j\mu_{Y_j}+d\right)\right)\right]\\ &=& E\left[\left(\sum_{i=1}^n a_i(X_i-\mu_{X_i})\right) \left(\sum_{j=1}^m c_j(Y_j-\mu_{Y_j})\right)\right]\\ &=& E\left[\sum_{i=1}^n \sum_{j=1}^m a_ic_j(X_i-\mu_{X_i})(Y_j-\mu_{Y_j})\right]\\ &=& \sum_{i=1}^n \sum_{j=1}^m a_ic_jE[(X_i-\mu_{X_i})(Y_j-\mu_{Y_j})]\\ &=& \sum_{i=1}^n\sum_{j=1}^m a_ic_j\text{Cov}[X_i,Y_j], \end{eqnarray} og teoremet er bevist.
Korrelasjon av lineære funksjoner av stokastiske variabler, \(\text{Corr}[aX+b,cY+d]\)
Korrelasjon av lineære funksjoner av stokastiske variabler, \(\text{Corr}[aX+b,cY+d]\)
Teorem: La \(X\) og \(Y\) være stokastiske variabler. Da er \[ \text{Corr}[X,Y] = \text{Corr}[Y,X]. \]
Bevis
Bevis
Siden \(\text{Cov}[X,Y]=\text{Cov}[Y,X]\) og \(\text{Var}[X]\cdot\text{Var}[Y] = \text{Var}[Y]\cdot \text{Var}[X]\) får vi fra definisjonen av korrelasjon at \[ \text{Corr}[X,Y] = \frac{\text{Cov}[X,Y]}{\sqrt{\text{Var}[X]\cdot \text{Var}[Y]}} = \frac{\text{Cov}[Y,X]}{\sqrt{\text{Var}[Y]\cdot \text{Var}[X]}} = \text{Corr}[Y,X]. \]
Kommentar: Fra teoremet over ser vi altså at korrelasjon er symmetrisk mellom sine to argumenter, korrelasjonen mellom \(X\) og \(Y\) er lik korrelasjonen mellom \(Y\) og \(X\).
Teorem: La \(X\) være en stokastisk variabel. Da er \[ \text{Corr}[X,X] = 1. \]
Bevis
Bevis
Dette resultatet følger direkte fra definisjonene av korrelasjon og at \(\text{Corr}[X,X]=\text{Var}[X]\) \[ \text{Corr}[X,X] = \frac{\text{Cov}[X,X]}{\sqrt{\text{Var}[X]\cdot \text{Var}[X]}} = \frac{\text{Var}[X]}{\text{Var}[X]} = 1. \]
Kommentar: Korrelasjonen mellom en stokastisk variabel og seg selv er altså alltid lik 1. Dette er intuitivt rimelig ut fra tolkningen av korrelasjon, \(X\) er jo en lineær funksjon av \(X\).
Teorem: La \(X\) og \(Y\) være stokastiske variabler og la \(a\), \(b\), \(c\) og \(d\) være konstanter. Da er \[ \text{Corr}[aX+b,cY+d] = \frac{ac}{|ac|}\text{Corr}[X,Y]. \]
Bevis
Bevis
Ved å benytte definisjonen av korrelasjon og regneregler for varians og kovarians for lineære funksjoner av stokastiske variabler får man at \begin{eqnarray} \text{Corr}[aX+b,cY+d] &=& \frac{\text{Cov}[aX+b,cY+d]}{\sqrt{\text{Var}[aX+b]\cdot \text{Var}[cY+b]}}\\ &=& \frac{ac\text{Cov}[X,Y]}{\sqrt{a^2c^2\text{Var}[X]\cdot \text{Var}[Y]}}\\ &=& \frac{ac}{|ac|} \frac{\text{Cov}[X,Y]}{\sqrt{\text{Var}[X]\cdot \text{Var}[Y]}}\\ &=& \frac{ac}{|ac|} \text{Corr}[X,Y]. \end{eqnarray}
Kommentar: Absoluttverdien av korrelasjonen vil altså ikke endres ved lineære transformasjoner av stokastiske variabler, men fortegnet kan bli endret.
Spesialtilfeller: Det er to viktige spesialtilfeller av teoremet over
- Hvis \(a, c>0\) eller \(a, c<0\) får vi at: \(\text{Corr}[aX+b,cY+d] = \text{Corr}[X,Y]\).
- Hvis \(a>0, c<0\) eller \(a<0, c>0\) får vi at: \(\text{Corr}[aX+b,cY+d] = - \text{Corr}[X,Y]\).
Relevante videoer:
Relevante oppgaver: