Viktige diskrete sannsynlighetsfordelinger

Definer hjelpevariablen \(I_i=1\) hvis forsøk nummer \(i\) blir suksess, og \(I_i=0\) hvis forsøk nummer \(i\) blir fiasko. Dermed vil \(P(I_i=1)=p\) og \(P(I_i=0)=1-p\). Forventningsverdi og varians til \(I_i\) blir \[E(I_i)=0\cdot P(I_i=0) + 1\cdot P(I_i=1)=0 \cdot (1-p) + 1\cdot p=p \] \[E(I_i^2)=0^2\cdot P(I_i=0) + 1^2\cdot P(I_i=1)=0^2 \cdot (1-p) + 1^2\cdot p=p \] \[Var(I_i)=E(I_i^2)-E(I_i)^2=p-p^2=p(1-p) \]

Siden hvert forsøk i Bernoulli-prosessen er uavhengige vil \(I_1,I_2,…,I_n\) være uavhengige stokastiske variabler. Vi definerer antall suksesser, \(X\), som \[ X=I_1+I_2+ \cdots +I_n=\sum_{i=1}^n I_i.\] Dermed får vi: \[ E(X)=E(\sum_{i=1}^n I_i)=\sum_{i=1}^n E(I_i)=\sum_{i=1}^n p=np\] \[ Var(X)=Var(\sum_{i=1}^n I_i)=\sum_{i=1}^n Var(I_i)=\sum_{i=1}^n p(1-p)=np(1-p)\]

På stripa pleide man "i gamle dager" å ha kakelotteri. Da ble det brukt loddbøker med 100 lodd nummerert 1-100, og man brukte gjerne flere loddbøker - i ulike farger. Loddene ble krøllet sammen og lagt i en bøtte - og så trakk man lodd fra bøtta (da kunne man se fargen på loddet man valgte). Kakene man kunne vinne sto utstilt med vinnernummer på seg – og det var alltid slik at man vant en kaka hvis man trakk enten lodd 33, 66 og 99, fra enhver loddbok. Anta at vi har 3 loddbøker, i fargene gul, grønn og blå, og at Henning er førstemann til å kjøpe lodd. Henning har planlagt å kjøpe 5 lodd, og ser for seg to strategier:

1. Trekke 5 lodd tilfeldig blant alle lodd.
2. Trekke 5 lodd tilfeldig blant en av fargene (f.eks. blå).

Vil de to strategiene har like sannsynlighet for å vinne minst en kake?

Vi ser for oss en urne med \(N\) kuler, der \(k\) er merkede, og \(N-k\) ikke er merkede. Vi har fokus på de \(k\) merkede kulene, og nummererer disse \(1,…,k\). Definer en hjelpevariabel for hver kule; \(I_i\) for kule nummer \(i\). Hjelpevariabelen tar verdi \(I_i=1\) hvis merket kule nummer \(i\) blir trukket, og \(I_i=0\) hvis merket kule nummer \(i\) ikke blir trukket.

Fra denne urnen skal vi trekke et tilfeldig utvalg (uten tilbakelegging) av størrelse \(n\), og det er kanskje lettest å tenke se at alle \(n\) kulene trekkes på en gang (det blir det samme som å trekke en og en uten tilbakelegging). Hver av de \(N\) kulene vil ha lik sannsynlighet for å trekkes, og vi trekker \(n\) kuler – som betyr at \[P(I_i=1)=\frac{n}{N} \text{ og } P(I_i=0)=1-\frac{n}{N}=\frac{N-n}{N}.\] Forventningsverdi og varians til \(I_i\) blir \[E(I_i)=0\cdot P(I_i=0) + 1\cdot P(I_i=1)=0 + 1\cdot \frac{n}{N}=\frac{n}{N} \] \[E(I_i^2)=0^2\cdot P(I_i=0) + 1^2\cdot P(I_i=1)=0 + 1^2\cdot \frac{n}{N}=\frac{n}{N} \] \[Var(I_i)=E(I_i^2)-E(I_i)^2=\frac{n}{N}-\left( \frac{n}{N}\right)^2=\frac{n}{N}\cdot \frac{N-n}{N}\]

Vi definerer antallet merkede kuler som blir trukket, \(X\), som \[ X=I_1+I_2+ \cdots +I_k=\sum_{i=1}^k I_i.\]

Forventningsverdien til \(X\) finnes direkte fra \(E(I_i)\): \[ E(X)=E(\sum_{i=1}^k I_i)=\sum_{i=1}^k E(I_i)=\sum_{i=1}^k \frac{n}{N}=\frac{kn}{N}\]

Når vi skal se på variansen til \(X\) så er det kjent at variansen til en sum er gitt som \[ Var(X)=\sum_{i=1}^k Var(I_i) +2 \sum_{j>i}Cov(I_i,I_j)\] Det betyr at vi må regne ut kovariansen mellom hvert par av indikatorvariabler. Det er \(\binom{k}{2}=\frac{k\cdot (k-1)}{2}\) mulige par, og kovariansen mellom alle par blir den samme fordi denne er ikke avhengig av hvordan vi nummererer de merkede kulene.

\[ Cov(I_i,I_j)=E(I_i\cdot I_j) - E(I_i)\cdot E(I_j)\] \[ E(I_i \cdot I_j)=0\cdot 0 \cdot P(I_i=0,I_j=0)+ 1\cdot 0 \cdot P(I_i=1,I_j=0)+ 0\cdot 1 \cdot P(I_i=0,I_j=1)+ 1\cdot 1 \cdot P(I_i=1,I_j=1)\] \[=P(I_i=1,I_j=1)=P(I_i=1 \mid I_j=1)\cdot P(I_j=1)=\frac{n-1}{N-1} \cdot \frac{n}{N}\] \[ Cov(I_i,I_j)=\frac{n-1}{N-1}\cdot \frac{n}{N}-\frac{n}{N}\cdot \frac{n}{N}=\frac{n}{(N-1)N^2}(N\cdot (n-1)-n\cdot(N-1))\] \[ Cov(I_i,I_j)=\frac{n}{(N-1)N^2}(N\cdot n -N -n\cdot N+n)=-\frac{n(N-n)}{(N-1)N^2}\] Da kan vi regne ut \(Var(X)\): \[Var(X)=\sum_{i=1}^k Var(I_i) +2 \sum_{j>i}Cov(I_i,I_j)= \sum_{i=1}^k \frac{n}{N}\cdot \frac{(N-n)}{N}+2\cdot \frac{k\cdot (k-1)}{2} \left( - \frac{n(N-n)}{(N-1)N^2}\right)\] \[=\frac{k n (N-n)}{N(N-1)}\left( \frac{N-1}{N}-\frac{k-1}{N} \right)= \frac{k n (N-n)}{N(N-1)}(\frac{1}{N}(N-1-k+1))\] \[ Var(X)= \frac{k n (N-n)}{N(N-1)}(1-\frac{k}{N})\]

\[ E(X)=\sum_{x=0}^{\infty} x \frac{\mu^x}{x!}e^{-\mu}= \sum_{x=1}^{\infty} x \frac{\mu^x}{x!}e^{-\mu}=\sum_{x=1}^{\infty} \frac{\mu \mu^{x-1}}{(x-1)!}e^{-\mu}=\mu \sum_{y=0}^{\infty} \frac{\mu^{y}}{y!}e^{-\mu}=\mu \] I den første overgangen brukes at leddet for \(x=0\) ikke gir bidrag. Deretter forkortes \(x\) i teller med første ledd av \(x!\). Deretter lar vi \(y=x-1\), og til slutt i den siste overgangen benyttes at summen av fordelingsfunksjonen i en Poisson-fordeling for alle mulige verdier er 1.

For å regne ut varians benytter vi først \[ Var(X)=E(X^2)-(E(X))^2\] og deretter at \[X^2=X(X-1)+X\] slik at \[Var(X)=E(X(X-1))+E(X)-(E(X))^2\] Grunnen til dette er at vi da kan bruke samme triks type som for \(E(X)\) ved at summen av fordelingsfunksjon over alle verdier er 1. \[ E(X(X-1))=\sum_{x=0}^{\infty} x(x-1) \frac{\mu^x}{x!}e^{-\mu}=\sum_{x=2}^{\infty} x(x-1) \frac{\mu^x}{x!}e^{-\mu}\] \[=\sum_{x=2}^{\infty} \frac{\mu^{x-2}\mu^2}{(x-2)!}e^{-\mu}=\mu^2\sum_{y=0}^{\infty}\frac{\mu^{y}}{y!}e^{-\mu}=\mu^2\]

Setter vi sammen nå: \[Var(X)=\mu^2 +\mu - \mu^2=\mu\] som skulle vises.

\(P(X=x)=P(\text{første suksess i forsøk $x$})=P(\text{fiasko i forsøk 1, 2, $\ldots$, $x-1$ og suksess i forsøk $x$})=(1-p)^{x-1}p\), \(P(X\geq x+1)=P(\text{bare fiaskoer i de $x$ første forsøkene})=(1-p)^x\), og \(P(X\leq x)=1-P(X\geq x+1)=1-(1-p)^x\).

Fra definisjonen av forventningsverdi er \(EX=\sum_{x=1}^\infty xp(1-p)^{x-1}\).

Sannsynlighetsmassefunksjonen til \(Y=X-1\) er gitt ved \(P(Y=y)=P(X=y+1)=p(1-p)^y\), slik at vi fra definisjonen av forventningsverdi får \(EY=\sum_{y=0}^\infty yp(1-p)^y=\sum_{y=1}^\infty yp(1-p)^y=(1-p)\sum_{x=1}^\infty xp(1-p)^{x-1}=(1-p)EX\).

Men fra regelen om forventningsverdi av en lineær funksjon av en variabel, har vi også \(EY=E(X-1)=EX-1\). Ved å kombinere de to uttrykkene for \(EY\), får vi \((1-p)EX=EX-1\), som gir \(EX=1/p\).

Siden \(EX=1/p\), er \(\operatorname{Var}X=E(X-1/p)^2=\sum_{x=1}^\infty(x-1/p)^2p(1-p)^{x-1}\).

Videre er \(E(Y-1/p)^2=\sum_{y=0}^\infty(y-1/p)^2p(1-p)^y=(-1/p)^2p+\sum_{y=1}^\infty(y-1/p)^2p(1-p)^y=1/p+(1-p)\sum_{x=1}^\infty(x-1/p)^2p(1-p)^{x-1}=1/p+(1-p)\operatorname{Var}X\).

Men vi har også \(E(Y-1/p)^2=E(X-1/p-1)^2=E(X-1/p)^2-2E(X-1/p)+1=\operatorname{Var}X-2(EX-1/p)+1=\operatorname{Var}X+1\). Ved å kombinere de to uttrykkene for \(E(Y-1/p)^2\), får vi \(1/p+(1-p)\operatorname{Var}X=\operatorname{Var}X+1\), som gir \(\operatorname{Var}X=(1-p)/p^2\).

\(P(X=x)=P(\text{$k-1$ suksesser i $x-1$ første forsøk, og suksess i forsøk $x$})\) = \(P(\text{$k-1$ suksesser i $x-1$ første forsøk})P(\text{suksess i forsøk $x$})\) = \(\binom{x-1}{k-1}p^{k-1}(1-p)^{x-k}\cdot p=\binom{x-1}{k-1}p^k(1-p)^{x-k}\). Den andre likheten skyldes at forsøkene i en bernoulliprosess er uavhengige, den tredje skyldes binomisk fordeling.

La \(X_1\) være antall forsøk som er gjort idet første suksess oppnås, \(X_2\) antall forsøk som deretter er gjort når neste suksess oppnås, og så videre. Da er \(X_1\), \(X_2\), \(\ldots\) uavhengige (siden forsøkene inngår i en bernoulliprosess) og geometrisk fordelte med parameter \(p\), og \(X_1+X_2+\cdots+X_k\) er antall forsøk som er gjort idet suksess nr. \(k\) oppnås, og dermed negativt binomisk fordelt med parametre \(k\) og \(p\). Resultatet følger av tilsvarende resultat for geometrisk fordeling og reglene for forventningsverdi av sum av variabler og for varians av sum av uavhengige variabler.