1.3 Diskrete fordelinger og Poisson-prosessen

Ett enkelt forsøk med nøyaktig to utfall, «suksess» (sannsynlighet $p$) og «ikke suksess» (sannsynlighet $1 - p$). Indikatorvariabelen $X$, som er 1 ved suksess og 0 ellers, har $E(X) = p$ og $\text{Var}(X) = p(1 - p)$. Den binomiske fordelingen er summen av $n$ uavhengige Bernoulli-forsøk.

$$P(X = k) = \binom{n}{k} p^k (1 - p)^{n-k}, \qquad k = 0, 1, \ldots, n.$$

Forutsetningene som må være oppfylt (og begrunnes): (1) fast antall forsøk $n$, (2) forsøkene er uavhengige, (3) samme $p$ i hvert forsøk. Faktoren $\binom{n}{k}$ teller på hvor mange måter de $k$ suksessene kan plasseres.

$$E(X) = np, \qquad \text{Var}(X) = np(1 - p).$$

Disse følger av at $X$ er en sum av $n$ uavhengige Bernoulli-variable (forventning $p$, varians $p(1-p)$ hver), og at forventning og varians av en sum av uavhengige variable er summen av forventningene/variansene (kap. 1.2). Begge står i formelsamlingen.

$$P(X = k) = \frac{\mu^k e^{-\mu}}{k!}, \qquad k = 0, 1, 2, \ldots$$

En særegen egenskap: forventning og varians er like, $E(X) = \text{Var}(X) = \mu$. Verdiene er ubegrensede oppover ($k$ kan bli hvor stor som helst), til forskjell fra binomisk der $k \le n$.

$$X \sim \text{Poisson}(\lambda t).$$

Raten $\lambda$ skaleres altså med intervallets størrelse — dobler du intervallet, dobler du forventet antall. Bokstaven $\lambda$ reserveres for slike rater.

Tre betingelser må være rimelige for at antall hendelser skal være Poisson-fordelt:

1. Uavhengige intervaller: antall hendelser i disjunkte (ikke-overlappende) intervaller er uavhengige.
2. Konstant rate: den forventede hyppigheten $\lambda$ er den samme overalt (ingen opphopning i tid/rom).
3. Ikke samtidige hendelser: to hendelser skjer ikke i nøyaktig samme punkt/øyeblikk.

Sensor krever at disse nevnes når du begrunner en Poisson-modell — de er ofte tema for en egen deloppgave.

$$\mu = \lambda t.$$

Er raten $\lambda = 0{,}8$ bakterier per liter, er forventet antall i $3$ liter $\mu = 0{,}8 \cdot 3 = 2{,}4$. Den vanligste feilen er å glemme denne skaleringen og regne med $\lambda$ i stedet for $\lambda t$. Pass på at rate og intervall har samme enhet.

$$P(X \ge 1) = 1 - P(X = 0).$$

For Poisson$(\mu)$ er $P(X = 0) = e^{-\mu}$, så $P(X \ge 1) = 1 - e^{-\mu}$. For binomisk er $P(X = 0) = (1-p)^n$. Grepet sparer deg for å summere mange ledd, og er et fast innslag i sjanger B.

$$1 - e^{-\lambda t} > p_0 \;\Longleftrightarrow\; e^{-\lambda t} < 1 - p_0 \;\Longleftrightarrow\; t > \frac{-\ln(1 - p_0)}{\lambda}.$$

Husk å snu ulikhetstegnet når du tar logaritmen av begge sider (logaritmen av et tall $< 1$ er negativ, og vi deler på det negative $-\lambda$).

$$P(X = k) = (1 - p)^{k-1}\,p, \qquad k = 1, 2, 3, \ldots$$

Vi må mislykkes $k - 1$ ganger og så lykkes. Forventning og varians:

$$E(X) = \frac{1}{p}, \qquad \text{Var}(X) = \frac{1 - p}{p^2}.$$

(Merk: noen bøker teller antall mislykkede forsøk før første suksess; da starter $k$ på 0. Les alltid oppgavens egen definisjon.)

$$P(X = n) = \binom{n-1}{k-1} p^k (1 - p)^{n-k}, \qquad n = k, k+1, \ldots$$

De første $n - 1$ forsøkene må gi nøyaktig $k - 1$ suksesser (derav $\binom{n-1}{k-1}$), og det $n$-te er den siste suksessen. Forventning $E(X) = k/p$. Geometrisk er spesialtilfellet $k = 1$.

Å velge riktig diskret fordeling starter med ett spørsmål: er antall forsøk fast på forhånd?

- Ja, og vi teller suksesser → binomisk$(n, p)$.
- Nei, vi teller hendelser i et intervall → Poisson$(\lambda t)$.
- Vi teller forsøk til en suksess kommer → geometrisk (første) eller negativ binomisk ($k$-te).

Begrunn alltid valget med forutsetningene; det er selve modellvalget som gir mest uttelling.

$\binom{n}{k}$ teller antall måter å plassere $k$ suksesser på blant $n$ forsøk; $p^k(1-p)^{n-k}$ er sannsynligheten for én bestemt slik rekkefølge. Står i formelsamlingen — tren oppslaget.

En god kontroll: $P(X = 0) = e^{-\mu}$, og sannsynlighetene summerer til 1 fordi $\sum_k \mu^k/k! = e^{\mu}$. Står i formelsamlingen.

$$E(X) = \text{Var}(X) = \mu.$$

At gjennomsnitt og spredning sammenfaller er et kjennetegn på Poisson-data; er den empiriske variansen mye større enn gjennomsnittet, passer ofte ikke Poisson-modellen. Utledes elegant med momentgenererende funksjon i kap. 4.1.

$$E(X) = \frac{1}{p}, \qquad \text{Var}(X) = \frac{1 - p}{p^2}.$$

Jo mindre suksesssannsynlighet, desto lengre venter vi i snitt — $E(X) = 1/p$ vokser når $p$ synker. Med $p = 0{,}25$ er forventet ventetid 4 forsøk.

$$X_1 \sim \text{Poisson}(\mu_1), \; X_2 \sim \text{Poisson}(\mu_2) \text{ uavh.} \;\Rightarrow\; X_1 + X_2 \sim \text{Poisson}(\mu_1 + \mu_2).$$

Dette stemmer med rateskaleringen (slår du sammen to intervaller, legges forventningene sammen). Bevises via momentgenererende funksjon i kap. 4.1.

$$\text{bin}(n, p) \approx \text{Poisson}(np) \quad (n \text{ stor, } p \text{ liten}).$$

Dette forklarer hvorfor sjeldne hendelser i mange «forsøk» (defekter, mutasjoner) ofte modelleres som Poisson.

I en Poisson-prosess med rate $\lambda$ er tiden mellom hendelser (og tiden til første hendelse) eksponensialfordelt med forventning $1/\lambda$. Antall hendelser (diskret, Poisson) og ventetid mellom dem (kontinuerlig, eksponensial) er to sider av samme prosess. Ventetiden behandles i kap. 2.1; der vises eksponensialfordelingen i begge parametriseringer (rate $\lambda$ og forventning $\mu = 1/\lambda$).

Både den binomiske og den geometriske modellen krever at forsøkene er uavhengige (utfallet av ett påvirker ikke de andre) og har samme suksesssannsynlighet $p$ i hvert forsøk. Brytes én av disse — for eksempel trekking uten tilbakelegging fra en liten beholdning, der $p$ endrer seg — passer ikke modellen, og man må resonnere med betinget sannsynlighet i stedet.

Raten $\lambda$ i en Poisson-prosess har alltid en enhet: hendelser per tid, per lengde, per areal eller per volum. Regnestykket $\mu = \lambda t$ krever at $t$ måles i samme enhet som raten er per. Første steg i enhver Poisson-oppgave er å gjøre rate og intervall enhetskompatible (f.eks. gjøre om 15 minutter til $0{,}25$ time når raten er per time).

En variabel $I$ som er 1 hvis en hendelse skjer og 0 ellers. Da er $E(I) = P(\text{hendelsen}) = p$ og $\text{Var}(I) = p(1 - p)$. Indikatorvariabler er byggeklossen bak binomisk fordeling (en sum av $n$ uavhengige indikatorer) og et nyttig triks: forventet antall hendelser finnes ved å summere sannsynlighetene $\sum_i p_i$, også når indikatorene ikke er uavhengige.

$$F(k) = P(X \le k) = \sum_{j=0}^{k} P(X = j).$$

Mange tabeller og kalkulatorer gir nettopp $P(X \le k)$. Pass på skillet: $P(X \le k)$, $P(X < k) = P(X \le k-1)$ og $P(X = k)$ er tre forskjellige størrelser. $P(X \ge k) = 1 - P(X \le k-1)$.

$$E(X) = \frac{k}{p}, \qquad \text{Var}(X) = \frac{k(1 - p)}{p^2}.$$

Dette er $k$ ganger de geometriske verdiene, fordi ventetiden til $k$-te suksess er summen av $k$ uavhengige geometriske ventetider (én for hver suksess). Geometrisk er tilfellet $k = 1$.

Modelloppgaver følges ofte av spørsmålet «anslå parameteren». Teller vi $x$ hendelser i et intervall $t$, er et naturlig anslag for raten $\hat{\lambda} = x/t$ (observert antall delt på intervall). Den store bokstaven $\hat{\Lambda} = X/t$ er selve estimatoren (stokastisk), mens $\hat{\lambda} = x/t$ er estimatet (tallet). Dette skillet, og hvordan man vurderer et slikt anslag (forventningsretthet, standardfeil), er tema for Del 5 (punktestimering) — ta det med som et forvarsel om at modellvalget her er første ledd i en lengre kjede.