2.2 Diskrete fordelinger og Poisson-prosessen

Et Bernoulli-forsøk er et forsøk med bare to utfall, «suksess» (med sannsynlighet $p$) og «fiasko» (med sannsynlighet $1 - p$). «Suksess» er bare et navn på utfallet vi teller — det kan godt være «enheten er defekt». En indikatorvariabel (kap. 2.1) er nettopp et Bernoulli-forsøk: $X = 1$ ved suksess, $X = 0$ ellers, med $E(X) = p$ og $\text{Var}(X) = p(1-p)$.

$$P(X = x) = \binom{n}{x} p^x (1-p)^{n-x}, \quad x = 0, 1, \ldots, n, \qquad E(X) = np, \quad \text{Var}(X) = np(1-p).$$

De fire kravene som alle må være oppfylt: (1) fast antall forsøk $n$, (2) to utfall per forsøk, (3) konstant $p$, (4) uavhengige forsøk. Faller ett av dem, er ikke modellen binomisk — svikter «fast antall», er det ofte geometrisk/negativ binomisk; svikter «uavhengig/konstant $p$» pga. trekk uten tilbakelegging, er det hypergeometrisk.

$$P(X \ge a) = 1 - P(X \le a - 1), \qquad P(a \le X \le b) = P(X \le b) - P(X \le a - 1).$$

Pass på grensene: for «minst $a$» slår du opp $a - 1$ (ikke $a$), fordi tabellen er $\le$. Den vanligste tabellfeilen er å lese en kumulativ verdi $P(X \le a)$ som om den var punktsannsynligheten $P(X = a)$.

$$P(X = x) = \frac{\lambda^x e^{-\lambda}}{x!}, \quad x = 0, 1, 2, \ldots, \qquad E(X) = \lambda, \quad \text{Var}(X) = \lambda.$$

Et særtrekk verdt å merke seg: forventning og varians er like ($E(X) = \text{Var}(X) = \lambda$). Her er $\lambda$ det forventede antallet i akkurat det intervallet vi ser på — så parametervalget avhenger av intervallengden, som neste kort viser.

En strøm av hendelser er en Poisson-prosess med rate $\lambda$ (hendelser per tidsenhet) når tre forutsetninger holder — og disse skal kunne oppgis på eksamen:

1. Uavhengige, disjunkte intervaller: antall hendelser i intervaller som ikke overlapper, er uavhengige av hverandre.
2. Konstant rate: forventet antall hendelser er proporsjonalt med intervallengden, med samme rate $\lambda$ hele tiden.
3. Ingen samtidighet: to hendelser inntreffer ikke i nøyaktig samme øyeblikk (sjansen for to i et forsvinnende kort intervall er neglisjerbar).

Holder disse, er antall hendelser i et intervall av lengde $t$ Poisson-fordelt med parameter $\lambda t$.

$$X_t \sim \text{Poisson}(\lambda t), \qquad E(X_t) = \lambda t.$$

Dette er den vanligste feilkilden i Poisson-oppgaver: å bruke $\lambda$ når intervallet ikke er én tidsenhet. Har du rate 6 per år og ser på et halvår, er parameteren $\lambda t = 6 \cdot 0{,}5 = 3$, ikke 6. Enhetene på $\lambda$ og $t$ må passe sammen så $\lambda t$ blir et rent antall.

$$P(X = x) = (1-p)^{x-1} p, \quad x = 1, 2, 3, \ldots, \qquad E(X) = \frac{1}{p}, \quad \text{Var}(X) = \frac{1-p}{p^2}.$$

Tolkningen av $E(X) = 1/p$: skjer suksess i gjennomsnitt hvert femte forsøk hvis $p = 0{,}2$. En nyttig halesannsynlighet: $P(X > k) = (1-p)^k$ — «ingen suksess i de første $k$ forsøkene». (Advarsel: noen bøker teller antall fiaskoer før første suksess og starter på 0; vi teller antall forsøk og starter på 1.)

$$P(X = x) = \binom{x-1}{k-1} p^k (1-p)^{x-k}, \quad x = k, k+1, \ldots, \qquad E(X) = \frac{k}{p}.$$

Logikken bak formelen: de første $x - 1$ forsøkene må inneholde nøyaktig $k - 1$ suksesser (derav $\binom{x-1}{k-1}$), og det $x$-te forsøket er den siste, $k$-te suksessen. Geometrisk fordeling er spesialtilfellet $k = 1$.

$$P(X = x) = \frac{\binom{a}{x}\binom{b}{n-x}}{\binom{a+b}{n}}, \qquad E(X) = n\,\frac{a}{a+b}.$$

Forskjellen fra binomisk er nettopp uten tilbakelegging: hvert trekk endrer sammensetningen, så forsøkene er ikke uavhengige og $p$ er ikke konstant. Er populasjonen stor i forhold til $n$, er hypergeometrisk og binomisk nesten like — men i små partier må du bruke hypergeometrisk.

Ett enkelt forsøk med to utfall: $X = 1$ (suksess, sannsynlighet $p$) eller $X = 0$. Forventning: $E(X) = p$. Varians: $\text{Var}(X) = p(1-p)$. En binomisk variabel er summen av $n$ uavhengige Bernoulli-variable — derav $E = np$ og $\text{Var} = np(1-p)$.

Enhver sjanger B-oppgave skal åpne med en setning som definerer variabelen og fordelingen: «La $X$ = antall … , da er $X \sim \ldots$» med parametrene oppgitt. Nevn forutsetningene der modellen brukes (særlig Poisson-prosessens tre). Et tallsvar uten definert variabel/fordeling regnes som ufullstendig — dette er billige poeng mange kaster bort.

Nøkkelspørsmålet for diskret modellvalg: er antall forsøk fast ($n$ gitt på forhånd) eller teller vi til noe skjer? Fast antall → binomisk. Telle til første suksess → geometrisk. Telle til $k$-te suksess → negativ binomisk. Å tvinge binomisk på en «telle til»-situasjon er en klassisk modellfeil.

Trekker vi med tilbakelegging (eller fra en så stor populasjon at det ikke merkes), er forsøkene uavhengige med konstant $p$ → binomisk. Trekker vi uten tilbakelegging fra en liten, endelig populasjon, endres sammensetningen for hvert trekk → hypergeometrisk. Sjekk populasjonsstørrelsen mot antall trekk.

I en Poisson-prosess gjelder raten $\lambda$ per tidsenhet. For et intervall av lengde $t$ er parameteren $\lambda t$ — ikke $\lambda$. Sjekk alltid at enhetene på $\lambda$ og $t$ passer sammen, så $\lambda t$ blir et rent forventet antall. Å glemme skaleringen er den hyppigste Poisson-feilen.

En kumulativ tabell gir $F(a) = P(X \le a)$, ikke $P(X = a)$. For «minst $a$»: $P(X \ge a) = 1 - P(X \le a-1)$ (slå opp $a-1$!). For et intervall: $P(a \le X \le b) = P(X \le b) - P(X \le a-1)$. Punktsannsynlighet fås som $P(X = a) = P(X \le a) - P(X \le a-1)$.

$$P(X \ge 2) = 1 - P(X = 0) - P(X = 1).$$

For Poisson$(\lambda)$ blir det $1 - e^{-\lambda} - \lambda e^{-\lambda} = 1 - (1 + \lambda)e^{-\lambda}$. Å summere $P(X = 2) + P(X = 3) + \cdots$ direkte er både tregere og mer feilutsatt.

Når $n$ er stor og $p$ liten, kan en binomisk fordeling tilnærmes med en Poisson-fordeling med samme forventning, $\lambda = np$. Dette er nyttig for sjeldne hendelser i mange forsøk (få defekte i en stor serie). Den fulle normaltilnærmingen (stor $\lambda$) kommer i kap. 3.3.

Summen av uavhengige Poisson-variable er igjen Poisson, med parametrene lagt sammen: $X \sim \text{Poisson}(\lambda_1)$ og $Y \sim \text{Poisson}(\lambda_2)$ uavhengige gir $X + Y \sim \text{Poisson}(\lambda_1 + \lambda_2)$. Slår du sammen to uavhengige hendelsesstrømmer, legger du bare ratene sammen.

I en Poisson-prosess med rate $\lambda$ er tiden mellom to hendelser eksponensialfordelt med forventning $1/\lambda$. Antall hendelser (diskret, Poisson) og tid mellom hendelser (kontinuerlig, eksponensiell) er to sider av samme prosess. Full behandling i kap. 2.3.

For geometrisk fordeling er forventet antall forsøk til første suksess $E(X) = 1/p$: er suksessannsynligheten $0{,}25$, venter du i snitt 4 forsøk. For negativ binomisk er forventet antall til $k$-te suksess $k/p$ — bare $k$ ganger så lenge. Enkel tolkning, ofte spurt om i kortsvar.

For Poisson$(\lambda)$ er $\text{SD}(X) = \sqrt{\lambda}$ (siden $\text{Var} = \lambda$). Spredningen vokser altså med kvadratroten av forventningen: doblet rate gir ikke doblet standardavvik, bare $\sqrt{2}$ ganger så stort. En rask sanity-sjekk på Poisson-svar.

Er alle $m$ utfall $\{1, \ldots, m\}$ like sannsynlige, er $X$ diskret uniform med $p(x) = 1/m$ og $E(X) = (m+1)/2$. En rettferdig terning er diskret uniform på $\{1, \ldots, 6\}$ med $E(X) = 3{,}5$. Grunnmodellen bak «gunstige over mulige» fra kap. 1.1.

I Poisson-modellen er $\lambda$ det forventede antallet hendelser i akkurat det intervallet du ser på — ikke en sannsynlighet. Den er alltid positiv og kan være større enn 1. Dette skiller Poisson fra binomisk, der parameteren $p$ er en sannsynlighet mellom 0 og 1.

Både binomisk og Poisson forutsetter uavhengighet mellom forsøk/hendelser. Bryter uavhengigheten (én defekt enhet gjør neste mer sannsynlig, hendelser klumper seg), holder ikke modellen, og forventning/varians-formlene blir feil. Vurder alltid om uavhengighet er rimelig før du bruker modellen — det er en del av begrunnelsen sensor vil se.

Binomisk krever at suksessannsynligheten $p$ er den samme i hvert forsøk. Endrer $p$ seg underveis — for eksempel fordi maskinen slites, eller fordi vi trekker uten tilbakelegging — er ikke modellen binomisk. Ved trekk uten tilbakelegging synker (eller stiger) andelen av typen for hvert trekk, og da er hypergeometrisk riktig modell.