1.4 Bayesiansk inferens: konjugering og Bayes-estimatoren

Aposteriorifordelingen π(θ|x)∝π(θ)·L(θ), konjugerte par gjenkjent ved å samle eksponentene (Poisson→gamma, gamma→gamma), og Bayes-estimatoren som nærmer seg MLE for stor n.

45 min

13 oppgaver

Bayesiansk inferenskonjugeringBayes-estimatoren

Din fremgang i kapitlet

0 / 13 oppgaver

Kapitlets plass i kurset

Bygger på

1.2Momentmetoden og maximum likelihood — den faste kjeden

Nytt, roterende A-innslag. Bayesiansk inferens har vært på eksamen i omtrent 2 av 22 sett (9 %), men det er nytt siden 2022 (Weibull/gamma → gamma i 2022, Poisson → gamma i det nyeste settet) og en sannsynlig gjenganger.

- Sjanger L (Bayesiansk inferens) er et avgrenset punkt i estimeringsoppgaven — sjelden hele oppgaven, men et par tunge deloppgaver som skiller A fra B. Sjanger = oppgavetype.
- Det testes bare med konjugerte standardpar (Poisson–gamma, gamma–gamma). Ingen numerisk Bayes, ingen simulering.

Kjernehåndverket: gjenkjenn den konjugerte familien ved å samle eksponentene i produktet apriori × likelihood, og les av fordelingsformen. Prioritet: kjenne til — men et rent A-differensieringspunkt.

Forkunnskaper: Dette kapitlet bruker likelihood-funksjonen

L(\theta)=\prod f(x_i;\theta)

fra kap. 1.2 og gammafordelingen fra kap. 0.2. Gammafordelingen skrives her som gamma

(\alpha,\beta)

med formparameter $\alpha$ og skalaparameter $\beta$ , slik at

E=\alpha\beta

\text{Var}=\alpha\beta^2

(samme konvensjon som kap. 0.2; se rammen under om parametrisering). Gammafordelingen er innført i STK1100 kap. 2.2 Gammafordelingen (→ stk1100-2-2) (klartekst — STK1100 er ikke bygget ennå).

Du trenger ikke nye derivasjons- eller integrasjonsteknikker her — alt håndverket er å kjenne igjen fordelingsformer fra eksponentuttrykk.

NB: gamma kan parametriseres på to måter — vi bruker skala

Gammafordelingen skrives i litteraturen enten med skalaparameter $\beta$ (som her: $E=\alpha\beta$ ) eller med rateparameter $\lambda=1/\beta$ (da $E=\alpha/\lambda$ ). Vi bruker gjennomgående skala-formen gamma $(\alpha,\beta)$ med $E=\alpha\beta$ , i tråd med kap. 0.2 og formelsamlingen. Sjekk alltid hvilken form oppgaveteksten bruker — et rate-oppsett gir samme svar, men med $\beta$ byttet mot $1/\lambda$ . Aposteriori-parametrene under er skrevet i skala-formen.

Frem til nå har parameteren $\theta$ vært et fast, ukjent tall vi anslår fra data. Den bayesianske ideen snur på det: vi behandler $\theta$ som en stokastisk størrelse og uttrykker hva vi tror om den før vi ser data (en apriorifordeling), og oppdaterer så troen etter data (en aposteriorifordeling).

Oppskriften er kort: gang sammen apriori og likelihood, og les av hvilken kjent fordeling resultatet har. For enkelte «konjugerte» par blir aposteriori i samme familie som apriori — da slipper du all integrasjon, og eksamensoppgaven koker ned til å samle eksponenter riktig.

Kapitlet går i fem løkker: aposteriorifordelingen → konjugering → Bayes-estimatoren → koblingen til ML → et gamma–gamma-tilfelle. Hver løkke: teori → gjennomregnet eksempel → øvingsoppgave.

Løkke 1 — Aposteriorifordelingen (~9 min)

Apriorifordelingen

\pi(\theta)

\theta

Aposteriorifordelingen

\pi(\theta\mid x)

\theta

Proporsjonalitet og normeringskonstanten

\propto

✏️Eksempel 1: Sette opp aposteriori (skjema)

En rate $\lambda>0$ har apriori $\pi(\lambda)\propto \lambda^{2}e^{-\lambda/2}$ (en gamma-form), og likelihooden fra dataene er $L(\lambda)\propto \lambda^{7}e^{-4\lambda}$ . Sett opp aposteriorifordelingen som et proporsjonaluttrykk, og samle eksponentene.

Multipliser apriori og likelihood og behold bare

\lambda

-avhengige ledd:

\pi(\lambda\mid x)\propto \underbrace{\lambda^{2}e^{-\lambda/2}}_{\pi(\lambda)}\cdot\underbrace{\lambda^{7}e^{-4\lambda}}_{L(\lambda)}=\lambda^{2+7}\,e^{-\lambda(1/2+4)}=\lambda^{9}\,e^{-\lambda\cdot 4{,}5}.

Samle eksponentene: potensen av $\lambda$ blir $2+7=9$ , og faktoren i eksponenten blir $1/2+4=4{,}5$ . Resultatet $\lambda^{9}e^{-4{,}5\lambda}$ gjenkjenner vi som en gamma-kjerne (neste løkke) — vi trengte ikke integrere.

📝Oppgave 1

En rate $\lambda>0$ har apriori $\pi(\lambda)\propto\lambda^{3}e^{-\lambda}$ og likelihood $L(\lambda)\propto\lambda^{5}e^{-3\lambda}$ . Skriv aposteriori som et proporsjonaluttrykk og samle eksponentene.

Løkke 2 — Konjugering: samle eksponentene (~12 min)

Konjugert apriori

En apriorifordeling er konjugert til en likelihood hvis aposteriorifordelingen havner i samme familie som apriorien — bare med oppdaterte parametre. Da slipper du integrasjon: du leser rett av de nye parametrene. Gamma er konjugert til både Poisson-raten og eksponential-/gamma-oppsett; det er de eneste parene STK1110-eksamen bruker.

Kjernetrikset: samle eksponentene

\theta

Gamma-kjernen

(\alpha,\beta)

Poisson–gamma-konjugeringen (utledes): La

X_1,\dots,X_n

være uavhengige Poisson

(\lambda)

med sum

s=\sum x_i

, og la

\lambda

ha gamma-apriori

\pi(\lambda)\propto\lambda^{\alpha-1}e^{-\lambda/\beta}

1. Likelihooden (behold bare $\lambda$ -ledd): $L(\lambda)\propto \lambda^{s}e^{-n\lambda}$ .
Intuisjon: produktet av Poisson-punktsannsynligheter gir $\lambda$ opphøyd i totalsummen, og $e^{-n\lambda}$ fra de $n$ faktorene $e^{-\lambda}$ .
2. Gang med apriori og samle: $\pi(\lambda\mid x)\propto \lambda^{\alpha-1}e^{-\lambda/\beta}\cdot\lambda^{s}e^{-n\lambda}=\lambda^{(\alpha+s)-1}\,e^{-\lambda(1/\beta+n)}$ .
Intuisjon: potensene $\alpha-1$ og $s$ legges sammen; eksponent-leddene $1/\beta$ og $n$ legges sammen.
3. Sammenlign med gamma-kjernen $\theta^{\alpha'-1}e^{-\theta/\beta'}$ : formparameteren er $\alpha'=\alpha+s$ , og $1/\beta'=1/\beta+n=(1+n\beta)/\beta$ , altså skala $\beta'=\beta/(1+n\beta)$ .
Intuisjon: aposteriori er gamma igjen — konjugering — med oppdaterte parametre.

Konklusjon: $\pi(\lambda\mid x)=\text{gamma}\!\left(\alpha+s,\ \dfrac{\beta}{1+n\beta}\right)$ .

Aposteriori for Poisson–gamma

(\alpha,\beta)

✏️Eksempel 2: Poisson–gamma, hele konjugeringen (sjanger L)

Antall driftsavbrudd per måned er Poisson $(\lambda)$ . Du har $n=10$ måneder med til sammen $s=\sum x_i=45$ avbrudd. Apriori for $\lambda$ er gamma $(\alpha,\beta)=$ gamma $(3,\ 2)$ (skala). Vis at gamma er konjugert, og angi aposteriorifordelingen.

Likelihood:

L(\lambda)\propto\lambda^{s}e^{-n\lambda}=\lambda^{45}e^{-10\lambda}

Apriori (gamma-kjerne): $\pi(\lambda)\propto\lambda^{\alpha-1}e^{-\lambda/\beta}=\lambda^{2}e^{-\lambda/2}$ .

Samle eksponentene:
$\pi(\lambda\mid x)\propto \lambda^{2}e^{-\lambda/2}\cdot\lambda^{45}e^{-10\lambda}=\lambda^{47}\,e^{-\lambda(0{,}5+10)}=\lambda^{47}e^{-10{,}5\lambda}.$

Dette er en gamma-kjerne $\lambda^{\alpha'-1}e^{-\lambda/\beta'}$ med $\alpha'-1=47\Rightarrow\alpha'=48$ , og $1/\beta'=10{,}5\Rightarrow\beta'=1/10{,}5=0{,}0952$ . Altså
$\lambda\mid x\ \sim\ \text{gamma}(48,\ 0{,}0952).$
Med formelen: $\alpha'=\alpha+s=3+45=48$ og $\beta'=\beta/(1+n\beta)=2/(1+20)=2/21=0{,}0952$ — samme svar. Gamma er konjugert.

📝Oppgave 2

Antall kundeklager per uke er Poisson $(\lambda)$ . Du observerer $n=6$ uker med sum $s=\sum x_i=18$ klager, og apriori er gamma $(2,\ 1)$ (skala).

a) Skriv opp likelihood og apriori som proporsjonaluttrykk.

b) Samle eksponentene og angi aposteriorifordelingen.

Løkke 3 — Bayes-estimatoren (~9 min)

Gamma-forventningen

(\alpha,\beta)

Bayes-estimatoren

\theta

✏️Eksempel 3: Bayes-estimatoren for Poisson-raten (sjanger L)

Fortsett eksempel 2: aposteriori er gamma $(48,\ 0{,}0952)$ (fra $n=10$ , $s=45$ , apriori gamma $(3,2)$ ). Oppgi Bayes-estimatoren for $\lambda$ , og sammenlign med ML-estimatet.

Bayes-estimatoren er aposteriori forventning, altså gamma-forventningen

\alpha'\beta'

\hat\lambda_{\text{Bayes}}=E(\lambda\mid x)=\alpha'\beta'=48\cdot 0{,}0952=4{,}571.

Med brøkform:

\dfrac{\alpha+s}{1/\beta+n}=\dfrac{48}{10{,}5}=4{,}571

. ML-estimatet er

\hat\lambda_{ML}=\bar x=45/10=4{,}5

. Bayes-estimatet

4{,}571

ligger litt over, trukket mot apriori-forventningen

\alpha\beta=3\cdot2=6

— men nær ML fordi dataene (

n=10

) dominerer.

📝Oppgave 3

Fra oppgave 2 er aposteriori gamma $(20,\ 1/7)$ (Poisson, $n=6$ , $s=18$ , apriori gamma $(2,1)$ ).

a) Finn Bayes-estimatoren for $\lambda$ .

b) Finn ML-estimatet, og forklar kort hvorfor de skiller seg.

Løkke 4 — Koblingen til ML: Bayes som vektet snitt (~8 min)

Bayes-estimatoren som vektet snitt

\bar x=s/n

Koblingen Bayes → ML for stor

n

\hat\lambda_{\text{Bayes}}=\frac{\alpha+s}{1/\beta+n}\ \longrightarrow\ \frac{s}{n}=\bar x=\hat\lambda_{ML}\quad(n\to\infty).

✏️Eksempel 4: Bayes nærmer seg ML når $n$ vokser

Bruk apriori gamma $(3,2)$ og en fast rate rundt $\bar x=4{,}5$ . Regn Bayes-estimatoren for $n=10$ , $n=100$ og $n=1000$ (med $s=4{,}5n$ ), og kommentér.

Bayes $=\dfrac{\alpha+s}{1/\beta+n}=\dfrac{3+4{,}5n}{0{,}5+n}$ :

- $n=10$ : $\dfrac{3+45}{0{,}5+10}=\dfrac{48}{10{,}5}=4{,}571$ .
- $n=100$ : $\dfrac{3+450}{0{,}5+100}=\dfrac{453}{100{,}5}=4{,}507$ .
- $n=1000$ : $\dfrac{3+4500}{0{,}5+1000}=\dfrac{4503}{1000{,}5}=4{,}501$ .

ML er $\bar x=4{,}5$ hele veien. Bayes-estimatet faller mot $4{,}5$ etter hvert som $n$ vokser — apriori-forventningen ( $6$ ) mister vekt. Sensorpoeng: dataene overdøver apriorien for stor $n$ .

📝Oppgave 4

Med apriori gamma $(2,1)$ og observert $\bar x=3{,}0$ :

a) Skriv Bayes-estimatoren som funksjon av $n$ (med $s=3n$ ).

b) Regn den for $n=6$ og $n=60$ , og forklar retningen den beveger seg.

Løkke 5 — Gamma–gamma: eksponential-rate med gamma-apriori (~7 min)

Gamma–gamma-konjugeringen

(\lambda)

✏️Eksempel 5: Gamma–gamma for en levetidsrate (sjanger L)

Levetider (i år) er eksponentialfordelte med rate $\lambda$ , $f(x;\lambda)=\lambda e^{-\lambda x}$ . Du har $n=8$ komponenter med sum $\sum x_i=20$ år, og apriori gamma $(2,\ 1)$ (skala). Finn aposteriorifordelingen og Bayes-estimatoren for $\lambda$ .

Likelihood:

L(\lambda)=\prod\lambda e^{-\lambda x_i}=\lambda^{n}e^{-\lambda\sum x_i}=\lambda^{8}e^{-20\lambda}

Apriori (gamma-kjerne): $\pi(\lambda)\propto\lambda^{a-1}e^{-\lambda/b}=\lambda^{1}e^{-\lambda}$ .

Samle: $\pi(\lambda\mid x)\propto\lambda^{1}e^{-\lambda}\cdot\lambda^{8}e^{-20\lambda}=\lambda^{9}e^{-21\lambda}$ . Dette er gamma med $\alpha'=10$ ( $=a+n=2+8$ ) og $1/\beta'=21\Rightarrow\beta'=1/21=b/(1+b\sum x_i)=1/(1+20)$ . Altså
$\lambda\mid x\ \sim\ \text{gamma}(10,\ 1/21).$

Bayes-estimator: $\hat\lambda_{\text{Bayes}}=\alpha'\beta'=10/21=0{,}476$ per år. (ML-raten er $n/\sum x_i=8/20=0{,}40$ ; Bayes trekkes mot apriori-forventningen $ab=2$ .)

📝Oppgave 5

Ventetider er eksponentialfordelte med rate $\lambda$ . Du observerer $n=5$ ventetider med sum $\sum x_i=12{,}5$ minutter, og apriori gamma $(3,\ 1)$ (skala).

a) Finn aposteriorifordelingen ved å samle eksponentene.

b) Finn Bayes-estimatoren for $\lambda$ og sammenlign med ML.

Typiske feil (fra løsningsforslagene)

- Påstå konjugering uten å samle eksponentene. Sensor vil se at du faktisk multipliserer apriori × likelihood, samler potensene og eksponent-leddene, og gjenkjenner gamma-formen — ikke bare påstår at «gamma er konjugert».
- Forveksle apriori- og aposterioriparametrene. Apriori er gamma $(\alpha,\beta)$ ; aposteriori er gamma $(\alpha+s,\ \beta/(1+n\beta))$ . Blir de blandet, blir Bayes-estimatoren feil.
- Bruke feil gamma-parametrisering. Vi bruker skala ( $E=\alpha\beta$ ). Bruker oppgaven rate ( $\lambda=1/\beta$ ), må $\beta$ byttes mot $1/\lambda$ konsekvent.
- Ta modus i stedet for forventning. Bayes-estimatoren (under kvadratisk tap) er aposteriori forventning $\alpha'\beta'$ , ikke aposteriori-toppen (modus).
- Glemme å knytte Bayes til ML. Kommentér at Bayes $\to$ ML for stor $n$ — det er et fast delpoeng.
- Regne med normeringskonstanten unødvendig. Hele poenget med konjugering er at du slipper å integrere; les av parametrene fra kjernen.

Blandet drill (sjanger L, stigende)

📝Oppgave 6

Gjenkjenn fordelingen: et aposteriori-uttrykk er $\pi(\lambda\mid x)\propto\lambda^{6}e^{-3\lambda}$ . Hvilken gamma $(\alpha',\beta')$ (skala) er dette, og hva er Bayes-estimatoren?

📝Oppgave 7

Antall treff per intervall er Poisson $(\lambda)$ . Du har $n=4$ intervall med observasjonene $2,5,3,6$ , og apriori gamma $(1,\ 2)$ (skala).

a) Finn $s$ og angi aposteriorifordelingen.

b) Finn Bayes-estimatoren og ML-estimatet.

📝Oppgave 8

(Krevende.) For Poisson–gamma er Bayes-estimatoren $\dfrac{\alpha+s}{1/\beta+n}$ . Vis at den kan skrives som $w\bar x+(1-w)\alpha\beta$ med $w=\dfrac{n\beta}{1+n\beta}$ , og forklar hva $w\to1$ betyr.

📝Oppgave 9

(Kald oppgave — momentliste som fasit.) Antall skader per polise er Poisson $(\lambda)$ . Du har $n=12$ poliser med sum $s=\sum x_i=30$ , og apriori gamma $(4,\ 1)$ (skala). Angi aposteriorifordelingen, Bayes-estimatoren, ML-estimatet, og forklar retningen Bayes trekker.

Begrepsbank

Flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget gjelder kjernestoffet. Korte, navngitte definisjoner for eksamensrepetisjon.

Bayes' setning for parametre

\pi(\theta\mid x)=\dfrac{\pi(\theta)L(\theta)}{\int\pi(\theta)L(\theta)\,d\theta}\propto\pi(\theta)L(\theta)

Likelihooden i Bayes-sammenheng

L(\theta)=\prod f(x_i;\theta)

Kjerne (av en fordeling)

\theta^{\alpha-1}e^{-\theta/\beta}

Gammafordelingen (skala)

(\alpha,\beta)

Poisson-likelihooden

n

Aposteriori-parametrene (Poisson–gamma)

\alpha'=\alpha+s

Konjugering (generelt)

Et apriori-likelihood-par er konjugert når aposteriori er i samme familie som apriori. Fordelen er ren regneøkonomi: oppdatering blir en parameteroppdatering, ikke en integrasjon.

Gamma–gamma-oppdatering

(a,b)

Aposteriori-modus (MAP)

Den mest sannsynlige verdien i aposteriorifordelingen (toppunktet). Et alternativ til Bayes-estimatoren (forventningen); for symmetriske fordelinger faller de sammen, for skjeve (gamma) ikke. (Prioritet: kjenne til.)

Aposteriori som oppdatert kunnskap

Aposteriorifordelingen er hele svaret i bayesiansk inferens — ikke bare et punktestimat. Fra den kan man lese forventning (Bayes-estimat), spredning (usikkerhet) og troverdighetsintervall. Punktestimatet er bare forventningen.

Apriori som pseudo-observasjoner

\alpha

Bayes-estimator under kvadratisk tap

E(\theta\mid x)

Frekventist mot bayesiansk syn

\theta

Symbol- og formelliste

Repetisjonsoppgaver

Din fremgang

0 / 4 oppgaver

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Les mer.