Tilbake
5.2
Alle fag for Høyskole

5.2 Maximum likelihood: utledningen som alltid kommer

Likelihood → log-likelihood → derivasjon → løsning → maksimumskontroll: emnets viktigste utledningsferdighet, trinn for trinn.

70 min
10 oppgaver
Maximum likelihoodutledningen som alltid kommer
Din fremgang i kapitlet
0 / 10 oppgaver
Kapitlets plass i kurset
Forkunnskaper: Du må kunne estimatorvurdering fra kap. 5.1 (forventningsretthet — vi sjekker om ML-estimatoren er forventningsrett) og tetthetene fra kap. 2.3 (eksponensial 1βe−x/β\displaystyle \frac{1}{\beta}e^{-x/\beta}, gamma) og de diskrete punktsannsynlighetene fra kap. 2.2 (Poisson, binomisk). Uavhengighet gjør at simultantettheten blir et produkt — grunnlaget for likelihooden.

Fra matematikken trenger du å derivere logaritmer og enkle uttrykk (ddθln⁡θ=1θ\displaystyle \frac{d}{d\theta}\ln\theta=\frac{1}{\theta}, ddθ(c/θ)=−c/θ2\displaystyle \frac{d}{d\theta}(c/\theta)=-c/\theta^2) og å løse likninger. Alt av logaritmeregler (ln⁡(ab)=ln⁡a+ln⁡b\ln(ab)=\ln a+\ln b, ln⁡(ab)=bln⁡a\ln(a^b)=b\ln a) brukes tungt. Kapitlet er forkunnskap for asymptotisk normalitet (kap. 5.3), ML-drillen (kap. 5.4) og hele inferenskjeden.

Grunnideen bak maximum likelihood er enkel og intuitiv: blant alle mulige parameterverdier velger vi den som gjør de dataene vi faktisk observerte, mest sannsynlige. Hverdagsanker: har du telt 12 mikrosprekker i en prøve, er en modell med forventning λ=2\lambda=2 langt mer plausibel enn en med λ=50\lambda=50 — ML finner nettopp den λ\lambda som «passer best» til tallene.

Mekanikken er et fast rituale på fem trinn som er identisk uansett fordeling. Vi lærer ritualet på eksponensial og Poisson (løkke 1), gjentar det på andel og normalfordeling (løkke 2), og møter så variantene eksamen elsker: gamma med kjent form, kombinert likelihood fra to kilder, ML under bibetingelse, og tilfellet uten lukket løsning (løkke 3). Hver løkke går teori → eksempel → oppgave.

Samlet kjernetid ≈ 70 min. Naturlige pausepunkter er markert mellom løkkene.

Løkke 1 — Ritualet, eksponensial og Poisson (~24 min)

Likelihood-funksjonen
Har vi uavhengige observasjoner x1,…,xnx_1,\ldots,x_n fra en modell med tetthet (eller punktsannsynlighet) f(x;θ)f(x;\theta), er likelihood-funksjonen produktet av tetthetene, sett som funksjon av parameteren θ\theta:

L(θ)=∏i=1nf(xi;θ).L(\theta) = \prod_{i=1}^n f(x_i;\theta).

Den måler hvor «sannsynlige» de observerte dataene er for hver verdi av θ\theta. Merk vendingen: dataene er faste (vi har målt dem), og vi lar θ\theta variere. Produktet går over ALLE observasjoner — hopper du over noen (for eksempel dataene fra en andre kilde), blir hele utledningen feil. ML-estimatet er den θ\theta som maksimerer L(θ)L(\theta).

Log-likelihood — og hvorfor logaritmen
I stedet for å maksimere produktet L(θ)L(\theta) maksimerer vi log-likelihooden

l(θ)=ln⁡L(θ)=∑i=1nln⁡f(xi;θ).l(\theta) = \ln L(\theta) = \sum_{i=1}^n \ln f(x_i;\theta).

To grunner: (1) logaritmen gjør produkt om til sum, som er langt lettere å derivere; (2) ln⁡\ln er strengt voksende, så den bevarer hvor maksimumet ligger — den θ\theta som maksimerer ll er nøyaktig den som maksimerer LL. Vi mister altså ingenting, men får et mye enklere uttrykk å regne med. Nesten all ML-regning skjer på ll, aldri på LL direkte.

ML-ritualet (fem trinn)

Uansett fordeling følger ML-estimatet samme fem trinn — lær rekkefølgen utenat:

1. Skriv likelihooden L(θ)=∏i=1nf(xi;θ)L(\theta)=\prod_{i=1}^n f(x_i;\theta) (produkt over alle observasjoner).

2. Ta logaritmen: l(θ)=ln⁡L(θ)=∑ln⁡f(xi;θ)l(\theta)=\ln L(\theta)=\sum \ln f(x_i;\theta).

3. Deriver og sett lik null: l′(θ)=0l'(\theta)=0 (likelihoodligningen).

4. Løs for θ\theta — dette gir kandidaten θ^\hat{\theta}.

5. Kontroller at kandidaten er et maksimum (annenderivert l′′(θ^)<0l''(\hat{\theta})<0, eller et monotoniargument).

Den ferdige estimatoren skrives med stor bokstav og hatt (θ^=θ^(X1,…,Xn)\hat{\theta}=\hat{\theta}(X_1,\ldots,X_n)) — den er stokastisk, ikke et tall.

Maksimumskontrollen (trinn 5)

Likelihoodligningen l′(θ^)=0l'(\hat{\theta})=0 finner bare et kritisk punkt — det kan i prinsippet være et minimum eller et sadelpunkt. Toppbesvarelsen kontrollerer at det er et maksimum, på én av to måter:

- Annenderivert: vis at l′′(θ^)<0l''(\hat{\theta})<0 (kurven bøyer nedover — et toppunkt).
- Monotoniargument: vis at l′(θ)>0l'(\theta)>0 for θ<θ^\theta<\hat{\theta} og l′(θ)<0l'(\theta)<0 for θ>θ^\theta>\hat{\theta} (l stiger så synker).

Dette trinnet er det de fleste hopper over — og nettopp derfor er det markøren som skiller toppbesvarelsen. Det tar ofte bare én linje.

✏️Eksempel 1: ML for eksponensialfordelingen (hele ritualet)

Levetidene x1,…,xnx_1,\ldots,x_n til nn batterier er uavhengige og eksponensialfordelte med ukjent forventning β\beta, altså f(x;β)=1βe−x/β\displaystyle f(x;\beta)=\frac{1}{\beta}e^{-x/\beta} for x>0x>0. Utled ML-estimatoren for β\beta, kontroller at det er et maksimum, og avgjør om den er forventningsrett.

Trinn 1 — likelihood.
L(β)=∏i=1n1βe−xi/β=β−nexp⁡ ⁣(−1β∑i=1nxi).L(\beta)=\prod_{i=1}^n \frac{1}{\beta}e^{-x_i/\beta} = \beta^{-n}\exp\!\left(-\frac{1}{\beta}\sum_{i=1}^n x_i\right).

Trinn 2 — log-likelihood.
l(β)=ln⁡L(β)=−nln⁡β−1β∑i=1nxi.l(\beta)=\ln L(\beta) = -n\ln\beta - \frac{1}{\beta}\sum_{i=1}^n x_i.

Trinn 3 — deriver og sett lik 0.
l′(β)=−nβ+1β2∑xi=0.l'(\beta) = -\frac{n}{\beta} + \frac{1}{\beta^2}\sum x_i = 0.

Trinn 4 — løs. Gang med β2\beta^2: −nβ+∑xi=0-n\beta + \sum x_i = 0, altså
β^=1n∑xi=xˉ.\hat{\beta} = \frac{1}{n}\sum x_i = \bar{x}.
Estimatoren er β^=Xˉ\hat{\beta}=\bar{X}.

Trinn 5 — maksimumskontroll. l′′(β)=nβ2−2β3∑xi\displaystyle l''(\beta)=\frac{n}{\beta^2}-\frac{2}{\beta^3}\sum x_i. Sett inn ∑xi=nxˉ=nβ^\sum x_i = n\bar{x}=n\hat{\beta}:
l′′(β^)=nβ^2−2nβ^β^3=nβ^2−2nβ^2=−nβ^2<0.l''(\hat{\beta}) = \frac{n}{\hat{\beta}^2} - \frac{2n\hat{\beta}}{\hat{\beta}^3} = \frac{n}{\hat{\beta}^2}-\frac{2n}{\hat{\beta}^2} = -\frac{n}{\hat{\beta}^2} < 0.
Det er et maksimum.

Forventningsrett? E(β^)=E(Xˉ)=βE(\hat{\beta})=E(\bar{X})=\beta (siden E(Xi)=βE(X_i)=\beta for eksponensial). ML-estimatoren er forventningsrett for β\beta her. (Det er ikke garantert generelt — normalfordelingens σ^2\hat{\sigma}^2 er skjev, se eksempel 2.)

📝Oppgave 1

(Innstegsoppgave — sett inn i den ferdige oppskriften.) For Poisson-fordelingen er ML-estimatoren for λ\lambda gjennomsnittet, λ^=Xˉ\hat{\lambda}=\bar{X}. Antall mikrosprekker i n=6n=6 prøver er 3,  1,  2,  2,  4,  03,\;1,\;2,\;2,\;4,\;0.

a) Regn ut estimatet λ^\hat{\lambda}.

b) Er Xˉ\bar{X} estimatoren eller estimatet her?

✏️Eksempel 2: ML for Poisson (utled $\hat{\lambda}=\bar{X}$)

Antall x1,…,xnx_1,\ldots,x_n hendelser i nn uavhengige intervaller er Poisson-fordelt med ukjent forventning λ\lambda: p(x;λ)=e−λλxx!\displaystyle p(x;\lambda)=\frac{e^{-\lambda}\lambda^x}{x!}. Utled ML-estimatoren.

Trinn 1–2. L(λ)=∏e−λλxixi!=e−nλλ∑xi/∏xi!\displaystyle L(\lambda)=\prod \frac{e^{-\lambda}\lambda^{x_i}}{x_i!}=e^{-n\lambda}\lambda^{\sum x_i}\big/\prod x_i!, så
l(λ)=−nλ+(∑xi)ln⁡λ−∑ln⁡(xi!).l(\lambda) = -n\lambda + \Big(\sum x_i\Big)\ln\lambda - \sum\ln(x_i!).
Det siste leddet er konstant i λ\lambda og forsvinner i derivasjonen.

Trinn 3–4. l′(λ)=−n+1λ∑xi=0⇒λ^=1n∑xi=xˉ\displaystyle l'(\lambda)=-n+\frac{1}{\lambda}\sum x_i = 0 \Rightarrow \hat{\lambda}=\frac{1}{n}\sum x_i = \bar{x}.

Trinn 5. l′′(λ)=−1λ2∑xi<0\displaystyle l''(\lambda)=-\frac{1}{\lambda^2}\sum x_i < 0 (siden ∑xi≥0\sum x_i\ge 0), så det er et maksimum. Estimatoren er λ^=Xˉ\hat{\lambda}=\bar{X}, og E(λ^)=λE(\hat{\lambda})=\lambda (forventningsrett, siden E(Xi)=λE(X_i)=\lambda).

📝Oppgave 2

Ventetidene x1,…,xnx_1,\ldots,x_n (i timer) mellom feil på en sensor er uavhengige og eksponensialfordelte med forventning β\beta. En student skriver opp L(β)=β−ne−∑xi/βL(\beta)=\beta^{-n}e^{-\sum x_i/\beta}.

a) Skriv opp log-likelihooden l(β)l(\beta).

b) Deriver, sett lik 0 og finn β^\hat{\beta}.

c) Vis med annenderivert at det er et maksimum.

— naturlig pausepunkt —

Løkke 2 — Andel og normalfordeling (~23 min)

ML for en andel (binomisk)
Observerer vi xx suksesser i nn uavhengige forsøk med suksess-sannsynlighet pp (binomisk), er likelihooden L(p)=(nx)px(1−p)n−xL(p)=\binom{n}{x}p^x(1-p)^{n-x}. Log-likelihooden (binomialkoeffisienten er konstant i pp):

l(p)=konst+xln⁡p+(n−x)ln⁡(1−p).l(p)=\text{konst} + x\ln p + (n-x)\ln(1-p).

l′(p)=xp−n−x1−p=0\displaystyle l'(p)=\frac{x}{p}-\frac{n-x}{1-p}=0 gir x(1−p)=(n−x)px(1-p)=(n-x)p, altså x=npx=np og

p^=xn=antall suksesserantall forsøk.\hat{p}=\frac{x}{n} = \frac{\text{antall suksesser}}{\text{antall forsøk}}.

Dette er den observerte andelen — ML bekrefter den intuitive estimatoren. Den er forventningsrett: E(p^)=E(X)/n=np/n=pE(\hat{p})=E(X)/n=np/n=p. Maksimumskontroll: l′′(p)=−xp2−n−x(1−p)2<0\displaystyle l''(p)=-\frac{x}{p^2}-\frac{n-x}{(1-p)^2}<0.

✏️Eksempel 3: ML for normalfordelingen ($\hat{\mu}$ og $\hat{\sigma}^2$)

Målinger x1,…,xnx_1,\ldots,x_n er uavhengige og normalfordelte, N(μ,σ2)N(\mu,\sigma^2), med begge parametre ukjente. Utled ML-estimatorene for μ\mu og σ2\sigma^2.

Tettheten er f(x)=12πσ2exp⁡ ⁣(−(x−μ)22σ2)\displaystyle f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\big(-\frac{(x-\mu)^2}{2\sigma^2}\big), så
l(μ,σ2)=−n2ln⁡(2πσ2)−12σ2∑(xi−μ)2.l(\mu,\sigma^2) = -\frac{n}{2}\ln(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum(x_i-\mu)^2.

Estimatoren for μ\mu. Deriver mhp. μ\mu:
∂l∂μ=1σ2∑(xi−μ)=0  ⇒  ∑(xi−μ)=0  ⇒  μ^=xˉ.\frac{\partial l}{\partial\mu}=\frac{1}{\sigma^2}\sum(x_i-\mu)=0 \;\Rightarrow\; \sum(x_i-\mu)=0 \;\Rightarrow\; \hat{\mu}=\bar{x}.
Gjennomsnittet, uansett σ2\sigma^2.

Estimatoren for σ2\sigma^2. Skriv θ=σ2\theta=\sigma^2 og deriver mhp. θ\theta:
∂l∂θ=−n2θ+12θ2∑(xi−μ^)2=0  ⇒  σ^2=1n∑(xi−xˉ)2.\frac{\partial l}{\partial\theta}=-\frac{n}{2\theta}+\frac{1}{2\theta^2}\sum(x_i-\hat{\mu})^2=0 \;\Rightarrow\; \hat{\sigma}^2=\frac{1}{n}\sum(x_i-\bar{x})^2.

Kobling til kap. 5.1: legg merke til at ML gir divisor nn, ikke n−1n-1. Derfor er σ^2\hat{\sigma}^2 forventningsskjev: E(σ^2)=n−1nσ2\displaystyle E(\hat{\sigma}^2)=\frac{n-1}{n}\sigma^2, og man korrigerer til S2S^2 (divisor n−1n-1) hvis man vil ha en forventningsrett estimator. μ^=Xˉ\hat{\mu}=\bar{X} er derimot forventningsrett. Dette skillet er en klassisk sensorfelle.

📝Oppgave 3

En kvalitetstest på n=50n=50 loddede skjøter finner x=17x=17 defekte. Andelen defekte pp modelleres binomisk.

a) Skriv opp log-likelihooden l(p)l(p) (uten konstantleddet).

b) Utled ML-estimatoren p^\hat{p} generelt, og regn ut estimatet.

c) Er p^\hat{p} forventningsrett?

— naturlig pausepunkt —

Løkke 3 — Variantene eksamen elsker (~23 min)

ML for gamma med kjent formparameter
Er dataene x1,…,xnx_1,\ldots,x_n gammafordelte med kjent formparameter α\alpha og ukjent skalaparameter θ\theta — tetthet f(x)=1Γ(α)θαxα−1e−x/θ\displaystyle f(x)=\frac{1}{\Gamma(\alpha)\theta^\alpha}x^{\alpha-1}e^{-x/\theta} — blir log-likelihooden

l(θ)=∑[(α−1)ln⁡xi−xiθ−ln⁡Γ(α)−αln⁡θ].l(\theta)=\sum\big[(\alpha-1)\ln x_i - \tfrac{x_i}{\theta} - \ln\Gamma(\alpha) - \alpha\ln\theta\big].

Bare leddene med θ\theta betyr noe i derivasjonen: l′(θ)=1θ2∑xi−nαθ=0\displaystyle l'(\theta)=\frac{1}{\theta^2}\sum x_i - \frac{n\alpha}{\theta}=0, som gir

θ^=1nα∑xi=Xˉα.\hat{\theta}=\frac{1}{n\alpha}\sum x_i = \frac{\bar{X}}{\alpha}.

Siden E(X)=αθE(X)=\alpha\theta for denne gammaen, er E(θ^)=E(Xˉ)α=αθα=θ\displaystyle E(\hat{\theta})=\frac{E(\bar{X})}{\alpha}=\frac{\alpha\theta}{\alpha}=\theta — forventningsrett. (Eksponensial er spesialtilfellet α=1\alpha=1.)

Kombinert likelihood fra to datakilder
Deler to uavhengige datasett samme parameter θ\theta, ganges likelihoodene sammen — likelihooden er produktet over alle observasjoner fra begge kilder:

L(θ)=∏i=1nf(xi;θ)⏟kilde 1⋅∏j=1mg(yj;θ)⏟kilde 2.L(\theta) = \underbrace{\prod_{i=1}^n f(x_i;\theta)}_{\text{kilde 1}} \cdot \underbrace{\prod_{j=1}^m g(y_j;\theta)}_{\text{kilde 2}}.

Log-likelihooden blir en sum av bidragene fra begge kilder, l(θ)=∑ln⁡f(xi;θ)+∑ln⁡g(yj;θ)l(\theta)=\sum\ln f(x_i;\theta)+\sum\ln g(y_j;\theta), og du deriverer den samlede summen. Den klassiske feilen er å glemme kilde to. Fordelingene ff og gg kan være ulike (eller ha ulik parametrisering, som når kilde 2 har forventning 2θ2\theta) — så lenge de deler den ukjente θ\theta.

ML under bibetingelse — substituer FØR derivasjon

Noen ganger knytter en bibetingelse to parametre sammen, for eksempel μA=2μB\mu_A=2\mu_B (populasjon A har dobbelt så høy forventning som B). Da er det egentlig bare én fri parameter. Regelen er: substituer bindingen inn i likelihooden FØR du deriverer, så du sitter igjen med én ukjent.

Eksempel-oppsett: skriv μA=2β\mu_A=2\beta og μB=β\mu_B=\beta, sett begge inn i den kombinerte likelihooden, og deriver mhp. den ene parameteren β\beta. Deriverer du først og prøver å tvinge inn bindingen etterpå, får du feil svar — dette er en fast felle (Aug24).

ML uten lukket løsning
Noen ganger gir likelihoodligningen l′(θ)=0l'(\theta)=0 en likning som ikke kan løses algebraisk for θ\theta. Da er jobben på eksamen å sette opp likningen ryddig og kommentere at den løses numerisk (for eksempel med Newtons metode eller en solver). Det klassiske tilfellet er null-trunkert Poisson — Poisson betinget på at X≥1X\ge 1, med punktsannsynlighet p(x)=e−λλxx!(1−e−λ)\displaystyle p(x)=\frac{e^{-\lambda}\lambda^x}{x!(1-e^{-\lambda})} for x≥1x\ge 1. Likelihoodligningen reduseres til

xˉ=λ1−e−λ,\bar{x}=\frac{\lambda}{1-e^{-\lambda}},

som er transcendental — det finnes ingen formel λ^=…\hat{\lambda}=\ldots. Du oppgir likningen og sier at λ\lambda finnes numerisk. Å sette opp likningen riktig er hele poenget.

Invariansprinsippet
ML-estimatoren er invariant under funksjoner: er θ^\hat{\theta} ML-estimatoren for θ\theta, så er ML-estimatoren for enhver funksjon g(θ)g(\theta) rett og slett

g(θ)^=g(θ^).\widehat{g(\theta)} = g(\hat{\theta}).

Du setter bare θ^\hat{\theta} inn i gg — ingen ny utledning. For eksponensial med β^=Xˉ\hat{\beta}=\bar{X} er ML-estimatoren for medianen βln⁡2\beta\ln 2 derfor Xˉln⁡2\bar{X}\ln 2, og for halesannsynligheten P(X>t)=e−t/βP(X>t)=e^{-t/\beta} er den e−t/Xˉe^{-t/\bar{X}}. Dette er broen til KI-transformasjon (kap. 6.2) og deltametoden (kap. 5.3).

✏️Eksempel 4: kombinert likelihood fra to laboratorier

To laboratorier måler bruddstyrke uavhengig, begge eksponensialfordelt med samme forventning β\beta. Lab 1 har nn målinger x1,…,xnx_1,\ldots,x_n, lab 2 har mm målinger y1,…,ymy_1,\ldots,y_m. Utled ML-estimatoren for β\beta basert på alle dataene samlet.

Trinn 1 — likelihood over begge kilder.
L(β)=∏i=1n1βe−xi/β⋅∏j=1m1βe−yj/β=β−(n+m)exp⁡ ⁣(−∑xi+∑yjβ).L(\beta)=\prod_{i=1}^n \frac{1}{\beta}e^{-x_i/\beta}\cdot\prod_{j=1}^m \frac{1}{\beta}e^{-y_j/\beta} = \beta^{-(n+m)}\exp\!\left(-\frac{\sum x_i+\sum y_j}{\beta}\right).

Trinn 2 — log. l(β)=−(n+m)ln⁡β−∑xi+∑yjβl(\beta)=-(n+m)\ln\beta - \dfrac{\sum x_i+\sum y_j}{\beta}.

Trinn 3–4. l′(β)=−n+mβ+∑xi+∑yjβ2=0⇒l'(\beta)=-\dfrac{n+m}{\beta}+\dfrac{\sum x_i+\sum y_j}{\beta^2}=0 \Rightarrow
β^=∑xi+∑yjn+m.\hat{\beta}=\frac{\sum x_i+\sum y_j}{n+m}.
Det samlede gjennomsnittet av alle n+mn+m observasjonene.

Trinn 5. Samme form som eksempel 1: l′′(β^)=−n+mβ^2<0l''(\hat{\beta})=-\dfrac{n+m}{\hat{\beta}^2}<0, et maksimum. Sensorpoeng: feilen er å glemme lab 2 og bare bruke xˉ\bar{x} fra lab 1 — likelihooden må inneholde produktet over alle observasjoner.

✏️Eksempel 5: ML under bibetingelse $\mu_A=2\mu_B$

To produksjonslinjer har eksponensialfordelte feilmellomrom. Linje A har forventning μA\mu_A og linje B har forventning μB\mu_B, og det er kjent at μA=2μB\mu_A=2\mu_B. Vi har pp observasjoner a1,…,apa_1,\ldots,a_p fra A og qq observasjoner b1,…,bqb_1,\ldots,b_q fra B. Utled ML-estimatoren for den frie parameteren.

Substituer bindingen FØRST: skriv μB=β\mu_B=\beta og μA=2β\mu_A=2\beta, så det er én fri parameter β\beta.

Likelihood (begge kilder):
L(β)=∏i=1p12βe−ai/(2β)⋅∏j=1q1βe−bj/β.L(\beta)=\prod_{i=1}^p \frac{1}{2\beta}e^{-a_i/(2\beta)}\cdot\prod_{j=1}^q \frac{1}{\beta}e^{-b_j/\beta}.

Log: l(β)=−pln⁡(2β)−∑ai2β−qln⁡β−∑bjβ=−(p+q)ln⁡β−pln⁡2−1β(12∑ai+∑bj).l(\beta) = -p\ln(2\beta) - \dfrac{\sum a_i}{2\beta} - q\ln\beta - \dfrac{\sum b_j}{\beta} = -(p+q)\ln\beta - p\ln 2 - \dfrac{1}{\beta}\Big(\tfrac{1}{2}\sum a_i + \sum b_j\Big).

Deriver: l′(β)=−p+qβ+1β2(12∑ai+∑bj)=0l'(\beta)=-\dfrac{p+q}{\beta}+\dfrac{1}{\beta^2}\Big(\tfrac{1}{2}\sum a_i+\sum b_j\Big)=0, som gir
β^=12∑ai+∑bjp+q.\hat{\beta}=\frac{\tfrac{1}{2}\sum a_i + \sum b_j}{p+q}.

Deretter er μ^A=2β^\hat{\mu}_A=2\hat{\beta} og μ^B=β^\hat{\mu}_B=\hat{\beta} (invarians). Sensorpoeng: hadde du derivert med to frie parametre og prøvd å tvinge inn μA=2μB\mu_A=2\mu_B etterpå, ville du fått feil. Bindingen inn før derivasjon.

📝Oppgave 4

Antall x1,…,xnx_1,\ldots,x_n partikler i luftprøver er Poisson-fordelt med forventning λ\lambda (kilde 1), og et uavhengig datasett y1,…,ymy_1,\ldots,y_m er Poisson-fordelt med forventning 3λ3\lambda (kilde 2 måler et tre ganger så stort volum).

a) Skriv opp den kombinerte log-likelihooden l(λ)l(\lambda) (dropp konstantledd).

b) Utled ML-estimatoren λ^\hat{\lambda}.

c) Vis at λ^\hat{\lambda} er forventningsrett.

📝Oppgave 5

Bruddstyrken til nn fiberprøver er gammafordelt med kjent formparameter α=4\alpha=4 og ukjent skalaparameter θ\theta: f(x)=1Γ(4)θ4x3e−x/θ\displaystyle f(x)=\frac{1}{\Gamma(4)\theta^4}x^{3}e^{-x/\theta}, x>0x>0. Det er kjent at E(X)=4θE(X)=4\theta.

a) Skriv opp log-likelihooden og dropp ledd som er konstante i θ\theta.

b) Utled ML-estimatoren θ^\hat{\theta}.

c) Vis at θ^\hat{\theta} er forventningsrett.

📝Oppgave 6

Antall biler i bruk per husholdning modelleres med null-trunkert Poisson (alle husholdninger har minst én bil), med punktsannsynlighet p(x)=e−λλxx!(1−e−λ)p(x)=\dfrac{e^{-\lambda}\lambda^x}{x!(1-e^{-\lambda})} for x=1,2,3,…x=1,2,3,\ldots

a) Skriv opp log-likelihooden l(λ)l(\lambda) for nn observasjoner.

b) Deriver og vis at likelihoodligningen kan skrives xˉ=λ1−e−λ\bar{x}=\dfrac{\lambda}{1-e^{-\lambda}}.

c) Har likningen en lukket løsning? Hva gjør du på eksamen?

Begrepsbank til eksamen

Ritualet, resultatkortene for standardfordelingene, og teknikk-kortene for variantene.

Begrepsbanken er flashcard-/repetisjonsstoff — den gjentar det du nettopp har lest. Hopp trygt over ved førstegangslesing; tidsanslaget gjelder kjernestoffet.

Oppskriftskort: ML-ritualet

Fem trinn, alltid: (1) likelihood L(θ)=∏f(xi;θ)L(\theta)=\prod f(x_i;\theta) (over alle observasjoner); (2) log l=ln⁡L=∑ln⁡fl=\ln L=\sum\ln f; (3) deriver og sett l′(θ)=0l'(\theta)=0; (4) løs for θ^\hat{\theta}; (5) maksimumskontroll (l′′(θ^)<0l''(\hat{\theta})<0 eller monotoni). Skriv estimatoren med hatt og stor bokstav.

Resultatkort: eksponensial β^=Xˉ\hat{\beta}=\bar{X}

For eksponensial(β)(\beta): l(β)=−nln⁡β−1β∑xi\displaystyle l(\beta)=-n\ln\beta-\frac{1}{\beta}\sum x_i, β^=Xˉ\hat{\beta}=\bar{X}. Maksimum: l′′(β^)=−n/β^2<0l''(\hat{\beta})=-n/\hat{\beta}^2<0. Forventningsrett, siden E(X)=βE(X)=\beta. Den mest gjennomregnede ML-en i emnet.

Resultatkort: Poisson λ^=Xˉ\hat{\lambda}=\bar{X}

For Poisson(λ)(\lambda): l(λ)=−nλ+(∑xi)ln⁡λ+konstl(\lambda)=-n\lambda+(\sum x_i)\ln\lambda+\text{konst}, λ^=Xˉ\hat{\lambda}=\bar{X}. Maksimum: l′′=−∑xi/λ2<0l''=-\sum x_i/\lambda^2<0. Forventningsrett, siden E(X)=λE(X)=\lambda.

Resultatkort: andel p^=X/n\hat{p}=X/n

For binomisk med xx suksesser i nn forsøk: l(p)=xln⁡p+(n−x)ln⁡(1−p)+konstl(p)=x\ln p+(n-x)\ln(1-p)+\text{konst}, p^=x/n\hat{p}=x/n (den observerte andelen). Forventningsrett: E(p^)=np/n=pE(\hat{p})=np/n=p.

Resultatkort: normal μ^=Xˉ\hat{\mu}=\bar{X}, σ^2\hat{\sigma}^2

For N(μ,σ2)N(\mu,\sigma^2): μ^=Xˉ\hat{\mu}=\bar{X} (forventningsrett), σ^2=1n∑(Xi−Xˉ)2\displaystyle \hat{\sigma}^2=\frac{1}{n}\sum(X_i-\bar{X})^2 med divisor nn — skjev (E(σ^2)=n−1nσ2\displaystyle E(\hat{\sigma}^2)=\frac{n-1}{n}\sigma^2). Korrigeres til S2S^2 (divisor n−1n-1) for forventningsretthet (kap. 5.1).

Resultatkort: gamma kjent form θ^=Xˉ/α\hat{\theta}=\bar{X}/\alpha

For gamma med kjent form α\alpha og ukjent skala θ\theta: l(θ)=−αnln⁡θ−1θ∑xi+konst\displaystyle l(\theta)=-\alpha n\ln\theta-\frac{1}{\theta}\sum x_i+\text{konst}, θ^=Xˉ/α\hat{\theta}=\bar{X}/\alpha. Forventningsrett, siden E(X)=αθE(X)=\alpha\theta. Eksponensial er α=1\alpha=1.

Teknikkort: kombinert likelihood

Deler to uavhengige datasett parameteren θ\theta: L(θ)=∏f(xi;θ)⋅∏g(yj;θ)L(\theta)=\prod f(x_i;\theta)\cdot\prod g(y_j;\theta), og ll er summen av bidragene fra begge. Deriver den samlede summen. Glem aldri kilde to — den vanligste feilen. Merk ulik forventning: hvis kilde 2 har E=3λE=3\lambda, blir nevneren i estimatet vektet (n+3mn+3m, ikke n+mn+m).

Teknikkort: uten lukket løsning

Gir l′(θ)=0l'(\theta)=0 en transcendental likning (som null-trunkert Poisson: xˉ=λ/(1−e−λ)\bar{x}=\lambda/(1-e^{-\lambda})), finnes ingen formel. Sett opp likningen ryddig og si at θ^\hat{\theta} løses numerisk. Å sette opp likningen riktig er poenget.

Formelkort: invariansprinsippet
g(θ)^=g(θ^)\widehat{g(\theta)}=g(\hat{\theta}) — ML-estimatoren for en funksjon fås ved å sette inn θ^\hat{\theta}. For eksponensial: median βln⁡2^=Xˉln⁡2\widehat{\beta\ln 2}=\bar{X}\ln 2; hale P(X>t)^=e−t/Xˉ\widehat{P(X>t)}=e^{-t/\bar{X}}. Ingen ny utledning. Bro til deltametoden og KI-transformasjon.
Feilkort: maksimumskontroll
l′(θ^)=0l'(\hat{\theta})=0 finner bare et kritisk punkt. Toppbesvarelsen viser l′′(θ^)<0l''(\hat{\theta})<0 (nedadbøyd = maksimum) eller at l′l' skifter fra positiv til negativ. Trinnet som oftest glemmes — og som skiller besvarelsene.
Repetisjonsoppgaver
Din fremgang
0 / 4 oppgaver
Symbol- og formelliste

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Norges teknisk-naturvitenskapelige universitet. Dette er ikke offisielt studiemateriell. Les mer.