5.2 Maximum likelihood og momentmetoden

Likelihood → log-likelihood → derivér → løs: den utledningen som alltid kommer, pluss momentmetoden som alternativ.

70 min

14 oppgaver

Maximum likelihoodmomentmetoden

Din fremgang i kapitlet

0 / 14 oppgaver

Kapitlets plass i kurset

Bygger på

5.1Estimatorer og egenskaper: forventningsretthet, varians og skjevhet 2.1Kontinuerlige fordelinger: tetthet, CDF, median og eksponensial

Brukes videre i

5.3Drill: estimatoren fra fordeling til egenskaper (sjanger G)6.1Eksakt pivotal-KI via gamma/χ² 8.3Enkel lineær regresjon (nykommer, elementær)

Maximum likelihood (ML) er i 9 av 10 avsluttende skoleeksamener (90 %) i STK1100-arkivet 2015–2024 — analysen kaller det «emnets viktigste ferdighet». Dette er kjedens første ledd (sjanger G, estimerings-oppgaven): du får en fordeling med en ukjent parameter, og skal utlede estimatoren. Varianter fra arkivet: ML på en eksotisk fordeling (Pareto V2017, Rayleigh V2019, Weibull V2021, Laplace V2024), momentmetoden som alternativ, og «en annen foreslått estimator» som skal vurderes.

Sensorkrav 5: ML-ritualet skal utledes aktivt med ALLE trinn — likelihood som produkt, logaritmen (med begrunnelse), derivér, løs. Å hoppe rett til svaret gir ikke full uttelling. Formelsamlingen har fordelingene med tetthet og $E$ /Var, men likelihood-oppsettet og utledningen må du gjøre selv.

Prioritet: høyeste. Klarer du ML-ritualet på en fordeling du aldri har sett, er den tunge oppgave 3 på eksamen halvveis løst.

Forkunnskaper: Dette kapitlet bygger på estimator-egenskapene i kap. 5.1 (forventningsretthet, varians — vi sjekker ML-estimatorene mot dem) og tetthetene fra kap. 2.1 (eksponensial i begge parametriseringer, uniform, normal).

Sist du var her — det du bruker mest:
- Eksponensial i to former (kap. 2.1): rate $f(x) = \lambda e^{-\lambda x}$ ( $E = 1/\lambda$ ) og forventning $f(x) = \tfrac1\mu e^{-x/\mu}$ ( $E = \mu$ ). Oppgaven sier alltid hvilken — les den.
- Forventningsrett (kap. 5.1): $E(\hat\theta) = \theta$ , sjekkes ved å regne $E$ av estimatoren.

Du deriverer log-likelihooden, så R1 4.1 Derivasjonsregler (særlig $\displaystyle \frac{d}{dx}\ln x = 1/x$ og kjerneregelen) er verktøyet.

Du har en fordeling med en ukjent parameter $\theta$ og et datasett $x_1, \dots, x_n$ . Hvilken $\theta$ er mest plausibel gitt akkurat disse dataene? Maximum likelihood svarer: velg den $\theta$ som gjør de observerte dataene mest sannsynlige. Vi setter opp sannsynligheten (tettheten) for å se nettopp dette datasettet som en funksjon av $\theta$ — likelihood-funksjonen — og finner toppunktet.

Kapitlet har fem læringsløkker (teori → eksempel → oppgaver): (1) selve ML-ritualet med eksponensial, (2) flere standardtilfeller (Poisson, eksponensial forventningsform), (3) normal og gamma med kjent form, (4) de eksotiske (Pareto, Weibull), og (5) momentmetoden som alternativ + invariansprinsippet. Kapitlet er på 70 minutter — ta en pause etter løkke 3.

Løkke 1 — ML-ritualet: likelihood, log, derivér, løs (~18 min)

Observasjonene $x_1, \dots, x_n$ er iid med tetthet $f(x; \theta)$ . Sannsynligheten (tettheten) for å observere hele datasettet er produktet av de enkelte tetthetene — det er likelihood-funksjonen $L(\theta)$ . Vi maksimerer den over $\theta$ . Fordi et produkt er tungt å derivere, tar vi først logaritmen: logaritmen gjør produktet til en sum, og siden $\ln$ er strengt voksende, ligger maksimum på samme sted. Så deriverer vi log-likelihooden, setter den lik null, og løser.

Likelihood-funksjonen

L(\theta)

\theta

Log-likelihood

\ell(\theta)

\ell(\theta) = \ln L(\theta) = \sum_{i=1}^n \ln f(x_i; \theta).

ML-estimatoren (score-ligningen)

\hat\theta

✏️Eksempel 1: ML for eksponensial i rateform

Levetidene $x_1, \dots, x_n$ er iid eksponensialfordelte i rateform: $f(x; \lambda) = \lambda e^{-\lambda x}$ , $x > 0$ , med ukjent rate $\lambda$ . Utled ML-estimatoren for $\lambda$ .

1. Likelihood (produkt over alle

n

$L(\lambda) = \prod_{i=1}^n \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda \sum_{i=1}^n x_i}.$

2. Log-likelihood (produkt → sum):

$\ell(\lambda) = n\ln\lambda - \lambda\sum_{i=1}^n x_i.$

3. Derivér og sett lik 0:

$\ell'(\lambda) = \frac{n}{\lambda} - \sum_{i=1}^n x_i = 0.$

4. Løs: $\displaystyle \frac{n}{\lambda} = \sum x_i \Rightarrow \hat\lambda = \dfrac{n}{\sum_{i=1}^n x_i} = \dfrac{1}{\bar x}$ .

ML-estimatoren er $\hat\lambda = 1/\bar X$ . Rimelig: stor gjennomsnittlig levetid $\bar X$ betyr liten rate. (I forventningsform hadde vi fått $\hat\mu = \bar X$ — se løkke 2.)

📝Oppgave 1

For eksponensial i rateform $f(x;\lambda) = \lambda e^{-\lambda x}$ med $n$ iid-observasjoner, skriv opp likelihooden $L(\lambda)$ og log-likelihooden $\ell(\lambda)$ . (Du trenger ikke derivere.)

📝Oppgave 2

Hvorfor tar vi logaritmen av likelihooden før vi deriverer? Nevn to grunner, og forklar hvorfor maksimum ikke flyttes.

Løkke 2 — Flere standardtilfeller: Poisson og eksponensial forventningsform (~14 min)

ML-ritualet er det samme uansett fordeling — bare tettheten/punktsannsynligheten byttes. For diskrete fordelinger er $f$ en punktsannsynlighet, men oppskriften (produkt → log → derivér → løs) er identisk. Vi tar Poisson og eksponensial i forventningsform; begge gir den samme, intuitive estimatoren: $\hat\theta = \bar X$ .

ML for Poisson

X_i \sim \text{Poisson}(\lambda)

ML for eksponensial i forventningsform

f(x;\mu) = \tfrac1\mu e^{-x/\mu}

✏️Eksempel 2: ML for Poisson (bakterietelling)

Antall bakteriekolonier i $n$ vannprøver er iid $\text{Poisson}(\lambda)$ med $p(x;\lambda) = e^{-\lambda}\lambda^x/x!$ . Utled ML-estimatoren for $\lambda$ .

1. Likelihood:

L(\lambda) = \prod_{i=1}^n \dfrac{e^{-\lambda}\lambda^{x_i}}{x_i!} = \dfrac{e^{-n\lambda}\,\lambda^{\sum x_i}}{\prod x_i!}

2. Log-likelihood: $\ell(\lambda) = -n\lambda + \left(\sum x_i\right)\ln\lambda - \sum\ln(x_i!)$ . Det siste leddet inneholder ikke $\lambda$ og forsvinner i derivasjonen.

3. Derivér: $\ell'(\lambda) = -n + \dfrac{\sum x_i}{\lambda} = 0$ .

4. Løs: $\dfrac{\sum x_i}{\lambda} = n \Rightarrow \hat\lambda = \dfrac{\sum x_i}{n} = \bar x$ .

ML-estimatoren er $\hat\lambda = \bar X$ — det observerte snittantallet. Den er forventningsrett fordi $E(\bar X) = E(X_i) = \lambda$ .

📝Oppgave 3

Antall kundehenvendelser per time er iid $\text{Poisson}(\lambda)$ . Du observerer $x_1, \dots, x_n$ .

a) Utled ML-estimatoren for $\lambda$ .

b) Er den forventningsrett? Finn også $\text{Var}(\hat\lambda)$ .

📝Oppgave 4

Ventetidene $x_1, \dots, x_n$ mellom hendelser er iid eksponensiale i forventningsform $f(x;\mu) = \tfrac1\mu e^{-x/\mu}$ . Utled ML-estimatoren for $\mu$ , og vis at den er forventningsrett.

Løkke 3 — Normal og gamma med kjent formparameter (~14 min)

Med to parametre (normal: $\mu$ og $\sigma^2$ ) deriverer vi $\ell$ mot hver for seg. Med gamma der formparameteren $\alpha$ er kjent og bare skalaen $\beta$ er ukjent, er det igjen ett-parameters-ritualet. Gamma-tilfellet er et STK1100-yndlingscase (V-oppgaver med kjent form 4), og estimatoren $\hat\beta = \bar X/\alpha$ viser seg å være forventningsrett.

ML for normalfordelingen

X_i \sim N(\mu, \sigma^2)

ML for gamma med kjent formparameter

X_i \sim \text{gamma}(\alpha, \beta)

✏️Eksempel 3: ML for gammafordelt bruddstyrke (kjent form)

Bruddstyrken til $n$ fiberprøver er iid gammafordelt med kjent formparameter $\alpha = 4$ og ukjent skala $\beta$ : $f(x;\beta) = \dfrac{x^{3}e^{-x/\beta}}{\beta^{4}\,\Gamma(4)}$ , $x > 0$ . Utled ML-estimatoren $\hat\beta$ og vis at den er forventningsrett.

1. Likelihood:

L(\beta) = \prod_{i=1}^n \dfrac{x_i^{3}e^{-x_i/\beta}}{\beta^{4}\Gamma(4)} = \dfrac{\left(\prod x_i^3\right)e^{-\sum x_i/\beta}}{\beta^{4n}\Gamma(4)^n}

2. Log: $\ell(\beta) = 3\sum\ln x_i - \dfrac{\sum x_i}{\beta} - 4n\ln\beta - n\ln\Gamma(4)$ .

3. Derivér mot $\beta$ (bare ledd 2 og 3 har $\beta$ ): $\ell'(\beta) = \dfrac{\sum x_i}{\beta^2} - \dfrac{4n}{\beta} = 0$ .

4. Løs: $\dfrac{\sum x_i}{\beta^2} = \dfrac{4n}{\beta} \Rightarrow \dfrac{\sum x_i}{\beta} = 4n \Rightarrow \hat\beta = \dfrac{\sum x_i}{4n} = \dfrac{\bar X}{4}$ .

Generelt $\hat\beta = \bar X/\alpha$ . Forventningsrett: $E(\hat\beta) = E(\bar X)/4 = \alpha\beta/4 = 4\beta/4 = \beta$ . Ja — dette er et av de rene tilfellene der ML-estimatoren er forventningsrett.

📝Oppgave 5

For $N(\mu, \sigma^2)$ med begge parametre ukjente er ML-estimatorene $\hat\mu = \bar X$ og $\hat\sigma^2 = \tfrac1n\sum(X_i-\bar X)^2$ .

a) Er $\hat\mu$ forventningsrett for $\mu$ ?

b) Er $\hat\sigma^2$ forventningsrett for $\sigma^2$ ? Hvis ikke, hvordan korrigeres den?

📝Oppgave 6

Nedbørsmengder $x_1, \dots, x_n$ er iid gammafordelte med kjent form $\alpha = 3$ og ukjent skala $\beta$ : $f(x;\beta) = \dfrac{x^{2}e^{-x/\beta}}{\beta^{3}\Gamma(3)}$ .

a) Utled $\hat\beta$ .

b) Finn $\text{Var}(\hat\beta)$ uttrykt ved $\beta$ og $n$ .

Løkke 4 — De eksotiske: Pareto og Weibull (~13 min)

UiO-sjangeren er ML på en «navngitt eksotisk» fordeling. Ritualet er uendret; det eneste nye er at log-tettheten inneholder logaritmer og potenser av dataene. Pareto gir en pen lukket estimator; Weibull med kjent form gir en potens-estimator. Begge er hyppige eksamenscaser (Pareto V2017, Weibull V2021).

ML for Pareto (kjent minsteverdi)

f(x;\theta) = \dfrac{\theta k^\theta}{x^{\theta+1}}

ML for Weibull med kjent formparameter

f(x;\beta) = \dfrac{\alpha}{\beta}\left(\dfrac{x}{\beta}\right)^{\alpha-1}e^{-(x/\beta)^\alpha}

✏️Eksempel 4: ML for Pareto-fordelt inntekt

Inntektene $x_1, \dots, x_n$ over minsteinntekten $k$ (kjent) er iid Pareto: $f(x;\theta) = \theta k^\theta / x^{\theta+1}$ , $x \ge k$ . Utled ML-estimatoren for formparameteren $\theta$ .

1. Likelihood:

L(\theta) = \prod_{i=1}^n \dfrac{\theta k^\theta}{x_i^{\theta+1}} = \dfrac{\theta^n k^{n\theta}}{\left(\prod x_i\right)^{\theta+1}}

2. Log: $\ell(\theta) = n\ln\theta + n\theta\ln k - (\theta+1)\sum\ln x_i$ .

3. Derivér: $\ell'(\theta) = \dfrac n\theta + n\ln k - \sum\ln x_i = 0$ .

4. Løs: $\dfrac n\theta = \sum\ln x_i - n\ln k = \sum\ln(x_i/k)$ , altså

$\hat\theta = \frac{n}{\sum_{i=1}^n \ln(x_i/k)}.$

Nevneren $\sum\ln(x_i/k)$ er sum av $n$ eksponensiale (kap. 2.3), som er $\text{gamma}(n, 1/\theta)$ — nøkkelen til at $\hat\theta$ er skjev, og til den eksakte pivotalen (Del 6). Korreksjonen behandles i kap. 5.3.

📝Oppgave 7

Levetidene $x_1, \dots, x_n$ er iid Weibull med kjent form $\alpha = 2$ og ukjent skala $\beta$ : $f(x;\beta) = \dfrac{2x}{\beta^2}e^{-(x/\beta)^2}$ , $x \ge 0$ . Utled ML-estimatoren $\hat\beta$ .

📝Oppgave 8

Inntektene er Pareto med kjent $k = 200$ og ukjent $\theta$ . Fem observerte inntekter gir $\sum_{i=1}^5 \ln(x_i/k) = 2{,}0$ . Finn ML-estimatet for $\theta$ , og forklar hvorfor svaret her er et estimat og ikke en estimator.

Løkke 5 — Momentmetoden og invariansprinsippet (~11 min)

Momentmetoden er et alternativ til ML: sett teoretiske momenter lik empiriske og løs for parameteren. Med én ukjent parameter: sett

E(X) = \bar X

og løs. Ofte gir ML og moment samme svar (eksponensial, Poisson, gamma med kjent form), men ikke alltid — når de skiller lag, sier oppgaven gjerne hvilken den vil ha. Til slutt: invariansprinsippet — ML-estimatoren for en funksjon

g(\theta)

er bare

g

av ML-estimatoren.

Momentmetoden

\theta

Når ML og momentmetoden gir ulikt svar

\hat\mu = \bar X

Invariansprinsippet

\hat\theta

✏️Eksempel 5: Momentmetoden for Rayleigh, og invarians

Bølgehøydene er iid Rayleigh med $E(X) = \sigma\sqrt{\pi/2}$ (parameter $\sigma$ ). a) Finn momentestimatoren for $\sigma$ . b) Bruk invariansprinsippet til å estimere medianen $m = \sigma\sqrt{2\ln 2}$ .

a) Momentmetoden: sett

E(X) = \bar X

, altså

\sigma\sqrt{\pi/2} = \bar X

, som gir

$\hat\sigma_{\text{mom}} = \frac{\bar X}{\sqrt{\pi/2}} = \bar X\sqrt{\frac{2}{\pi}} \approx 0{,}798\,\bar X.$

(Til sammenligning gir ML $\hat\sigma^2_{\text{ML}} = \tfrac{1}{2n}\sum X_i^2$ , altså $\hat\sigma_{\text{ML}} = \sqrt{\tfrac{1}{2n}\sum X_i^2}$ — et annet uttrykk. ML og moment skiller her lag.)

b) Invariansprinsippet: medianen er en funksjon $g(\sigma) = \sigma\sqrt{2\ln 2}$ av parameteren, så estimatet er $\hat m = \hat\sigma\sqrt{2\ln 2}$ . Med momentestimatoren: $\hat m = 0{,}798\,\bar X\cdot\sqrt{2\ln 2} \approx 0{,}798\,\bar X\cdot 1{,}177 \approx 0{,}939\,\bar X$ .

📝Oppgave 9

Ventetidene er iid eksponensiale i rateform $f(x) = \lambda e^{-\lambda x}$ ( $E(X) = 1/\lambda$ ).

a) Finn momentestimatoren for $\lambda$ og sammenlign med ML-estimatoren.

b) Bruk invariansprinsippet til å estimere sannsynligheten $P(X > t) = e^{-\lambda t}$ for en fast $t$ .

📝Oppgave 10

Inntektene er Pareto med kjent $k$ og ukjent $\theta$ , der $E(X) = \dfrac{\theta k}{\theta - 1}$ for $\theta > 1$ .

a) Finn momentestimatoren for $\theta$ .

b) Forklar hvorfor den skiller seg fra ML-estimatoren $\hat\theta_{\text{ML}} = n/\sum\ln(X_i/k)$ .

Typiske feil

- Derivere uten å ta logaritme først. Å derivere produktet $L(\theta)$ direkte er nesten alltid rot. Ta $\ell = \ln L$ (produkt → sum) først — det er sensorkrav 5.
- Glemme at likelihooden er et produkt over ALLE observasjoner. $L(\theta) = \prod_{i=1}^n f(x_i;\theta)$ , ikke bare $f(x_1;\theta)$ . Da havner $n$ på rett plass.
- Ikke løse ligningen fullstendig. $\ell'(\theta) = 0$ skal løses helt for $\hat\theta$ — et halvferdig uttrykk gir ikke full uttelling.
- Forveksle estimator og estimat i svaret. Skriv estimatoren med store $X_i$ (f.eks. $\hat\mu = \bar X$ ); et tall er et estimat.
- Blande eksponensialens parametriseringer. Rateform gir $\hat\lambda = 1/\bar X$ ; forventningsform gir $\hat\mu = \bar X$ . Les hvilken oppgaven bruker — samme fordeling, ulik estimator.
- Anta at ML-estimatoren er forventningsrett. Mange er skjeve (ML-varians, Pareto- $\hat\theta$ , Weibull- $\hat\beta$ ). Sjekk med kap. 5.1-verktøyet.

Begrepsbank — flashcards

Flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget gjelder kjernestoffet. Kortene under er ML-ritualet og standardestimatorene til rask oppslag.

ML-ritualet — kortet

L(\theta) = \prod_{i=1}^n f(x_i;\theta)

Likelihood = produkt over ALLE obs — kortet

L(\theta) = \prod_{i=1}^n f(x_i;\theta)

Score-ligningen — kortet

\ell'(\theta) = 0

Eksponensial-ML — kortet (begge former)

f = \lambda e^{-\lambda x}

Poisson-ML — kortet

X_i \sim \text{Poisson}(\lambda)

Normal-ML — kortet

N(\mu,\sigma^2)

Gamma-kjent-form-ML — kortet

\text{gamma}(\alpha,\beta)

Pareto-ML — kortet

f = \theta k^\theta/x^{\theta+1}

Weibull-kjent-form-ML — kortet

f = \tfrac\alpha\beta(x/\beta)^{\alpha-1}e^{-(x/\beta)^\alpha}

Momentmetode — kortet

E(X) = \bar X

Invariansprinsippet — kortet

\widehat{g(\theta)} = g(\hat\theta)

Hvorfor logaritmen — kortet

\ln

ML er ofte skjev — kortet

\hat\mu = \bar X

Repetisjonsoppgaver

Din fremgang

0 / 4 oppgaver

Symbol- og formelliste

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Les mer.