1.5 Drill: estimeringskjeden fra fordeling til Wald-KI (sjanger A–C)

Standardtreningen i estimeringsoppgaven: fra en (ofte «eksotisk») fordeling til momentestimator/ML, forventningsretthet, varians, Fisher-info og Wald-KI — den faste Oppgave 1, ledd for ledd.

80 min

10 oppgaver

Drillestimeringskjeden fra fordeling til Wald-KI (sjanger A–C)

Din fremgang i kapitlet

0 / 10 oppgaver

Kapitlets plass i kurset

Bygger på

1.3Fisher-informasjon, MLE-asymptotikk, Wald-KI og Cramér–Rao

Brukes videre i

1.PPrøver til del 1: Estimeringsteori 4.1Sjangerguiden A–P og den kjededelte tredelingens anatomi

Dette er selve Oppgave 1 — den kommer i praktisk talt hvert eneste sett. Estimeringskjeden fra en fordeling til Wald-konfidensintervall (sjanger A + B + C samlet) har en kombinert frekvens på ~95 %. Kjeden moment/ML → bekreft maksimum → forventningsretthet → varians → Fisher-info → Wald-KI er ryggraden i emnet.

Variantene du må kjenne igjen:
- «Eksotisk» fordeling. Oppgaven bytter fordeling fra år til år — Rayleigh, Weibull (kjent form), Pareto, eksponential-varianter, uniform, geometrisk, en gamma med kjent form. Kjeden er den samme uansett.
- Moment mot ML. Noen år skal begge finnes og sammenlignes; andre år sammenfaller de (Poisson, eksponential).
- Rullerende sluttpunkt: enten et Fisher → Wald-KI-ledd (sjanger C/D), et Bayes-/konjugeringspunkt (kap. 1.4) eller en estimator-sammenligning (kap. 1.1).

Sensorens hyppigste trekk her: glemme maksimumsbekreftelsen ( $\ell''(\hat\theta)<0$ ); hoppe over et ledd i kjeden (fasiten belønner alle); bruke $z$ der det skal være $t$ (Wald bruker $z$ , men et KI for et normalgjennomsnitt med estimert $\sigma$ bruker $t_{n-1}$ ); og blande estimator (stor bokstav) med estimat (tall). Prioritet: må sitte perfekt — den viktigste enkeltkjeden i boka.

Forkunnskaper: Dette drillkapitlet fletter sammen hele Del 1. Du trenger estimator-egenskapene fra kap. 1.1 (forventningsretthet, varians, MSE, konsistens), moment- og ML-metoden fra kap. 1.2 (kjeden

L\to\ell\to s\to

løs

\to

bekreft

\ell''<0

, invariansprinsippet), Fisher-informasjon, ML-asymptotikk og Wald-KI fra kap. 1.3, og Bayes-/konjugeringspunktet fra kap. 1.4.

Alt regnehåndverket — derivere log-likelihood, løse en ligning, ta forventning — er dekket i disse fire kapitlene. Her trenér du å sette det sammen til én flytende besvarelse under tidspress. Trenger du å friske opp derivasjon, se R1 4.1 Derivasjonsregler.

Løsningsoppskrift — estimeringskjeden i sju trinn

Når Oppgave 1 gir deg en fordeling med én ukjent parameter, følger du samme sju trinn hver gang. Fasiten belønner hvert ledd, så skriv dem ut selv om et delpunkt stopper — senere trinn kan løses med et oppgitt mellomresultat.

1. Definer modellen. Skriv «La $X_1,\dots,X_n$ være uavhengige med tetthet $f(x;\theta)$ », og noter støtten (hvilke $x$ -verdier). Støtte som avhenger av $\theta$ (som uniform på $[0,\theta]$ ) er et varsel om at score-metoden svikter (trinn 2).

2. Moment- og/eller ML-estimator — med bekreftet maksimum.
- Moment: sett $E(X)=\bar X$ (eller $E(X^2)=\tfrac1n\sum X_i^2$ når $E(X)$ ikke inneholder $\theta$ ) og løs.
- ML: kjør hele kjeden $L(\theta)=\prod f(x_i;\theta)\to \ell(\theta)=\sum\log f\to s(\theta)=\ell'(\theta)\to$ løs $s(\hat\theta)=0\to$ bekreft $\ell''(\hat\theta)<0$ . Det siste trinnet glemmes oftest og straffes hardt.

3. Forventningsretthet. Regn $E(\hat\theta)$ . Er $E(\hat\theta)=\theta$ , er den forventningsrett; ellers kvantifiser skjevheten $b(\hat\theta)=E(\hat\theta)-\theta$ og korriger (gang med en konstant) hvis oppgaven ber om en forventningsrett estimator.

4. Varians. Regn $\text{Var}(\hat\theta)$ fullstendig (vis alle ledd). Er to estimatorer aktuelle, sammenlign på varians (begge forventningsrette) eller på $\text{MSE}=\text{Var}+b^2$ (minst én skjev).

5. Fisher-informasjon $\to$ asymptotisk fordeling. Regn $I(\theta)=-E[\partial^2\log f/\partial\theta^2]$ i én observasjon, så $I_n=nI$ . Angi ML-estimatorens tilnærmede fordeling $\hat\theta\overset{\text{ca.}}{\sim}N\!\big(\theta,\tfrac{1}{nI(\theta)}\big)$ — si eksplisitt at det er ML-asymptotikken/sentralgrenseteoremet som gir normalformen.

6. Wald-konfidensintervall. $se(\hat\theta)=\sqrt{1/(nI(\hat\theta))}$ , og et $(1-\alpha)$ -intervall er $\hat\theta\pm z_{\alpha/2}\,se(\hat\theta)$ . Avhenger $se$ av parameteren ( $se\propto\theta$ ), bruk den asymmetriske pivot-formen $[\hat\theta/(1+z/\sqrt n),\ \hat\theta/(1-z/\sqrt n)]$ (eksponential-typen) eller en eksakt pivot (kap. 2.5). Wald bruker $z$ ; et KI for et normalgjennomsnitt med estimert $\sigma$ bruker $t_{n-1}$ .

7. Rullerende sluttpunkt. Enten et Bayes-punkt (konjugert apriori $\to$ aposteriori $\to$ Bayes-estimator, kap. 1.4), en estimator-sammenligning (kap. 1.1), en Cramér–Rao-kommentar (ingen forventningsrett estimator har mindre varians enn $1/(nI)$ ), eller en invarians-transform ( $\hat\psi=g(\hat\theta)$ , intervallet transformeres med $g$ ).

> Huskeregel: modell → estimator (bekreft maks) → forventning → varians → informasjon → intervall → sluttpunkt. Sju ledd, full uttelling.

✏️Eksamenscase: Rayleigh fra ende til annen (sjanger A+B+C, med sensornotater)

Vindstyrker (m/s) $x_1,\dots,x_n$ er Rayleigh-fordelte med tetthet $f(x;\theta)=\dfrac{x}{\theta^2}e^{-x^2/(2\theta^2)}$ , $x>0$ , $\theta>0$ . Kjent fra formelsamlingen: $E(X)=\theta\sqrt{\pi/2}$ og $E(X^2)=2\theta^2$ . Du har $n=30$ målinger med $\bar x=5{,}0$ og $\sum x_i^2=940$ .

(a) Finn momentestimatoren. (b) Utled ML-estimatoren og bekreft maksimum. (c) Drøft forventningsretthet. (d) Finn Fisher-informasjonen og ML-estimatorens tilnærmede fordeling. (e) Gi et 95 % Wald-intervall for $\theta$ . (f) Kommenter effisiens (Cramér–Rao).

(a) Momentestimator (trinn 1–2). Modell:

X_i\sim

Rayleigh

(\theta)

uavhengige. Momentligningen

E(X)=\bar X

gir

\theta\sqrt{\pi/2}=\bar X

, altså

\hat\theta_{\text{mom}}=\bar X\sqrt{2/\pi}\approx 0{,}7979\,\bar X.

Tallverdi:

\hat\theta_{\text{mom}}=0{,}7979\cdot5{,}0\approx 3{,}99

> Sensorpoeng (a): riktig oppsett av momentligningen med $E(X)=\theta\sqrt{\pi/2}$ (ikke $\theta$ ) gir uttelling selv om tallsvaret glipper.

(b) ML-estimator (trinn 2, alle fem ledd).
1. $L(\theta)=\prod\dfrac{x_i}{\theta^2}e^{-x_i^2/(2\theta^2)}$ .
2. $\ell(\theta)=\sum\log x_i-2n\log\theta-\dfrac{1}{2\theta^2}\sum x_i^2$ .
3. $s(\theta)=-\dfrac{2n}{\theta}+\dfrac{1}{\theta^3}\sum x_i^2$ .
4. $s(\hat\theta)=0\Rightarrow \hat\theta^2=\dfrac{\sum x_i^2}{2n}\Rightarrow \hat\theta_{ML}=\sqrt{\dfrac{\sum x_i^2}{2n}}$ .
5. $\ell''(\theta)=\dfrac{2n}{\theta^2}-\dfrac{3\sum x_i^2}{\theta^4}$ ; i $\hat\theta$ (der $\sum x_i^2=2n\hat\theta^2$ ) blir $\ell''(\hat\theta)=\dfrac{2n}{\hat\theta^2}-\dfrac{6n}{\hat\theta^2}=-\dfrac{4n}{\hat\theta^2}<0$ ✔ (maksimum).

Tallverdi: $\hat\theta_{ML}=\sqrt{940/60}=\sqrt{15{,}67}\approx 3{,}96$ .

> Sensorpoeng (b): trinn 5 er obligatorisk. En besvarelse som stopper ved $\hat\theta=\sqrt{\sum x_i^2/(2n)}$ uten $\ell''<0$ mister det tyngste delpoenget her (§5.3).

(c) Forventningsretthet (trinn 3). Momentestimatoren er eksakt forventningsrett: $E(\hat\theta_{\text{mom}})=\sqrt{2/\pi}\,E(\bar X)=\sqrt{2/\pi}\cdot\theta\sqrt{\pi/2}=\theta$ . For ML gjelder $E(\hat\theta_{ML}^2)=\dfrac{1}{2n}E\!\big(\sum X_i^2\big)=\dfrac{1}{2n}\cdot 2n\theta^2=\theta^2$ , så $\hat\theta_{ML}^2$ er forventningsrett for $\theta^2$ ; selve $\hat\theta_{ML}$ er asymptotisk forventningsrett (kvadratrota gir en liten nedadskjevhet for lite $n$ , som forsvinner når $n$ vokser).

> Sensorpoeng (c): å skille «forventningsrett for $\theta^2$ » fra «forventningsrett for $\theta$ » er et A-nyansepoeng — ikke påstå mer enn du har vist.

(d) Fisher-info og asymptotisk fordeling (trinn 5). $\log f=\log x-2\log\theta-\dfrac{x^2}{2\theta^2}$ , så $\dfrac{\partial^2}{\partial\theta^2}\log f=\dfrac{2}{\theta^2}-\dfrac{3x^2}{\theta^4}$ . Ta forventning med $E(X^2)=2\theta^2$ :
$I(\theta)=-\!\left(\frac{2}{\theta^2}-\frac{3\cdot 2\theta^2}{\theta^4}\right)=-\frac{2}{\theta^2}+\frac{6}{\theta^2}=\frac{4}{\theta^2}.$
ML-asymptotikken (sentralgrenseteoremet) gir da $\hat\theta_{ML}\overset{\text{ca.}}{\sim}N\!\left(\theta,\dfrac{1}{nI(\theta)}\right)=N\!\left(\theta,\dfrac{\theta^2}{4n}\right)$ .

> Sensorpoeng (d): nevn eksplisitt at normalformen er ML-asymptotikk (§4.4), og koble variansen til $1/(nI(\theta))$ — ikke bare skriv « $\hat\theta$ er normal».

(e) Wald-intervall (trinn 6). $se(\hat\theta)=\sqrt{1/(nI(\hat\theta))}=\sqrt{\hat\theta^2/(4n)}=\dfrac{\hat\theta}{2\sqrt n}=\dfrac{3{,}96}{2\sqrt{30}}\approx 0{,}361$ . Med $z_{0{,}025}=1{,}96$ :
$3{,}96\pm 1{,}96\cdot 0{,}361=3{,}96\pm 0{,}708=[3{,}25,\ 4{,}67].$

> Sensorpoeng (e): $z$ er riktig her (Wald på en ML-estimator). Et $t$ -kvantil ville vært feil — $t$ hører til normalgjennomsnitt med estimert $\sigma$ (kap. 2.1).

(f) Effisiens (trinn 7 — Cramér–Rao). Cramér–Rao-grensen er $\dfrac{1}{nI(\theta)}=\dfrac{\theta^2}{4n}$ . ML-estimatoren oppnår denne asymptotisk, mens momentestimatoren har $\text{Var}(\hat\theta_{\text{mom}})=(4/\pi-1)\dfrac{\theta^2}{n}\approx 0{,}273\dfrac{\theta^2}{n}>\dfrac{\theta^2}{4n}=0{,}25\dfrac{\theta^2}{n}$ . ML er altså mer effisient enn moment — den henter ut mer av informasjonen i dataene.

> Sensorpoeng (f): å tallfeste at $0{,}273>0{,}25$ og konkludere «ML foretrekkes» løfter besvarelsen fra B til A.

Drilloppgaver — én kjede per fordeling (stigende)

📝Oppgave 1

Eksponential med forventning $\theta$ . Levetider

x_1,\dots,x_n

er eksponentialfordelte med forventning

\theta

f(x;\theta)=\dfrac1\theta e^{-x/\theta}

x>0

. Du har

n=20

med

\bar x=6{,}5

a) Finn momentestimatoren for $\theta$ .

b) Utled ML-estimatoren og bekreft maksimum.

c) Er ML-estimatoren forventningsrett? Finn variansen.

d) Finn Fisher-informasjonen $I(\theta)$ .

e) Gi et 95 % Wald-intervall for $\theta$ .

📝Oppgave 2

Geometrisk fordeling. Antall forsøk til første suksess er geometrisk:

f(x;p)=(1-p)^{x-1}p

x=1,2,\dots

, med

E(X)=1/p

. I

n=50

forsøksrekker er

\bar x=4

a) Finn moment- og ML-estimatoren for $p$ (begge er $1/\bar X$ — du kan bruke ML-resultatet fra kap. 1.2).

b) Vis at Fisher-informasjonen er $I(p)=\dfrac{1}{p^2(1-p)}$ .

c) Angi ML-estimatorens tilnærmede fordeling og gi et 95 % Wald-intervall for $p$ .

📝Oppgave 3

Pareto-fordeling (minsteverdi

x_m=1

kjent). Inntekter over en terskel er Pareto-fordelte:

f(x;\theta)=\theta x^{-(\theta+1)}

x\ge 1

\theta>0

, med

E(X)=\dfrac{\theta}{\theta-1}

(for

\theta>1

). Du har

n=40

observasjoner med

\sum\log x_i=25

a) Finn momentestimatoren (anta $\theta>1$ ).

b) Utled ML-estimatoren og bekreft maksimum.

c) Finn $I(\theta)$ og gi et 95 % Wald-intervall for $\theta$ .

📝Oppgave 4

Weibull med kjent formparameter $k=3$ . Bruddstyrker er Weibull-fordelte:

f(x;\theta)=\dfrac{k\,x^{k-1}}{\theta}e^{-x^k/\theta}

x>0

\theta>0

k=3

kjent, med

E(X^k)=\theta

. Du har

n=36

med

\sum x_i^3=180

a) Finn estimatoren via det $k$ -te momentet.

b) Utled ML-estimatoren og bekreft maksimum, og vis at den er forventningsrett.

c) Finn variansen, Fisher-informasjonen og et 95 % Wald-intervall for $\theta$ .

📝Oppgave 5

Normal med kjent forventning 0 — estimer variansen. Målefeil

x_1,\dots,x_n

N(0,\theta)

(her er

\theta=\sigma^2

variansen, forventningen er kjent lik 0). Du har

n=50

med

\sum x_i^2=200

a) Utled ML-estimatoren for $\theta$ og bekreft maksimum.

b) Vis at den er forventningsrett og finn variansen.

c) Finn $I(\theta)$ , bekreft at $\hat\theta$ er effisient (Cramér–Rao), og gi et 95 % Wald-intervall for $\theta$ .

📝Oppgave 6

Poisson — hele kjeden med Cramér–Rao. Antall registrerte hendelser per enhet er Poisson

(\lambda)

. Du har

n=60

enheter med

\bar x=2{,}5

a) Angi moment- og ML-estimatoren (begge $\bar X$ , kap. 1.2) og at estimatoren er forventningsrett.

b) Finn $I(\lambda)$ og ML-estimatorens tilnærmede fordeling.

c) Gi et 95 % Wald-intervall for $\lambda$ , og vis at $\bar X$ oppnår Cramér–Rao-grensen.

📝Oppgave 7

Poisson med et Bayes-sluttpunkt (sjanger A + L). Antall skader per polise er Poisson

(\lambda)

. Du har

n=15

poliser med sum

s=\sum x_i=42

, og en gamma

(\alpha,\beta)=

gamma

(2,1)

-apriori (skala) for

\lambda

a) Finn ML-estimatet og et 95 % Wald-intervall for $\lambda$ .

b) Vis at gamma er konjugert og angi aposteriorifordelingen.

c) Finn Bayes-estimatoren og forklar retningen den avviker fra ML.

📝Oppgave 8

(Krevende.) Eksponential — symmetrisk mot asymmetrisk Wald og invarians. Ventetider (minutter) er eksponentialfordelte med forventning

\theta

I(\theta)=1/\theta^2

(så standardavviket til

\hat\theta

\theta/\sqrt n

). Du har

n=9

med

\bar x=12

a) Gi det symmetriske 95 % Wald-intervallet for $\theta$ .

b) Gi det asymmetriske pivot-intervallet, og forklar hvorfor det er å foretrekke.

c) Bruk invarians til å finne ML-estimatet og et 95 %-intervall for raten $\lambda=1/\theta$ (fra det symmetriske intervallet).

📝Oppgave 9

(Krevende.) Uniform på $[0,\theta]$ — ML på randen. Data er uniformt fordelt på

[0,\theta]

f(x;\theta)=1/\theta

for

0\le x\le\theta

, med

E(X)=\theta/2

a) Forklar hvorfor score-metoden svikter, og finn ML-estimatoren.

b) Er ML-estimatoren forventningsrett? Gi en forventningsrett variant.

c) Finn momentestimatoren, og avgjør med MSE hvilken av den forventningsrette ML-varianten og momentestimatoren du foretrekker for stor $n$ . (Bruk $\text{Var}(X_{(n)})=\dfrac{n\theta^2}{(n+1)^2(n+2)}$ og $\text{Var}(X)=\theta^2/12$ .)

📝Oppgave 10

(Kald oppgave — momentliste som fasit.) Reparasjonstider

x_1,\dots,x_n

har tetthet

f(x;\theta)=\theta^2 x\,e^{-\theta x}

x>0

\theta>0

(en gamma med formparameter 2 og rate

\theta

), med

E(X)=2/\theta

E(X^2)=6/\theta^2

. Du har

n=25

med

\bar x=0{,}8

. Kjør hele estimeringskjeden: momentestimator, ML-estimator (med bekreftet maksimum), forventningsretthet, Fisher-informasjon, ML-estimatorens fordeling, og et 95 % Wald-intervall for

\theta

Typiske feil i estimeringskjeden

1. Glemme maksimums-bekreftelsen. En kandidat uten

\ell''(\hat\theta)<0

(eller tilsvarende argument) er ikke vist å være et maksimum — løsningsforslagene belønner dette leddet hver gang.

2. Hoppe over et ledd i kjeden. Fasit gir uttelling for alle leddene moment/ML → forventningsretthet → varians → Fisher-informasjon → Wald-KI; et hoppet ledd er tapte poeng selv om sluttsvaret står.

3. z der det skal være t — og omvendt. Wald-intervallet bruker $z_{\alpha/2}$ (asymptotikk); et eksakt KI for et normalgjennomsnitt med ukjent $\sigma$ bruker $t_{n-1,\alpha/2}$ . Velg bevisst og si hvorfor.

4. Estimator/estimat-forveksling. $\hat\Theta$ (stor bokstav) er stokastisk og har fordeling; $\hat\theta$ (tall) er verdien i ditt datasett. Sensor ser etter skillet i hele kjeden.

Begrepsbank

Flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget gjelder kjernestoffet. Kompakte drilloppslag for estimeringskjeden — formlene du må ha på refleks når Oppgave 1 kommer.

Estimeringskjeden (de sju trinnene)

\to

Trinn 1: Definer modellen

X_1,\dots,X_n

Momentestimatoren (drilloppslag)

E(X)=\bar X

ML-estimatoren og maksimumsbekreftelsen

L\to\ell=\sum\log f\to s=\ell'\to

Forventningsretthet i drillen

E(\hat\theta)

Skjevhetskorreksjon

\hat\theta

Varians til estimatoren

\text{Var}(\tfrac1n\sum X_i)=\text{Var}(X)/n

Fisher-informasjonen (oppslagstabell)

I(\theta)=-E[\partial^2\log f/\partial\theta^2]

ML-asymptotikken

\hat\theta\overset{\text{ca.}}{\sim}N\!\big(\theta,\tfrac{1}{nI(\theta)}\big)

Standardfeilen

se

se(\hat\theta)=\sqrt{1/(nI(\hat\theta))}

Wald-konfidensintervallet

\hat\theta\pm z_{\alpha/2}\,se(\hat\theta)

Asymmetrisk pivot

se\propto\theta

Cramér–Rao-grensen

1/(nI(\theta))

Invarians (punkt og intervall)

\psi=g(\theta)

z eller t — velg riktig

z

Symbol- og formelliste

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Les mer.