Tilbake
5.1
Alle fag for Høyskole

5.1 Estimatorer og deres egenskaper: forventningsretthet, varians og MSE

Hva som gjør en estimator god — forventningsretthet, varians og MSE, og sammenligningen eksamen ber om igjen og igjen.

55 min
9 oppgaver
Estimatorerderes egenskaperforventningsretthetvariansMSE
Din fremgang i kapitlet
0 / 9 oppgaver
Kapitlets plass i kurset
Forkunnskaper: Dette kapitlet hviler tungt på regnereglene for forventning og varians fra kap. 2.1 (E(aX+bY)=aE(X)+bE(Y)E(aX+bY)=aE(X)+bE(Y) og Var(aX+bY)=a2Var(X)+b2Var(Y)\text{Var}(aX+bY)=a^2\text{Var}(X)+b^2\text{Var}(Y) for uavhengige) og på resultatet Xˉ∼N(μ,σ2/n)\bar{X}\sim N(\mu,\sigma^2/n) fra kap. 3.2 — spesielt at Var(Xˉ)=σ2/n\text{Var}(\bar{X})=\sigma^2/n. Den empiriske variansen s2s^2 med divisor n−1n-1 møtte du allerede i kap. 1.4; her får du hvorfor det skal være n−1n-1.

Du trenger ikke maximum likelihood ennå — det kommer i kap. 5.2, som bygger rett på dette kapitlet. Kapitlet er forkunnskap for hele resten av inferensdelen (konfidensintervall i Del 6, tester i Del 7).

Når vi har en modell med en ukjent parameter — forventet levetid β\beta, en andel pp, en varians σ2\sigma^2 — lager vi en estimator: en regneoppskrift som gjør data om til et tallanslag. Men flere oppskrifter kan sikte på samme parameter. Hvilken er best? Dette kapitlet gir de tre målestokkene eksamen bruker: forventningsretthet (treffer estimatoren i snitt?), varians (hvor mye spriker den?) og MSE (den samlede feilen når vi må veie skjevhet mot spredning).

Hverdagsanker: tenk deg tre skyttere som skyter mot samme blink. Den ene sikter riktig men skjelver mye (forventningsrett, stor varians); den andre skyter tett men systematisk litt til venstre (skjev, liten varians). Hvem treffer nærmest i snitt? Det er nøyaktig spørsmålet MSE svarer på.

Vi går i tre løkker: forventningsretthet (løkke 1), varians og MSE med sammenligningsprotokollen (løkke 2), og standardresultatene Xˉ\bar{X} og S2S^2 — inkludert hvorfor nn-varianten av variansen er skjev (løkke 3). Hver løkke går teori → eksempel → oppgave.

Samlet kjernetid ≈ 55 min. Naturlige pausepunkter er markert mellom løkkene.

Løkke 1 — Estimator, estimat og forventningsretthet (~18 min)

Estimator og estimat

En estimator er en oppskrift som regner et parameteranslag ut av data — før vi har sett tallene er den en stokastisk variabel, og vi skriver den med stor bokstav og hatt: θ^\hat{\theta}, μ^=Xˉ\hat{\mu}=\bar{X}, β^\hat{\beta}. Setter vi inn de faktiske målingene, får vi et estimat — ett bestemt tall.

Eksempel: μ^=Xˉ=1n∑Xi\displaystyle \hat{\mu}=\bar{X}=\frac{1}{n}\sum X_i er estimatoren (stokastisk); har vi målt xˉ=7,2\bar{x}=7{,}2, er 7,27{,}2 estimatet (tallet). Skillet er ikke pedanteri: en estimator har en fordeling (med forventning og varians), et estimat har det ikke — det er bare et punkt. Hele dette kapitlet handler om fordelingen til estimatoren.

Forventningsretthet
En estimator θ^\hat{\theta} er forventningsrett for θ\theta når den i gjennomsnitt treffer den sanne verdien — altså når forventningen er lik parameteren:

E(θ^)=θ.E(\hat{\theta}) = \theta.

(Ordet «forventningsrett» betyr rett i forventning, ikke rett hver gang.) Er E(θ^)≠θE(\hat{\theta}) \ne \theta, kaller vi differansen skjevheten (bias), b(θ^)=E(θ^)−θb(\hat{\theta}) = E(\hat{\theta}) - \theta. En forventningsrett estimator har b=0b=0.

På eksamen regner du E(θ^)E(\hat{\theta}) ut med regnereglene fra kap. 2.1 og sjekker om svaret blir θ\theta — du påstår det ikke. Det er nettopp regningen sensor gir poeng for.

✏️Eksempel 1: $\bar{X}$ er forventningsrett for $\mu$

La X1,…,XnX_1,\ldots,X_n være uavhengige målinger av bruddstyrken til en fiberprøve, alle med forventning μ\mu og varians σ2\sigma^2. Vis at gjennomsnittet Xˉ=1n∑Xi\displaystyle \bar{X}=\frac{1}{n}\sum X_i er en forventningsrett estimator for μ\mu.

Bruk lineariteten til forventning (fra kap. 2.1) — forventningen av en sum er summen av forventningene, og konstanter kan flyttes ut:

E(Xˉ)=E ⁣(1n∑i=1nXi)=1n∑i=1nE(Xi)=1n⋅nμ=μ.E(\bar{X}) = E\!\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n}\sum_{i=1}^n E(X_i) = \frac{1}{n}\cdot n\mu = \mu.

Siden E(Xˉ)=μE(\bar{X})=\mu, er Xˉ\bar{X} forventningsrett for μ\mu. Skjevheten er b=μ−μ=0b=\mu-\mu=0. Legg merke til at dette gjelder for enhver fordeling med forventning μ\mu — vi brukte ingenting om normalitet, bare at hver E(Xi)=μE(X_i)=\mu.

📝Oppgave 1

(Innstegsoppgave.) Forventet levetid til et batteri estimeres med μ^=Xˉ\hat{\mu}=\bar{X}.

a) Er Xˉ\bar{X} (før måling) en stokastisk variabel eller et tall?

b) Etter måling er xˉ=7,2\bar{x}=7{,}2 timer. Er dette estimatoren eller estimatet?

c) Hver måling har varians σ2=9\sigma^2=9, og vi har n=16n=16 uavhengige målinger. Finn Var(Xˉ)\text{Var}(\bar{X}).

📝Oppgave 2
Tre uavhengige målinger X1,X2,X3X_1,X_2,X_3 av samme størrelse har alle forventning μ\mu og varians σ2\sigma^2. To estimatorer foreslås:

μ^1=Xˉ=13(X1+X2+X3),μ^2=16(X1+2X2+3X3).\hat{\mu}_1=\bar{X}=\tfrac{1}{3}(X_1+X_2+X_3), \qquad \hat{\mu}_2=\tfrac{1}{6}(X_1+2X_2+3X_3).

a) Vis at begge er forventningsrette for μ\mu.

b) Finn variansen til hver, og avgjør hvilken som bør brukes.

— naturlig pausepunkt —

Løkke 2 — Varians, skjevhet og MSE (~19 min)

Varians og standardfeil til en estimator

To forventningsrette estimatorer treffer begge i snitt, men den ene kan spre seg mye mer enn den andre. Spredningen måles med variansen Var(θ^)\text{Var}(\hat{\theta}), og kvadratroten kalles standardfeilen SE(θ^)=Var(θ^)\text{SE}(\hat{\theta})=\sqrt{\text{Var}(\hat{\theta})} — estimatorens typiske avstand fra sitt eget snitt.

Blant forventningsrette estimatorer foretrekker vi den med minst varians (mest presis). For gjennomsnittet er Var(Xˉ)=σ2/n\text{Var}(\bar{X})=\sigma^2/n: variansen synker med nn, så flere målinger gir en skarpere estimator. Dette er grunnen til at «samle mer data» hjelper.

Skjevhet (bias)
Skjevheten til en estimator er hvor mye forventningen bommer på parameteren:

b(θ^)=E(θ^)−θ.b(\hat{\theta}) = E(\hat{\theta}) - \theta.

Er b=0b=0, er estimatoren forventningsrett. Er b>0b>0, overvurderer den systematisk; b<0b<0, undervurderer. En skjev estimator er ikke nødvendigvis dårlig — hvis den til gjengjeld har mye mindre varians, kan den samlet sett bomme mindre. Det er nettopp det MSE veier.

Mean squared error (MSE)
MSE (forventet kvadratavvik) måler den samlede feilen — den forventede kvadrerte avstanden mellom estimator og parameter:

MSE(θ^)=E[(θ^−θ)2]=Var(θ^)+[b(θ^)]2.\text{MSE}(\hat{\theta}) = E\big[(\hat{\theta}-\theta)^2\big] = \text{Var}(\hat{\theta}) + [b(\hat{\theta})]^2.

MSE splitter altså i spredning pluss skjevhet-kvadrert. For en forventningsrett estimator (b=0b=0) er MSE=Var\text{MSE}=\text{Var}. MSE er tungvekteren når du skal sammenligne en forventningsrett kandidat med en skjev: den forventningsrette vinner ikke automatisk — en skjev estimator med liten nok varians kan ha lavere MSE.

Sammenligningsprotokollen (fire trinn)

Når eksamen ber deg velge mellom to–tre estimatorer, følg alltid disse fire trinnene — i denne rekkefølgen:

1. Sjekk forventningsretthet for hver kandidat: regn E(θ^)E(\hat{\theta}) og se om den blir θ\theta.

2. Regn variansen til hver kandidat.

3. Er alle forventningsrette, velg den med minst varians. Er en eller flere skjeve, regn MSE for alle og sammenlign den.

4. Velg og begrunn med begge kriterier — et svar uten begrunnelse gir ikke full uttelling.

Denne protokollen er selve sjanger G-ferdigheten («sjanger G» betyr en oppgave der du utleder en estimator og vurderer egenskapene — den vanligste typen i storoppgaven).

✏️Eksempel 2: to forventningsrette kandidater — variansen avgjør
Trykket i en tank måles n=4n=4 ganger uavhengig, hver måling med forventning μ\mu og varians σ2\sigma^2. To estimatorer for μ\mu vurderes:

μ^1=Xˉ,μ^2=12(X1+X4)\hat{\mu}_1=\bar{X}, \qquad \hat{\mu}_2=\tfrac{1}{2}(X_1+X_4)

(gjennomsnittet av alle fire, mot gjennomsnittet av bare første og siste). Vis at begge er forventningsrette, og avgjør hvilken som bør brukes.

Trinn 1 — forventningsretthet. E(Xˉ)=μE(\bar{X})=\mu (eksempel 1). For den andre: E(μ^2)=12(E(X1)+E(X4))=12(μ+μ)=μE(\hat{\mu}_2)=\tfrac{1}{2}(E(X_1)+E(X_4))=\tfrac{1}{2}(\mu+\mu)=\mu. Begge forventningsrette, så skjevheten skiller dem ikke.

Trinn 2 — varians.
Var(Xˉ)=σ24=0,25 σ2,Var(μ^2)=14(σ2+σ2)=σ22=0,5 σ2.\text{Var}(\bar{X})=\frac{\sigma^2}{4}=0{,}25\,\sigma^2, \qquad \text{Var}(\hat{\mu}_2)=\tfrac{1}{4}(\sigma^2+\sigma^2)=\frac{\sigma^2}{2}=0{,}5\,\sigma^2.

Trinn 3–4 — velg. Begge forventningsrette, så vi velger den med minst varians: Xˉ\bar{X}, som halverer variansen (0,25 σ2<0,5 σ20{,}25\,\sigma^2 < 0{,}5\,\sigma^2). Begrunnelse: μ^2\hat{\mu}_2 kaster bort informasjonen i X2X_2 og X3X_3; Xˉ\bar{X} bruker alle målingene og blir derfor mer presis.

📝Oppgave 3

En estimator θ^A\hat{\theta}_A for en nedbøytningsrate har E(θ^A)=θE(\hat{\theta}_A)=\theta og Var(θ^A)=11\text{Var}(\hat{\theta}_A)=11. En konkurrerende estimator θ^B\hat{\theta}_B er litt skjev: E(θ^B)=θ+2E(\hat{\theta}_B)=\theta+2 og Var(θ^B)=5\text{Var}(\hat{\theta}_B)=5.

a) Finn skjevheten til hver estimator.

b) Regn ut MSE for begge.

c) Hvilken estimator har lavest samlet feil?

— naturlig pausepunkt —

Løkke 3 — Standardresultatene: Xˉ\bar{X} og S2S^2 (~18 min)

S2S^2 er forventningsrett for σ2\sigma^2 (divisor n−1n-1)
Utvalgsvariansen med divisor n−1n-1,

S2=1n−1∑i=1n(Xi−Xˉ)2,S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i-\bar{X})^2,

er forventningsrett for σ2\sigma^2: E(S2)=σ2E(S^2)=\sigma^2. Grunnen til at det må være n−1n-1 og ikke nn ligger i nøkkelresultatet

E ⁣[∑i=1n(Xi−Xˉ)2]=(n−1)σ2.E\!\left[\sum_{i=1}^n (X_i-\bar{X})^2\right] = (n-1)\sigma^2.

Utledningsskisse: skriv avvikene fra Xˉ\bar{X} om til avvik fra μ\mu ved å legge til og trekke fra μ\mu:
∑(Xi−Xˉ)2=∑(Xi−μ)2−n(Xˉ−μ)2.\sum (X_i-\bar{X})^2 = \sum (X_i-\mu)^2 - n(\bar{X}-\mu)^2.
Tar vi forventning, og bruker E[(Xi−μ)2]=σ2E[(X_i-\mu)^2]=\sigma^2 og E[(Xˉ−μ)2]=Var(Xˉ)=σ2/nE[(\bar{X}-\mu)^2]=\text{Var}(\bar{X})=\sigma^2/n:
E ⁣[∑(Xi−Xˉ)2]=nσ2−n⋅σ2n=(n−1)σ2.E\!\left[\sum (X_i-\bar{X})^2\right] = n\sigma^2 - n\cdot\frac{\sigma^2}{n} = (n-1)\sigma^2.
Deler vi på n−1n-1 (ikke nn), får vi akkurat σ2\sigma^2. Én frihetsgrad «brukes opp» når vi erstatter det ukjente μ\mu med Xˉ\bar{X}.

ML-varianten σ^2\hat{\sigma}^2 er skjev
Deler vi i stedet på nn (som maximum likelihood gjør, kap. 5.2):

σ^2=1n∑i=1n(Xi−Xˉ)2,\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i-\bar{X})^2,

blir estimatoren forventningsskjev. Fra E[∑(Xi−Xˉ)2]=(n−1)σ2E[\sum(X_i-\bar{X})^2]=(n-1)\sigma^2 følger

E(σ^2)=n−1nσ2=σ2−σ2n,E(\hat{\sigma}^2)=\frac{n-1}{n}\sigma^2 = \sigma^2 - \frac{\sigma^2}{n},

så skjevheten er b=−σ2/nb=-\sigma^2/n — den undervurderer variansen systematisk. For små nn er dette merkbart (for n=5n=5 er forventningen bare 0,8 σ20{,}8\,\sigma^2). Sammenhengen er σ^2=n−1nS2\displaystyle \hat{\sigma}^2=\frac{n-1}{n}S^2: ML-varianten er S2S^2 krympet med faktoren (n−1)/n(n-1)/n.

Konsistens (bør kjenne til)

En estimator er konsistent når den nærmer seg parameteren etter hvert som utvalget vokser — grovt sagt: både skjevheten og variansen går mot 0 når n→∞n\to\infty. For Xˉ\bar{X} ser vi dette direkte: den er forventningsrett, og Var(Xˉ)=σ2/n→0\text{Var}(\bar{X})=\sigma^2/n\to 0. Da må estimatoren «samle seg» rundt μ\mu.

Dette er et bør-kjenne-til-poeng (nivå 3): du trenger sjelden å bevise konsistens på eksamen, men intuisjonen — «mer data gir en estimator som til slutt treffer» — er verdt å kunne uttrykke i ord. Både S2S^2 og den skjeve σ^2\hat{\sigma}^2 er konsistente, siden skjevheten −σ2/n-\sigma^2/n også forsvinner.

✏️Eksempel 3: skjevheten til $\hat{\sigma}^2$ tallfestet

Antall mikrosprekker per fiberprøve har ukjent varians σ2\sigma^2. Med n=5n=5 prøver bruker en student ML-estimatoren σ^2=15∑(Xi−Xˉ)2\displaystyle \hat{\sigma}^2=\frac{1}{5}\sum(X_i-\bar{X})^2. Hva er E(σ^2)E(\hat{\sigma}^2) uttrykt ved σ2\sigma^2, og hvor stor er skjevheten?

Bruk E[∑(Xi−Xˉ)2]=(n−1)σ2=4σ2E[\sum(X_i-\bar{X})^2]=(n-1)\sigma^2=4\sigma^2 for n=5n=5. Da er
E(σ^2)=15⋅4σ2=45σ2=0,8 σ2.E(\hat{\sigma}^2)=\frac{1}{5}\cdot 4\sigma^2 = \frac{4}{5}\sigma^2 = 0{,}8\,\sigma^2.
Skjevheten er b=E(σ^2)−σ2=0,8σ2−σ2=−0,2 σ2=−σ2/5b=E(\hat{\sigma}^2)-\sigma^2 = 0{,}8\sigma^2-\sigma^2 = -0{,}2\,\sigma^2 = -\sigma^2/5. Estimatoren undervurderer variansen med 20 % i forventning. Den forventningsrette varianten deler på n−1=4n-1=4 i stedet: S2=14∑(Xi−Xˉ)2\displaystyle S^2=\frac{1}{4}\sum(X_i-\bar{X})^2, med E(S2)=σ2E(S^2)=\sigma^2. Sensorpoeng: at man ser at ML-varianten er skjev og korrigerer til n−1n-1 er nettopp det Des23-fasiten belønner.
📝Oppgave 4

For normalfordelte data er det kjent (oppgitt her) at Var(S2)=2σ4n−1\text{Var}(S^2)=\dfrac{2\sigma^4}{n-1}, der S2S^2 er den forventningsrette utvalgsvariansen. Betrakt også ML-varianten σ^2=n−1nS2\displaystyle \hat{\sigma}^2=\frac{n-1}{n}S^2. La n=5n=5.

a) Finn MSE(S2)\text{MSE}(S^2) uttrykt ved σ4\sigma^4.

b) Finn skjevheten og variansen til σ^2\hat{\sigma}^2, og deretter MSE(σ^2)\text{MSE}(\hat{\sigma}^2).

c) Hvilken estimator har lavest MSE?

📝Oppgave 5
En sensor måler samme lengde μ\mu med to instrumenter. Instrument 1 gir mm uavhengige målinger, hver med varians σ2\sigma^2; instrument 2 gir én enkelt måling YY med varians σ2\sigma^2, uavhengig av de andre. La Xˉ\bar{X} være gjennomsnittet fra instrument 1. Vurder to estimatorer for μ\mu:

μ^1=Xˉ,μ^2=12Xˉ+12Y.\hat{\mu}_1=\bar{X}, \qquad \hat{\mu}_2 = \tfrac{1}{2}\bar{X} + \tfrac{1}{2}Y.

a) Vis at begge er forventningsrette.

b) Finn variansen til hver (uttrykt ved σ2\sigma^2 og mm).

c) For hvilke mm er μ^1\hat{\mu}_1 best?

Begrepsbank til eksamen

Definisjonene og standardresultatene for estimatorvurdering, samlet i kortform.

Begrepsbanken er flashcard-/repetisjonsstoff — den gjentar det du nettopp har lest. Hopp trygt over ved førstegangslesing; tidsanslaget gjelder kjernestoffet.

Kort: Xˉ\bar{X} og Var(Xˉ)=σ2/n\text{Var}(\bar{X})=\sigma^2/n

Gjennomsnittet Xˉ=1n∑Xi\displaystyle \bar{X}=\frac{1}{n}\sum X_i er forventningsrett for μ\mu (E(Xˉ)=μE(\bar{X})=\mu) for enhver fordeling med forventning μ\mu, og har varians Var(Xˉ)=σ2/n\text{Var}(\bar{X})=\sigma^2/n. Variansen synker med nn, så flere målinger gir en skarpere estimator. Standardfeilen er SE(Xˉ)=σ/n\text{SE}(\bar{X})=\sigma/\sqrt{n}.

Kort: S2S^2 med divisor n−1n-1
S2=1n−1∑(Xi−Xˉ)2\displaystyle S^2=\frac{1}{n-1}\sum(X_i-\bar{X})^2 er forventningsrett for σ2\sigma^2: E(S2)=σ2E(S^2)=\sigma^2. Nøkkelen er E[∑(Xi−Xˉ)2]=(n−1)σ2E[\sum(X_i-\bar{X})^2]=(n-1)\sigma^2 — én frihetsgrad forsvinner når μ\mu erstattes av Xˉ\bar{X}. Derfor divisor n−1n-1, ikke nn.
Feilkort: ML-varianten er skjev

ML-estimatoren σ^2=1n∑(Xi−Xˉ)2\displaystyle \hat{\sigma}^2=\frac{1}{n}\sum(X_i-\bar{X})^2 (divisor nn) har E(σ^2)=n−1nσ2\displaystyle E(\hat{\sigma}^2)=\frac{n-1}{n}\sigma^2, altså skjevhet −σ2/n-\sigma^2/n — den undervurderer variansen. Sammenhengen er σ^2=n−1nS2\displaystyle \hat{\sigma}^2=\frac{n-1}{n}S^2. Merkbart for små nn; forsvinner når n→∞n\to\infty.

Formelkort: MSE
MSE(θ^)=E[(θ^−θ)2]=Var(θ^)+[b(θ^)]2\text{MSE}(\hat{\theta})=E[(\hat{\theta}-\theta)^2]=\text{Var}(\hat{\theta})+[b(\hat{\theta})]^2, der b=E(θ^)−θb=E(\hat{\theta})-\theta er skjevheten. For forventningsrett estimator er MSE=Var\text{MSE}=\text{Var}. Bruk MSE når du sammenligner en forventningsrett mot en skjev kandidat — den skjeve kan vinne.
Oppskriftskort: sammenligningsprotokollen

Å velge mellom estimatorer: (1) sjekk forventningsretthet (regn E(θ^)E(\hat{\theta})); (2) regn varianser; (3) alle forventningsrette → velg minst varians, ellers regn MSE for alle; (4) velg og begrunn med begge kriterier. Dette er sjanger G-vurderingen.

Feilkort: estimator vs. estimat
Estimator = stokastisk oppskrift, stor bokstav med hatt (θ^\hat{\theta}, Xˉ\bar{X}), har fordeling med forventning og varians. Estimat = tallet etter innsetting av data (xˉ=7,2\bar{x}=7{,}2). Bare estimatoren har varians og skjevhet — estimatet er et punkt.
Formelkort: varians av veid sum

For uavhengige X1,…,XnX_1,\ldots,X_n og konstanter aia_i: E(∑aiXi)=∑aiE(Xi)E(\sum a_iX_i)=\sum a_iE(X_i) og Var(∑aiXi)=∑ai2Var(Xi)\text{Var}(\sum a_iX_i)=\sum a_i^2\text{Var}(X_i). Vektene kvadreres i variansen. Summerer vektene til 1 og alle E(Xi)=μE(X_i)=\mu, er den veide summen forventningsrett for μ\mu; like vekter (ai=1/na_i=1/n) gir minst varians.

Repetisjonsoppgaver
Din fremgang
0 / 4 oppgaver
Symbol- og formelliste

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Norges teknisk-naturvitenskapelige universitet. Dette er ikke offisielt studiemateriell. Les mer.