Tilbake
3.5

3.5 Prediksjon: KI for forventet respons vs. prediksjonsintervall

Skillet mellom konfidensintervall for forventet respons µ_Y|x og prediksjonsintervall for en ny observasjon — hvorfor sistnevnte har «1+…» under rota — og faren ved ekstrapolering.

50 min
11 oppgaver
PrediksjonKI for forventet respons vs. prediksjonsintervall
Din fremgang i kapitlet
0 / 11 oppgaver
Forkunnskaper: Hele kapitlet bygger på enkel regresjon i kap. 3.1 — spesielt β^0,β^1\hat\beta_0,\hat\beta_1, σ^\hat\sigma og SxxS_{xx} — og på t-intervallenes logikk fra kap. 2.1. Begge intervallformlene her står i formelsamlingen: jobben din er å velge riktig formel og slå opp riktig kvantil, ikke å huske dem.
Sist du var her (fra kap. 3.1 — det du trenger nå):

y^=β^0+β^1x,S2=SSEn2,V(β^1)=σ2Sxx,β^1±tn2,α/2se(β^1).\hat y=\hat\beta_0+\hat\beta_1x,\qquad S^2=\frac{\text{SSE}}{n-2},\qquad V(\hat\beta_1)=\frac{\sigma^2}{S_{xx}},\qquad \hat\beta_1\pm t_{n-2,\,\alpha/2}\,se(\hat\beta_1).

Intervallene i dette kapitlet er samme t-mønster — estimat ±\pm kvantil ×\times standardfeil — bare med et nytt «estimat» (den tilpassede verdien i punktet x0x_0) og nye standardfeil.

Modellen er tilpasset og godkjent. Nå kommer bruksspørsmålene, og de er to forskjellige spørsmål: (1) «Hva er forventet respons for alle enheter med x=x0x=x_0?» — et spørsmål om hvor snittlinja ligger. (2) «Hvilken verdi får den neste enkeltobservasjonen med x=x0x=x_0?» — et spørsmål om ett nytt, støyfullt datapunkt.

Punktsvarene er identiske (y^0\hat y_0), men usikkerheten er helt ulik: en enkeltobservasjon bærer sitt eget feilledd i tillegg til usikkerheten i linja. Eksamen tester nettopp om du ser forskjellen — og om du vet når intervallene overhodet er til å stole på.

Løkke 1 — Konfidensintervall for forventet respons (~20 min)

Forventet respons μYx0\mu_{Y\mid x_0}
Forventet respons er den sanne gjennomsnittsverdien av YY blant alle enheter med x=x0x=x_0 — punktet på den sanne regresjonslinja:
μYx0=E(Yx=x0)=β0+β1x0.\mu_{Y\mid x_0}=E(Y\mid x=x_0)=\beta_0+\beta_1x_0.
Dette er en fast (men ukjent) parameter, akkurat som β1\beta_1 — og den intervallestimeres med et vanlig konfidensintervall.
Punktestimatoren Y^0\hat Y_0
Det naturlige estimatet for forventet respons er den tilpassede verdien i x0x_0:
Y^0=β^0+β^1x0.\hat Y_0=\hat\beta_0+\hat\beta_1x_0.
Som funksjon av estimatorene er Y^0\hat Y_0 stokastisk (stor bokstav); tallet y^0\hat y_0 er estimatet. Y^0\hat Y_0 er forventningsrett: E(Y^0)=β0+β1x0=μYx0E(\hat Y_0)=\beta_0+\beta_1x_0=\mu_{Y\mid x_0}.
Hvor usikker er Y^0\hat Y_0? Skriv linja om tyngdepunktet: Y^0=Yˉ+β^1(x0xˉ)\hat Y_0=\bar Y+\hat\beta_1(x_0-\bar x) (linja går alltid gjennom (xˉ,Yˉ)(\bar x,\bar Y)). De to leddene er ukorrelerte, så variansene adderes:
V(Y^0)=V(Yˉ)+(x0xˉ)2V(β^1)=σ2n+(x0xˉ)2σ2Sxx=σ2(1n+(x0xˉ)2Sxx).V(\hat Y_0)=V(\bar Y)+(x_0-\bar x)^2V(\hat\beta_1)=\frac{\sigma^2}{n}+(x_0-\bar x)^2\frac{\sigma^2}{S_{xx}}=\sigma^2\Bigl(\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}\Bigr).
Intuisjon: σ2/n\sigma^2/n er usikkerheten i linjas høyde (hele linja kan ligge litt for høyt eller lavt); (x0xˉ)2σ2/Sxx(x_0-\bar x)^2\,\sigma^2/S_{xx} er usikkerheten fra linjas helning, som vipper om tyngdepunktet — jo lenger ut du går, desto mer utslag gir en usikker helning.
Variansen til Y^0\hat Y_0
Usikkerheten i den tilpassede verdien har to kilder — nivå og helning:
V(Y^0)=σ2(1n+(x0xˉ)2Sxx).V(\hat Y_0)=\sigma^2\Bigl(\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}\Bigr).
Den er minst når x0=xˉx_0=\bar x (bare nivåusikkerhet) og vokser kvadratisk med avstanden fra xˉ\bar x.
Standardfeilen se(Y^0)se(\hat Y_0)
Standardfeilen fås ved å sette inn σ^\hat\sigma for σ\sigma og ta roten:
se(Y^0)=σ^1n+(x0xˉ)2Sxx.se(\hat Y_0)=\hat\sigma\sqrt{\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}.
Med denne på plass er intervallet et helt vanlig t-intervall.
Konfidensintervall for forventet respons
KI-et for μYx0\mu_{Y\mid x_0} er t-mønsteret med y^0\hat y_0 som estimat:
y^0±tn2,α/2σ^1n+(x0xˉ)2Sxx.\hat y_0\pm t_{n-2,\,\alpha/2}\,\hat\sigma\sqrt{\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}.
Frihetsgradene er n2n-2 (σ^\hat\sigma kommer fra enkel regresjon). Tolkningen er som for alle KI: metoden fanger den sanne forventningen β0+β1x0\beta_0+\beta_1x_0 i (1α)100(1-\alpha)\cdot100 % av gjentatte forsøk. Formelen står i formelsamlingen — tren valget og kvantiloppslaget.
Bredden vokser med (x0xˉ)2(x_0-\bar x)^2
Begge intervallene i dette kapitlet er smalest ved xˉ\bar x og videre jo lenger ut du går. Grunnen er helningsleddet (x0xˉ)2/Sxx(x_0-\bar x)^2/S_{xx} i variansen: en usikker helning gjør lite utslag nær tyngdepunktet, men stort utslag langt ute. Tegner du intervallgrensene som funksjon av x0x_0, får du et «timeglass» rundt regresjonslinja med midje i xˉ\bar x.
Smalest i tyngdepunktet
Ved x0=xˉx_0=\bar x reduseres KI-et til yˉ±tn2,α/2σ^/n\bar y\pm t_{n-2,\,\alpha/2}\,\hat\sigma/\sqrt n — helningsleddet forsvinner, og bare nivåusikkerheten står igjen. Det er her modellen uttaler seg tryggest; presisjonen forvitrer utover mot kantene av dataområdet.
✏️Eksempel 1: KI for forventet respons

Fra kap. 3.1: x=(10,20,30,40,50)x=(10,20,30,40,50), y^=30,4+0,72x\hat y=30{,}4+0{,}72x, xˉ=30\bar x=30, Sxx=1000S_{xx}=1000, σ^=1,095\hat\sigma=1{,}095 og n=5n=5. Finn et 95 %-konfidensintervall for forventet respons ved x0=35x_0=35. (t3,0,025=3,182t_{3,\,0{,}025}=3{,}182.)

Punktestimat: y^0=30,4+0,7235=55,6\hat y_0=30{,}4+0{,}72\cdot 35=55{,}6.

Standardfeil: se(Y^0)=1,09515+(3530)21000=1,0950,2+0,025=1,0950,4743=0,5194se(\hat Y_0)=1{,}095\sqrt{\dfrac15+\dfrac{(35-30)^2}{1000}}=1{,}095\sqrt{0{,}2+0{,}025}=1{,}095\cdot0{,}4743=0{,}5194.

Frihetsgrader: n2=3n-2=3, så kvantilen er t3,0,025=3,182t_{3,\,0{,}025}=3{,}182:
55,6±3,1820,5194=55,6±1,65=(53,95, 57,25).55{,}6\pm 3{,}182\cdot 0{,}5194=55{,}6\pm 1{,}65=(53{,}95,\ 57{,}25).
Tolkning: med 95 % konfidens ligger den gjennomsnittlige responsen for enheter med x=35x=35 mellom 53,9553{,}95 og 57,2557{,}25.

📝Oppgave 1

Samme datasett som i eksempel 1. Finn et 95 %-konfidensintervall for forventet respons ved x0=20x_0=20, og forklar hvorfor det er bredere enn intervallet ved x0=30x_0=30.

📝Oppgave 2

Bruk formelen for V(Y^0)V(\hat Y_0) til å forklare — uten tall — hvorfor konfidensbåndet rundt en estimert regresjonslinje har timeglassform, og hvor det er smalest.

Løkke 2 — Prediksjonsintervall og ekstrapolering (~30 min)

En ny observasjon Y0Y_0
Den nye observasjonen er ett enkelt, fremtidig datapunkt ved x0x_0 — ikke et gjennomsnitt:
Y0=β0+β1x0+ε0,Y_0=\beta_0+\beta_1x_0+\varepsilon_0,
der ε0N(0,σ2)\varepsilon_0\sim N(0,\sigma^2) er den nye observasjonens eget feilledd, uavhengig av de nn gamle. Y0Y_0 er en stokastisk variabel, ikke en parameter — derfor trenger den en annen type intervall enn et KI.
Prediksjonsfeilen Y0Y^0Y_0-\hat Y_0
Prediksjonsfeilen er avviket mellom det nye datapunktet og prediksjonen vår. Siden Y0Y_0 (ny måling) og Y^0\hat Y_0 (bygget på de gamle) er uavhengige, adderes variansene:
V(Y0Y^0)=V(Y0)+V(Y^0)=σ2+σ2(1n+(x0xˉ)2Sxx)=σ2(1+1n+(x0xˉ)2Sxx).V(Y_0-\hat Y_0)=V(Y_0)+V(\hat Y_0)=\sigma^2+\sigma^2\Bigl(\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}\Bigr)=\sigma^2\Bigl(1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}\Bigr).
Der kom «1+1+»-en fra: den nye observasjonens eget støyledd ε0\varepsilon_0.
Prediksjonsintervall for en ny observasjon
*Prediksjonsintervallet fanger den neste enkeltobservasjonen med gitt sannsynlighet:*
y^0±tn2,α/2σ^1+1n+(x0xˉ)2Sxx.\hat y_0\pm t_{n-2,\,\alpha/2}\,\hat\sigma\sqrt{1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}.
Eneste forskjell fra KI-et er «1+1+» under rota — men den gjør intervallet vesentlig bredere, og den forsvinner aldri, uansett hvor mye data du samler. Frihetsgradene er fortsatt n2n-2.
«1+1+»-leddet
Eneren under rota er den nye observasjonens eget feilledd ε0\varepsilon_0, målt i enheter av σ2\sigma^2. KI-et skal bare fange en parameter (den sanne snittlinja) og trenger kun linje-usikkerheten 1/n+(x0xˉ)2/Sxx1/n+(x_0-\bar x)^2/S_{xx}. Prediksjonsintervallet skal fange et stokastisk enkeltpunkt som i tillegg spres σ\sigma rundt linja — det koster σ2\sigma^2 ekstra, altså «11» under rota. Å glemme den er den klassiske forvekslingsfeilen (§5.8).
Prediksjonsintervallet er alltid bredere
For samme x0x_0 og samme nivå er prediksjonsintervallet ALLTID bredere enn KI-et for forventet respons — uttrykket under rota er større med «1+1+», og alt annet er likt. Får du to intervaller oppgitt og skal si hvilket som er hvilket: det brede er prediksjonsintervallet.
Tolkningsforskjellen KI vs. PI
KI-et uttaler seg om en parameter; prediksjonsintervallet om en stokastisk variabel. «Hva er gjennomsnittlig strømforbruk for boliger på 120 m²?» → KI for μY120\mu_{Y\mid 120}. «Hva blir strømforbruket i akkurat denne boligen på 120 m²?» → prediksjonsintervall. Nøkkelord i oppgaveteksten: forventet/gjennomsnittlig peker på KI; en ny/neste/enkelt måling peker på PI.
Hva 95 % betyr for et prediksjonsintervall
Et 95 %-prediksjonsintervall er konstruert slik at den nye observasjonen havner i intervallet med sannsynlighet 0,95 (før den måles, og regnet over både gamle data og den nye målingen). Det er altså ikke «95 % sikkert at snittet ligger her» — det er enkeltmålingen intervallet skal fange.
Prediksjonsintervallet krymper ikke mot null
Mer data gjør prediksjonsintervallet smalere — men bare ned til en gulvbredde. Når nn\to\infty forsvinner 1/n1/n- og helningsleddet, og halvbredden nærmer seg zα/2σz_{\alpha/2}\,\sigma (t-kvantilen går mot normalkvantilen): omtrent ±1,96σ\pm1{,}96\sigma for 95 %. Enkeltobservasjonens egen støy ε0\varepsilon_0 kan ingen datamengde fjerne — den er irreduserbar. KI-et for forventet respons, derimot, krymper mot null bredde.
Dataområdet
Dataområdet er intervallet av xx-verdier som faktisk er observert — fra minste til største xix_i i utvalget. Innenfor dataområdet har modellen støtte i data; utenfor er den ren antakelse. Oppgi alltid dataområdet når du vurderer om en prediksjon er forsvarlig.
Ekstrapolering
Ekstrapolering er å bruke modellen for x0x_0 utenfor dataområdet — og det er dobbelt farlig. For det første eksploderer intervallbredden: (x0xˉ)2/Sxx(x_0-\bar x)^2/S_{xx} vokser kvadratisk. For det andre — og verre — er det ingen garanti for at linearitet gjelder der ute; utenfor dataene er formen på sammenhengen ren gjetning (H2020-fasiten viser et absurd bredt intervall langt utenfor dataområdet). Prediksjon innenfor dataområdet kalles interpolering og er den trygge bruken.
Interpolering
Interpolering er prediksjon for en x0x_0 som ligger innenfor dataområdet — mellom minste og største observerte xx. Her har både linearitetsantakelsen og intervallformlene støtte i data, og begge intervalltypene er til å stole på (gitt at diagnostikken i kap. 3.4 er godkjent). Kontrasten interpolering/ekstrapolering er selve svaret når eksamen ber deg vurdere om en prediksjon er forsvarlig.
Intervallene i multippel regresjon (kjenne til)
Samme logikk gjelder med flere prediktorer — bare med matriseuttrykk for linje-usikkerheten. Med prediktorvektor x0x_0 (inkludert 1-er for konstantleddet) er V(Y^0)=σ2x0T(XTX)1x0V(\hat Y_0)=\sigma^2\,x_0^T(X^TX)^{-1}x_0, og prediksjonsintervallet bruker 1+x0T(XTX)1x01+x_0^T(X^TX)^{-1}x_0 under rota, med tnk1t_{n-k-1}-kvantil. Dette er «kjenne til»-stoff — regningen gjøres i praksis av programvare.
Frihetsgradene er n2n-2 i begge intervaller
Både KI-et for forventet respons og prediksjonsintervallet bruker tt-kvantilen med n2n-2 frihetsgrader i enkel regresjon — frihetsgradene følger σ^\hat\sigma, som er estimert med n2n-2 df uansett hva intervallet skal fange. (I multippel regresjon: nk1n-k-1.) Feil df her er en billig poenglekkasje (§5.8).
✏️Eksempel 2: KI og prediksjonsintervall side om side

Samme datasett som i eksempel 1 (y^=30,4+0,72x\hat y=30{,}4+0{,}72x, xˉ=30\bar x=30, Sxx=1000S_{xx}=1000, σ^=1,095\hat\sigma=1{,}095, n=5n=5, t3,0,025=3,182t_{3,\,0{,}025}=3{,}182). Finn et 95 %-prediksjonsintervall for en ny måling ved x0=35x_0=35, og sammenlign med KI-et fra eksempel 1.

Punktprediksjonen er den samme: y^0=55,6\hat y_0=55{,}6. Under rota kommer nå «1+1+»:
sepred=1,0951+0,2+0,025=1,0951,225=1,0951,1068=1,2119.se_{\text{pred}}=1{,}095\sqrt{1+0{,}2+0{,}025}=1{,}095\sqrt{1{,}225}=1{,}095\cdot1{,}1068=1{,}2119.
55,6±3,1821,2119=55,6±3,86=(51,74, 59,46).55{,}6\pm3{,}182\cdot1{,}2119=55{,}6\pm3{,}86=(51{,}74,\ 59{,}46).
Sammenligning: KI-et var (53,95, 57,25)(53{,}95,\ 57{,}25) — halvbredde 1,651{,}65 mot prediksjonsintervallets 3,863{,}86, over dobbelt så bredt. Forskjellen er hele tiden den nye målingens eget støyledd: intervallet skal fange ett enkelt punkt som selv spres σ1,1\sigma\approx1{,}1 rundt linja.
✏️Eksempel 3: Ekstrapoleringsfellen (eksamensnivå)

Samme modell (xx-verdier fra 10 til 50). En oppdragsgiver ber om et 95 %-prediksjonsintervall ved x0=100x_0=100.

a) Regn ut intervallet. b) Vurder om svaret bør rapporteres.

a) y^0=30,4+0,72100=102,4\hat y_0=30{,}4+0{,}72\cdot100=102{,}4. Under rota: 1+15+(10030)21000=1+0,2+4,9=6,1\displaystyle 1+\frac15+\frac{(100-30)^2}{1000}=1+0{,}2+4{,}9=6{,}1:
102,4±3,1821,0956,1=102,4±3,1821,0952,470=102,4±8,61=(93,79, 111,01).102{,}4\pm3{,}182\cdot1{,}095\sqrt{6{,}1}=102{,}4\pm3{,}182\cdot1{,}095\cdot2{,}470=102{,}4\pm8{,}61=(93{,}79,\ 111{,}01).

b) Nei — ikke uten kraftig forbehold. x0=100x_0=100 ligger langt utenfor dataområdet [10,50][10,50]: helningsleddet (x0xˉ)2/Sxx=4,9(x_0-\bar x)^2/S_{xx}=4{,}9 dominerer hele usikkerheten (mot 0,0250{,}025 ved x0=35x_0=35), og viktigere: vi har ingen data som støtter at sammenhengen fortsatt er lineær der ute. Matematikken produserer villig et intervall, men modellgrunnlaget er borte — dette er ekstrapolering, og svaret bør ledsages av en klar advarsel eller holdes tilbake.

📝Oppgave 3

Samme datasett som i eksemplene. a) Finn et 95 %-prediksjonsintervall for en ny måling ved x0=20x_0=20. b) KI-et ved samme x0x_0 er (42,89, 46,71)(42{,}89,\ 46{,}71). Forklar med én setning hvorfor prediksjonsintervallet må være bredere.

📝Oppgave 4

En enkel regresjon med n=12n=12 ga utskriftslinja «Residual standard error: 2.5 on 10 degrees of freedom», og det er oppgitt at xˉ=40\bar x=40, Sxx=640S_{xx}=640 og y^0=57,2\hat y_0=57{,}2 ved x0=44x_0=44. Finn et 95 %-prediksjonsintervall for en ny observasjon ved x0=44x_0=44. (t10,0,025=2,228t_{10,\,0{,}025}=2{,}228.)

📝Oppgave 5

En rapport skriver: «Med 95 % konfidens vil neste kunde med x0=25x_0=25 handle for mellom 310 og 390 kroner», men intervallet som er regnet ut, er KI-et for forventet respons. Forklar hva som er galt, og i hvilken retning feilen slår.

📝Oppgave 6

La nn\to\infty (med xx-ene spredt slik at SxxS_{xx}\to\infty).

a) Hva skjer med bredden av KI-et for forventet respons, og hva skjer med prediksjonsintervallet?

b) Forklar hvorfor denne forskjellen er logisk nødvendig ut fra hva de to intervallene skal fange.

📝Oppgave 7

En modell for avlingsutbytte er tilpasset for gjødselmengder xx mellom 5 og 12 (kg/daa), med xˉ=8,5\bar x=8{,}5 og Sxx=49S_{xx}=49. En rådgiver vil predikere utbyttet ved x0=30x_0=30 kg/daa og argumenterer: «Intervallformelen gjelder jo for alle x0x_0

a) Regn ut faktoren under rota i prediksjonsintervallet for x0=30x_0=30 og for x0=8,5x_0=8{,}5 (bruk n=14n=14), og finn forholdet mellom intervallbreddene.

b) Gi de to prinsipielt ulike innvendingene mot rådgiverens plan — hvilken er alvorligst?

Symbol- og formelliste
Repetisjonsoppgaver
Din fremgang
0 / 4 oppgaver

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Les mer.