Tilbake
3.1
Alle fag for Høyskole

3.1 Enkel lineær regresjon: minste kvadrater og inferens for stigningstallet

Minste kvadraters estimator (= ML under normalfeil), E og V av stigningstallestimatoren, t-test og KI for β₁, tolkning av koeffisientene i kontekst, og R² som kvadrert korrelasjon.

65 min
12 oppgaver
Enkel lineær regresjonminste kvadraterinferens for stigningstallet
Din fremgang i kapitlet
0 / 12 oppgaver
Kapitlets plass i kurset
Forkunnskaper: Dette kapitlet bygger på testritualet og t-fordelingen fra kap. 2.2 og konfidensintervallene i kap. 2.1 — inferensen for stigningstallet er akkurat en t-test og et t-intervall, bare med en ny standardfeil. Fordelingsteorien ((n−2)S2/σ2∼χn−22(n-2)S^2/\sigma^2\sim\chi^2_{n-2}) hviler på gamma/khikvadrat-koblingen fra kap. 0.2.

Regresjon behandles elementært i STK1100 kap. 8.3 Enkel lineær regresjon (→ stk1100-8-3) (klartekst — STK1100 er ikke bygget ennå); her tar vi den fulle inferensen. For derivasjon av en kvadratisk sum: R1 4.1 Derivasjonsregler.

Sist du var her (fra kap. 2.1–2.2 — det du trenger nå):

T=θ^−θ0se(θ^)∼tν,KI: θ^±tν, α/2 se(θ^).T=\frac{\hat\theta-\theta_0}{se(\hat\theta)}\sim t_{\nu},\qquad \text{KI: }\hat\theta\pm t_{\nu,\,\alpha/2}\,se(\hat\theta).

Hele regresjonsinferensen er dette mønsteret. Det eneste nye er at estimatoren er stigningstallet β^1\hat\beta_1, standardfeilen er se(β^1)=S/Sxxse(\hat\beta_1)=S/\sqrt{S_{xx}}, og frihetsgraden er ν=n−2\nu=n-2 (ikke n−1n-1 — vi estimerer nå to ting, β0\beta_0 og β1\beta_1).

Ofte vil vi forklare én størrelse (yy, responsen) ut fra en annen (xx, forklaringsvariabelen): salg ut fra reklame, avling ut fra gjødsel, eksamenspoeng ut fra studietimer. Punktene i et spredningsdiagram ligger sjelden på én rett linje — men om de klumper seg rundt en linje, vil vi finne den beste linja og si noe presist om hvor bratt den er.

Regresjon svarer på tre spørsmål eksamen stiller igjen og igjen: (1) Hvilken rett linje passer dataene best? (2) Hvor mye endrer yy seg per enhet xx — og hvor sikre er vi på det tallet? (3) Hvor mye av variasjonen i yy forklarer xx?

Vi går i fire løkker: minste kvadrater (finn linja), EE og VV av stigningstallet (hvor presis er den), inferens (t-test og KI for β1\beta_1), og tolkning + R2R^2.

Løkke 1 — Modellen og minste kvadrater (~18 min)

Enkel lineær regresjonsmodell
Modellen sier at responsen er en rett linje i xx pluss tilfeldig støy. For observasjon ii:
Yi=β0+β1xi+εi,εi∼N(0,σ2) uavhengige.Y_i=\beta_0+\beta_1 x_i+\varepsilon_i,\qquad \varepsilon_i\sim N(0,\sigma^2)\ \text{uavhengige}.
Her er xix_i faste (kjente) tall, β0\beta_0 konstantleddet (skjæringen med yy-aksen), β1\beta_1 stigningstallet (endring i forventet yy per enhet xx), og εi\varepsilon_i feilleddet. Merk: annet argument i N(0,σ2)N(0,\sigma^2) er variansen. Fordi εi\varepsilon_i er stokastisk, er YiY_i stokastisk (stor bokstav) med E(Yi)=β0+β1xiE(Y_i)=\beta_0+\beta_1 x_i og V(Yi)=σ2V(Y_i)=\sigma^2.
Feilleddet εi\varepsilon_i
Feilleddet er alt i YiY_i som den rette linja ikke fanger — måleusikkerhet og utelatte faktorer. Modellantakelsene handler alle om εi\varepsilon_i: forventning null (E(εi)=0E(\varepsilon_i)=0), konstant varians σ2\sigma^2 (homoskedastisitet), uavhengige feilledd, og normalfordelte feilledd. De tre siste sikrer at inferensen (t-test, KI) er gyldig; normaliteten sjekkes med residualplott (kap. 3.4).
Minste kvadraters metode
Minste kvadraters metode velger linja som gjør de loddrette avstandene fra punktene til linja minst mulig — samlet. Vi minimerer summen av de kvadrerte residualene:
Q(β0,β1)=∑i=1n(yi−β0−β1xi)2.Q(\beta_0,\beta_1)=\sum_{i=1}^n\bigl(y_i-\beta_0-\beta_1 x_i\bigr)^2.
Vi kvadrerer så positive og negative avvik ikke skal nulle hverandre ut, og fordi kvadratet gjør QQ deriverbar. Løsningen kalles minste kvadraters estimatorer β^0,β^1\hat\beta_0,\hat\beta_1.
Utled normalligningene (dette kreves aktivt, §4.8). Vi finner minimum ved å sette de partiellderiverte lik null.

Steg 1 — deriver med hensyn på β0\beta_0:
∂Q∂β0=−2∑i(yi−β0−β1xi)=0 ⇒ ∑yi=nβ0+β1∑xi.\frac{\partial Q}{\partial\beta_0}=-2\sum_{i}\bigl(y_i-\beta_0-\beta_1 x_i\bigr)=0\ \Rightarrow\ \sum y_i=n\beta_0+\beta_1\sum x_i.
Intuisjon: den beste linja går gjennom «tyngdepunktet» (xˉ,yˉ)(\bar x,\bar y) — deler vi denne ligningen på nn, får vi nettopp yˉ=β0+β1xˉ\bar y=\beta_0+\beta_1\bar x.

Steg 2 — deriver med hensyn på β1\beta_1:
∂Q∂β1=−2∑ixi(yi−β0−β1xi)=0 ⇒ ∑xiyi=β0∑xi+β1∑xi2.\frac{\partial Q}{\partial\beta_1}=-2\sum_{i}x_i\bigl(y_i-\beta_0-\beta_1 x_i\bigr)=0\ \Rightarrow\ \sum x_iy_i=\beta_0\sum x_i+\beta_1\sum x_i^2.
Intuisjon: residualene skal være ukorrelert med xx — ingen lineær trend igjen å hente ut.

Disse to kalles normalligningene. Løser vi dem (sett inn β^0=yˉ−β^1xˉ\hat\beta_0=\bar y-\hat\beta_1\bar x fra steg 1 i steg 2), får vi
β^1=∑(xi−xˉ)(Yi−Yˉ)∑(xi−xˉ)2=SxySxx,β^0=Yˉ−β^1xˉ.\boxed{\hat\beta_1=\frac{\sum(x_i-\bar x)(Y_i-\bar Y)}{\sum(x_i-\bar x)^2}=\frac{S_{xy}}{S_{xx}},\qquad \hat\beta_0=\bar Y-\hat\beta_1\bar x.}
Intuisjon: telleren måler hvordan xx og yy samvarierer, nevneren hvor spredt xx-ene er — stigningstallet er «samvariasjon per spredning i xx».

Normalligningene
De to ligningene minste kvadrater gir når vi setter de partiellderiverte lik null:
∑yi=nβ^0+β^1∑xi,∑xiyi=β^0∑xi+β^1∑xi2.\sum y_i=n\hat\beta_0+\hat\beta_1\sum x_i,\qquad \sum x_iy_i=\hat\beta_0\sum x_i+\hat\beta_1\sum x_i^2.
Den første sier at linja går gjennom (xˉ,yˉ)(\bar x,\bar y). Løsningen er β^1=Sxy/Sxx\hat\beta_1=S_{xy}/S_{xx} og β^0=Yˉ−β^1xˉ\hat\beta_0=\bar Y-\hat\beta_1\bar x.
Summeuttrykkene SxxS_{xx} og SxyS_{xy}
Regnestørrelsene som bygger stigningstallet:
Sxx=∑(xi−xˉ)2,Sxy=∑(xi−xˉ)(yi−yˉ).S_{xx}=\sum(x_i-\bar x)^2,\qquad S_{xy}=\sum(x_i-\bar x)(y_i-\bar y).
SxxS_{xx} er spredningen i xx-verdiene; SxyS_{xy} er samvariasjonen mellom xx og yy. Da er β^1=Sxy/Sxx\hat\beta_1=S_{xy}/S_{xx}. Regnevennlige varianter: Sxx=∑xi2−nxˉ2S_{xx}=\sum x_i^2-n\bar x^2 og Sxy=∑xiyi−nxˉyˉS_{xy}=\sum x_iy_i-n\bar x\bar y.
Stigningstallestimatoren β^1\hat\beta_1
Estimatoren for hvor mye forventet yy endrer seg per enhet xx:
β^1=SxySxx=∑(xi−xˉ)(Yi−Yˉ)∑(xi−xˉ)2.\hat\beta_1=\frac{S_{xy}}{S_{xx}}=\frac{\sum(x_i-\bar x)(Y_i-\bar Y)}{\sum(x_i-\bar x)^2}.
β^1\hat\beta_1 er en estimator (stor bokstav YY, stokastisk); et konkret tall fra data er et estimat. En nyttig omskriving er β^1=∑ciYi\hat\beta_1=\sum c_iY_i med vektene ci=(xi−xˉ)/Sxxc_i=(x_i-\bar x)/S_{xx} — den brukes til å utlede EE og VV.
Konstantleddestimatoren β^0\hat\beta_0
Estimatoren for skjæringen med yy-aksen:
β^0=Yˉ−β^1xˉ.\hat\beta_0=\bar Y-\hat\beta_1\bar x.
Den følger av at linja går gjennom tyngdepunktet (xˉ,Yˉ)(\bar x,\bar Y). β^0\hat\beta_0 er forventet respons ved x=0x=0 — men denne tolkningen er bare meningsfull hvis x=0x=0 ligger innenfor (eller nær) dataområdet.
Tilpasset verdi og residual
Den tilpassede verdien er linjas prediksjon y^i=β^0+β^1xi\hat y_i=\hat\beta_0+\hat\beta_1 x_i. Residualen er den loddrette avstanden fra punktet til linja:
ei=yi−y^i.e_i=y_i-\hat y_i.
Residualene er det empiriske motstykket til de ukjente feilleddene εi\varepsilon_i. Minste kvadrater gjør nettopp ∑ei2\sum e_i^2 minst, og gir alltid ∑ei=0\sum e_i=0 og ∑xiei=0\sum x_ie_i=0 (fra normalligningene).
✏️Eksempel 1: Minste kvadrater for hånd (innøving)

Fire målinger gir x=(1,2,3,4)x=(1,2,3,4) og y=(3,5,6,8)y=(3,5,6,8). Finn minste kvadraters linje.

xˉ=2,5\bar x=2{,}5, yˉ=5,5\bar y=5{,}5.

Sxx=∑(xi−xˉ)2=(−1,5)2+(−0,5)2+(0,5)2+(1,5)2=5,0.S_{xx}=\sum(x_i-\bar x)^2=(-1{,}5)^2+(-0{,}5)^2+(0{,}5)^2+(1{,}5)^2=5{,}0.

Sxy=∑(xi−xˉ)(yi−yˉ)=(−1,5)(−2,5)+(−0,5)(−0,5)+(0,5)(0,5)+(1,5)(2,5)=8,0.S_{xy}=\sum(x_i-\bar x)(y_i-\bar y)=(-1{,}5)(-2{,}5)+(-0{,}5)(-0{,}5)+(0{,}5)(0{,}5)+(1{,}5)(2{,}5)=8{,}0.

β^1=SxySxx=8,05,0=1,6,β^0=yˉ−β^1xˉ=5,5−1,6⋅2,5=1,5.\hat\beta_1=\frac{S_{xy}}{S_{xx}}=\frac{8{,}0}{5{,}0}=1{,}6,\qquad \hat\beta_0=\bar y-\hat\beta_1\bar x=5{,}5-1{,}6\cdot 2{,}5=1{,}5.

Linja er y^=1,5+1,6x\hat y=1{,}5+1{,}6x. Sjekk: ved x=2,5x=2{,}5 gir den y^=5,5=yˉ\hat y=5{,}5=\bar y — linja går gjennom tyngdepunktet, som den skal.

📝Oppgave 1

Fem observasjoner: x=(10,20,30,40,50)x=(10,20,30,40,50), y=(38,44,53,58,67)y=(38,44,53,58,67). Det er oppgitt at xˉ=30\bar x=30, yˉ=52\bar y=52, Sxx=1000S_{xx}=1000 og Sxy=720S_{xy}=720.

a) Finn β^1\hat\beta_1 og β^0\hat\beta_0.

b) Hva er den tilpassede verdien ved x=40x=40, og hva er residualen der?

Løkke 2 — Forventning, varians og LS = ML (~18 min)

LS = ML under normalfeil
Under normalfordelte feilledd gir minste kvadrater nøyaktig de samme estimatorene som maximum likelihood. Likelihooden er
L(β0,β1,σ2)=∏i=1n12πσ2exp⁡ ⁣(−(yi−β0−β1xi)22σ2).L(\beta_0,\beta_1,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\Bigl(-\frac{(y_i-\beta_0-\beta_1x_i)^2}{2\sigma^2}\Bigr).
Log-likelihooden inneholder −12σ2∑(yi−β0−β1xi)2\displaystyle -\frac{1}{2\sigma^2}\sum(y_i-\beta_0-\beta_1x_i)^2. Å maksimere ℓ\ell over β0,β1\beta_0,\beta_1 er derfor det samme som å minimere ∑(yi−β0−β1xi)2\sum(y_i-\beta_0-\beta_1x_i)^2 — altså minste kvadrater. Dette rettferdiggjør LS og kobler regresjonen til hele ML-kjeden fra Del 1.
Forventningsretthet av β^1\hat\beta_1
Stigningstallestimatoren treffer riktig i snitt: E(β^1)=β1E(\hat\beta_1)=\beta_1. Med vektene ci=(xi−xˉ)/Sxxc_i=(x_i-\bar x)/S_{xx} (som gir ∑ci=0\sum c_i=0 og ∑cixi=1\sum c_ix_i=1) er β^1=∑ciYi\hat\beta_1=\sum c_iY_i, så
E(β^1)=∑ciE(Yi)=∑ci(β0+β1xi)=β0∑ci⏟0+β1∑cixi⏟1=β1.E(\hat\beta_1)=\sum c_iE(Y_i)=\sum c_i(\beta_0+\beta_1x_i)=\beta_0\underbrace{\sum c_i}_{0}+\beta_1\underbrace{\sum c_ix_i}_{1}=\beta_1.
Estimatoren er altså forventningsrett — uten normalitetsantakelse, kun E(εi)=0E(\varepsilon_i)=0.
Variansen V(β^1)V(\hat\beta_1)
Hvor mye stigningstallet svinger fra utvalg til utvalg:
V(β^1)=σ2Sxx=σ2∑(xi−xˉ)2.V(\hat\beta_1)=\frac{\sigma^2}{S_{xx}}=\frac{\sigma^2}{\sum(x_i-\bar x)^2}.
Utledning: β^1=∑ciYi\hat\beta_1=\sum c_iY_i med uavhengige YiY_i, så V(β^1)=∑ci2V(Yi)=σ2∑ci2=σ2⋅SxxSxx2=σ2/Sxx\displaystyle V(\hat\beta_1)=\sum c_i^2V(Y_i)=\sigma^2\sum c_i^2=\sigma^2\cdot\frac{S_{xx}}{S_{xx}^2}=\sigma^2/S_{xx}. Konsekvens: jo mer spredte xx-verdiene er (stor SxxS_{xx}), jo mer presist estimeres stigningstallet.
Utledning av variansen, steg for steg (§4.8, ~27 % av settene).

Steg 1: Skriv β^1=∑ciYi\hat\beta_1=\sum c_iY_i med ci=(xi−xˉ)/Sxxc_i=(x_i-\bar x)/S_{xx}.
Intuisjon: β^1\hat\beta_1 er en lineærkombinasjon av uavhengige YiY_i — da kan vi bruke V(∑ciYi)=∑ci2V(Yi)V(\sum c_iY_i)=\sum c_i^2 V(Y_i).

Steg 2: Fordi YiY_i er uavhengige med V(Yi)=σ2V(Y_i)=\sigma^2:
V(β^1)=∑ci2 σ2=σ2∑(xi−xˉ)2Sxx2=σ2 SxxSxx2=σ2Sxx.V(\hat\beta_1)=\sum c_i^2\,\sigma^2=\sigma^2\sum\frac{(x_i-\bar x)^2}{S_{xx}^2}=\sigma^2\,\frac{S_{xx}}{S_{xx}^2}=\frac{\sigma^2}{S_{xx}}.
Intuisjon: ∑(xi−xˉ)2=Sxx\sum(x_i-\bar x)^2=S_{xx} i telleren forkortes mot ett SxxS_{xx} i nevneren.

I praksis er σ2\sigma^2 ukjent og erstattes av estimatoren S2S^2 nedenfor — da får vi standardfeilen se(β^1)=S/Sxxse(\hat\beta_1)=S/\sqrt{S_{xx}}.

Residualkvadratsummen SSE
Summen av kvadrerte residualer — det linja ikke klarte å forklare:
SSE=∑i=1n(yi−y^i)2=∑ei2.\text{SSE}=\sum_{i=1}^n(y_i-\hat y_i)^2=\sum e_i^2.
SSE måler spredningen rundt linja. Den inngår i variansestimatoren og i R2R^2. Regnevennlig: SSE=Syy−β^1Sxy\text{SSE}=S_{yy}-\hat\beta_1 S_{xy}, der Syy=∑(yi−yˉ)2S_{yy}=\sum(y_i-\bar y)^2.
Variansestimatoren S2S^2 og frihetsgradene n−2n-2
Vi estimerer feilvariansen σ2\sigma^2 med den gjennomsnittlige kvadrerte residualen:
S2=SSEn−2.S^2=\frac{\text{SSE}}{n-2}.
Deleren er n−2n-2, ikke n−1n-1: vi har brukt data til å estimere to parametere (β0\beta_0 og β1\beta_1), så to frihetsgrader er bundet. Med denne deleren er S2S^2 forventningsrett for σ2\sigma^2. S=S2S=\sqrt{S^2} er «Residual standard error» i R-utskriften.
Frihetsgrader n−2n-2 (enkel regresjon)
I enkel lineær regresjon har feilvariansen n−2n-2 frihetsgrader. To parametere (β0,β1\beta_0,\beta_1) er estimert fra nn observasjoner, så n−2n-2 står igjen. All inferens for β0\beta_0 og β1\beta_1 bruker tn−2t_{n-2}, og (n−2)S2/σ2∼χn−22(n-2)S^2/\sigma^2\sim\chi^2_{n-2}. Å skrive n−1n-1 er den vanligste og hardest straffede feilen (§4.6).
📝Oppgave 2

For datasettet i oppgave 1 (n=5n=5, Sxx=1000S_{xx}=1000, β^1=0,72\hat\beta_1=0{,}72) er Syy=522S_{yy}=522.

a) Finn SSE ved SSE=Syy−β^1Sxy\text{SSE}=S_{yy}-\hat\beta_1 S_{xy} (husk Sxy=720S_{xy}=720).

b) Finn variansestimatet S2S^2 og standardfeilen se(β^1)=S/Sxxse(\hat\beta_1)=S/\sqrt{S_{xx}}.

Løkke 3 — Inferens for stigningstallet (~17 min)

Standardfeilen se(β^1)se(\hat\beta_1)
Den estimerte spredningen til β^1\hat\beta_1:
se(β^1)=SSxx,S=SSE/(n−2).se(\hat\beta_1)=\frac{S}{\sqrt{S_{xx}}},\qquad S=\sqrt{\text{SSE}/(n-2)}.
Den er kvadratroten av V(β^1)=σ2/SxxV(\hat\beta_1)=\sigma^2/S_{xx} med σ\sigma erstattet av SS. Standardfeilen er «Std. Error»-kolonnen for stigningstallet i R-utskriften og går rett inn i t-observatoren og konfidensintervallet.
t-observatoren for β1\beta_1
For å teste en påstand H0:β1=β10H_0:\beta_1=\beta_1^0 bruker vi
T=β^1−β10se(β^1)∼tn−2(under H0).T=\frac{\hat\beta_1-\beta_1^0}{se(\hat\beta_1)}\sim t_{n-2}\quad(\text{under } H_0).
Fordelingen er tn−2t_{n-2} fordi telleren er (tilnærmet) normal, (n−2)S2/σ2∼χn−22(n-2)S^2/\sigma^2\sim\chi^2_{n-2}, og de to er uavhengige — normal delt på uavhengig χ2/df\sqrt{\chi^2/\text{df}} gir en t-fordeling. Den vanligste testen er H0:β1=0H_0:\beta_1=0 («har xx noen effekt?»), som gir T=β^1/se(β^1)T=\hat\beta_1/se(\hat\beta_1) — nettopp «t value»-kolonnen i R-utskriften.
Hvorfor t (og ikke z)
Vi bruker t-fordelingen fordi σ\sigma er estimert med SS. Teller (β^1−β10)/σ2/Sxx(\hat\beta_1-\beta_1^0)/\sqrt{\sigma^2/S_{xx}} er standardnormal, men vi kjenner ikke σ\sigma og setter inn SS. Forholdet mellom en standardnormal og en uavhengig χn−22/(n−2)\sqrt{\chi^2_{n-2}/(n-2)} er per definisjon tn−2t_{n-2}. Med kjent σ\sigma (sjelden) ville vi brukt N(0,1)N(0,1).
Konfidensintervall for β1\beta_1
Et (1−α)(1-\alpha)-konfidensintervall for stigningstallet:
β^1±tn−2, α/2⋅se(β^1).\hat\beta_1\pm t_{n-2,\,\alpha/2}\cdot se(\hat\beta_1).
Samme mønster som t-intervallet for en forventning, med n−2n-2 frihetsgrader. Via dualiteten (kap. 2.2): β10\beta_1^0 ligger utenfor intervallet hviss den tosidige testen forkaster H0:β1=β10H_0:\beta_1=\beta_1^0. Ligger 00 utenfor, er stigningstallet signifikant forskjellig fra null.
✏️Eksempel 2: Full regresjonsinferens (eksamensnivå, sjanger H)

En lærer registrerer antall timer xx studert og oppnådde eksamenspoeng yy for n=10n=10 studenter. Oppsummert: xˉ=11\bar x=11, yˉ=68,5\bar y=68{,}5, Sxx=330S_{xx}=330, Sxy=711S_{xy}=711, Syy=1668,5S_{yy}=1668{,}5. Bruk t8, 0,025=2,306t_{8,\,0{,}025}=2{,}306.

a) Finn β^1\hat\beta_1 og β^0\hat\beta_0, og tolk dem i kontekst.
b) Finn S2S^2 og se(β^1)se(\hat\beta_1).
c) Test H0:β1=0H_0:\beta_1=0 mot Ha:β1≠0H_a:\beta_1\ne 0 på 5 %-nivå, og gi et 95 %-KI for β1\beta_1.
d) Kan vi forkaste at hver ekstra time gir 2 poeng (β1=2\beta_1=2)?

a) β^1=Sxy/Sxx=711/330=2,155\hat\beta_1=S_{xy}/S_{xx}=711/330=2{,}155. β^0=yˉ−β^1xˉ=68,5−2,155⋅11=68,5−23,70=44,80\hat\beta_0=\bar y-\hat\beta_1\bar x=68{,}5-2{,}155\cdot 11=68{,}5-23{,}70=44{,}80.

Tolkning: Én ekstra studietime svarer til ≈2,15\approx 2{,}15 poeng høyere forventet eksamensresultat. β^0=44,8\hat\beta_0=44{,}8 er forventet poengsum ved x=0x=0 timer — men x=0x=0 ligger utenfor dataområdet (2–20 timer), så dette er en ekstrapolering man skal være varsom med.

b) SSE=Syy−β^1Sxy=1668,5−2,155⋅711=1668,5−1531,9=136,6\text{SSE}=S_{yy}-\hat\beta_1 S_{xy}=1668{,}5-2{,}155\cdot 711=1668{,}5-1531{,}9=136{,}6. S2=SSE/(n−2)=136,6/8=17,08S^2=\text{SSE}/(n-2)=136{,}6/8=17{,}08, S=4,13S=4{,}13. se(β^1)=S/Sxx=4,13/330=4,13/18,17=0,2275se(\hat\beta_1)=S/\sqrt{S_{xx}}=4{,}13/\sqrt{330}=4{,}13/18{,}17=0{,}2275.

c) T=β^1/se(β^1)=2,155/0,2275=9,47T=\hat\beta_1/se(\hat\beta_1)=2{,}155/0{,}2275=9{,}47. Kritisk verdi t8, 0,025=2,306t_{8,\,0{,}025}=2{,}306; siden 9,47>2,3069{,}47>2{,}306, forkaster vi H0H_0 — stigningstallet er klart signifikant. 95 %-KI: 2,155±2,306⋅0,2275=2,155±0,525=[1,63, 2,68]2{,}155\pm 2{,}306\cdot 0{,}2275=2{,}155\pm 0{,}525=[1{,}63,\ 2{,}68].

d) T=β^1−2se=2,155−20,2275=0,68T=\dfrac{\hat\beta_1-2}{se}=\dfrac{2{,}155-2}{0{,}2275}=0{,}68. Siden ∣0,68∣<2,306|0{,}68|<2{,}306 (og 22 ligger inne i [1,63, 2,68][1{,}63,\ 2{,}68]), kan vi ikke forkaste β1=2\beta_1=2. Dataene er forenlige med at hver time gir 2 poeng.

📝Oppgave 3

En analyse gir β^1=0,72\hat\beta_1=0{,}72, se(β^1)=0,0346se(\hat\beta_1)=0{,}0346 og n=5n=5 (altså n−2=3n-2=3 frihetsgrader). Bruk t3, 0,025=3,182t_{3,\,0{,}025}=3{,}182.

a) Test H0:β1=0H_0:\beta_1=0 mot Ha:β1≠0H_a:\beta_1\ne 0 på 5 %-nivå.
b) Gi et 95 %-KI for β1\beta_1.

Løkke 4 — Tolkning, R2R^2 og regresjon uten konstantledd (~12 min)

Tolkning av stigningstallet β^1\hat\beta_1
β^1\hat\beta_1 er forventet endring i responsen yy når xx øker med én enhet. Tolkningen skal alltid gjøres i kontekst og med enhet: «hver ekstra studietime svarer til ≈2,15\approx 2{,}15 flere eksamenspoeng». Merk «svarer til / er assosiert med», ikke nødvendigvis «forårsaker» — regresjon på observasjonsdata viser samvariasjon, ikke automatisk årsak.
Tolkning av konstantleddet β^0\hat\beta_0
β^0\hat\beta_0 er forventet respons når x=0x=0. Denne tolkningen er bare meningsfull hvis x=0x=0 er en realistisk verdi som ligger i eller nær dataområdet. Er x=0x=0 langt utenfor (f.eks. «0 cm høyde», «0 kg»), er β^0\hat\beta_0 et rent regneteknisk skjæringspunkt uten reell tolkning — å tolke det som en faktisk forventet verdi er en klassisk feil (§4.8).
Ekstrapolering
Ekstrapolering er å bruke regresjonslinja utenfor det xx-området dataene dekker. Modellen er kun understøttet der vi har observasjoner; utenfor kan den lineære sammenhengen bryte sammen, og både prediksjoner og tolkningen av β^0\hat\beta_0 (ved x=0x=0) blir upålitelige. Advar alltid mot ekstrapolering når oppgaven ber om en verdi langt fra dataområdet (§4.8).
Determinasjonskoeffisienten R2R^2
R2R^2 er andelen av variasjonen i yy som modellen forklarer:
R2=SSRSST=1−SSESST,SST=∑(yi−yˉ)2.R^2=\frac{\text{SSR}}{\text{SST}}=1-\frac{\text{SSE}}{\text{SST}},\qquad \text{SST}=\sum(y_i-\bar y)^2.
Her er SST total variasjon, SSE uforklart variasjon (rundt linja), og SSR == SST −- SSE forklart variasjon. R2∈[0,1]R^2\in[0,1]: R2=1R^2=1 betyr perfekt lineær tilpasning, R2=0R^2=0 at xx ikke forklarer noe. R2=0,82R^2=0{,}82 leses «82 % av variasjonen i yy forklares av xx».
R2R^2 som kvadrert korrelasjon
I enkel regresjon er R2R^2 nøyaktig kvadratet av korrelasjonen mellom xx og yy:
R2=r2,r=SxySxxSyy.R^2=r^2,\qquad r=\frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}.
Derfor: R2=0,81R^2=0{,}81 svarer til ∣r∣=0,9|r|=0{,}9. Merk kvadratet — å forveksle R2R^2 og rr (glemme å kvadrere) er en hyppig feil. Fortegnet til rr (samme som fortegnet til β^1\hat\beta_1) forsvinner i R2R^2.
✏️Eksempel 3: $R^2$ og korrelasjon

For studietimer-dataene (eksempel 2) er SSE=136,6\text{SSE}=136{,}6 og SST=Syy=1668,5\text{SST}=S_{yy}=1668{,}5. Finn R2R^2 og korrelasjonen rr.

R2=1−SSESST=1−136,61668,5=1−0,0819=0,918.R^2=1-\frac{\text{SSE}}{\text{SST}}=1-\frac{136{,}6}{1668{,}5}=1-0{,}0819=0{,}918.
Altså forklarer antall studietimer om lag 92 % av variasjonen i eksamenspoengene. Korrelasjonen er r=R2=0,918=0,958r=\sqrt{R^2}=\sqrt{0{,}918}=0{,}958 (positiv, siden β^1>0\hat\beta_1>0). Sjekk: r2=0,9582=0,918=R2r^2=0{,}958^2=0{,}918=R^2 — som det skal være i enkel regresjon.
Regresjon uten konstantledd
Når modellen tvinges gjennom origo (Yi=γxi+εiY_i=\gamma x_i+\varepsilon_i, ingen β0\beta_0), gir minste kvadrater
γ^=∑xiYi∑xi2.\hat\gamma=\frac{\sum x_iY_i}{\sum x_i^2}.
Utledning: minimer ∑(yi−γxi)2\sum(y_i-\gamma x_i)^2, deriver mht. γ\gamma og sett lik null: −2∑xi(yi−γxi)=0⇒γ^=∑xiyi/∑xi2-2\sum x_i(y_i-\gamma x_i)=0\Rightarrow\hat\gamma=\sum x_iy_i/\sum x_i^2. Brukes bare når teorien tilsier at y=0y=0 når x=0x=0 (f.eks. proporsjonalitet).
📝Oppgave 4

En fysikklov tilsier at yy er proporsjonal med xx (altså y=0y=0 når x=0x=0), så vi tilpasser Yi=γxi+εiY_i=\gamma x_i+\varepsilon_i uten konstantledd. Data gir ∑xiyi=342\sum x_iy_i=342 og ∑xi2=138\sum x_i^2=138.

a) Finn γ^\hat\gamma.
b) Hvorfor bruker vi her modellen uten konstantledd i stedet for den vanlige?

Blandet drill (sjanger H, stigende)

📝Oppgave 5

Åtte målinger gir xˉ=4,5\bar x=4{,}5, yˉ=202,5\bar y=202{,}5, Sxx=42S_{xx}=42, Sxy=−1090S_{xy}=-1090. (xx = bilens alder i år, yy = pris i 1000 kr.)

a) Finn β^1\hat\beta_1 og β^0\hat\beta_0.
b) Tolk β^1\hat\beta_1 i kontekst.

📝Oppgave 6

Fortsett med bil-dataene fra oppgave 5. Det er oppgitt Syy=28470S_{yy}=28470 og t6, 0,025=2,447t_{6,\,0{,}025}=2{,}447.

a) Finn SSE, S2S^2 og se(β^1)se(\hat\beta_1).
b) Gi et 95 %-KI for β1\beta_1 og avgjør om prisfallet er signifikant (H0:β1=0H_0:\beta_1=0).

📝Oppgave 7

En forsker vil vise egenskaper ved minste kvadrater generelt.

a) Utled β^1=Sxy/Sxx\hat\beta_1=S_{xy}/S_{xx} og β^0=Yˉ−β^1xˉ\hat\beta_0=\bar Y-\hat\beta_1\bar x fra normalligningene.
b) Vis at E(β^1)=β1E(\hat\beta_1)=\beta_1.
c) Vis at V(β^1)=σ2/SxxV(\hat\beta_1)=\sigma^2/S_{xx}.

📝Oppgave 8

(Kald oppgave — fasit som momentliste, ingen hint.) I en regresjon av blodtrykk (yy) på alder (xx, år, målt for personer 30–70 år) får en student β^0=70\hat\beta_0=70, β^1=0,6\hat\beta_1=0{,}6 og R2=0,49R^2=0{,}49. Studenten skriver: «Forventet blodtrykk ved fødsel (x=0x=0) er 70, og korrelasjonen mellom alder og blodtrykk er 0,49.» Pek ut de to feilene og gi de korrekte formuleringene.

Begrepsbank

Flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget gjelder kjernestoffet. Korte, navngitte definisjoner for eksamensrepetisjon.
Kvadratsumsdekomponeringen

Den totale variasjonen deler seg i forklart og uforklart del: SST=SSR+SSE\text{SST}=\text{SSR}+\text{SSE}, der SST=∑(yi−yˉ)2\text{SST}=\sum(y_i-\bar y)^2, SSR=∑(y^i−yˉ)2\text{SSR}=\sum(\hat y_i-\bar y)^2 (forklart) og SSE=∑(yi−y^i)2\text{SSE}=\sum(y_i-\hat y_i)^2 (residual). R2=SSR/SSTR^2=\text{SSR}/\text{SST}.

Homoskedastisitet

Antakelsen om konstant feilvarians: V(εi)=σ2V(\varepsilon_i)=\sigma^2 er den samme for alle xix_i. Brytes den (varierende spredning), er sese-ene feil og inferensen upålitelig; sjekkes med scale-location-plottet (kap. 3.4).

Modellantakelsene i regresjon

Fire antakelser om feilleddene: linearitet (E(Yi)=β0+β1xiE(Y_i)=\beta_0+\beta_1x_i), uavhengighet, konstant varians σ2\sigma^2, og normalitet (εi∼N\varepsilon_i\sim N). De tre siste sikrer at t-test og KI er gyldige og sjekkes med residualplott.

Estimator mot estimat (regresjon)
β^1=∑ciYi\hat\beta_1=\sum c_iY_i er en estimator — en stokastisk variabel (stor bokstav YY) med forventning og varians. Tallverdien fra ett datasett, f.eks. 2,152{,}15, er et estimat. Sensor krever at du skiller de to konsekvent (§4.2).
Respons- og forklaringsvariabel
Responsvariabelen yy er den vi vil forklare/predikere (avhengig variabel); forklaringsvariabelen xx (kovariat, prediktor, uavhengig variabel) er den vi forklarer med. I modellen er xx fast og YY stokastisk.
Korrelasjonskoeffisienten rr
r=Sxy/SxxSyy∈[−1,1]r=S_{xy}/\sqrt{S_{xx}S_{yy}}\in[-1,1] måler styrke og retning på den lineære samvariasjonen. Fortegnet er det samme som for β^1\hat\beta_1, og r2=R2r^2=R^2 i enkel regresjon. r=0r=0 betyr ingen lineær sammenheng (kan likevel finnes en ikke-lineær).
Symbol- og formelliste
Repetisjonsoppgaver
Din fremgang
0 / 4 oppgaver

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Les mer.