3.3 Multippel regresjon: matriseform, justert R² og konfundering

Modellen på matriseform Y=Xβ+ε med β̂=(XᵀX)⁻¹XᵀY, valget mellom R² og justert R² for modellvalg, og konfundering — hvorfor en koeffisient endrer seg når en variabel legges til.

65 min

12 oppgaver

Multippel regresjonmatriseformjustert R²konfundering

Din fremgang i kapitlet

0 / 12 oppgaver

Kapitlets plass i kurset

Bygger på

3.2Å lese R-utskrift (lm-sammendraget)

Brukes videre i

3.4Modelldiagnostikk: residualplott og hatmatrisen

Multippel regresjon er andre halvdel av den store regresjonsoppgaven. Dette er sjanger I (en fast oppgavetype: du får en modell med flere forklaringsvariabler og en R-utskrift, og skal tolke koeffisienter, velge modell og forklare hva som skjer når variabler legges til). Den opptrer i omtrent 11 av 22 sett (50 %).

- $R^2$ vs. justert $R^2$ og modellvalg i rundt en tredel av settene (bl.a. H2013, H2015, H2018, H2024, H2025).
- Konfundering — hvorfor en koeffisient endrer seg når en ny variabel inkluderes — i rundt fem sett (bl.a. H2018, H2019, H2020, H2024).
- Matriseform og full rang ble testet eksplisitt i H2024.

Sensorkrav (§5.7, §5.10): bruk justert $R^2$ til modellsammenligning, tolk hver koeffisient betinget på de øvrige variablene, og bruk frihetsgrader $n-k-1$ . Dette hører til bokas høyeste prioritet.

Tidsbruk: ~65 min i tre løkker (matriseform og minste kvadrater $\to$ $R^2$ og justert $R^2$ $\to$ konfundering). Ta gjerne en pause etter løkke 1 — den er den tyngste.

Forkunnskaper: Dette kapitlet bygger direkte på enkel regresjon i kap. 3.1 (minste kvadrater,

S^2

, t-inferens) og utskriftslesingen i kap. 3.2 — alle R-utskriftene her leses med verktøyene derfra. Koblingen til to-utvalgs-t-testen og ANOVA bruker kap. 2.3 og kap. 2.6.

Av matriseregning trenger du bare transponering, matriseprodukt og invers av en $2\times 2$ -matrise — alt repeteres i en egen boks underveis. Du trenger ikke ha hatt noe eget lineær algebra-kurs.

Sist du var her (fra kap. 3.1–3.2 — det du trenger nå):

$\hat\beta_1=\frac{S_{xy}}{S_{xx}},\qquad S^2=\frac{\text{SSE}}{n-2},\qquad T=\frac{\hat\beta_j}{se(\hat\beta_j)},\qquad R^2=1-\frac{\text{SSE}}{\text{SST}}.$

I R-utskriften er Estimate $=\hat\beta_j$ , Std. Error $=se(\hat\beta_j)$ , t value $=$ Estimate $/$ Std. Error, og Pr(>|t|) er den tosidige P-verdien. Alt dette gjelder fortsatt — det nye er at modellen får flere forklaringsvariabler, at frihetsgradene blir $n-k-1$ , og at $R^2$ må erstattes av justert $R^2$ når modeller skal sammenlignes.

Én forklaringsvariabel er sjelden nok. Strømforbruket til en bolig avhenger av både areal og antall beboere; leieprisen av både størrelse og avstand til sentrum. Multippel regresjon lar oss modellere responsen som en funksjon av flere variabler samtidig — og det endrer tolkningen: hver koeffisient måler nå effekten av sin variabel med de andre holdt konstant.

Kapitlet svarer på tre eksamensspørsmål: (1) Hvordan skrives og løses modellen kompakt på matriseform — og når har den en entydig løsning? (2) Hvordan sammenligner vi modeller med ulikt antall variabler — og hvorfor duger ikke vanlig $R^2$ ? (3) Hvorfor endrer en koeffisient seg når en ny variabel legges til modellen?

Løkke 1 — Modellen på matriseform og minste kvadrater (~30 min)

Multippel lineær regresjonsmodell

i

Prediktorer og antall parametre

x

Vektorene

Y

\beta

\varepsilon

Y=(Y_1,\dots,Y_n)^T

Designmatrisen

X

n\times(k+1)

Modellen på matriseform

n

Mini-repetisjon av matriseregning (alt du trenger her):

X^T

(transponert) bytter rader og kolonner. Matriseproduktet

AB

krever at antall kolonner i

A

er lik antall rader i

B

; element

(i,j)

er rad

i

A

prikket med kolonne

j

B

X^TX

blir alltid en kvadratisk

(k+1)\times(k+1)

-matrise, og

X^TY

(k+1)\times 1

-vektor. En invers

A^{-1}

oppfyller

A^{-1}A=I

— den «opphever»

A

, slik

1/a

opphever tallet

a

Invers av en

2\times 2

-matrise (regneregel)

2\times2

Utledning av normalligningene (må kunne gjøres aktivt — utledningen står ikke i formelsamlingen, bare sluttformelen). Minste kvadrater minimerer

Q(\beta)=\sum_{i=1}^n\Bigl(y_i-\beta_0-\beta_1x_{i1}-\dots-\beta_kx_{ik}\Bigr)^2=\lVert y-X\beta\rVert^2.

Deriverer vi

Q

med hensyn på hver

\beta_j

og setter alle deriverte lik null, får vi (på matriseform)

X^T(y-X\beta)=0\quad\Longleftrightarrow\quad X^TX\,\beta=X^Ty.

Intuisjon: i minimum skal residualvektoren

y-X\beta

stå «vinkelrett» på hver kolonne i

X

— ingen av forklaringsvariablene har mer å forklare. Det er nøyaktig hva

X^T(y-X\beta)=0

sier, kolonne for kolonne.

Normalligningene på matriseform

X^TX\,\hat\beta=X^TY.

Minste kvadraters estimator på matriseform

X^TX

Full kolonnerang — entydighetskravet

X

Tilpassede verdier og residualvektoren

\hat y=X\hat\beta,\qquad e=y-\hat y=y-X\hat\beta.

SSE i multippel regresjon

\text{SSE}=\sum_{i=1}^n e_i^2=\sum_{i=1}^n(y_i-\hat y_i)^2.

Variansestimatoren

S^2=\text{SSE}/(n-k-1)

\sigma^2

Frihetsgradene

n-k-1

k+1

Forventning og kovariansmatrise til

\hat\beta

E(\hat\beta)=\beta,\qquad \text{Cov}(\hat\beta)=\sigma^2(X^TX)^{-1}.

t-inferens for én koeffisient (df

=n-k-1

)

n-k-1

✏️Eksempel 1: Minste kvadrater med matriser — hele kjeden for hånd

Fire observasjoner av $(x,y)$ : $(0,1)$ , $(1,3)$ , $(2,4)$ , $(3,8)$ . Bruk matriseformen til å finne minste kvadraters estimater i modellen $Y_i=\beta_0+\beta_1x_i+\varepsilon_i$ , og estimer $\sigma^2$ .

Designmatrisen og responsvektoren (

n=4

k=1

X=\begin{pmatrix}1&0\\1&1\\1&2\\1&3\end{pmatrix},\qquad y=\begin{pmatrix}1\\3\\4\\8\end{pmatrix}.

Byggeklossene:

X^TX=\begin{pmatrix}4&6\\6&14\end{pmatrix},\qquad X^Ty=\begin{pmatrix}16\\35\end{pmatrix}.

Determinanten er

4\cdot 14-6\cdot 6=20\neq 0

, så

X

har full kolonnerang og løsningen er entydig:

(X^TX)^{-1}=\frac{1}{20}\begin{pmatrix}14&-6\\-6&4\end{pmatrix},\qquad \hat\beta=(X^TX)^{-1}X^Ty=\frac{1}{20}\begin{pmatrix}14\cdot16-6\cdot35\\-6\cdot16+4\cdot35\end{pmatrix}=\begin{pmatrix}0{,}7\\2{,}2\end{pmatrix}.

Altså

\hat y=0{,}7+2{,}2x

. Tilpassede verdier

(0{,}7;\,2{,}9;\,5{,}1;\,7{,}3)

gir residualene

(0{,}3;\,0{,}1;\,-1{,}1;\,0{,}7)

\text{SSE}=0{,}09+0{,}01+1{,}21+0{,}49=1{,}8,\qquad S^2=\frac{1{,}8}{4-1-1}=0{,}9.

Kontroll:

\sum e_i=0

✓.

📝Oppgave 1

En modell skal forklare leiepris med de to prediktorene areal og avstand til sentrum, basert på $n=6$ leiligheter.

a) Hvilke dimensjoner har designmatrisen $X$ , vektoren $\beta$ og produktet $X^TX$ ?

b) Hva inneholder første kolonne i $X$ , og hvorfor?

📝Oppgave 2

Fire observasjoner: $x=(0,1,2,3)$ og $y=(2,3,7,8)$ .

a) Sett opp $X^TX$ og $X^Ty$ , og finn $\hat\beta$ med matriseformelen.

b) Beregn SSE og $S^2$ . Hvor mange frihetsgrader har $S^2$ ?

📝Oppgave 3

En student vil forklare bruktbilpris med både «pris som ny, i kroner» ( $x_1$ ) og «pris som ny, i euro» ( $x_2$ ), der $x_2=x_1/11{,}5$ for alle bilene. Forklar hvorfor minste kvadraters estimator ikke er entydig i denne modellen. Hvilket krav er brutt?

✏️Eksempel 2: Multippel regresjon fra R-utskrift — leiepriser

For $n=8$ leiligheter er månedsleie (i tusen kroner) modellert med areal (m²) og avstand til sentrum (km):

Coefficients:
             Estimate Std. Error t value Pr(>|t|)
(Intercept)   4.36753    1.25974   3.467  0.01791 *
areal         0.11135    0.01524   7.306 0.000752 ***
avstand      -0.51023    0.11921  -4.280  0.00786 **
---
Residual standard error: 0.9536 on 5 degrees of freedom
Multiple R-squared:  0.9413,   Adjusted R-squared:  0.9178
F-statistic: 40.08 on 2 and 5 DF,  p-value: 0.0008355

a) Tolk koeffisienten for avstand. b) Verifiser t-verdien for areal. c) Angi frihetsgradene og forklar tallet. d) Gi et 95 %-konfidensintervall for avstandskoeffisienten.

\hat\beta_2=-0{,}510

: én kilometer lenger fra sentrum reduserer forventet månedsleie med om lag 510 kroner, for leiligheter med samme areal (betinget tolkning — de andre variablene holdes konstant).

b) t value $=$ Estimate $/$ Std. Error $=0{,}11135/0{,}01524=7{,}31$ ✓ (stemmer med utskriften).

c) $n-k-1=8-2-1=5$ — vi har estimert $k+1=3$ parametre av $n=8$ observasjoner. Tallet står bak «Residual standard error».

d) Kvantilen er $t_{5,\,0{,}025}=2{,}571$ (formelsamlingen — tren oppslaget: 5 frihetsgrader, øvre haleareal $0{,}025$ ). KI:
$-0{,}51023\pm 2{,}571\cdot 0{,}11921=-0{,}510\pm 0{,}306=(-0{,}817,\ -0{,}204).$
Intervallet inneholder ikke 0, i samsvar med at Pr(>|t|) $=0{,}0079<0{,}05$ .

📝Oppgave 4

Bruk R-utskriften i eksempel 2.

a) Gi et 95 %-konfidensintervall for arealkoeffisienten ( $t_{5,\,0{,}025}=2{,}571$ ).

b) Er arealeffekten signifikant på 1 %-nivå? Begrunn ut fra utskriften.

c) Hva er $\hat\sigma$ , og hvilken linje henter du den fra?

Løkke 2 — $R^2$ og justert $R^2$ : modellvalg (~15 min)

Godt pausepunkt: løkke 1 er unnagjort — resten av kapitlet er lettere regning og mer tolkning.

Kvadratsum-dekomponeringen

\text{SST}=\text{SSR}+\text{SSE},

R^2

i multippel regresjon

R^2=1-\frac{\text{SSE}}{\text{SST}}=\frac{\text{SSR}}{\text{SST}}.

Hvorfor

R^2

aldri synker når en variabel legges til

R^2

Justert

R^2

R^2

Modellvalg med justert

R^2

R^2

✏️Eksempel 3: Er den utvidede modellen verdt det?

For $n=20$ bedrifter er omsetning modellert med to konkurrerende modeller ( $\text{SST}=200$ for begge):

- Modell A ( $k=2$ prediktorer): $\text{SSE}=30$ .
- Modell B ( $k=3$ prediktorer, A pluss én ekstra variabel): $\text{SSE}=28{,}6$ .

Beregn $R^2$ og justert $R^2$ for begge, og avgjør hvilken modell som bør velges.

Modell A:

R^2=1-30/200=0{,}850

R^2_{\text{just}}=1-\frac{30/(20-2-1)}{200/19}=1-\frac{30/17}{200/19}=1-\frac{1{,}765}{10{,}526}=0{,}832.

Modell B:

R^2=1-28{,}6/200=0{,}857

R^2_{\text{just}}=1-\frac{28{,}6/16}{200/19}=1-\frac{1{,}788}{10{,}526}=0{,}830.

R^2

økte som den alltid gjør (

0{,}850\to 0{,}857

), men justert

R^2

sank (

0{,}832\to 0{,}830

): SSE-reduksjonen på

1{,}4

forsvarer ikke den tapte frihetsgraden. Velg modell A.

📝Oppgave 5

To modeller for samme datasett med $n=15$ : modell 1 har $k=2$ og $R^2=0{,}62$ ; modell 2 har $k=4$ og $R^2=0{,}66$ .

a) Beregn justert $R^2$ for begge.

b) Hvilken modell velger du, og hvorfor holder det ikke å se på $R^2$ ?

📝Oppgave 6

En medstudent sier: «Modellen min har $R^2=0{,}91$ mot din $0{,}88$ , så min er best.» Din modell bruker $k=2$ prediktorer, medstudentens $k=7$ ; begge har $n=25$ .

a) Beregn justert $R^2$ for begge modellene.

b) Skriv et kort svar (2–3 setninger) til medstudenten.

Løkke 3 — Konfundering, multikollinearitet og ukorrelerte prediktorer (~20 min)

Betinget tolkning av en regresjonskoeffisient

\beta_j

Konfundering

Konfundering er at sammenhengen mellom en prediktor og responsen helt eller delvis skyldes en tredje variabel som henger sammen med begge. Utelates den tredje variabelen, «arver» den inkluderte prediktoren dens effekt, og koeffisienten blir misvisende stor (eller får galt fortegn). Når den tredje variabelen tas inn i modellen, endrer koeffisienten seg — det er dette eksamen ber deg forklare, ikke bare konstatere.

Konfunderende variabel

En konfunderende variabel (konfunder) er en variabel som både (1) påvirker responsen og (2) er korrelert med prediktoren du er interessert i. Begge kravene må være oppfylt: en variabel som bare påvirker responsen, men er ukorrelert med prediktoren, endrer ikke prediktorens koeffisient når den legges til (se ortogonale prediktorer nedenfor).

Hvorfor endrer koeffisienten seg? Tenk deg at den sanne modellen har både

x_1

x_2

, men du tilpasser bare

x_1

. I dataene følger

x_2

med

x_1

(de er korrelerte), så hver gang

x_1

øker, øker som regel

x_2

også — og responsen endres av begge. Den enkle regresjonen kan ikke skille bidragene og legger hele den samlede endringen på

x_1

Intuisjon: koeffisienten i den enkle modellen svarer på «hva skjer med $y$ når $x_1$ øker — med $x_2$ på slep?», mens den multiple svarer på «hva skjer når $x_1$ øker og $x_2$ holdes fast?». To ulike spørsmål gir to ulike tall. Endringen er stor når korrelasjonen mellom $x_1$ og $x_2$ er sterk og $x_2$ har stor egen effekt.

✏️Eksempel 4: Konfundering i praksis — strømforbruk (eksamensnivå)

For $n=8$ boliger er årlig strømforbruk (i tusen kWh) først regressert på boligareal alene, deretter på areal og antall beboere. Korrelasjonen mellom areal og antall beboere i utvalget er $0{,}98$ .

Modell 1 (kun areal):

             Estimate Std. Error t value Pr(>|t|)
(Intercept)   0.68690    0.62293   1.103    0.312
areal         0.06577    0.00452  14.551 6.61e-06 ***
---
Residual standard error: 0.5858 on 6 degrees of freedom
Multiple R-squared:  0.9725,   Adjusted R-squared:  0.9679

Modell 2 (areal + beboere):

             Estimate Std. Error t value Pr(>|t|)
(Intercept)   1.63929    0.57331   2.859   0.0354 *
areal         0.02411    0.01623   1.486   0.1977
beboere       1.42857    0.54560   2.618   0.0472 *
---
Residual standard error: 0.4167 on 5 degrees of freedom
Multiple R-squared:  0.9884,   Adjusted R-squared:  0.9837

a) Arealkoeffisienten faller fra $0{,}0658$ til $0{,}0241$ og mister signifikansen. Forklar hvorfor. b) Hvilken modell foretrekkes ut fra justert $R^2$ ? c) Hva har skjedd med standardfeilen til arealkoeffisienten, og hvorfor?

a) Antall beboere er en konfunderende variabel: den påvirker strømforbruket (flere folk bruker mer strøm) og er sterkt korrelert med areal (

r=0{,}98

— store boliger huser flere). I modell 1 fanger arealkoeffisienten derfor både arealets egen effekt og beboereffekten som «følger med på slep». Når beboere inkluderes, måler arealkoeffisienten bare effekten av mer areal ved fast antall beboere — en mye mindre (og her ikke-signifikant,

p=0{,}198

) effekt.

b) Justert $R^2$ stiger fra $0{,}9679$ til $0{,}9837$ , så modell 2 foretrekkes — beboervariabelen tilfører reell forklaringskraft.

c) Den mer enn tredobles: $0{,}00452\to 0{,}01623$ . Det er multikollinearitet: med $r=0{,}98$ inneholder de to prediktorene nesten samme informasjon, og det blir vanskelig å skille effektene fra hverandre — usikkerheten i hver enkelt koeffisient blåses opp, selv om modellen som helhet er god.

Multikollinearitet

X

Ortogonale (ukorrelerte) prediktorer

X^TX

R^2=r_1^2+r_2^2

ved ukorrelerte prediktorer

R^2=r_1^2+r_2^2,

✏️Eksempel 5: Ortogonalt design — alt blir diagonalt

Et balansert forsøk har $n=4$ observasjoner med sentrerte prediktorer $x_1=(-1,-1,1,1)$ og $x_2=(-1,1,-1,1)$ , og respons $y=(2,4,6,10)$ .

a) Vis at $X^TX$ er diagonal. b) Finn $\hat\beta$ . c) Verifiser at $R^2=r_1^2+r_2^2$ .

\sum x_{i1}=\sum x_{i2}=0

(sentrerte) og

\sum x_{i1}x_{i2}=1-1-1+1=0

(ukorrelerte), så alle kryssledd forsvinner:

X^TX=\begin{pmatrix}4&0&0\\0&4&0\\0&0&4\end{pmatrix}.

b) Diagonal matrise inverteres elementvis, så hver koeffisient beregnes for seg: $\hat\beta_0=\bar y=5{,}5$ , $\hat\beta_1=\sum x_{i1}y_i/4=(-2-4+6+10)/4=2{,}5$ , $\hat\beta_2=\sum x_{i2}y_i/4=(-2+4-6+10)/4=1{,}5$ .

c) Tilpassede verdier $(1{,}5;\,4{,}5;\,6{,}5;\,9{,}5)$ gir $\text{SSE}=4\cdot 0{,}25=1$ og $\text{SST}=35$ , så $R^2=1-1/35=0{,}9714$ . Korrelasjonene: $r_1^2=\dfrac{(\sum x_{i1}(y_i-\bar y))^2}{\sum x_{i1}^2\cdot\text{SST}}=\dfrac{10^2}{4\cdot 35}=0{,}7143$ og $r_2^2=\dfrac{6^2}{4\cdot 35}=0{,}2571$ . Sum: $0{,}7143+0{,}2571=0{,}9714=R^2$ ✓.

📝Oppgave 7

I en undersøkelse av $n=40$ studenter er eksamensskår først regressert på antall timer selvstudium per uke: koeffisient $2{,}10$ (sterkt signifikant). Når tidligere karaktersnitt legges til modellen, faller selvstudium-koeffisienten til $0{,}80$ , og justert $R^2$ stiger fra $0{,}41$ til $0{,}58$ .

a) Forklar mekanismen bak fallet i koeffisienten. Hvilke to egenskaper må karaktersnitt ha for å skape denne endringen?

b) Hvilken modell foretrekkes, og hvorfor?

c) Skriv den utvidede modellen på matriseform og angi kravet som sikrer at $\hat\beta$ er entydig.

📝Oppgave 8

Samme design som i eksempel 5 ( $x_1=(-1,-1,1,1)$ , $x_2=(-1,1,-1,1)$ ), men med respons $y=(1,5,3,8)$ .

a) Finn $\hat\beta$ ved å utnytte at $X^TX$ er diagonal.

b) Beregn $R^2$ og verifiser at $R^2=r_1^2+r_2^2$ .

c) Hva ville skjedd med $\hat\beta_1$ om du droppet $x_2$ fra modellen? Begrunn uten å regne.

Dummyvariabel

x_i=1

Dummy-regresjon = to-utvalg og ANOVA

H_0:\beta_1=0

Typiske feil i multippel regresjon

1. $R^2$ brukt til modellvalg (§5.7). $R^2$ øker alltid når en variabel legges til — sammenlign modeller med justert $R^2$ .
2. Koeffisient tolket som «hele effekten» (§5.10). $\hat\beta_j$ er effekten betinget på de øvrige variablene i modellen — si det eksplisitt i tolkningen.
3. Feil frihetsgrader (§5.2). Multippel regresjon har $n-k-1$ , ikke $n-1$ eller $n-2$ . Tell prediktorene, husk konstantleddet.
4. Full rang glemt (H2024). $\hat\beta=(X^TX)^{-1}X^TY$ finnes bare når $X$ har full kolonnerang; nevn kravet når du skriver formelen.
5. Ikke-signifikant tolket som «uviktig». Med multikollinearitet kan en viktig variabel få stor standardfeil og liten t-verdi — kommenter korrelasjonen mellom prediktorene før du feller dommen.

Flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget gjelder kjernestoffet. To siste begreper for repetisjonen.

Residualvektorens ortogonalitet (

X^Te=0

)

X^Te=X^T(y-X\hat\beta)=0.

Overtilpasning (overfitting)

R^2

Symbol- og formelliste

Repetisjonsoppgaver

Din fremgang

0 / 4 oppgaver

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Les mer.

3.3 Multippel regresjon: matriseform, justert R² og konfundering

Løkke 1 — Modellen på matriseform og minste kvadrater (~30 min)

Løkke 2 — R2R^2R2 og justert R2R^2R2: modellvalg (~15 min)

Løkke 3 — Konfundering, multikollinearitet og ukorrelerte prediktorer (~20 min)

Løkke 2 — $R^2$ og justert $R^2$ : modellvalg (~15 min)