Tilbake
3.4
Alle fag for Høyskole

3.4 Modelldiagnostikk: residualplott og hatmatrisen

De tre standard residualplottene og hva de avdekker, samt hatmatrisen H=X(XᵀX)⁻¹Xᵀ med residualenes fordeling og standardiserte residualer.

55 min
11 oppgaver
Modelldiagnostikkresidualplotthatmatrisen
Din fremgang i kapitlet
0 / 11 oppgaver
Kapitlets plass i kurset
Forkunnskaper: Matriseformen Y=Xβ+εY=X\beta+\varepsilon og β^=(XTX)−1XTY\hat\beta=(X^TX)^{-1}X^TY fra kap. 3.3 er utgangspunktet for hatmatrisen. Modellantakelsene om feilleddet står i kap. 3.1. Det ikke-parametriske alternativet ved brudd på normalitet (rangtester) er fra kap. 2.6.
Sist du var her (fra kap. 3.1 og 3.3 — det du trenger nå):

Y=Xβ+ε,εi∼N(0,σ2) uavhengige,β^=(XTX)−1XTY.Y=X\beta+\varepsilon,\qquad \varepsilon_i\sim N(0,\sigma^2)\ \text{uavhengige},\qquad \hat\beta=(X^TX)^{-1}X^TY.

Modellantakelsene er fire: (1) linearitet (E(Yi)E(Y_i) er lineær i prediktorene), (2) konstant varians σ2\sigma^2 for alle ii, (3) uavhengige feilledd, (4) normalfordelte feilledd. Hele dette kapitlet handler om å sjekke antakelse 1, 2 og 4 med residualene — og om hva matriseformen forteller om residualenes egen fordeling.

All inferensen i kapittel 3.1–3.3 — t-tester, konfidensintervaller, P-verdier — hviler på modellantakelsene. Er antakelsene brutt, er tallene dine pyntede gjetninger. Diagnostikk er å bruke residualene ei=yi−y^ie_i=y_i-\hat y_i som stedfortredere for de uobserverbare feilleddene εi\varepsilon_i og lete etter mønstre som ikke skulle vært der.

Kapitlet har to nivåer: først de tre standardplottene og mønstrene deres (det eksamen oftest spør om), deretter matriseregningen bak — hatmatrisen, som forklarer hvorfor residualene ikke har helt lik varians, og hvordan vi korrigerer for det.

Løkke 1 — De tre residualplottene (~25 min)

Modelldiagnostikk
Modelldiagnostikk er å kontrollere modellantakelsene i ettertid ved å studere residualene. Idéen: hvis modellen er riktig, skal residualene se ut som ren, strukturløs støy. Ethvert mønster i et residualplott — kurve, trakt, trend, systematiske avvik — er et fingeravtrykk av en brutt antakelse.
Residualene som stedfortredere for feilleddene
Feilleddene εi\varepsilon_i kan aldri observeres — men residualene ei=yi−y^ie_i=y_i-\hat y_i er våre beste anslag på dem. Er modellen riktig, arver residualene (omtrent) feilleddenes egenskaper: sentrert rundt null, jevn spredning, ingen struktur. Derfor sjekkes antakelsene om ε\varepsilon ved å se på ee. (Helt presist har residualene litt ulik varians — det er løkke 2 sitt tema.)
Plott 1: residualer mot tilpassede verdier
Plottet med eie_i på y-aksen og y^i\hat y_i på x-aksen sjekker linearitetsantakelsen. Ser du en strukturløs, vannrett sky sentrert rundt null, er alt vel. Ser du en kurve — typisk et parabelmønster der residualene er positive i endene og negative i midten (eller omvendt) — er sammenhengen ikke lineær: modellen mangler et ledd, oftest et kvadratledd.
Kurvatur (parabelmønster)
Kurvatur i residual-mot-tilpasset-plottet betyr at den lineære formen er feil — den rette linja (eller planet) bommer systematisk: over i midten, under i endene, eller omvendt. Diagnosen er ikke-linearitet; standardtiltaket er å utvide modellen med et kvadratledd (x2x^2 som ny prediktor) eller transformere variablene, og så tegne plottene på nytt.
Plott 2: scale-location-plottet
Scale-location-plottet har ∣ei∣\sqrt{|e_i|} på y-aksen mot y^i\hat y_i på x-aksen og sjekker antakelsen om konstant varians. Kvadratroten av absoluttverdien gjør spredningen lettere å se: er variansen konstant, ligger punktene i et vannrett bånd uten retning. En stigende (eller fallende) trend betyr at spredningen vokser (eller minker) med nivået — variansen er ikke konstant.
Heteroskedastisitet
Heteroskedastisitet betyr at feilleddenes varians ikke er konstant, men varierer — typisk øker den med nivået på responsen. Motsatsen, konstant varians, kalles homoskedastisitet og er det modellen antar. Ved heteroskedastisitet er β^\hat\beta fortsatt forventningsrett, men standardfeilene — og dermed t-tester og intervaller — blir upålitelige. Vanlige tiltak: transformere responsen (f.eks. log⁡y\log y) eller bruke vektede metoder (utenfor pensum her).
Plott 3: QQ-plottet
QQ-plottet (kvantil–kvantil) sammenligner de sorterte residualene med kvantilene i normalfordelingen og sjekker normalitetsantakelsen. Hvert punkt parer en observert residualkvantil med tilsvarende teoretisk normalkvantil. Er residualene normalfordelte, ligger punktene tett på en rett linje. Systematiske avvik fra linja — særlig i endene — betyr at normalantakelsen svikter.
Tunge haler
Tunge haler betyr at ekstreme verdier forekommer oftere enn normalfordelingen tilsier — i QQ-plottet bøyer punktene under linja i venstre ende og over i høyre (en S-form). t-testene er sårbare for dette i små utvalg. Naturlig tiltak: en rangbasert test som Wilcoxon (kap. 2.6), som ikke krever normalitet.
Tiltak ved brudd — oppsummeringskart
Hvert mønster har sitt standardtiltak, og eksamen forventer at du navngir det:
- Kurvatur i residual-mot-tilpasset → ikke-linearitet → legg til kvadratledd eller transformer.
- Trend i scale-location → heteroskedastisitet → transformer responsen (f.eks. log⁡y\log y).
- Haleavvik i QQ-plottet → ikke-normalitet → vurder rangtest (kap. 2.6); ved store nn hjelper sentralgrenseteoremet på inferensen om koeffisientene.
Etter ethvert tiltak: tilpass på nytt og tegn plottene på nytt — diagnosen skal bekreftes kurert.
✏️Eksempel 1: Tolk de tre plottene (eksamensform)

En modell for boligpris mot areal er tilpasset, og de tre standardplottene viser: (1) residualer mot tilpassede verdier har et tydelig parabelmønster — positive residualer for de minste og største tilpassede verdiene, negative i midten; (2) scale-location-plottet viser et vannrett bånd uten trend; (3) QQ-plottet følger referanselinja tett i hele sitt forløp.

Vurder hver av modellantakelsene, og foreslå hva som eventuelt bør gjøres.

Linearitet: brutt. Parabelmønsteret i plott 1 viser at den rette linja bommer systematisk — sammenhengen mellom areal og pris er krum. Mønsteret navngis (kurvatur), ikke bare «dårlig plott».

Konstant varians: holder. Vannrett bånd uten trend i scale-location-plottet er nettopp hva homoskedastisitet ser ut som.

Normalitet: holder. QQ-punktene ligger på linja uten systematiske haleavvik.

Tiltak: utvid modellen med et kvadratledd, Yi=β0+β1xi+β2xi2+εiY_i=\beta_0+\beta_1x_i+\beta_2x_i^2+\varepsilon_i (fortsatt lineær regresjon — modellen er lineær i koeffisientene), tilpass på nytt og sjekk at parabelmønsteret er borte i de nye plottene.

📝Oppgave 1

Koble hvert funn til riktig brutt antakelse:

a) Punktene i QQ-plottet bøyer kraftig bort fra linja i begge ender.

b) ∣ei∣\sqrt{|e_i|} stiger tydelig med y^i\hat y_i.

c) Residualene mot tilpassede verdier former en bue: negative i midten, positive i endene.

📝Oppgave 2

Residualplottet mot tilpassede verdier for en modell av drivstofforbruk mot fart viser et klart parabelmønster.

a) Hvilken antakelse er brutt, og hva er det naturlige tiltaket?

b) En medstudent sier: «Da kan vi ikke bruke lineær regresjon.» Hva er upresist i det?

c) Hva må sjekkes etter at tiltaket er gjennomført?

📝Oppgave 3

I en studie med n=14n=14 viser QQ-plottet av residualene en tydelig S-form: venstre ende under linja, høyre ende over.

a) Hva forteller formen om residualfordelingen?

b) Hvorfor er dette et problem for t-testene fra kap. 3.1, og hvorfor er problemet størst i små utvalg?

c) Hvilket alternativ fra kapittel 2.6 bør vurderes?

Løkke 2 — Hatmatrisen og standardiserte residualer (~30 min)

Godt pausepunkt før matriseregningen.

Hatmatrisen HH
Hatmatrisen er matrisen som «setter hatt på» YY — den sender observasjonene til de tilpassede verdiene:
H=X(XTX)−1XT.H=X(X^TX)^{-1}X^T.
Den er n×nn\times n og avhenger bare av designmatrisen XX, ikke av responsen. Alt hatmatrisen gjør, er bestemt av hvor xx-verdiene ligger.
Egenskapene til HH: symmetrisk og idempotent
Hatmatrisen er symmetrisk (HT=HH^T=H) og idempotent (HH=HHH=H). Symmetrien ses direkte av formelen. Idempotens betyr at å projisere to ganger er som å projisere én gang: HH=X(XTX)−1XTX(XTX)−1XT=X(XTX)−1XT=HHH=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H (XTXX^TX og inversen kansellerer i midten). Samme egenskaper gjelder I−HI-H. Disse to regnereglene er nøkkelen til alle utledningene nedenfor.
Tilpassede verdier: Y^=HY\hat Y=HY
De tilpassede verdiene er en lineær funksjon av observasjonene, med hatmatrisen som koeffisient:
Y^=Xβ^=X(XTX)−1XTY=HY.\hat Y=X\hat\beta=X(X^TX)^{-1}X^TY=HY.
Rad ii sier at Y^i\hat Y_i er en veid sum av alle observasjonene: Y^i=∑jhijYj\hat Y_i=\sum_j h_{ij}Y_j — og vekten hiih_{ii} på observasjonens egen YY-verdi blir straks viktig.
Residualvektoren: E=(I−H)YE=(I-H)Y
Residualvektoren er resten etter projeksjonen:
E=Y−Y^=Y−HY=(I−H)Y.E=Y-\hat Y=Y-HY=(I-H)Y.
(Vi bruker stor EE for den stokastiske residualvektoren, liten ee for tallene.) Alt vi vil vite om residualenes fordeling, følger av at EE er en lineær funksjon av YY.
Utledning: forventning og kovariansmatrise til residualene (H2015-nivå — regn den aktivt).

Steg 1: E((I−H)Y)=(I−H)E(Y)=(I−H)XβE((I-H)Y)=(I-H)E(Y)=(I-H)X\beta. Men HX=X(XTX)−1XTX=XHX=X(X^TX)^{-1}X^TX=X, så (I−H)X=0(I-H)X=0 og dermed E(E)=0E(E)=0.
Intuisjon: modellens egen forklarte del ligger i «planet» som HH projiserer på — residualene har ingenting systematisk igjen.

Steg 2: Cov(E)=(I−H) Cov(Y) (I−H)T=(I−H) σ2I (I−H)T=σ2(I−H)(I−H)T\text{Cov}(E)=(I-H)\,\text{Cov}(Y)\,(I-H)^T=(I-H)\,\sigma^2I\,(I-H)^T=\sigma^2(I-H)(I-H)^T. Siden I−HI-H er symmetrisk og idempotent, er (I−H)(I−H)T=(I−H)(I−H)=I−H(I-H)(I-H)^T=(I-H)(I-H)=I-H. Altså:
E(E)=0,Cov(E)=σ2(I−H).E(E)=0,\qquad \text{Cov}(E)=\sigma^2(I-H).
Intuisjon: residualene er sentrert i null, men de har ikke lik varians — diagonalen σ2(1−hii)\sigma^2(1-h_{ii}) varierer fra observasjon til observasjon, og de er svakt korrelerte (utenfor-diagonalelementene −σ2hij-\sigma^2h_{ij}).

Residualenes fordeling: E(E)=0E(E)=0, Cov(E)=σ2(I−H)\text{Cov}(E)=\sigma^2(I-H)
Residualene er sentrert i null, men har ulik varians og er svakt korrelerte. Dette er den presise versjonen av «residualene er stedfortredere for feilleddene»: feilleddene har Cov(ε)=σ2I\text{Cov}(\varepsilon)=\sigma^2 I, residualene bare nesten — projeksjonen har «brukt opp» k+1k+1 frihetsgrader og skjevdelt variansen via HH.
Variansen til én residual: V(Ei)=σ2(1−hii)V(E_i)=\sigma^2(1-h_{ii})
Diagonalelementet i σ2(I−H)\sigma^2(I-H) gir variansen til residual nummer ii:
V(Ei)=σ2(1−hii).V(E_i)=\sigma^2(1-h_{ii}).
Jo større hiih_{ii}, desto mindre varierer residualen — punkter med stor hiih_{ii} drar linja mot seg, så deres residualer presses kunstig mot null. To rå residualer er derfor ikke direkte sammenlignbare.
Leverage hiih_{ii}
Leverage (innflytelse) hiih_{ii} er diagonalelement ii i hatmatrisen — et mål på hvor uvanlig observasjonens xx-verdier er. Det gjelder 0≤hii≤10\le h_{ii}\le 1. I enkel regresjon:
hii=1n+(xi−xˉ)2Sxxh_{ii}=\frac1n+\frac{(x_i-\bar x)^2}{S_{xx}}
— leverage vokser med avstanden fra xˉ\bar x. Punkter ytterst i xx-området har høy leverage: de har stor makt over hvor linja havner, uansett hvor «pen» yy-verdien deres er.
Summen av leveragene: ∑ihii=k+1\sum_i h_{ii}=k+1
Diagonalelementene i HH summerer seg alltid til antall parametre i modellen: ∑i=1nhii=k+1\sum_{i=1}^n h_{ii}=k+1. Gjennomsnittlig leverage er dermed (k+1)/n(k+1)/n, og en praktisk tommelfingerregel flagger observasjoner med hiih_{ii} over omtrent det dobbelte av snittet som høy-leverage-punkter.
Standardiserte residualer
Standardiserte residualer korrigerer for at residualene har ulik varians, slik at de kan sammenlignes på felles skala:
ei∗=eiσ^1−hii.e_i^*=\frac{e_i}{\hat\sigma\sqrt{1-h_{ii}}}.
Under modellen har de omtrent varians 1, så verdier utenfor ±2\pm 2 er påfallende. Kjernen i korreksjonen er 1−hii\sqrt{1-h_{ii}}-faktoren fra V(Ei)=σ2(1−hii)V(E_i)=\sigma^2(1-h_{ii}) — den glemmes oftest til eksamen (§5.9).
Hvorfor 1−hii\sqrt{1-h_{ii}}-korreksjonen trengs
Uten korreksjonen undervurderes avvik i kantene av xx-området systematisk. Et høy-leverage-punkt trekker linja mot seg og får dermed liten rå residual selv når det ligger dårlig an — variansen σ2(1−hii)\sigma^2(1-h_{ii}) er liten der. Å dele på 1−hii\sqrt{1-h_{ii}} blåser kant-residualene opp igjen til felles skala, så et «pent» residual ytterst ikke forveksles med et godt tilpasset punkt.
Innflytelsesrik observasjon
En observasjon er innflytelsesrik når den alene flytter estimatene merkbart — typisk ved å kombinere høy leverage med stor residual. Høy leverage alene er bare potensiell makt (punktet ligger uvanlig i xx); stor standardisert residual alene er en uteligger i yy. Kombinasjonen er farligst. Praktisk håndtering: undersøk punktet (målefeil? spesialtilfelle?), og rapportér gjerne analysen med og uten det.
✏️Eksempel 2: Leverage og standardiserte residualer (eksamensnivå)

For datasettet fra kap. 3.1 med x=(10,20,30,40,50)x=(10,20,30,40,50) er xˉ=30\bar x=30 og Sxx=1000S_{xx}=1000. Regresjonen ga residualene e=(0,4; −0,8; 1,0; −1,2; 0,6)e=(0{,}4;\ -0{,}8;\ 1{,}0;\ -1{,}2;\ 0{,}6) og σ^=1,095\hat\sigma=1{,}095.

a) Beregn leverage hiih_{ii} for alle fem observasjonene, og verifiser at summen er 2.

b) Beregn standardiserte residualer for observasjon 1 (x=10x=10) og observasjon 4 (x=40x=40).

c) Residualene e1=0,4e_1=0{,}4 og e3=1,0e_3=1{,}0: hvorfor er ikke rå sammenligning av disse rettferdig?

a) hii=15+(xi−30)21000\displaystyle h_{ii}=\frac15+\frac{(x_i-30)^2}{1000}:
h11=0,2+4001000=0,6,h22=0,3,h33=0,2,h44=0,3,h55=0,6.h_{11}=0{,}2+\frac{400}{1000}=0{,}6,\quad h_{22}=0{,}3,\quad h_{33}=0{,}2,\quad h_{44}=0{,}3,\quad h_{55}=0{,}6.
Sum: 0,6+0,3+0,2+0,3+0,6=2,0=k+10{,}6+0{,}3+0{,}2+0{,}3+0{,}6=2{,}0=k+1 ✓ (enkel regresjon har k+1=2k+1=2 parametre).

b) e1∗=0,41,0951−0,6=0,41,095⋅0,632=0,58e_1^*=\dfrac{0{,}4}{1{,}095\sqrt{1-0{,}6}}=\dfrac{0{,}4}{1{,}095\cdot 0{,}632}=0{,}58 og e4∗=−1,21,0950,7=−1,20,916=−1,31e_4^*=\dfrac{-1{,}2}{1{,}095\sqrt{0{,}7}}=\dfrac{-1{,}2}{0{,}916}=-1{,}31. Ingen er utenfor ±2\pm 2.

c) Observasjon 1 ligger ytterst (h11=0,6h_{11}=0{,}6) og har fått residualen sin kunstig presset mot null — variansen der er bare σ2(1−0,6)=0,4σ2\sigma^2(1-0{,}6)=0{,}4\sigma^2, mot 0,8σ20{,}8\sigma^2 i midten. Én enhet residual «teller mer» i kanten enn i midten; bare de standardiserte residualene er på felles skala.

📝Oppgave 4

En multippel regresjon har n=25n=25 observasjoner og k=3k=3 prediktorer.

a) Hva er ∑ihii\sum_i h_{ii} og gjennomsnittlig leverage?

b) En observasjon har hii=0,45h_{ii}=0{,}45. Er det påfallende etter tommelfingerregelen?

📝Oppgave 5

I enkel regresjon med x=(2,4,6,8,10)x=(2,4,6,8,10) er xˉ=6\bar x=6 og Sxx=40S_{xx}=40.

a) Beregn hiih_{ii} for x=2x=2 og for x=6x=6.

b) Forklar med utgangspunkt i formelen hvorfor kantpunktene alltid har størst leverage.

📝Oppgave 6

En regresjon ga σ^=2,0\hat\sigma=2{,}0. To observasjoner har rå residual eA=3,0e_A=3{,}0 med hA=0,64h_A=0{,}64 og eB=3,4e_B=3{,}4 med hB=0,10h_B=0{,}10.

a) Beregn de standardiserte residualene.

b) Hvilken observasjon er mest påfallende, og hvorfor snur rekkefølgen?

📝Oppgave 7

Ta utgangspunkt i E=(I−H)YE=(I-H)Y med Cov(Y)=σ2I\text{Cov}(Y)=\sigma^2I.

a) Vis at Cov(E)=σ2(I−H)\text{Cov}(E)=\sigma^2(I-H). Oppgi eksplisitt hvilke egenskaper ved I−HI-H du bruker.

b) Les av V(Ei)V(E_i) fra resultatet, og forklar hvorfor høy-leverage-punkter har liten residualvarians.

c) Hva er kovariansen mellom to ulike residualer EiE_i og EjE_j?

Symbol- og formelliste
Repetisjonsoppgaver
Din fremgang
0 / 4 oppgaver

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Les mer.