Minste kvadraters metode og regresjonsanalyse.
Kva er lineær regresjon?
Lineær regresjon er ein statistisk metode for å finne den rette linja som best skildrar samanhengen mellom to variablar.
Forklaringsvariabel (uavhengig variabel): den vi brukar til å forklare eller predikere.
Responsvariabel (avhengig variabel): den vi ønskjer å forklare eller predikere.
Når vi har observasjonspar , ønskjer vi å finne den rette linja:
som passar best til dataa. Her er den predikerte verdien av for ein gitt .
SSE = Sum of Squared Errors (sum av kvadratavvik).
Metoden sikrar at den totale «avstanden» mellom datapunkta og linja er så liten som mogleg.
der:
-
-
- og er gjennomsnitta
Regresjonslinja går alltid gjennom punktet .
Ei bedrift måler samanhengen mellom annonsering (, i tusen kroner) og sal (, i tusen einingar):
| 1 | 2 | 3 | 4 | 5 | |
|---|---|---|---|---|---|
| 3 | 5 | 6 | 8 | 9 |
Finn regresjonslinja .
, ,
, ,
Stigingstal:
Konstantledd:
Regresjonslinje:
Tolking: For kvar ekstra tusen kroner i annonsering aukar salet med ca. 1500 einingar.
Datapunkt med regresjonslinja frå RegLin-kommandoen. Linja minimerer summen av dei kvadrerte residuala. Dra eitt punkt langt vekk frå dei andre og sjå kor mykje eit avvikande punkt påverkar linja.
Residual
Eit residual er forskjellen mellom observert og predikert verdi:
Residuala fortel oss kor godt modellen passar til kvart datapunkt.
Residualplott er eit diagram der residuala blir plotta mot (eller ). Eit godt residualplott viser:
- Ingen systematisk mønster (tilfeldig spreiing rundt null)
- Omtrent lik spreiing over heile -området
Problematiske mønster:
- Krumming: Lineær modell passar ikkje, prøv ikkje-lineær regresjon
- Vifte: Aukande variasjon, føresetnaden om konstant varians er broten
- Klynger: Mogleg gruppering i dataa
Med regresjonslinja frå førre eksempel, rekn ut residuala for alle datapunkta.
| 1 | 3 | 3,2 | |
| 2 | 5 | 4,7 | |
| 3 | 6 | 6,2 | |
| 4 | 8 | 7,7 | |
| 5 | 9 | 9,2 |
Kontroll: ✓
Residuala er små og vekslar i forteikn, noko som tyder på ei god tilpassing.
der:
- er uforklart variasjon
- er total variasjon
Tolking:
- : Modellen forklarer ingenting
- : Modellen forklarer alt (perfekt tilpassing)
- : 85 % av variasjonen i blir forklart av
For enkel lineær regresjon: (kvadratet av korrelasjonskoeffisienten).
Rekn ut for eksempelet med annonsering og sal.
SST (total variasjon):
Forklaringsgrad:
Heile 98,7 % av variasjonen i sal blir forklart av annonsering. Svært god tilpassing!
Prediksjon og ekstrapolering
Prediksjon betyr å bruke regresjonsmodellen til å anslå for ein gitt -verdi.
Interpolering: Prediksjon for -verdiar innanfor området til observerte data. Vanlegvis påliteleg.
Ekstrapolering: Prediksjon for -verdiar utanfor det observerte området. Kan vere svært upåliteleg fordi vi ikkje veit om det lineære mønsteret held fram.
Eksempel: Viss vi har data for annonsering mellom 1 og 5 tusen kroner, er det rimeleg å predikere sal for (interpolering), men risikabelt for (ekstrapolering). Ved ville modellen gi , men i røyndommen kan det finnast ein metningseffekt.
Løys oppgåvene:
Kva betyr og i regresjonslinja ?
Regresjonslinja er . Kva er predikert for ?
Løys oppgåvene:
Kva er eit residual, og kva betyr det at residualet er positivt?
Kva er alltid for ei regresjonslinje funne med MKM?
Løys oppgåvene:
Kva fortel oss?
Kva er forskjellen mellom interpolering og ekstrapolering?
Løys oppgåvene:
Bruk regresjonslinja frå oppgåve 5 til å rekne ut residuala for alle fire datapunkta.
Løys oppgåvene:
Studietid (, timar) og testresultat (, poeng): , , , , . Finn regresjonslinja og tolk stigingstalet.
Løys oppgåvene:
Bruk regresjonsmodellen til å predikere poengsummen for ein elev som studerer 7 timar. Er dette interpolering eller ekstrapolering?
Løys oppgåvene:
Forklar kva det betyr dersom residualplottet viser eit bua mønster.
Løys oppgåvene:
Vis at regresjonslinja alltid går gjennom punktet .
Løys oppgåvene:
Alder (, år) og blodtrykk (, mmHg): , , , , , . Finn regresjonslinja, rekn ut , og prediker blodtrykket for ein 45-åring.
Løys oppgåvene:
I oppgåve 12 fekk vi ein modell for blodtrykk. Ville du brukt modellen til å predikere blodtrykket for ein 5-åring? For ein 90-åring? Grunngi svaret.
Løys oppgåvene:
Vis at SST = SSR + SSE, der SSR er variasjonen forklart av modellen. Forklar kva dette betyr.
Løys oppgåvene:
Temperatur (, °C) og iskremsal (, einingar): , , , , , . Finn regresjonslinja og gi eit 95 % prediksjonsintervall for sal ved 24°C (du kan anta at er svært høg).
Løys oppgåvene:
Forklar kvifor åleine ikkje er tilstrekkeleg for å vurdere ein regresjonsmodell. Kva andre verktøy bør brukast?
Oppsummering
Læringspunkt:
- Regresjonslinja blir funnen med minste kvadraters metode (MKM): ho minimerer summen av kvadrerte residual.
- Stigingstalet angir endringa i per eining auke i ; konstantleddet er predikert verdi når .
- Residualet er avviket mellom observert og predikert verdi; for MKM er .
- Forklaringsgraden angir delen av variasjonen i som modellen forklarer.
- Linja går alltid gjennom tyngdepunktet , og .
- Ver varsam med ekstrapolering — prediksjonar utanfor dataområdet kan vere misvisande.
| Nøkkelomgrep | Forklaring |
|---|---|
| Regresjonslinje | , beste lineære tilpassing |
| Residual | |
| MKM | Minimerer |
| Del forklart variasjon | |
| Ekstrapolering | Prediksjon utanfor observert -område |
Viktige formlar:
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
