2.4 Korrelasjon og regresjon

Henger ting sammen?

T-testene sammenlignet grupper. Men ofte er spørsmålet et annet: henger to tallstørrelser sammen? Er det en sammenheng mellom studietid og eksamensresultat? Mellom temperatur og strømforbruk? Mellom alder og reaksjonstid? Her trenger vi to nye verktøy: korrelasjon, som måler sammenhengen, og regresjon, som modellerer den.

Det første verktøyet er Pearsons korrelasjonskoeffisient $r$ -- et mål på styrken og retningen til den lineære sammenhengen mellom to kvantitative variabler. Verdien ligger alltid mellom $-1$ og $+1$. Er $r = +1$, har du en perfekt positiv sammenheng der begge øker sammen. Er $r = -1$, er den perfekt negativ -- den ene stiger mens den andre synker. Er $r = 0$, finnes ingen lineær sammenheng. Tommelregelen for styrke sier at $|r|$ rundt 0,2-0,4 er svak, 0,4-0,6 moderat, 0,6-0,8 sterk, og over 0,8 svært sterk.

Formelen $\displaystyle r = \frac{\sum(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum(x_i - \bar{x})^2 \cdot \sum(y_i - \bar{y})^2}}$ måler i hvilken grad $x$ og $y$ varierer sammen (telleren) i forhold til hvor mye de varierer hver for seg (nevneren). To viktige ting: $r$ fanger bare lineære sammenhenger -- en sterk bue kan gi $r \approx 0$ -- og $r$ er enhetsfri, så måleskalaen spiller ingen rolle. Studietid og eksamenspoeng kan gi $r \approx 0{,}99$, en svært sterk positiv sammenheng. Men husk: dette beviser ikke at studietid forårsaker gode resultater.

Fra sammenheng til modell

Korrelasjonen forteller bare hvor sterk sammenhengen er. Lineær regresjon gir oss noe mer: en matematisk modell vi kan bruke til å predikere. Modellen er en rett linje, $\hat{y} = a + bx$, der $\hat{y}$ er den predikerte verdien, $a$ er konstantleddet (verdien når $x = 0$), og $b$ er stigningstallet -- hvor mye $\hat{y}$ endrer seg per enhet økning i $x$.

Linja finner vi med minste kvadraters metode, som minimerer summen av de kvadrerte avvikene mellom observerte og predikerte verdier. Stigningstallet er $\displaystyle b = \frac{\sum(x_i - \bar{x})(y_i - \bar{y})}{\sum(x_i - \bar{x})^2}$, og konstantleddet $a = \bar{y} - b\bar{x}$. Merk forskjellen mellom $r$ og $b$: korrelasjonen er enhetsfri, mens stigningstallet har enheter ($y$-enheter per $x$-enhet). For studietid-dataene gir det $\displaystyle b = \frac{455}{250} = 1{,}82$ og $a = 71 - 1{,}82 \cdot 15 = 43{,}7$, altså $\hat{y} = 43{,}7 + 1{,}82x$. Vil du predikere poengsummen for noen som studerer 18 timer, setter du inn: $\hat{y} = 43{,}7 + 1{,}82 \cdot 18 \approx 76{,}5$ poeng.

Legg merke til hva stigningstallet faktisk betyr: for hver ekstra time studietid stiger predikert poengsum med 1,82. Det er ikke korrelasjonen, og det er ikke skjæringspunktet -- det er endringsraten.

Hvor mye forklarer modellen?

Når du har en regresjonsmodell, vil du vite hvor godt den passer. Det forteller determinasjonskoeffisienten $R^2$, som rett og slett er korrelasjonen kvadrert: $R^2 = r^2$. Den angir hvor stor andel av variasjonen i $y$ som forklares av den lineære sammenhengen med $x$. Er $r = 0{,}80$, blir $R^2 = 0{,}64$ -- altså forklarer modellen 64 % av variasjonen, mens de resterende 36 % skyldes andre faktorer eller tilfeldigheter. For studietid-eksempelet med $r = 0{,}988$ blir $R^2 = 0{,}976$, hele 97,6 %.

Men selv en knallhøy $R^2$ rommer feller. Den farligste er at korrelasjon ikke er kausalitet. At studietid og poeng henger tett sammen, betyr ikke at studietid forårsaker poengene -- motivasjon, forkunnskaper eller bakgrunn kan drive begge deler. Det klassiske skrekkeksempelet er iskremsalg og drukningsulykker, som kan ha $r = 0{,}85$. Iskrem dreper selvsagt ingen -- den skjulte (konfunderende) variabelen er varmt vær, som både får folk til å kjøpe is og til å bade. Sammenhengen er ekte i tallene, men falsk som årsak.

To andre farer er verdt å merke seg. Ekstrapolering -- å predikere for $x$-verdier langt utenfor dataområdet -- er risikabelt, for mønsteret du så innenfor dataene trenger ikke gjelde utenfor. Og uteliggere, enkeltpunkter langt fra resten, kan dra regresjonslinja kraftig i feil retning. Sjekk derfor alltid dataene før du stoler på modellen.

Oppsummering

Vi har sett at Pearsons $r$ måler styrken og retningen av en lineær sammenheng mellom to kvantitative variabler, alltid mellom $-1$ og $+1$ og enhetsfri. Lineær regresjon gir modellen $\hat{y} = a + bx$, der stigningstallet $b$ er endringen i predikert $y$ per enhet $x$, og konstantleddet $a$ er verdien når $x = 0$. Determinasjonskoeffisienten $R^2 = r^2$ forteller hvor stor andel av variasjonen modellen forklarer.

De viktigste advarslene er at korrelasjon ikke er kausalitet -- konfunderende variabler som varmt vær kan skape falske sammenhenger -- og at ekstrapolering utenfor dataområdet og uteliggere kan føre deg på villspor. En modell beskriver et mønster i tallene, ikke nødvendigvis en årsak.