8.1 Kovarians, korrelasjon og binormalfordelingen

$$\text{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]=E(XY)-E(X)E(Y)$$

Den andre formen (regneformelen) er den du bruker i praksis. Merk at $\text{Cov}(X,X)=\text{Var}(X)$: variansen er bare kovariansen til en variabel med seg selv. Enheten på kovariansen er produktet av enhetene til $X$ og $Y$, så tallet er vanskelig å tolke alene — derfor standardiserer vi til korrelasjon.

$$\rho=\text{Corr}(X,Y)=\frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)\text{Var}(Y)}},\qquad -1\le\rho\le 1$$

$\rho>0$ betyr positiv samvariasjon, $\rho<0$ negativ, og $\rho=0$ at variablene er ukorrelerte. Verdien $\rho=\pm 1$ inntreffer kun når $Y$ er en eksakt lineær funksjon av $X$. Korrelasjonen fanger bare den lineære delen av sammenhengen.

$$\text{Var}(aX+bY)=a^2\text{Var}(X)+b^2\text{Var}(Y)+2ab\,\text{Cov}(X,Y)$$

Tre feller å huske: koeffisientene kommer inn i andre potens ($a^2$, $b^2$); kovariansleddet har faktoren $2ab$ (så for $X-Y$ er $b=-1$ og leddet blir $-2\,\text{Cov}$); og leddet er null bare når $X$ og $Y$ er uavhengige (eller ukorrelerte). Er de uavhengige, forenkles regelen til $a^2\text{Var}(X)+b^2\text{Var}(Y)$.

$$\text{Cov}(aX+b,\,cY+d)=ac\,\text{Cov}(X,Y)$$
$$\text{Cov}(X,\,Y+Z)=\text{Cov}(X,Y)+\text{Cov}(X,Z)$$

Konstantene $b$ og $d$ forsvinner (en konstant samvarierer ikke med noe), mens skalafaktorene $a$ og $c$ multipliseres inn. Korrelasjonen er derimot invariant under positiv lineær skalering: $\text{Corr}(aX+b,cY+d)=\text{Corr}(X,Y)$ når $a,c>0$.

$$(X,Y)\sim\text{binormal}(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$$

Her er $\mu_1=E(X)$, $\mu_2=E(Y)$, $\sigma_1^2=\text{Var}(X)$, $\sigma_2^2=\text{Var}(Y)$ og $\rho=\text{Corr}(X,Y)$ med $-1<\rho<1$. De fem tallene bestemmer hele fordelingen. Dette er den vanligste modellen for to naturlig samvarierende måltall (høyder, vekter, konsentrasjoner).

$$f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\!\left(-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_1)^2}{\sigma_1^2}-\frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}\right]\right)$$

Det viktige poenget er strukturelt: når $\rho=0$, forsvinner krysseleddet, og eksponenten deler seg i en ren $x$-del og en ren $y$-del. Da faktoriserer tettheten, $f(x,y)=f_X(x)f_Y(y)$ — nettopp definisjonen på uavhengighet.

$$X\sim N(\mu_1,\sigma_1^2),\qquad Y\sim N(\mu_2,\sigma_2^2).$$

Det betyr at du kan standardisere hver variabel for seg med $\Phi$ akkurat som vanlig. (Det motsatte gjelder ikke generelt: to normale marginaler garanterer ikke at paret er binormalt.)

$$\rho=0\quad\Longleftrightarrow\quad X\text{ og }Y\text{ er uavhengige}.$$

Dette er kontrasten til den generelle regelen fra kap. 1.2 (der ukorrelert ikke gir uavhengig). Grunnen er at binormaltettheten faktoriserer nøyaktig når krysseleddet $\rho=0$ nuller ut. Merk betingelsen: at variablene hver for seg er normale er ikke nok — de må være binormale sammen for at implikasjonen skal gjelde.

$$[Y\mid X=x]\sim N\!\left(\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1),\;\sigma_2^2(1-\rho^2)\right)$$

Dette resultatet leses av formelsamlingen og brukes — det utledes ikke på STK1100-nivå. Legg merke til de to delene: en betinget forventning som er en rett linje i $x$, og en betinget varians som er redusert med faktoren $(1-\rho^2)$ og ikke avhenger av $x$.

$$E(Y\mid X=x)=\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)$$

Dette er en ferdig lineær regresjonsmodell med skjæringspunkt $\displaystyle \mu_2-\rho\frac{\sigma_2}{\sigma_1}\mu_1$ og stigningstall $\displaystyle \beta=\rho\frac{\sigma_2}{\sigma_1}$. I den standardiserte binormalen ($\mu_1=\mu_2=0$, $\sigma_1=\sigma_2=1$) forenkles den til $E(Y\mid X=x)=\rho x$. Nettopp denne linjen estimeres fra data i kap. 8.3.

$$\text{Var}(Y\mid X=x)=\sigma_2^2(1-\rho^2)$$

Jo sterkere korrelasjon (jo nærmere $\rho^2$ er 1), desto mer skrumper usikkerheten. Ved $\rho=0$ er $\text{Var}(Y\mid X=x)=\sigma_2^2$ — å kjenne $X$ hjelper ikke, i tråd med at variablene da er uavhengige. Ved $\rho=\pm 1$ er den betingede variansen $0$: $Y$ er da eksakt bestemt av $X$. Merk fellen: den betingede variansen er $\sigma_2^2(1-\rho^2)$, ikke $\sigma_2^2$.

At to variable har en tendens til å bevege seg sammen. Positiv samvariasjon ($\text{Cov}>0$, $\rho>0$): høye verdier av den ene følges av høye verdier av den andre. Negativ ($\text{Cov}<0$, $\rho<0$): høye av den ene følges av lave av den andre. Kovarians og korrelasjon er de to målene på samvariasjon.

To variable er ukorrelerte når $\text{Cov}(X,Y)=0$, altså $\rho=0$. Det betyr at det ikke finnes noen lineær samvariasjon. Ukorrelerthet utelukker ikke ikke-lineær avhengighet — unntaket er binormale par, der ukorrelert også betyr uavhengig.

Er $X$ og $Y$ uavhengige, så er $E(XY)=E(X)E(Y)$, og dermed $\text{Cov}(X,Y)=0$: uavhengige variable er alltid ukorrelerte. Den motsatte veien holder ikke generelt — ukorrelerte variable kan være avhengige. Eneste unntak i pensum: binormalfordelingen.

Kovariansen til en variabel med seg selv er variansen: $\text{Cov}(X,X)=E(X^2)-[E(X)]^2=\text{Var}(X)$. Dette gjør variansregelen for lineærkombinasjoner til et spesialtilfelle av bilineariteten til kovariansen.

Korrelasjonen er alltid mellom $-1$ og $1$ og er uten benevning, siden kovariansen deles på produktet av standardavvikene. Den er invariant under positiv lineær skalering: å bytte måleenhet ($\text{cm}\to\text{m}$) endrer ikke $\rho$. Derfor egner den seg til å sammenligne styrken på samvariasjon på tvers av størrelser.

Siden marginalene i en binormal er normale, kan hver variabel standardiseres for seg: $Z_1=(X-\mu_1)/\sigma_1$, $Z_2=(Y-\mu_2)/\sigma_2$. Da er $(Z_1,Z_2)$ standardisert binormal med samme korrelasjon $\rho$, og $E(Z_2\mid Z_1=z)=\rho z$. Standardisering forenkler alle betingede regnestykker.

Generelt (fra kap. 3.1) er $E(Y\mid X=x)=\int y\,f_{Y\mid X=x}(y)\,dy$ der $f_{Y\mid X=x}(y)=f(x,y)/f_X(x)$. For binormalen slipper vi integralet fordi den betingede fordelingen er kjent å være normal — vi leser bare av forventning og varians. $E(Y\mid X=x)$ er en funksjon av $x$ og kalles regresjonsfunksjonen.

Den rette linjen $\displaystyle E(Y\mid X=x)=\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)$ er den teoretiske (befolknings-) regresjonslinjen: den beste lineære prediksjonen av $Y$ gitt $x$. Stigningstallet er $\beta=\rho\sigma_2/\sigma_1$. I kap. 8.3 erstattes de ukjente parametrene med estimater fra data, og linjen blir $\hat\beta_0+\hat\beta_1 x$.

Fordi $|\rho|<1$ ligger den predikerte $Y$-verdien nærmere sitt gjennomsnitt (målt i standardavvik) enn $X$ er sitt. En ekstrem $X$ ledsages i snitt av en mindre ekstrem $Y$. Fenomenet, oppdaget av Galton, ga metoden navnet «regresjon».

Den betingede variansen $\text{Var}(Y\mid X=x)=\sigma_2^2(1-\rho^2)$ er den samme for alle $x$ — spredningen om regresjonslinjen er konstant. Denne egenskapen (konstant feilvarians) er nettopp forutsetningen $\text{Var}(\varepsilon_i)=\sigma^2$ i regresjonsmodellen i kap. 8.3.