2.5 Simultanfordelinger, kovarians og korrelasjon

$$p(x, y) = P(X = x,\ Y = y).$$

Den settes gjerne opp i en tabell med $X$-verdiene som rader og $Y$-verdiene som kolonner. Alle cellene er $\ge 0$ og summerer til 1 over hele tabellen: $\sum_x \sum_y p(x, y) = 1$. Tabellen inneholder all informasjon om de to variablene sett sammen.

$$p_X(x) = \sum_y p(x, y).$$

Tilsvarende er $p_Y(y) = \sum_x p(x, y)$ (summer hver kolonne). Marginalfordelingene står i «margen» av tabellen — derav navnet — og er de vanlige én-variabel-fordelingene til $X$ og $Y$ hver for seg. Fra dem regner du $E(X)$, $\text{Var}(X)$ osv. som før.

$$p(y \mid x) = \frac{p(x, y)}{p_X(x)}.$$

Dette er betinget sannsynlighet (kap. 1.3) anvendt på tabellen: ta cellen, del på radsummen. For fast $x$ summerer de betingede sannsynlighetene $p(y \mid x)$ til 1 over $y$ — det er en ekte fordeling.

$$p(x, y) = p_X(x)\,p_Y(y) \quad \text{for alle } (x, y).$$

Avgjørende: det må holde i hver eneste celle. Én avvikende celle motbeviser uavhengighet — du trenger altså bare finne én celle der det ikke stemmer for å konkludere «avhengige». En rask snarvei: er det en celle med $p(x, y) = 0$ mens begge marginalene er positive, er variablene straks avhengige (produktet ville vært positivt).

$$E[g(X, Y)] = \sum_x \sum_y g(x, y)\,p(x, y).$$

Spesialtilfellet vi trenger til kovariansen er $g(x, y) = xy$:

$$E(XY) = \sum_x \sum_y x\,y\,p(x, y).$$

Summer over hele tabellen. Ledd der $x = 0$ eller $y = 0$ bidrar med null, så i praksis summerer du bare cellene der begge er positive.

$$\text{Cov}(X, Y) = E(XY) - E(X)\,E(Y).$$

Positiv kovarians betyr at de to har en tendens til å være store (eller små) sammen; negativ at den ene er stor når den andre er liten; null at det ikke er noen lineær samvariasjon. Kovariansen kan være negativ (i motsetning til variansen), og enheten er produktet av de to variablenes enheter — derfor er den vanskelig å tolke i absolutt størrelse, og vi normaliserer den til korrelasjon.

$$\rho = \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X)\,\text{Var}(Y)}}, \qquad -1 \le \rho \le 1.$$

$\rho$ nær $\pm 1$ betyr sterk lineær sammenheng (positiv/negativ), $\rho = 0$ ingen lineær sammenheng. Fordi den er skalert, kan korrelasjoner sammenlignes på tvers av variabelpar — noe kovariansen alene ikke tillater.

$$\text{Cov}(aX + b,\ cY + d) = ac\,\text{Cov}(X, Y).$$

Skaleringsfaktorene $a$ og $c$ ganges inn; forskyvningene $b$ og $d$ forsvinner. For korrelasjonen skalerer også standardavvikene med $|a|$ og $|c|$, så faktorene kanselleres:

$$\text{corr}(aX + b,\ cY + d) = \text{sign}(ac)\,\text{corr}(X, Y).$$

Korrelasjonen er altså invariant under positiv lineær skalering (og skifter bare fortegn hvis $ac < 0$). Det er dette Jun23-oppgaven $\text{corr}(5X - 2,\ 10Y + 3)$ tester.

Er $X$ og $Y$ uavhengige, er $E(XY) = E(X)E(Y)$, så $\text{Cov}(X, Y) = 0$ og $\rho = 0$: uavhengige variable er alltid ukorrelerte.

Men det motsatte gjelder ikke: $\rho = 0$ betyr bare at det ikke er noen lineær sammenheng. To variable kan være ukorrelerte og likevel sterkt avhengige (for eksempel når $Y = X^2$ og $X$ er symmetrisk om 0). Å slutte fra «ukorrelert» til «uavhengig» er derfor feil — en klassisk sensortrekk-felle.

$$f_X(x) = \int f(x, y)\,dy,$$

og den betingede tettheten er $f(y \mid x) = f(x, y)/f_X(x)$. Uavhengighet betyr $f(x, y) = f_X(x)\,f_Y(y)$ for alle $(x, y)$, og forventninger regnes med dobbeltintegral: $E[g(X,Y)] = \iint g(x,y)\,f(x,y)\,dx\,dy$. Teknikken er den samme som for tabeller — bare med integrasjon i stedet for summering.

Marginalfordelingen til $X$ er radsummene i simultantabellen ($p_X(x) = \sum_y p(x,y)$); marginalen til $Y$ er kolonnesummene. Sjekk alltid at marginalene selv summerer til 1 — en rask kontroll på at tabellen er riktig avlest før du regner videre.

Korrelasjonen $\rho$ ligger alltid mellom $-1$ og $1$, er enhetsløs, og måler lineær sammenheng. $\rho = \pm 1$ betyr en perfekt lineær sammenheng ($Y = aX + b$); $\rho = 0$ ingen lineær sammenheng. Fordi den er normalisert, kan korrelasjoner sammenlignes på tvers av ulike variabelpar.

Er det en celle med $p(x, y) = 0$ mens begge marginalene $p_X(x)$ og $p_Y(y)$ er positive, er $X$ og $Y$ straks avhengige — for uavhengighet ville krevd $p(x,y) = p_X(x)p_Y(y) > 0$. En rask snarvei for å motbevise uavhengighet uten å sjekke alle cellene.

Den betingede fordelingen $p(y \mid x) = p(x,y)/p_X(x)$ er en ekte fordeling: for fast $x$ summerer $p(y \mid x)$ til 1 over alle $y$. Det gir en nyttig kontroll — regner du de betingede sannsynlighetene og de ikke summerer til 1, har du regnet feil.