3.2 Lineærkombinasjoner av normalfordelte variable

$$aX + bY \sim N\!\big(\,a\mu_X + b\mu_Y,\ \ a^2\sigma_X^2 + b^2\sigma_Y^2 + 2ab\,\text{Cov}(X, Y)\,\big).$$

Forventningen er lineær (vekt for vekt), mens variansen får koeffisientene kvadrert pluss et kovariansledd $2ab\,\text{Cov}(X,Y)$. Er variablene uavhengige, faller kovariansleddet bort ($\text{Cov} = 0$). Resultatet gjelder også for flere variable — legg til ett kvadratledd per variabel og ett kovariansledd per par.

$$E(aX + bY) = a\mu_X + b\mu_Y,$$

$$\text{Var}(aX + bY) = a^2\sigma_X^2 + b^2\sigma_Y^2 + 2ab\,\text{Cov}(X, Y).$$

Merk to feller: koeffisientene $a$ og $b$ er kvadrert i variansen, og fortegnet på kovariansleddet følger produktet $ab$ (for en differanse med $b = -1$ blir leddet negativt: $-2a\,\text{Cov}$). Standardavviket er alltid $\sqrt{\text{Var}}$ — det er dette du standardiserer med.

$$Y - X \sim N\!\big(\,\mu_Y - \mu_X,\ \ \sigma_X^2 + \sigma_Y^2 - 2\,\text{Cov}(X, Y)\,\big).$$

Legg merke til: variansene legges sammen (begge koeffisientene kvadreres til $+1$), mens kovariansleddet blir negativt. Det er en klassisk tabbe å skrive $\text{Var}(Y - X) = \sigma_Y^2 - \sigma_X^2$ — varianser trekkes aldri fra hverandre. Er $X$ og $Y$ uavhengige, forsvinner kovariansleddet og $\text{Var}(Y - X) = \sigma_X^2 + \sigma_Y^2$.

$$\bar{X} \sim N\!\left(\mu,\ \frac{\sigma^2}{n}\right).$$

Standardavviket $\sigma/\sqrt{n}$ kalles standardfeilen. Poenget: gjennomsnittet er langt mer stabilt enn en enkelt måling — variansen krymper med $n$. Dette resultatet er selve broen til konfidensintervall og hypotesetester. (Utledning: $\bar{X}$ er en lineærkombinasjon med alle vekter $1/n$, så $\text{Var}(\bar{X}) = n \cdot (1/n)^2 \sigma^2 = \sigma^2/n$.)

To (eller flere) variable er simultant normalfordelte hvis enhver lineærkombinasjon $aX + bY$ av dem er normalfordelt. Det er denne egenskapen som garanterer at summer, differanser og veide gjennomsnitt igjen er normale. Uavhengige normale er automatisk simultant normale.

Kovariansen $\text{Cov}(X, Y) = E(XY) - E(X)E(Y)$ måler hvordan to variable samvarierer. I variansen til en kombinasjon dukker den opp som $2ab\,\text{Cov}(X, Y)$. Positiv kovarians (variablene beveger seg i takt) øker variansen til en sum; negativ kovarians demper den.

Er $X$ og $Y$ uavhengige, er $\text{Cov}(X, Y) = 0$, og kovariansleddet forsvinner. Da er $\text{Var}(aX + bY) = a^2\sigma_X^2 + b^2\sigma_Y^2$ — enten det er en sum eller en differanse. (Motsatt vei gjelder ikke generelt, men for normale variable er ukorrelert faktisk det samme som uavhengig.)

Standardavviket til gjennomsnittet $\bar{X}$ av $n$ iid observasjoner er $\sigma/\sqrt{n}$ — kalt standardfeilen. Den krymper med kvadratroten av $n$: firedobler du utvalget, halveres standardfeilen. Dette er grunnen til at store utvalg gir presise estimater i inferens-delen.

$$\sum X_i \sim N\!\Big(\textstyle\sum \mu_i,\ \sum \sigma_i^2\Big).$$

Er alle like ($N(\mu, \sigma^2)$), blir det $N(n\mu, n\sigma^2)$. Ikke forveksle summen ($n\sigma^2$) med gjennomsnittet ($\sigma^2/n$).

Fast oppskrift: (1) identifiser lineærkombinasjonen og les av koeffisientene $a, b$; (2) regn $E$ (lineært) og $\text{Var}$ (kvadrerte koeffisienter + kovariansledd); (3) ta $SD = \sqrt{\text{Var}}$ og standardiser grensen; (4) slå opp i $\Phi$-tabellen. Betingede haler: samme, men del to arealer til slutt.

En veid kombinasjon $aX + bY$ har vekter $a$ og $b$ som kan være hvilke som helst tall (også negative eller brøker). Gjennomsnittet bruker vektene $1/n$ på hver observasjon; en differanse bruker $+1$ og $-1$. Vektene bestemmer både forventning og — kvadrert — bidraget til variansen.

$$\text{Cov}(aX + b,\ cY + d) = ac\,\text{Cov}(X, Y).$$

Konstantleddene $b, d$ påvirker ikke kovariansen. Dette brukes når en oppgave ber om $\text{Cov}$ eller korrelasjon mellom transformerte variable (full behandling i kap. 2.1).

Resultatet utvides til vilkårlig mange: $\sum a_i X_i$ er normal med forventning $\sum a_i \mu_i$ og varians $\sum a_i^2 \sigma_i^2 + 2\sum_{i<j} a_i a_j \text{Cov}(X_i, X_j)$. Ett kvadratledd per variabel, ett kovariansledd per par. Er alle uavhengige, forsvinner alle kryssledd.

Legger du til et fast tall $c$, forskyves forventningen, men variansen er uendret: $\text{Var}(aX + c) = a^2\sigma_X^2$. Konstanter har ingen spredning. Derfor er $aX + bY + c \sim N(a\mu_X + b\mu_Y + c,\ a^2\sigma_X^2 + b^2\sigma_Y^2 + 2ab\,\text{Cov})$ — konstantleddet flytter bare toppen.

Den vanligste forvekslingen: for $n$ iid $N(\mu, \sigma^2)$ har summen varians $n\sigma^2$ (blir mer spredt), mens gjennomsnittet har varians $\sigma^2/n$ (blir mindre spredt). Spør deg alltid om oppgaven gjelder totalen eller snittet før du velger formel.