2.1 Stokastiske variable, forventning og varians

En stokastisk variabel er en regel som tilordner et tall til hvert utfall av et forsøk med tilfeldig resultat. Vi skriver den med stor bokstav, $X$, og en observert verdi (et konkret tallresultat) med liten bokstav, $x$.

Eksempel: kaster du to terninger og lar $X$ være summen av øynene, er $X$ en stokastisk variabel som kan ta verdiene $2, 3, \ldots, 12$. Før kastet er $X$ ukjent; etter kastet har den en bestemt verdi $x$. Skillet stor/liten bokstav følger vi slavisk gjennom hele boka.

$$p(x) = P(X = x),$$

sannsynligheten for at variabelen tar akkurat verdien $x$. Punktsannsynlighetene er ekte sannsynligheter: hver $p(x) \ge 0$, og de summerer til 1, $\sum_x p(x) = 1$. Antall defekte enheter, antall kundeankomster, antall øyne på en terning — alt dette er diskrete variable.

$$P(a < X < b) = \int_a^b f(x)\,dx, \qquad \int_{-\infty}^{\infty} f(x)\,dx = 1.$$

Viktig: $f(x)$ er ikke en sannsynlighet. Den er en tetthet (sannsynlighet per lengdeenhet), og kan godt være større enn 1 — det er arealet, ikke høyden, som må ligge mellom 0 og 1. Vi kommer tilbake til denne fellen.

$$F(x) = P(X \le x).$$

Den finnes for både diskrete og kontinuerlige variable, vokser fra 0 til 1, og er aldri avtakende. To sammenhenger brukes hele tiden:

$$P(a < X \le b) = F(b) - F(a), \qquad f(x) = F'(x) \text{ (kontinuerlig tilfelle)}.$$

Den siste sier at tettheten er den deriverte av fordelingsfunksjonen — og motsatt: $F$ er integralet av $f$. Denne broen ($F' = f$) er selve arbeidshesten i kapittel 2.3 og 2.4.

$$P(X = x) = 0 \quad \text{for alle } x.$$

Grunnen er at et enkeltpunkt har bredde null, så arealet under $f$ over det punktet er null. En praktisk følge: for kontinuerlige variable spiller det ingen rolle om ulikheten er streng eller ikke — $P(X \le a) = P(X < a)$. (For diskrete variable er dette feil: der er $P(X = x) = p(x)$ ofte positiv, og $\le$ mot $<$ gjør forskjell.)

$$E(X) = \sum_x x\,p(x) \qquad \text{(diskret)}, \qquad E(X) = \int_{-\infty}^{\infty} x\,f(x)\,dx \qquad \text{(kontinuerlig)}.$$

Forventningen kalles også middelverdien og skrives ofte $\mu = E(X)$. Den trenger ikke være en verdi variabelen faktisk kan ta: forventet antall øyne på en terning er $3{,}5$.

$$E[g(X)] = \sum_x g(x)\,p(x) \qquad \text{eller} \qquad E[g(X)] = \int g(x)\,f(x)\,dx.$$

Du trenger altså ikke fordelingen til $g(X)$ — du bruker fordelingen til $X$ direkte. Spesialtilfellet $g(x) = x^2$ gir $E(X^2)$, som vi trenger til variansen. Merk: i sin alminnelighet er $E[g(X)] \ne g(E(X))$ — for eksempel er $E(X^2) \ne [E(X)]^2$ med mindre variabelen er konstant.

$$\text{Var}(X) = E\big[(X - \mu)^2\big] = E(X^2) - [E(X)]^2.$$

Regneformelen er den praktiske: finn $E(X)$ og $E(X^2)$, og trekk fra kvadratet av forventningen. Variansen er alltid $\ge 0$ (den er et forventet kvadrat), og den er null bare når variabelen er konstant. Enheten er kvadratet av $X$-enheten.

$$\text{SD}(X) = \sqrt{\text{Var}(X)}, \qquad \text{ofte skrevet } \sigma = \sqrt{\sigma^2}.$$

Fordelen med standardavviket er at det har samme enhet som $X$ selv (kroner, sekunder, meter), så det er lettere å tolke enn variansen. Et lite standardavvik betyr at verdiene klumper seg tett rundt forventningen; et stort betyr stor spredning.

$$E(aX + bY) = a\,E(X) + b\,E(Y), \qquad E(aX + b) = a\,E(X) + b.$$

Dette gjelder alltid, uten forbehold om uavhengighet. Forventningen til en konstant er konstanten selv ($E(b) = b$), og en konstant faktor kan settes utenfor ($E(aX) = a\,E(X)$). Lineariteten er grunnen til at forventningsregning nesten aldri byr på problemer.

$$\text{Var}(aX + b) = a^2\,\text{Var}(X).$$

To ting å merke seg: konstanten $b$ faller helt bort (å forskyve alle verdier like mye endrer ikke svingningene), og faktoren kommer inn som $a^2$ — kvadrert. Fortegnet på $a$ spiller derfor ingen rolle: $\text{Var}(-X) = \text{Var}(X)$.

$$\text{Var}(aX + bY) = a^2\,\text{Var}(X) + b^2\,\text{Var}(Y) + 2ab\,\text{Cov}(X, Y).$$

Kovariansleddet $2ab\,\text{Cov}(X,Y)$ er hovedpoenget og den vanligste feilkilden. Det forsvinner bare når $X$ og $Y$ er uavhengige (da er $\text{Cov} = 0$). To spesialtilfeller for uavhengige variable:

$$\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y), \qquad \text{Var}(X - Y) = \text{Var}(X) + \text{Var}(Y).$$

Merk at variansen til en differanse også er en sum av varianser (leddet $2ab\,\text{Cov}$ med $a = 1, b = -1$ gir $-2\,\text{Cov}$, men varianstermene legges alltid til). Det er aldri riktig å trekke varianser fra hverandre.

$$\text{Cov}(X, Y) = E(XY) - E(X)\,E(Y),$$

og $\text{Cov}(X, X) = \text{Var}(X)$. Er $X$ og $Y$ uavhengige, er $\text{Cov}(X, Y) = 0$ (men det motsatte gjelder ikke alltid — se kap. 2.5). Her trenger vi bare at kovariansen er tallet som fyller kovariansleddet i variansformelen.

Det $k$-te momentet til $X$ er $E(X^k)$ — forventningen til $k$-te potens. Første moment ($k = 1$) er forventningen $E(X)$; andre moment ($k = 2$) er $E(X^2)$, som sammen med forventningen gir variansen via $\text{Var}(X) = E(X^2) - [E(X)]^2$. Momenter regnes med $E(X^k) = \sum x^k p(x)$ eller $\int x^k f(x)\,dx$.

Forventningen til en funksjon er i sin alminnelighet ikke funksjonen av forventningen. For eksempel er $E(X^2) \ge [E(X)]^2$ alltid (differansen er variansen $\ge 0$), med likhet bare når $X$ er konstant. Lineære funksjoner er unntaket: der gjelder $E(aX + b) = a\,E(X) + b$ med likhet. Å sette forventningen inn i en ikke-lineær funksjon er en vanlig feil.

En konstant $c$ (en variabel uten tilfeldighet) har $E(c) = c$ og $\text{Var}(c) = 0$ — den svinger ikke. Dette er grunnen til at et konstantledd faller bort i variansen: $\text{Var}(aX + b) = a^2\text{Var}(X)$, fordi $b$ er konstant. Motsatt: er $\text{Var}(X) = 0$, må $X$ være konstant lik sin forventning.

En indikatorvariabel $I_A$ er 1 hvis hendelsen $A$ inntreffer og 0 ellers. Da er $E(I_A) = P(A)$ og $\text{Var}(I_A) = P(A)\,[1 - P(A)]$. Indikatorer er broen mellom hendelser (kap. 1) og stokastiske variable, og gjør at «antall ganger $A$ skjer» kan skrives som en sum av indikatorer — grunnlaget for den binomiske fordelingen i kap. 2.2.

$$Z = \frac{X - \mu}{\sigma}.$$

Med regnereglene får $Z$ alltid $E(Z) = 0$ og $\text{Var}(Z) = 1$, uansett fordeling. Standardisering er teknikken som gjør normalfordelingstabellen brukbar (kap. 3.1); her ser vi bare at forventning og varians til $Z$ følger direkte av regnereglene $\text{Var}(aX + b) = a^2\text{Var}(X)$.

Fordi $\text{Var}(X) = E[(X - \mu)^2]$ er forventningen til et kvadrat, er den alltid $\ge 0$. Får du et negativt tall for en varians, har du regnefeil — typisk at du trakk varianser fra hverandre for en differanse i stedet for å legge dem sammen, eller mistet et fortegn i kovariansleddet. Bruk dette som en rask kontroll på svaret ditt.