1.4 Deskriptiv statistikk og grafisk tolkning

$$\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i.$$

Gjennomsnittet bruker alle verdiene og trekkes derfor mot ekstreme observasjoner (uteliggere). I en høyreskjev fordeling ligger gjennomsnittet til høyre for medianen.

$$\text{median} = \begin{cases} x_{((n+1)/2)} & n \text{ oddetall}\\ \tfrac{1}{2}\big(x_{(n/2)} + x_{(n/2+1)}\big) & n \text{ partall}\end{cases}$$

Medianen er robust: den påvirkes ikke av hvor ekstreme ytterverdiene er, bare av hvor mange de er. Derfor foretrekkes den for skjeve fordelinger (inntekt, levetider).

Kvartilene deler de sorterte dataene i fire like store deler. Nedre kvartil $Q_1$ har 25 % av dataene under seg, medianen $Q_2$ har 50 %, og øvre kvartil $Q_3$ har 75 %. $Q_1$ og $Q_3$ finnes som medianen av henholdsvis nedre og øvre halvdel av datasettet. Kvartilene er byggeklossene i boksplottet.

$$\text{IQR} = Q_3 - Q_1.$$

IQR dekker den midterste halvparten av dataene og påvirkes ikke av uteliggere. Den brukes til å definere uteliggere (verdier lenger enn $1{,}5 \cdot \text{IQR}$ utenfor kvartilene) og er «boksens lengde» i et boksplott.

$$s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2.$$

Hvorfor $n-1$? Fordi vi allerede har «brukt opp» én informasjonsbit på å estimere $\bar{x}$ fra de samme dataene; å dele på $n-1$ (antall frihetsgrader) gjør estimatoren forventningsrett — den treffer riktig i snitt. Den fulle begrunnelsen kommer i kap. 5.1. Å dele på $n$ er den vanligste feilen i hele kapitlet.

$$s = \sqrt{s^2} = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2}.$$

Fordelen framfor variansen er at $s$ har samme enhet som dataene (timer, mm, kroner), så den kan tolkes som en typisk avstand fra gjennomsnittet. En observasjon som ligger flere $s$ fra $\bar{x}$, er uvanlig.

En figur som viser fem-tallssammendraget: boksen går fra $Q_1$ til $Q_3$ (lengde = IQR) med en strek ved medianen; værhårene («whiskers») strekker seg til de mest ekstreme observasjonene innenfor $1{,}5 \cdot \text{IQR}$ fra boksen, og punkter utenfor markeres som uteliggere. Boksplottet viser beliggenhet (medianens plassering), spredning (boksens og værhårenes lengde) og skjevhet (asymmetri mellom over- og underdel) på én gang — ideelt for å sammenligne grupper.

En observasjon som ligger uvanlig langt fra resten. En vanlig regel: verdier lenger enn $1{,}5 \cdot \text{IQR}$ utenfor $Q_1$ eller $Q_3$ markeres som uteliggere i boksplottet (egne punkter utenfor værhårene). Uteliggere kan være reelle ekstremverdier eller målefeil — de skal undersøkes, ikke automatisk fjernes, og de påvirker gjennomsnitt og standardavvik mye mer enn median og IQR.

En figur der dataene deles i intervaller (klasser), og søylehøyden viser hvor mange observasjoner som faller i hvert intervall. Histogrammet avslører fordelingens beliggenhet (hvor tyngdepunktet er), spredning (hvor bredt søylene strekker seg), skjevhet (hvilken hale som er lengst) og modalitet (antall topper). Det er den mest direkte visningen av fordelingens form.

En fordeling er høyreskjev (positivt skjev) hvis den har en lang hale mot høyre — noen få store verdier. Da er $\bar{x} > \text{median}$. Den er venstreskjev hvis halen peker mot venstre og $\bar{x} < \text{median}$. Huskeregel: halen peker i «skjevhetens retning», og gjennomsnittet trekkes mot halen. Levetider og inntekter er typisk høyreskjeve.

Et Q-Q-plott («kvantil-kvantil») setter datasettets sorterte verdier (observerte kvantiler) opp mot de tilsvarende teoretiske kvantilene fra en normalfordeling. Ligger punktene tilnærmet på en rett linje, er dataene forenlige med en normalfordeling. Systematisk krumming eller avvik i halene tyder på ikke-normalitet: en oppadbøyd øvre hale betyr tyngre høyrehale enn normalt (høyreskjevhet).

Antall tydelige topper i fordelingen. Én topp = unimodal (det vanlige). To topper = bimodal, som ofte tyder på at dataene består av to blandede grupper (for eksempel to maskiner med ulik innstilling). Modalitet ses lettest i histogrammet, og en bimodal form er et signal om at man kanskje bør analysere gruppene hver for seg.

En figur som plotter par $(x_i, y_i)$ som punkter — brukes til å se sammenhengen mellom to variabler. Man vurderer på øyemål om det er en trend (stigende/synkende), hvor sterk og hvor lineær den er, og om spredningen er jevn. Spredningsplottet er inngangen til korrelasjon og regresjon (kap. 8 senere i boka).

Et mål (mellom $-1$ og $1$) på hvor sterkt og i hvilken retning to variabler henger lineært sammen. Positiv korrelasjon: punktene stiger; negativ: de synker; nær 0: ingen lineær trend. Advarsel: korrelasjon fanger bare lineær sammenheng — en tydelig krum sammenheng kan ha korrelasjon nær 0. Vurder alltid mot spredningsplottet, ikke bare tallet.

Den $p$-te persentilen er verdien som har $p$ prosent av dataene under seg. Kvartilene er 25-, 50- og 75-persentilene. Persentiler brukes til å beskrive posisjon («måleverdien ligger på 90-persentilen») og er robuste posisjonsmål på linje med medianen.