2.5 Konfidensintervall og feilmarginer

Ett tall er ikke nok

Du har målt gjennomsnittlig reaksjonstid i utvalget ditt til 248 ms. Fint -- men hvor nær er dette den sanne verdien for hele populasjonen? Et enkelt tall, et punktestimat, sier ingenting om usikkerheten. Det er som å si «klokka er kvart over» uten å vite om du kan stole på klokka.

Løsningen er et intervallsestimat, bedre kjent som et konfidensintervall. I stedet for ett tall gir vi et intervall $[\bar{x} - E, \bar{x} + E]$ som med en bestemt sannsynlighet inneholder den sanne verdien. Bredden $E$ kalles feilmarginen.

Et konfidensintervall for gjennomsnittet bygges av tre deler: $\displaystyle \bar{x} \pm z^* \cdot \frac{s}{\sqrt{n}}$. Her er $\bar{x}$ sentrum, $\displaystyle \frac{s}{\sqrt{n}}$ er standardfeilen $SE$, og $z^*$ er en kritisk verdi som avhenger av hvor sikre vi vil være. Feilmarginen er $E = z^* \cdot SE$. Måler du reaksjonstid hos 100 elever med $s = 30$, blir $\displaystyle SE = \frac{30}{\sqrt{100}} = 3{,}0$. Med 95 % konfidens er $z^* = 1{,}960$, så $E = 1{,}960 \cdot 3{,}0 \approx 5{,}9$ ms, og intervallet blir $248 \pm 5{,}9 = [242{,}1, 253{,}9]$. Vi er 95 % sikre på at den sanne gjennomsnittlige reaksjonstiden ligger der.

Sikkerhet koster bredde

Valget av konfidensnivå er en avveining. Vil du være mer sikker, må du godta et bredere intervall. De vanlige nivåene har faste kritiske verdier: 90 % gir $z^* = 1{,}645$, 95 % gir $z^* = 1{,}960$, og 99 % gir $z^* = 2{,}576$. Et 99 %-intervall er alltid bredere enn et 95 %-intervall. Tenk på det som å fiske med nett -- vil du være sikrere på å fange fisken, kaster du et bredere nett, men da får du også med mer vann.

Feilmarginen avhenger av tre ting: spredningen $s$, utvalgsstørrelsen $n$ og konfidensnivået via $z^*$. Forholdet til $n$ er det viktigste å forstå, og det er ikke lineært -- det følger kvadratroten. For å halvere feilmarginen må du firedoble utvalget, fordi $\displaystyle E \propto \frac{1}{\sqrt{n}}$. Går du fra 64 til 256 observasjoner, dobles $\sqrt{n}$ fra 8 til 16, og feilmarginen halveres.

Denne sammenhengen lar oss også regne baklengs: hvor stort utvalg trenger jeg for en ønsket presisjon? Formelen er $\displaystyle n = \left(\frac{z^* \cdot s}{E}\right)^2$. Vil du estimere puls med feilmargin maks 2 slag/min ved 95 % konfidens, og en pilotstudie viser $s \approx 12$, trenger du $\displaystyle n = \left(\frac{1{,}960 \cdot 12}{2}\right)^2 \approx 138{,}3$ -- og du runder alltid opp, til 139. Runder du ned, blir feilmarginen litt for stor.

Andeler, meningsmålinger og de små utvalgene

Noen ganger er det ikke et gjennomsnitt vi vil estimere, men en andel -- som «hvor stor andel trener minst tre ganger i uka?» Da estimerer vi populasjonsproporsjonen $p$ med utvalgsproporsjonen $\hat{p}$, og konfidensintervallet blir $\displaystyle \hat{p} \pm z^* \cdot \sqrt{\frac{\hat{p}(1 - \hat{p})}{n}}$. Forutsetningene er at både $n\hat{p}$ og $n(1-\hat{p})$ er minst 10, og at utvalget er tilfeldig. Hvis 240 av 400 elever trener mye, er $\hat{p} = 0{,}60$, standardfeilen blir $\displaystyle \sqrt{\frac{0{,}60 \cdot 0{,}40}{400}} \approx 0{,}0245$, og intervallet blir $0{,}60 \pm 0{,}048 = [55{,}2\%, 64{,}8\%]$.

Dette forklarer den berømte «feilmarginen på $\pm 3$ prosentpoeng» i meningsmålinger. For andeler nær 0,5 -- det verste tilfellet -- gjelder den enkle tilnærmingen $\displaystyle E \approx \frac{1}{\sqrt{n}}$. Med $n = 1000$ blir det $\displaystyle \frac{1}{\sqrt{1000}} \approx 0{,}032$, altså rundt 3,2 prosentpoeng. Det er nettopp derfor norske meningsmålinger med rundt tusen respondenter oppgir denne feilmarginen.

To siste poenger. For små utvalg ($n < 30$) bruker vi t-fordelingen i stedet for normalfordelingen. Den har tyngre haler, gir litt bredere intervaller, og kompenserer dermed for at vi må estimere $\sigma$ med $s$ når vi har lite data. Og advarselen til slutt: et konfidensintervall handler om parameteren, ikke om enkeltobservasjoner. Det er den vanligste misforståelsen -- intervallet sier ikke at 95 % av dataene ligger der, men at metoden treffer den sanne verdien i 95 % av tilfellene.

Oppsummering

Vi har sett at et konfidensintervall tallfester usikkerheten rundt et estimat ved å gi et intervall som med en gitt sannsynlighet inneholder den sanne parameteren. For gjennomsnittet er det $\displaystyle \bar{x} \pm z^* \cdot \frac{s}{\sqrt{n}}$, og feilmarginen $E = z^* \cdot SE$ avhenger av spredning, utvalgsstørrelse og konfidensnivå. Høyere konfidensnivå gir bredere intervall.

For andeler bruker vi $\hat{p} \pm z^* \cdot \sqrt{\hat{p}(1-\hat{p})/n}$, noe som forklarer den typiske feilmarginen på rundt 3 prosentpoeng i meningsmålinger. Å halvere feilmarginen krever at utvalget firedobles. For små utvalg bruker vi t-fordelingen. Og husk: konfidensintervallet handler om parameteren, ikke om enkeltobservasjoner.