5.4 Estimering og konfidensintervall

Redaksjonsmøtet

En avisredaksjon planlegger en valgmåling, og budsjettmøtet koker ned til ett spørsmål: hvor mange må vi spørre? Spør de for få, blir resultatene så upresise at de er verdiløse; spør de for mange, brenner de penger på presisjon ingen trenger. Det samme dilemmaet møter alle som planlegger undersøkelser — fra lyspæreprodusenter til folkehelseforskere.

Nøkkelbegrepet er feilmarginen $E$: halvparten av bredden til konfidensintervallet, avstanden fra punktestimatet ut til intervallgrensen. For et gjennomsnitt er $\displaystyle E = z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}$, og for en andel $\displaystyle E = z_{\alpha/2} \cdot \sqrt{\frac{p(1-p)}{n}}$. Jo mindre $E$, desto mer presist estimat.

Tre faktorer bestemmer feilmarginen. Konfidensnivået: høyere konfidens krever større $z_{\alpha/2}$ (1,645 for 90 %, 1,960 for 95 %, 2,576 for 99 %) og gir dermed bredere intervall — skal du være sikrere på å fange sannheten, må nettet være større. Spredningen: større $\sigma$, eller $p$ nær 0,5 for andeler, gir større $E$ — rotete data gir upresise estimater. Og utvalgsstørrelsen: større $n$ gir mindre $E$, men bare gjennom kvadratroten $\sqrt{n}$ — og det er nettopp denne kvadratroten som gjør presisjon dyr.

Et talleksempel gjør sammenhengen konkret. En lyspæreprodusent med $\sigma = 60$ timer beregner feilmarginen ved 95 % konfidens: med $n = 25$ blir $\displaystyle E = 1{,}960 \cdot \frac{60}{5} = 23{,}52$; med $n = 100$ blir $E = 11{,}76$; med $n = 400$ blir $E = 5{,}88$. Hver firedobling av utvalget halverer feilmarginen — ikke mer.

Å regne seg frem til utvalget

Planleggingen snur formelen: i stedet for å beregne $E$ fra $n$, krever vi en bestemt feilmargin og løser for $n$.

For et gjennomsnitt gir $\displaystyle E = z_{\alpha/2}\frac{\sigma}{\sqrt{n}}$ omstilt: $$n \geq \left(\frac{z_{\alpha/2} \cdot \sigma}{E}\right)^2$$ To praktiske regler følger med: $\sigma$ kjenner vi sjelden, så vi bruker et estimat fra tidligere studier eller en pilotstudie; og resultatet rundes alltid opp til nærmeste heltall — runder du ned, bryter du presisjonskravet.

Eksempel: en bedrift vil estimere gjennomsnittlig kundetilfredshet (skala 1–10) med feilmargin $E = 0{,}3$ og 95 % konfidens. En pilotstudie ga $s = 1{,}8$. Da er $\displaystyle n \geq \left(\frac{1{,}960 \cdot 1{,}8}{0{,}3}\right)^2 = 11{,}76^2 = 138{,}3$, så det trengs minst 139 kunder.

For en andel er formelen $$n \geq \frac{z_{\alpha/2}^2 \cdot p(1-p)}{E^2}$$ Her trengs en antakelse om $p$. Har vi et anslag, bruker vi det; er $p$ helt ukjent, setter vi $p = 0{,}5$, som maksimerer produktet $p(1-p)$ og dermed gir det største — mest konservative — utvalget.

Tilbake til avisen: de vil måle et partis oppslutning med feilmargin 2 prosentpoeng ($E = 0{,}02$) og 95 % konfidens, og partiet ligger trolig rundt 15 %. Da er $\displaystyle n \geq \frac{1{,}960^2 \cdot 0{,}15 \cdot 0{,}85}{0{,}02^2} = \frac{0{,}4898}{0{,}0004} \approx 1224{,}5$, altså minst 1225 personer. Hadde de ikke våget å anta noe om oppslutningen og brukt $p = 0{,}5$, ville kravet vokst til $n \geq 2401$ — nesten det dobbelte. Forhåndskunnskap er bokstavelig talt penger verdt.

Kvadratrotens pris

På redaksjonsmøtet kommer det uunngåelige oppfølgingsspørsmålet: «Kan vi ikke få feilmarginen ned fra 2 til 1 prosentpoeng? Det høres mye proffere ut.» Statistikeren ved bordet trekker pusten — for nå kommer den dårlige nyheten.

Siden $\displaystyle E \propto \frac{1}{\sqrt{n}}$, gjelder en nådeløs prisliste: å halvere feilmarginen krever fire ganger så stort utvalg. Å tredele den krever ni ganger. Å tidele den — for eksempel fra 2 prosentpoeng til 0,2 — krever hundre ganger så mange respondenter. For avisen betyr halveringen at utvalget må fra 1225 opp mot 4900 personer, med tilsvarende firedobling av kostnadene til intervjuer og datainnsamling.

Dette er avveiningen mellom presisjon og kostnad, og den styrer all praktisk undersøkelsesdesign. Presisjonen vokser bare med kvadratroten av innsatsen, så på et punkt slutter ekstra respondenter å være verdt pengene. Klok planlegging starter derfor i motsatt ende: Hva skal resultatet brukes til? Hvor presist trenger det å være? En måling som skal avgjøre om et parti ligger over eller under sperregrensen på 4 %, trenger ganske annen presisjon enn en som skal anslå om oppslutningen er 25 eller 30 %.

Merk også hva som ikke hjelper: å senke konfidensnivået fra 95 til 90 % gir riktignok smalere intervall (mindre $z$), men da har du betalt med sikkerhet i stedet for penger — intervallet bommer oftere. Og populasjonens størrelse spiller praktisk talt ingen rolle: det koster omtrent like mange respondenter å måle Norge som å måle USA, så lenge utvalget er tilfeldig. Det er utvalgets størrelse, ikke populasjonens, som bestemmer presisjonen.

Oppsummering: presisjonens prislapp

Redaksjonsmøtet endte med et tall — og med en innsikt i hva tallet koster. Feilmarginen $E$ er halve bredden av konfidensintervallet: $\displaystyle E = z_{\alpha/2}\frac{\sigma}{\sqrt{n}}$ for gjennomsnitt og $\displaystyle E = z_{\alpha/2}\sqrt{\frac{p(1-p)}{n}}$ for andeler. Den krymper med større utvalg, vokser med høyere konfidensnivå, og vokser med spredningen i dataene.

Planleggingsformlene snur sammenhengen: for gjennomsnitt trengs $\displaystyle n \geq \left(\frac{z_{\alpha/2}\sigma}{E}\right)^2$ (med $\sigma$ anslått fra pilot eller tidligere studier), og for andeler $\displaystyle n \geq \frac{z_{\alpha/2}^2\,p(1-p)}{E^2}$, der ukjent $p$ erstattes med det konservative $0{,}5$. Resultatet rundes alltid opp. Slik fant bedriften at 139 kunder holdt for kundetilfredsheten, og avisen at 1225 respondenter ga 2 prosentpoengs feilmargin — mot 2401 uten forhåndskunnskap om oppslutningen.

Den styrende loven er kvadratroten: $\displaystyle E \propto \frac{1}{\sqrt{n}}$, så halvering av feilmarginen koster en firedobling av utvalget, og tideling koster hundre ganger innsatsen. Derfor handler god undersøkelsesdesign om å bestemme hvilken presisjon formålet faktisk krever — ikke om å maksimere den. Og husk de to tingene som overrasker folk flest: lavere konfidensnivå er ingen gratis snarvei til smalere intervaller (du betaler med flere bom), og populasjonens størrelse er nesten irrelevant — tusen tilfeldig valgte respondenter måler et helt land, uansett hvor stort det er.