3.3 Representativitet og feilkilder

Svar a): Svarprosenten er $45\ \%$, og frafallet er $1\,100$ personer,
altså $55\ \%$.

b) Den sanne andelen er et vektet gjennomsnitt av de to gruppene:

$$0{,}45 \cdot 0{,}60 + 0{,}55 \cdot 0{,}35 = 0{,}27 + 0{,}1925 = 0{,}4625$$

Svar b): Den sanne andelen ville vært $46{,}25\ \%$ ($\approx 46{,}3\ \%$),
mens undersøkelsen rapporterer $60\ \%$. Anslaget bommer med

$$60 - 46{,}25 = 13{,}75 \approx 13{,}8 \text{ prosentpoeng}$$

NB: vi regner differansen av de eksakte tallene og runder til slutt.
Runder vi $46{,}25$ til $46{,}3$ først, får vi $13{,}7$ — og det er en
annen avrunding enn den riktige.

c) Vi vet ingenting om de $1\,100$. De to ytterpunktene er:

Ingen av dem er fornøyde:

$$0{,}45 \cdot 0{,}60 + 0{,}55 \cdot 0 = 0{,}27 = 27\ \%$$

Alle er fornøyde:

$$0{,}45 \cdot 0{,}60 + 0{,}55 \cdot 1 = 0{,}27 + 0{,}55 = 0{,}82 = 82\ \%$$

Svar c): Uten kunnskap om frafallet kan vi bare si at den sanne andelen
ligger mellom $27\ \%$ og $82\ \%$ — et spenn på $55$ prosentpoeng, altså
nøyaktig like stort som frafallet.

d) Feilmarginen fra tilfeldig variasjon med $n = 900$ er omtrent
$3{,}2$ prosentpoeng (vi regner den ut i eksempel 3).

Feilmarginen måler bare den tilfeldige variasjonen. Det frafallet alene tillater, er over sytten ganger så bredt — og den usikkerheten står ikke i noen feilmargin.

Svar d): Den tilfeldige feilen er rundt $3$ prosentpoeng. Usikkerheten fra
frafallet er i verste fall $55$ prosentpoeng — over sytten ganger så stor.

Her ser vi at en rapport som oppgir «$60\ \%$ er fornøyde, feilmargin
$\pm 3{,}2$ prosentpoeng» sier noe sant om det minste problemet og tier om det
største.

Slik leser du kritisk: Se etter svarprosenten før du ser på
feilmarginen. Står den ikke der, er det i seg selv en opplysning.

Andre muligheter: Frafallet kan undersøkes ved å purre, og så sammenligne
dem som svarte først med dem som svarte etter purring. Skiller de to gruppene
seg, er det et varsel om at de som aldri svarte, skiller seg enda mer.

$$\hat{p}_2 = \frac{238}{500} = 0{,}476 = 47{,}6\ \%$$

Svar a): $82{,}4\ \%$ og $47{,}6\ \%$.

b) Forskjellen er

$$82{,}4 - 47{,}6 = 34{,}8 \text{ prosentpoeng}$$

Feilmarginen for en forskjell mellom to uavhengige utvalg er

$$1{,}96 \cdot \sqrt{\frac{\hat{p}_1(1-\hat{p}_1)}{n_1} + \frac{\hat{p}_2(1-\hat{p}_2)}{n_2}}$$

Vi setter inn:

$$1{,}96 \cdot \sqrt{\frac{0{,}824 \cdot 0{,}176}{500} + \frac{0{,}476 \cdot 0{,}524}{500}} = 1{,}96 \cdot 0{,}0282 = 0{,}055$$

altså $5{,}5$ prosentpoeng.

Svar b): Forskjellen på $34{,}8$ prosentpoeng er over seks ganger så stor
som feilmarginen. Den kan ikke forklares med tilfeldig utvalgsvariasjon.

c) Ingen av dem — og begge.

Den første måler om folk ønsker seg bedre eldreomsorg. Den andre måler om
de er villige til å betale for den. Det er to forskjellige spørsmål, og
begge svarene er sanne om sitt eget spørsmål.

Feilen ville vært å stille det ene og rapportere svaret som om det gjaldt det
andre: «$82\ \%$ av innbyggerne støtter satsingen» når ingen er spurt hva den
koster.

Svar c): Ordlyden er spørsmålet. Derfor skal den alltid oppgis ordrett
sammen med resultatet.

NB: Dette er ikke et argument mot spørreundersøkelser. Det er et argument
for at spørsmålsteksten hører med til tallet, på samme måte som $n$ og
svarprosenten.

$$1{,}96 \cdot \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$$

Det store partiet, $\hat{p} = 0{,}28$:

$$1{,}96 \cdot \sqrt{\frac{0{,}28 \cdot 0{,}72}{1\,000}} = 1{,}96 \cdot \sqrt{\frac{0{,}2016}{1\,000}}$$

$$= 1{,}96 \cdot \sqrt{0{,}0002016} = 1{,}96 \cdot 0{,}014199 = 0{,}0278$$

Det lille partiet, $\hat{p} = 0{,}05$:

$$1{,}96 \cdot \sqrt{\frac{0{,}05 \cdot 0{,}95}{1\,000}} = 1{,}96 \cdot \sqrt{0{,}0000475} = 1{,}96 \cdot 0{,}006892 = 0{,}0135$$

Svar a): $2{,}8$ prosentpoeng for det store partiet og $1{,}4$
prosentpoeng for det lille.

b) $$28{,}0 \pm 2{,}8 \quad \Rightarrow \quad 25{,}2\ \% \text{ til } 30{,}8\ \%$$

$$5{,}0 \pm 1{,}4 \quad \Rightarrow \quad 3{,}6\ \% \text{ til } 6{,}4\ \%$$

Svar b): $[25{,}2\ \%;\ 30{,}8\ \%]$ og $[3{,}6\ \%;\ 6{,}4\ \%]$.

c) Fordi produktet $\hat{p}(1-\hat{p})$ er størst i midten og minst mot
ytterkantene:

$$0{,}28 \cdot 0{,}72 = 0{,}2016 \qquad \text{mot} \qquad 0{,}05 \cdot 0{,}95 = 0{,}0475$$

Er nesten alle enige om noe, spriker svarene lite, og da spriker også anslaget
lite.

Svar c): Fordi variasjonen i svarene er minst når andelen er nær $0$ eller
nær $1$.

NB: Tommelfingerregelen $\displaystyle \frac{1}{\sqrt{1000}} = 3{,}2$ prosentpoeng er
altfor forsiktig for det lille partiet, der den ekte marginen er $1{,}4$. For
små partier betyr det mye: forskjellen mellom $3{,}6$ og $6{,}4$ prosent er
forskjellen på under og over sperregrensen.

$$1{,}96 \cdot \sqrt{\frac{0{,}25}{n}} = 0{,}03$$

$$\sqrt{\frac{0{,}25}{n}} = \frac{0{,}03}{1{,}96} = 0{,}015306$$

Vi kvadrerer begge sider:

$$\frac{0{,}25}{n} = 0{,}015306^2 = 0{,}00023428$$

$$n = \frac{0{,}25}{0{,}00023428} = 1\,067{,}1$$

Svar a): $n = 1\,068$ — vi runder opp, siden $1\,067$ ville gitt en
litt for stor margin.

(Nå ser du hvorfor så mange målinger har rundt $1\,000$ svar.)

b) Samme regning med $0{,}02$:

$$n = \frac{1{,}96^2 \cdot 0{,}25}{0{,}02^2} = \frac{0{,}9604}{0{,}0004} = 2\,401$$

Svar b): $n = 2\,401$ — mer enn dobbelt så mange for én prosentpoeng
bedre margin.

c) Med $\hat{p} = 0{,}10$ er $\hat{p}(1-\hat{p}) = 0{,}10 \cdot 0{,}90 = 0{,}09$ i stedet for $0{,}25$:

$$n = \frac{1{,}96^2 \cdot 0{,}09}{0{,}03^2} = \frac{0{,}345744}{0{,}0009} = 384{,}2$$

Svar c): $n = 385$ holder — litt over en tredel av $1\,068$ (en
tredel er $356$). Forholdet er $\displaystyle \frac{0{,}09}{0{,}25} = 0{,}36$, altså
$385 \approx 0{,}36 \cdot 1\,068$.

Her ser vi at kunnskap om hvor svaret omtrent ligger, er verdt penger. Vet
vi ingenting, må vi regne med $0{,}25$ og betale for det største utvalget.

Andre muligheter: Skal flere spørsmål med ulike andeler besvares i samme
undersøkelse, dimensjoneres $n$ etter det spørsmålet der andelen ligger
nærmest $50\ \%$.