Skeivskap, fråfall, leiande spørsmål og målefeil, og korleis dei påverkar konklusjonane.
To slags feil
Alle undersøkingar bommar. Det som avgjer kor mykje dei er verde, er kva
type bom.
Tilfeldig feil kjem av at vi har trekt eitt utval og ikkje eit anna. Han
peikar like ofte oppover som nedover, han blir mindre når veks, og han kan
reknast ut. Det er han feilmarginen dekkjer.
Systematisk feil — òg kalla skeivskap — kjem av at metoden peikar i éi
bestemd retning. Han blir ikkje mindre av at utvalet veks, han kan ikkje
reknast ut av dataa, og feilmarginen seier ingenting om han.
| Tilfeldig feil | Systematisk feil (skeivskap) | |
|---|---|---|
| Årsak | Vi trekte akkurat dette utvalet | Metoden favoriserer nokon |
| Retning | Tilfeldig opp eller ned | Alltid same veg |
| Effekt av større | Blir mindre | Uendra |
| Kan han reknast ut? | Ja | Nei — han må unngåast |
Nesten alt som går gale med ei undersøking, høyrer til i høgre kolonne.
som trekkjer frå eit mobilregister, manglar dei utan mobil; ei som trekkjer frå
e-postlista til kommunen, manglar dei som ikkje har registrert seg. Einingane som
manglar, har sannsyn null for å bli med, og dei liknar sjeldan dei som
er med.
2. Fråfall. Nokre av dei trekte svarer ikkje. Dette er den største feilkjelda i
moderne undersøkingar, fordi svarprosentane har falle kraftig. Fråfallet er
farleg når dei som ikkje svarer, skil seg frå dei som svarer — og det gjer dei
nesten alltid.
3. Målefeil. Svaret måler noko anna enn det vi trur:
- leiande spørsmål («Synest du ikkje at …»)
- kva alternativ som blir nemnt først
- minnet («Kor mange gonger sykla du i fjor?»)
- sosialt ønskjelege svar (folk oppgir meir trening og mindre snacks enn dei
har)
- uklare ord («ofte», «regelmessig», «god økonomi»)
4. Handsamingsfeil. Tastefeil, feil koding, feil samanslåing av kategoriar
— feil som oppstår etter at dataa er samla inn.
Berre den tilfeldige variasjonen blir dekt av feilmarginen. Alle dei fire punkta
over ligg utanfor.
Ein kommune sende ei undersøking til tilfeldig trekte innbyggjarar.
svarte. Av dei sa at dei er nøgde med renovasjonen.
a) Kva er svarprosenten?
b) Gå ut frå at dei som ikkje svarte, i røynda er nøgde. Kva er då
den sanne andelen, og kor mykje bommar anslaget?
c) Kor mykje kan anslaget i verste fall bomme, når vi ikkje veit noko om dei som
ikkje svarte?
d) Samanlikn med feilmarginen frå tilfeldig variasjon.
Svar a): Svarprosenten er , og fråfallet er personar,
altså .
b) Den sanne andelen er eit vekta gjennomsnitt av dei to gruppene:
Svar b): Den sanne andelen ville vore (),
medan undersøkinga rapporterer . Anslaget bommar med
NB: vi reknar differansen av dei eksakte tala og rundar av til slutt.
Rundar vi av til først, får vi — og det er ei
anna avrunding enn den rette.
c) Vi veit ingenting om dei . Dei to ytterpunkta er:
Ingen av dei er nøgde:
Alle er nøgde:
Svar c): Utan kunnskap om fråfallet kan vi berre seie at den sanne andelen
ligg mellom og — eit spenn på prosentpoeng, altså
nøyaktig like stort som fråfallet.
d) Feilmarginen frå tilfeldig variasjon med og er (formelen står i teoremet om feilmargin lenger ut i kapittelet)
altså prosentpoeng. Intervallet blir prosentpoeng breitt.
Fråfallet åleine tillèt eit spenn på prosentpoeng:

Feilmarginen måler berre den tilfeldige variasjonen. Det fråfallet åleine tillèt, er omtrent åtte–ni gonger så breitt (55 mot 6,4 prosentpoeng) — og den uvissa står ikkje i nokon feilmargin.
Svar d): Feilmarginen er prosentpoeng, eit intervall på prosentpoeng. Spennet fråfallet
åleine tillèt, er prosentpoeng — omtrent åtte–ni gonger så breitt.
Her ser vi at ein rapport som oppgir « er nøgde, feilmargin
prosentpoeng» seier noko sant om det minste problemet og teier om det
største.
Slik les du kritisk: Sjå etter svarprosenten før du ser på
feilmarginen. Står han ikkje der, er det i seg sjølv ei opplysning.
Andre moglegheiter: Fråfallet kan undersøkjast ved å purre, og så samanlikne
dei som svarte først med dei som svarte etter purring. Skil dei to gruppene
seg, er det eit varsel om at dei som aldri svarte, skil seg endå meir.
Ei brukarundersøking vart send til personar. svarte, og av dei
sa at dei var nøgde.
Finn svarprosenten og talet på fråfall.
Kva er den sanne andelen om dei som ikkje svarte, er nøgde?
Og om dei er nøgde?
Kvifor er det rimeleg å tru at dei som ikkje svarte, er mindre nøgde?
Kva bør stå i rapporten ved sida av talet ?
Ein kommune delte tilfeldig trekte innbyggjarar i to like store grupper
og stilte det same spørsmålet på to måtar.
| Ordlyd | Ja | |
|---|---|---|
| «Bør kommunen bruke meir pengar på eldreomsorg?» | 412 | 500 |
| «Bør kommunen bruke meir pengar på eldreomsorg, sjølv om det betyr høgare eigedomsskatt?» | 238 | 500 |
a) Finn dei to andelane.
b) Kor stor er skilnaden, og kan han kome av tilfeldigheiter?
c) Kva for ein ordlyd er den «rette»?
Svar a): og .
b) Skilnaden er
Feilmarginen for ein skilnad mellom to uavhengige utval er
Vi set inn:
altså prosentpoeng.
Svar b): Skilnaden på prosentpoeng er over seks gonger så stor
som feilmarginen. Han kan ikkje forklarast med tilfeldig utvalsvariasjon.
c) Ingen av dei — og begge.
Den første måler om folk ønskjer seg betre eldreomsorg. Den andre måler om
dei er viljuge til å betale for henne. Det er to ulike spørsmål, og
begge svara er sanne om sitt eige spørsmål.
Feilen ville vore å stille det eine og rapportere svaret som om det gjaldt det
andre: « av innbyggjarane støttar satsinga» når ingen er spurd kva ho
kostar.
Svar c): Ordlyden er spørsmålet. Difor skal han alltid oppgivast ordrett
saman med resultatet.
NB: Dette er ikkje eit argument mot spørjeundersøkingar. Det er eit argument
for at spørsmålsteksten høyrer med til talet, på same måte som og
svarprosenten.
Vurder kvar spørsmålsformulering. Kva for ei feilkjelde er i spel, og korleis ville
du skrive om?
«Synest du ikkje at kommunen burde ha prioritert skulane høgare?»
«Kor mange gonger har du vore på biblioteket det siste året?»
«Trenar du regelmessig?»
«Kor mykje alkohol drakk du førre veke?», stilt andlet til andlet av ein intervjuar.
«Er du einig i at det nye tiltaket er både rettferdig og effektivt?»
andelen med omtrent tryggleik innanfor
Leddet etter blir kalla feilmarginen. Formelen blir grunngitt i kapittel 7;
her bruker vi han.
Tre ting å leggje merke til:
1. står under ei kvadratrot. Firedoblar vi , blir marginen halvert.
2. Marginen er størst når . Då er
, og formelen blir
— som er
tommelfingerregelen frå kapittel 3.1. For små andelar
er den ekte marginen mykje mindre.
3. Storleiken på populasjonen står ikkje i formelen.
I rekneark:
=1,96*ROT(B1*(1-B1)/B2)der B1 er og B2 er .
Ei måling med gir eitt parti oppslutnad og eit anna
parti .
a) Finn feilmarginen for kvart av dei to partia.
b) Kva intervall bør oppgivast?
c) Kvifor er marginen minst for det vesle partiet?
Det store partiet, :
Det vesle partiet, :
Svar a): prosentpoeng for det store partiet og
prosentpoeng for det vesle.
b)
Svar b): og .
c) Fordi produktet er størst i midten og minst mot
ytterkantane:
Er nesten alle einige om noko, sprikjer svara lite, og då sprikjer også anslaget
lite.
Svar c): Fordi variasjonen i svara er minst når andelen er nær eller
nær .
NB: Tommelfingerregelen , altså prosentpoeng, er
altfor varsam for det vesle partiet, der den ekte marginen er . For
små parti betyr det mykje: skilnaden mellom og prosent er
skilnaden på under og over sperregrensa.
| Parti | A | B | C | D |
|---|---|---|---|---|
| Oppslutnad | 27,1 % | 19,8 % | 8,9 % | 4,1 % |
Rekn ut feilmarginen for kvart parti med =1,96*ROT(B1*(1-B1)/950).
Oppgi eit intervall for kvart parti.
Sperregrensa for utjamningsmandat er . Kva kan vi seie om parti D?
Kvifor har partia ulik feilmargin i den same målinga?
Kva for feilkjelder dekkjer ikkje desse marginane?
Ein oppgitt feilmargin byggjer på at
1. utvalet er eit sannsynsutval,
2. alle dei trekte har svart,
3. spørsmålet måler det vi trur, og
4. svara er rett registrerte.
I røynda sviktar punkt 2 alltid, og ofte punkt 1 og 3 òg.
Feilmarginen svarer difor berre på eitt spørsmål: kor mykje ville talet
variert om vi trekte eit nytt utval på same måte? Han seier ingenting om
korvidt metoden peikar rett veg.
Eit tal med liten feilmargin kan vere heilt feil. Feilmarginen måler
presisjon, ikkje treffsikkerheit.
:
| Månad | Oppslutnad |
|---|---|
| Førre månad | 27,1 % |
| Denne månaden | 29,8 % |
Feilmarginen for kvar einskild måling er omtrent prosentpoeng, og
feilmarginen for endringa er omtrent prosentpoeng.
Kor stor er endringa i prosentpoeng?
Er endringa større enn feilmarginen for endringa?
Kvifor er feilmarginen for endringa større enn for kvar einskild måling?
Ei avis skriv: «Partiet i solid framgang.» Vurder overskrifta.
Kva ville gjort deg tryggare på at framgangen er reell?
Eit byrå skal planleggje ei måling.
a) Kor stor må vere for at feilmarginen skal bli høgst prosentpoeng
i verste tilfelle?
b) Kva om kravet er prosentpoeng?
c) Byrået veit at andelen dei er ute etter, ligg rundt . Korleis
endrar det svaret i a)?
Vi set feilmarginen lik kravet:
Vi kvadrerer begge sider:
Svar a): — vi rundar opp, sidan ville gitt ein
litt for stor margin.
(No ser du kvifor så mange målingar har rundt svar.)
b) Same rekning med :
Svar b): — meir enn dobbelt så mange for eitt prosentpoeng
betre margin.
c) Med er i staden for :
Svar c): held — litt over ein tredel av (ein
tredel er ). Forholdet er , altså
.
Her ser vi at kunnskap om kvar svaret omtrent ligg, er verd pengar. Veit
vi ingenting, må vi rekne med og betale for det største utvalet.
Andre moglegheiter: Skal fleire spørsmål med ulike andelar svarast på i same
undersøking, blir dimensjonert etter det spørsmålet der andelen ligg
nærast .
Formelen for nødvendig utvalsstorleik er
der er den ønskte feilmarginen.
Finn for når .
Finn for når .
Samanlikn a) og b). Kor mange gonger større er utvalet, og kor mange gonger betre er marginen?
Undersøkinga skal òg brytast ned på fem aldersgrupper med i kvar. Kor mange trengst då til saman?
Byrået reknar med fråfall. Kor mange må inviterast for å få svar, og kva er problemet med å løyse fråfall på denne måten?
vurder henne.
Kva for nokre av desse opplysningane finn du: , svarprosent, utvalsmetode, ordlyden i spørsmålet, kven som har betalt, og når ho vart gjennomført?
Er utvalet eit sannsynsutval? Korleis veit du det?
Rekn ut feilmarginen for hovudtalet, og samanlikn med den oppgitte.
Kva for ei av dei fire feilkjeldene trur du er størst her, og kvifor?
Skriv om hovudsetninga i nyheitssaka slik at ho er dekkjande.
Oppsummering
I dette kapittelet har du lært:
| Omgrep | Innhald |
|---|---|
| Tilfeldig feil | Varierer frå utval til utval, minkar med , kan reknast ut |
| Systematisk feil | Peikar alltid same veg, uendra av større , kan ikkje reknast ut |
| Dekningsfeil | Utvalsramma manglar delar av populasjonen |
| Fråfall | Dei trekte som ikkje svarte — den største feilkjelda i dag |
| Målefeil | Spørsmålet måler noko anna enn det vi trur |
| Feilmargin | |
| Nødvendig |
Hugs
- Feilmarginen dekkjer berre den tilfeldige variasjonen.
- Sjå etter svarprosenten før du ser på feilmarginen.
- Den moglege skeivskapen frå fråfallet er like stor som fråfallet sjølv.
- Marginen er størst når er nær , minst nær og .
- Ordlyden er ein del av resultatet og skal oppgivast.
- Eit presist tal kan vere eit gale tal.
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
