Kildekritikk, feilkilder, bias og manipulering av statistikk.
Kritisk vurdering av data
I dei føregåande kapitla har vi lært å samle inn, analysere og presentere data. Men det er like viktig å kunne vurdere data kritisk – både eigne og andre sine. Statistikk kan brukast til å informere og opplyse, men òg til å villeie og manipulere.
Mark Twain sa det slik: «Det finst tre typar løgner: løgner, forbanna løgner og statistikk.» I dette kapittelet lærer du å gjennomskode dårleg bruk av data og bli ein kritisk forbrukar av statistikk.
1. Kven har samla inn dataa? Har dei ein agenda eller interessekonflikt?
2. Korleis vart dataa samla inn? Er metoden solid og transparent?
3. Kven er utvalet? Er det representativt for populasjonen?
4. Kor stort er utvalet? Små utval gjev upålitelege resultat.
5. Når vart dataa samla inn? Er dei framleis relevante?
6. Er resultata publiserte i ei fagfellevurdert kjelde?
Pålitelege data kjenneteiknast av: transparent metode, tilstrekkeleg utvalsstorleik, representativt utval og uavhengig finansiering.
Ein tannkremreklame hevdar: «9 av 10 tannlegar tilrår Tannkrem X.» Vurder denne påstanden kritisk.
1. Kven utførte undersøkinga? Truleg marknadsavdelinga til tannkremprodusenten sjølv – dei har ei klar økonomisk interesse i resultatet.
2. Korleis vart spørsmålet stilt? Kanskje tannlegane vart spurde «Tilrår du tannkrem med fluor?» og ikkje spesifikt om merket. Eller dei fekk ei liste der dei kunne tilrå fleire merke.
3. Kven vart spurde? Kanskje berre 10 tannlegar vart spurde, og dei fekk betalt av produsenten. Med eit så lite utval kan resultatet skuldast tilfeldigheiter.
4. Utvalsmetode: Var tannlegane tilfeldig valde, eller var dei handplukka?
5. Kva tyder «tilrår»? Kanskje dei tilrår tannkremen som «god nok», ikkje nødvendigvis som den beste.
Konklusjon: Påstanden er villeiande. Han gjev inntrykk av sterk fagleg støtte, men utan å vite detaljane om metoden, er han nesten meiningslaus som bevis.
Ei nettside som sel kosttilskot publiserer ein studie som viser at produktet deira betrar hukommelsen. Kva bør du vere mest merksam på?
Utvalsbias: Utvalet er ikkje representativt for populasjonen. Eksempel: Ei undersøking om treningsvanar der du berre spør folk på treningssenteret – dei er allereie ei selektert gruppe.
Stadfestingsbias (confirmation bias): Forskaren tolkar data slik at dei støttar hypotesen sin, og oversér data som motseier han.
Overlevingsbias (survivorship bias): Vi ser berre på «vinnarane» og oversér dei som fall frå. Eksempel: «Alle vellukka gründarar dropte ut av skulen» – vi ser ikkje dei tusenvis som dropte ut og mislukkast.
Responsbias: Respondentar svarar det dei trur er sosialt ønskeleg. Eksempel: Folk underrapporterer alkoholforbruk og overrapporterer treningsaktivitet.
Publiseringsbias: Studiar med positive funn blir publiserte, medan studiar utan funn «forsvinn i skuffen». Dette gjev eit skeivt bilete av kunnskapsgrunnlaget.
Under andre verdskrigen analyserte forskarar kvar på flya det var flest kulehol etter at dei kom tilbake frå oppdrag. Dei føreslo å forsterke desse områda. Statistikaren Abraham Wald argumenterte for det motsette. Forklar kvifor.
Forskarane såg på flya som overlevde og kom tilbake til basen. Kulehola på desse flya viste kvar flya tolte å bli trefte – dei overlevde trass treffa.
Walds innsikt: Områda utan kulehol på dei overlevande flya var nettopp der dei flya som ikkje kom tilbake sannsynlegvis vart trefte. Fly som vart trefte i motor, cockpit eller halefinne styrta og kom aldri tilbake for å bli undersøkte.
Løysing: Forsterk områda utan kulehol på dei returnerte flya – det er der flya er mest sårbare.
Lærdom: Overlevingsbias oppstår når vi berre analyserer data frå «overlevarar» og gløymer å tenkje på dei som fall frå. I forsking: vi ser berre publiserte studiar, ikkje dei mislukka. I business: vi høyrer om suksessfulle startups, ikkje dei tusenvis som gjekk konkurs.
Ei nettavis publiserer ei undersøking om politiske haldningar basert på svar frå lesarane. 10 000 personar deltok. Kva er det viktigaste problemet med denne undersøkinga?
Vanlege måtar å villeie med statistikk
Statistikk kan presenterast på villeiande måtar, medvite eller umedvite:
1. Avkutta -akse: Startar ikkje på 0, noko som overdriv skilnader (vi såg dette i kapittel 2.3).
2. Kirsebærplukking (cherry-picking): Velje ut berre dei dataa som støttar konklusjonen, og ignorere resten. Eksempel: Vise at kriminaliteten auka i fjor utan å nemne at ho har sokke dei siste 20 åra.
3. Villeiande gjennomsnitt: Bruke gjennomsnitt i staden for median når dataa har ekstremverdiar. Eksempel: «Gjennomsnittleg inntekt i nabolaget er 2 millionar kr» – men det er fordi éin milliardær trekkjer opp snittet.
4. Relativ vs. absolutt risiko: «Ny medisin doblar risikoen for biverknad!» kan tyde at risikoen gjekk frå 0,001 % til 0,002 % – ei dobling, men framleis ubetydeleg i absolutte tal.
5. Korrelasjon som kausalitet: Påstå at ein samanheng bevisar at A forårsakar B, utan å ta omsyn til bakanforliggjande variablar.
6. Manglande kontekst: Presentere tal utan samanlikningsgrunnlag. «1000 personar ramma av sjukdom X» – er det mykje eller lite? Av 100 000 eller av 5 millionar?
Ein politikar seier: «Arbeidsløysa har auka med 15 % det siste året – dette viser at politikken har feila.» Arbeidsløysa var 3,4 % for eitt år sidan og er no 3,9 %. Vurder påstanden kritisk.
Men det er villeiande fordi:
1. Relativ vs. absolutt endring: 15 % høyrest dramatisk ut, men i absolutte tal gjekk løysa frå 3,4 % til 3,9 % – ein auke på berre 0,5 prosentpoeng. Båe tala er framleis historisk låge.
2. Manglande kontekst: Kva er trenden over tid? Kanskje løysa sokk frå 8 % til 3,4 % over dei føregåande 5 åra. Ein liten auke kan vere normal variasjon.
3. Kirsebærplukking: Politikaren vel akkurat den tidsperioden som støttar argumentet sitt.
Lærdom: Sjå alltid på den langsiktige trenden og absolutte tal, ikkje berre relative endringar.
Ei overskrift lyder: «Ny studie: Risikoen for hjartesjukdom tredoblast med bruk av Middel Y!» I studiebeskrivinga går det fram at risikoen auka frå 1 av 30 000 til 3 av 30 000. Kva er den beste vurderinga?
Oppsummering
- Kjeldekritikk er avgjerande: Vurder kven som står bak, metoden, storleiken og representativiteten til utvalet, og om det finst interessekonfliktar.
- Bias (systematisk skeivheit) kan oppstå i mange former: utvalsbias, stadfestingsbias, overlevingsbias, responsbias og publiseringsbias.
- Statistikk kan villeie gjennom avkutta aksar, kirsebærplukking, villeiande gjennomsnitt, val av relativ over absolutt risiko, og forveksling av korrelasjon med kausalitet.
- Vurder alltid konteksten – eit tal åleine er meiningslaust utan samanlikning.
- Spør deg sjølv: Kven tener på at eg trur dette? Finst det alternative forklaringar? Er utvalet representativt?
- Kritisk tenking er ein av dei viktigaste ferdigheitene du lærer i teknologi og forskingslære.
Ein forskingsartikkel konkluderer med at «barn som et frukost får betre karakterar». Studien er basert på data frå 5000 elevar.
a) Kva type bias kan påverke dette resultatet?
b) Føreslå ein bakanforliggjande variabel som kan forklare samanhengen.
c) Kvifor kan vi ikkje utan vidare konkludere med at frukost forårsakar betre karakterar?
Finn ei nyheitssak eller ein reklame som brukar statistikk til å støtte ein påstand. Analyser påstanden kritisk ved å:
a) Identifisere kva for statistikk som blir presentert og korleis ho blir brukt.
b) Vurdere minst to moglege feilkjelder eller bias i dataa.
c) Forklare korleis statistikken kunne vore presentert på ein meir ærleg og fullstendig måte.
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.