Kildekritikk, feilkilder, bias og manipulering av statistikk.
Kritisk vurdering av data
I de foregående kapitlene har vi lært å samle inn, analysere og presentere data. Men det er like viktig å kunne vurdere data kritisk – både egne og andres. Statistikk kan brukes til å informere og opplyse, men også til å villede og manipulere.
Mark Twain sa det slik: «Det finnes tre typer løgner: løgner, forbannede løgner og statistikk.» I dette kapittelet lærer du å gjennomskue dårlig bruk av data og bli en kritisk forbruker av statistikk.
1. Hvem har samlet inn dataene? Har de en agenda eller interessekonflikt?
2. Hvordan ble dataene samlet inn? Er metoden solid og transparent?
3. Hvem er utvalget? Er det representativt for populasjonen?
4. Hvor stort er utvalget? Små utvalg gir upålitelige resultater.
5. Når ble dataene samlet inn? Er de fortsatt relevante?
6. Er resultatene publisert i en fagfellevurdert kilde?
Pålitelige data kjennetegnes av: transparent metode, tilstrekkelig utvalgsstørrelse, representativt utvalg og uavhengig finansiering.
En tannkremreklame hevder: «9 av 10 tannleger anbefaler Tannkrem X.» Vurder denne påstanden kritisk.
1. Hvem utførte undersøkelsen? Trolig tannkremprodusentens eget markedsavdeling – de har en klar økonomisk interesse i resultatet.
2. Hvordan ble spørsmålet stilt? Kanskje tannlegene ble spurt «Anbefaler du tannkrem med fluor?» og ikke spesifikt om merket. Eller de fikk en liste der de kunne anbefale flere merker.
3. Hvem ble spurt? Kanskje bare 10 tannleger ble spurt, og de fikk betalt av produsenten. Med et så lite utvalg kan resultatet skyldes tilfeldigheter.
4. Utvalgsmetode: Var tannlegene tilfeldig valgt, eller var de håndplukket?
5. Hva betyr «anbefaler»? Kanskje de anbefaler tannkremen som «god nok», ikke nødvendigvis som den beste.
Konklusjon: Påstanden er villedende. Den gir inntrykk av sterk faglig støtte, men uten å vite detaljene om metoden, er den nesten meningsløs som bevis.
En nettside som selger kosttilskudd publiserer en studie som viser at produktet deres forbedrer hukommelsen. Hva bør du være mest oppmerksom på?
Utvalgsbias: Utvalget er ikke representativt for populasjonen. Eksempel: En undersøkelse om treningsvaner der du bare spør folk på treningssenteret – de er allerede en selektert gruppe.
Bekreftelsebias (confirmation bias): Forskeren tolker data slik at de støtter hypotesen sin, og overser data som motsier den.
Overlevelsebias (survivorship bias): Vi ser bare på «vinnerne» og overser de som falt fra. Eksempel: «Alle vellykkede gründere droppet ut av skolen» – vi ser ikke de tusenvis som droppet ut og mislyktes.
Responsebias: Respondenter svarer det de tror er sosialt ønskelig. Eksempel: Folk underrapporterer alkoholforbruk og overrapporterer treningsaktivitet.
Publiseringsbias: Studier med positive funn blir publisert, mens studier uten funn «forsvinner i skuffen». Dette gir et skjevt bilde av kunnskapsgrunnlaget.
Under andre verdenskrig analyserte forskere hvor på flyene det var flest kulehull etter at de kom tilbake fra oppdrag. De foreslo å forsterke disse områdene. Statistikeren Abraham Wald argumenterte for det motsatte. Forklar hvorfor.
Forskerne så på flyene som overlevde og kom tilbake til basen. Kulehullene på disse flyene viste hvor flyene tålte å bli truffet – de overlevde tross treffene.
Walds innsikt: Områdene uten kulehull på de overlevende flyene var nettopp der de flyene som ikke kom tilbake sannsynligvis ble truffet. Fly som ble truffet i motor, cockpit eller halefinne styrtet og kom aldri tilbake for å bli undersøkt.
Løsning: Forsterk områdene uten kulehull på de returnerte flyene – det er der flyene er mest sårbare.
Lærdom: Overlevelsebias oppstår når vi bare analyserer data fra «overlevere» og glemmer å tenke på de som falt fra. I forskning: vi ser bare publiserte studier, ikke de mislykkede. I business: vi hører om suksessfulle startups, ikke de tusenvis som gikk konkurs.
En nettavis publiserer en undersøkelse om politiske holdninger basert på svar fra leserne. 10 000 personer deltok. Hva er det viktigste problemet med denne undersøkelsen?
Vanlige måter å villede med statistikk
Statistikk kan presenteres på villedende måter, bevisst eller ubevisst:
1. Avkuttet -akse: Starter ikke på 0, noe som overdriver forskjeller (vi så dette i kapittel 2.3).
2. Kirsebærplukking (cherry-picking): Velge ut bare de dataene som støtter konklusjonen, og ignorere resten. Eksempel: Vise at kriminaliteten økte i fjor uten å nevne at den har sunket de siste 20 årene.
3. Villedende gjennomsnitt: Bruke gjennomsnitt i stedet for median når dataene har ekstremverdier. Eksempel: «Gjennomsnittlig inntekt i nabolaget er 2 millioner kr» – men det er fordi én milliardær trekker opp snittet.
4. Relativ vs. absolutt risiko: «Ny medisin dobler risikoen for bivirkning!» kan bety at risikoen gikk fra 0,001 % til 0,002 % – en dobling, men fortsatt ubetydelig i absolutte tall.
5. Korrelasjon som kausalitet: Påstå at en sammenheng beviser at A forårsaker B, uten å ta hensyn til bakenforliggende variabler.
6. Manglende kontekst: Presentere tall uten sammenligningsgrunnlag. «1000 personer rammet av sykdom X» – er det mye eller lite? Av 100 000 eller av 5 millioner?
En politiker sier: «Arbeidsledigheten har økt med 15 % det siste året – dette viser at politikken har feilet.» Arbeidsledigheten var 3,4 % for et år siden og er nå 3,9 %. Vurder påstanden kritisk.
Men det er villedende fordi:
1. Relativ vs. absolutt endring: 15 % høres dramatisk ut, men i absolutte tall gikk ledigheten fra 3,4 % til 3,9 % – en økning på bare 0,5 prosentpoeng. Begge tallene er fortsatt historisk lave.
2. Manglende kontekst: Hva er trenden over tid? Kanskje ledigheten sank fra 8 % til 3,4 % over de foregående 5 årene. En liten økning kan være normal variasjon.
3. Kirsebærplukking: Politikeren velger akkurat den tidsperioden som støtter argumentet sitt.
Lærdom: Se alltid på den langsiktige trenden og absolutte tall, ikke bare relative endringer.
En overskrift lyder: «Ny studie: Risikoen for hjertesykdom tredobles med bruk av Middel Y!» I studiebeskrivelsen fremgår det at risikoen økte fra 1 av 30 000 til 3 av 30 000. Hva er den beste vurderingen?
Oppsummering
- Kildekritikk er avgjørende: Vurder hvem som står bak, metoden, utvalgets størrelse og representativitet, og om det finnes interessekonflikter.
- Bias (systematisk skjevhet) kan oppstå i mange former: utvalgsbias, bekreftelsebias, overlevelsebias, responsebias og publiseringsbias.
- Statistikk kan villede gjennom avkuttede akser, kirsebærplukking, villedende gjennomsnitt, forkjøp av relativ over absolutt risiko, og forveksling av korrelasjon med kausalitet.
- Vurder alltid konteksten – et tall alene er meningsløst uten sammenligning.
- Spør deg selv: Hvem tjener på at jeg tror dette? Finnes det alternative forklaringer? Er utvalget representativt?
- Kritisk tenkning er en av de viktigste ferdighetene du lærer i teknologi og forskningslære.
En forskningsartikkel konkluderer med at «barn som spiser frokost får bedre karakterer». Studien er basert på data fra 5000 elever.
a) Hvilken type bias kan påvirke dette resultatet?
b) Foreslå en bakenforliggende variabel som kan forklare sammenhengen.
c) Hvorfor kan vi ikke uten videre konkludere med at frokost forårsaker bedre karakterer?
Finn en nyhetssak eller en reklame som bruker statistikk til å støtte en påstand. Analysér påstanden kritisk ved å:
a) Identifisere hvilken statistikk som presenteres og hvordan den brukes.
b) Vurdere minst to mulige feilkilder eller bias i dataene.
c) Forklare hvordan statistikken kunne vært presentert på en mer ærlig og fullstendig måte.
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.