2.7 Kritisk vurdering av data

«Løgner, forbannede løgner og statistikk»

Mark Twain skal ha sagt at det finnes tre typer løgner: løgner, forbannede løgner og statistikk. Han hadde et poeng. De samme tallene som kan opplyse oss, kan også brukes til å villede.

Du har lært å samle inn, analysere og presentere data. Men en like viktig ferdighet er å vurdere data kritisk -- både dine egne og andres. I dette kapittelet lærer du å gjennomskue dårlig bruk av statistikk og bli en kritisk forbruker av tallene du møter i reklamer, nyheter og sosiale medier.

Still spørsmål ved kilden

Når du møter en påstand som bygger på data, er det første du bør gjøre å drive kildekritikk -- vurdere hvor pålitelige dataene egentlig er. Det handler om å stille noen enkle, men avslørende spørsmål: Hvem har samlet inn dataene, og har de en agenda eller interessekonflikt? Hvordan ble de samlet inn -- er metoden solid og åpen? Hvem er med i utvalget, og er det representativt? Hvor stort er utvalget? Når ble dataene samlet inn, og er de fortsatt relevante? Og er resultatene publisert i en fagfellevurdert kilde?

Pålitelige data kjennetegnes av en transparent metode, et stort nok og representativt utvalg, og uavhengig finansiering. Ta en klassisk reklamepåstand: «9 av 10 tannleger anbefaler Tannkrem X.» Den høres overbevisende ut, men holder den? Hvem utførte undersøkelsen -- trolig produsentens egen markedsavdeling, som har klar økonomisk interesse i svaret. Hvordan ble spørsmålet stilt? Kanskje tannlegene bare ble spurt om de anbefaler tannkrem med fluor, ikke det spesifikke merket. Hvor mange ble spurt, og var de tilfeldig valgt eller håndplukket? Når du graver i metoden, smuldrer påstanden opp. Det samme gjelder kosttilskudd-studier finansiert av selskapet som selger produktet: når noen tjener på et bestemt resultat, har du ekstra grunn til å være skeptisk.

Skjevhetene som sniker seg inn

Selv velmente undersøkelser kan gi et skjevt bilde. Bias er en systematisk skjevhet som får resultatene til å avvike fra virkeligheten, og den finnes i mange former.

Utvalgsbias oppstår når utvalget ikke er representativt -- spør du bare folk på treningssenteret om treningsvaner, har du allerede en selektert gruppe. Bekreftelsesbias er når en forsker tolker data slik at de støtter egen hypotese og overser det som taler imot. Responsbias er når folk svarer det de tror er sosialt ønskelig, slik at alkoholforbruk underrapporteres og trening overrapporteres. Publiseringsbias er at studier med positive funn blir publisert, mens de uten funn forblir i skuffen, slik at hele kunnskapsgrunnlaget blir skjevt.

En særlig lærerik form er overlevelsesbias, der vi bare ser på dem som «overlevde» og glemmer dem som falt fra. Under andre verdenskrig undersøkte forskere hvor flyene som kom tilbake fra oppdrag hadde flest kulehull, og foreslo å forsterke nettopp disse stedene. Statistikeren Abraham Wald snudde resonnementet på hodet: kulehullene på de returnerte flyene viste hvor flyene tålte treff. Det var områdene uten hull som var farlige, for fly som ble truffet der, kom aldri tilbake for å bli undersøkt. Løsningen var altså å forsterke der det ikke var hull. Akkurat slik ser vi bare de publiserte studiene, ikke de mislykkede, og bare de suksessfulle gründerne, ikke de tusenvis som gikk konkurs.

Triksene du må kjenne

Statistikk kan presenteres villedende, enten med vilje eller av uvitenhet. Noen triks går igjen, og når du kjenner dem, blir du mye vanskeligere å lure.

Den avkuttede $y$-aksen starter ikke på 0 og overdriver dermed forskjeller. Kirsebærplukking er å velge bare de dataene som støtter konklusjonen -- som å vise at kriminaliteten økte i fjor uten å nevne at den har sunket i tjue år. Villedende gjennomsnitt bruker snitt der median ville passet bedre: «gjennomsnittsinntekten i nabolaget er to millioner» fordi én milliardær trekker opp tallet. Forveksling av relativ og absolutt risiko skaper unødig frykt: «medisinen dobler risikoen for bivirkning» kan bety at den gikk fra 0,001 til 0,002 prosent. Og så har vi gamlefella -- å presentere korrelasjon som kausalitet -- og manglende kontekst, der et tall står helt alene: «1000 personer rammet» er meningsløst uten å vite om det er av 100 000 eller av 5 millioner.

La oss prøve på en politiker som sier: «Arbeidsledigheten har økt med 15 prosent det siste året -- politikken har feilet.» Ledigheten gikk fra 3,4 til 3,9 prosent. Relativt sett er det riktig at $\displaystyle \frac{0{,}5}{3{,}4} \approx 15$ prosent. Men det er villedende: i absolutte tall er det bare 0,5 prosentpoeng, og begge tallene er historisk lave. Hva var trenden før? Kanskje sank ledigheten fra 8 prosent over fem år. Politikeren har plukket akkurat den perioden som passer argumentet. Lærdommen er klar: se alltid på den langsiktige trenden og på de absolutte tallene, ikke bare den relative endringen. Og spør deg selv: hvem tjener på at jeg tror dette?

Oppsummering

Vi har sett at kildekritikk er avgjørende: vurder hvem som står bak, hvilken metode som er brukt, hvor stort og representativt utvalget er, og om det finnes interessekonflikter. Bias kan opptre i mange former -- utvalgsbias, bekreftelsesbias, overlevelsesbias, responsbias og publiseringsbias.

Statistikk kan villede gjennom avkuttede akser, kirsebærplukking, villedende gjennomsnitt, forvekslingen av relativ og absolutt risiko, og forveksling av korrelasjon med årsak. Husk alltid å se på konteksten -- et tall alene betyr lite -- og spør deg selv hvem som tjener på at du tror påstanden. Kritisk tenkning er kanskje den viktigste ferdigheten du tar med deg fra teknologi og forskningslære.