3.3 Statistisk analyse

Når tall lyver

«Det finnes tre typer løgn: løgn, forbannet løgn og statistikk.» Sitatet tilskrives Mark Twain, og selv om det er sagt med et glimt i øyet, peker det på noe viktig: statistikk kan brukes til å villede like mye som til å opplyse. Tall virker objektive og pålitelige, og nettopp derfor er de så effektive når noen vil overbevise deg om noe -- enten det stemmer eller ikke.

Tenk deg at du blar gjennom nyhetsstrømmen din. «Kriminaliteten økte dramatisk!» roper en overskrift. «9 av 10 tannleger anbefaler vår tannkrem!» lover en reklame. «Studien viser at kaffe forlenger livet!» melder en annen artikkel. Alle disse påstandene bruker tall for å virke overbevisende. Men stemmer de egentlig? Og hvordan kan du finne ut av det?

I dette kapittelet skal vi lære å lese statistikk kritisk. Vi ser på hvordan grafer og tall kan fremstilles misvisende, hvilke feilkilder som kan gjøre en undersøkelse upålitelig, og den kanskje viktigste leksjonen i hele statistikken: forskjellen mellom korrelasjon og kausalitet. Til slutt lærer vi hvordan vi selv kan presentere statistikk på en ærlig og riktig måte.

Misvisende grafer -- når øynene bedrar

La oss starte med det mest visuelle trikset i boken: misvisende grafer. Det finnes flere teknikker som kan få data til å se helt annerledes ut enn de egentlig er, og den vanligste er å kutte y-aksen.

Forestill deg at en avis viser et stolpediagram over arbeidsledigheten i to kommuner. Kommune A har 4,2 prosent ledighet og kommune B har 4,8 prosent. Forskjellen er altså bare 0,6 prosentpoeng -- relativt lite. Men i diagrammet starter y-aksen på 4,0 prosent i stedet for 0 prosent. Plutselig ser stolpen for kommune B nesten tre ganger så høy ut som stolpen for kommune A. En liten forskjell fremstår som en dramatisk forskjell, bare fordi noen kuttet aksen.

Det samme trikset brukes i næringslivet. Et selskap viser i årsrapporten at omsetningen økte fra 50 til 52 millioner kroner -- en økning på 4 prosent. Men i diagrammet starter y-aksen på 49 millioner, og plutselig ser stolpen for 52 nesten dobbelt så høy ut som stolpen for 50. En beskjeden vekst fremstilles som et kvantesprang.

Andre teknikker inkluderer feil skala (ujevne intervaller på aksene som forvrenger bildet), cherry-picking (å velge ut bare de dataene som støtter ditt synspunkt og utelate resten), misvisende sammenligninger (å sammenligne grupper som ikke er sammenlignbare) og 3D-diagrammer (som gir et forvrengt bilde fordi perspektivet gjør det vanskelig å lese av verdier korrekt).

Tommelfingerregelen er enkel: sjekk alltid aksene først når noen viser deg et diagram. Starter y-aksen på null? Er skalaen jevn? Vises hele tidsperioden, eller bare et utvalgt vindu? Disse enkle spørsmålene avslører de fleste triksene.

Feilkilder -- når undersøkelsen ikke kan stoles på

Selv om grafene er ærlige, kan selve dataene være problematiske. Det finnes en rekke feilkilder som kan gjøre resultatene av en undersøkelse upålitelige, og det er viktig å kjenne til de vanligste.

Den første er utvalgsskjevhet: utvalget er ikke representativt for den gruppen du egentlig vil uttale deg om. Hvis du spør folk på et kjøpesenter om handlevanene deres, får du bare svar fra folk som faktisk handler der -- alle andre er utelatt. Resultatet kan ikke brukes til å si noe om hele befolkningen.

Den andre er ledende spørsmål. Formuleringen av et spørsmål kan styre svaret i en bestemt retning. «Synes du ikke at det er urettferdig at lærere tjener så lite?» er et klassisk eksempel. Ordene «urettferdig» og «så lite» er ladede -- de forutsetter et bestemt svar. En nøytral formulering ville vært: «Hva synes du om norske lærerlønninger?» med valgalternativer som «for lave», «passende» og «for høye».

Den tredje er selvseleksjon: bare de som er spesielt engasjerte i et tema, gidder å svare. Nettavstemninger er det klassiske eksempelet. Når en nettavis spør «Bør Norge satse mer på fornybar energi?» og 92 prosent svarer ja, sier det mer om hvem som klikker seg inn og stemmer enn om hva folk flest mener.

Den fjerde er konfunderende variabler -- en tredje, skjult faktor som påvirker begge variablene vi undersøker. For eksempel: barn som spiser frokost gjør det bedre på skolen. Men handler det om frokosten, eller om at familier som sørger for frokost også følger opp barna mer på andre måter?

Og til slutt: lav svarprosent. Hvis bare 10 prosent av de spurte svarer, kan vi ikke stole på resultatene, fordi de 90 prosentene som ikke svarte kanskje har helt andre meninger.

Korrelasjon er ikke kausalitet

Nå kommer vi til det som kanskje er den viktigste leksjonen i hele statistikken, og den som oftest brytes: korrelasjon betyr ikke kausalitet.

Korrelasjon betyr at to variabler samvarierer -- når den ene endrer seg, endrer den andre seg også. Kausalitet betyr at den ene variabelen faktisk forårsaker endringen i den andre. Og her er poenget: bare fordi to ting henger sammen, betyr det ikke at den ene forårsaker den andre.

Det klassiske eksempelet er iskremssalg og drukning. Begge øker om sommeren, så det er en klar positiv korrelasjon. Men is forårsaker selvfølgelig ikke drukning! Den konfunderende variabelen er sommervarmen, som gjør at folk både spiser mer is og bader mer.

Et annet berømt eksempel: Land med høyere sjokoladeforbruk per innbygger har flere nobelprisvinnere. Betyr det at sjokolade gjør deg smartere? Selvsagt ikke. Den konfunderende variabelen er velstandsnivå -- rike land har råd til mer sjokolade og investerer mer i forskning og utdanning. Dette kalles en spuriøs korrelasjon -- en tilsynelatende sammenheng som egentlig forklares av en tredje faktor.

Hva med lesing og skoleresultater? En studie viser at elever som leser mer har bedre karakterer. Kan vi konkludere med at lesing fører til bedre karakterer? Ikke uten videre. Kanskje er det motiverte elever som både leser mer og jobber hardere. Kanskje er det foreldre som oppmuntrer til lesing og følger opp skolearbeid. Kanskje er det omvendt kausalitet: elever som gjør det bra, får mer selvtillit og leser dermed mer.

For å påvise ekte kausalitet trenger vi fire ting: korrelasjon (samvariasjon), tidsrekkefølge (årsaken kommer før virkningen), utelukkelse av alternative forklaringer, og helst et kontrollert eksperiment.

Å vurdere en studie kritisk

La oss nå bruke alt vi har lært til å vurdere en påstand du kunne møtt i mediene: «En ny studie viser at elever som bruker nettbrett i undervisningen scorer 15 prosent lavere på prøver enn elever som bruker papir og blyant. Studien ble gjennomført av Foreningen for Tradisjonell Undervisning og inkluderte 200 elever fra to ulike skoler.»

Høres overbevisende ut? La oss ta på oss de kritiske brillene. For det første: hvem har gjennomført studien? Foreningen for Tradisjonell Undervisning har en tydelig agenda -- de ønsker å fremme tradisjonelle undervisningsmetoder. Det betyr ikke at resultatene nødvendigvis er feil, men det er en interessekonflikt som vi bør være oppmerksomme på.

For det andre: utvalget. 200 elever fra to ulike skoler høres kanskje greit ut, men forskjellene mellom skolene kan være enorme -- ulik lærerkvalitet, ulik sosioøkonomisk bakgrunn, ulikt læringsnivå. Kanskje var nettbrettskolen en skole med mange elever som sliter faglig, uavhengig av verktøyet.

For det tredje: ingen randomisering. Vi vet ikke om gruppene var like i utgangspunktet. Hvis vi bare sammenligner to skoler som tilfeldigvis bruker ulike metoder, er det en lang rekke konfunderende variabler som kan forklare forskjellen: elevmotivasjon, lærerkvalitet, erfaringsnivå med nettbrett, fag som ble undervist, og mye mer.

Kan vi konkludere med at nettbrett forårsaker dårligere resultater? Nei, det kan vi ikke. Vi har bare en korrelasjon. For å påvise kausalitet ville vi trengt en randomisert kontrollert studie med mange flere skoler, gjennomført av uavhengige forskere, med kontroll for konfunderende variabler.

Å presentere statistikk ærlig

Vi har brukt mye tid på å lære hvordan statistikk kan misbrukes. Men hva gjør du når du skal presentere data? Hvordan sørger du for at din fremstilling er ærlig og riktig?

Det finnes noen klare retningslinjer. For det første: la y-aksen starte på null, eller marker tydelig at den er avkuttet (med en bølgelinje). For det andre: vis hele bildet -- ikke plukk ut bare den perioden eller de dataene som støtter ditt synspunkt. For det tredje: oppgi utvalgets størrelse og hvordan det ble valgt. Et resultat basert på 15 elever i én klasse er noe helt annet enn et resultat basert på 10 000 elever over hele landet.

For det fjerde: bruk riktig sentralmål. Husk regelen fra kapittel 3.1: median ved skjeve data, gjennomsnitt ved symmetriske. En rapport som sier «gjennomsnittsinntekten i kommunen er 650 000 kr» gir et feil bilde hvis én person tjener 2,8 millioner og resten rundt 400 000. Medianen (445 000 kr) ville gitt et mye bedre bilde. For det femte: oppgi spredning -- ikke bare gjennomsnittet, men også standardavvik eller IQR. Et gjennomsnitt uten spredningsmål er bare halve historien.

For det sjette: skill tydelig mellom korrelasjon og kausalitet. Skriv «X og Y henger sammen» i stedet for «X fører til Y» med mindre du har sterke bevis for årsakssammenheng. For det sjuende: oppgi feilmarginer, spesielt ved spørreundersøkelser. Og for det åttende: bruk klare og ærlige overskrifter som ikke overdriver funnene.

Ærlig statistikk handler i bunn og grunn om respekt -- respekt for dataene, for leseren og for sannheten. Tall er kraftige verktøy, og med stor makt følger stort ansvar.

Oppsummering

Du har nå lært å lese statistikk med kritiske øyne -- en ferdighet som er uvurderlig i en verden full av tall og påstander.

Misvisende grafer bruker avkuttede y-akser, skjeve skalaer eller 3D-effekter for å få forskjeller til å se større eller mindre ut enn de er. Cherry-picking er å velge ut bare de dataene som støtter et bestemt synspunkt og ignorere resten.

Feilkilder i undersøkelser inkluderer utvalgsskjevhet (utvalget er ikke representativt), ledende spørsmål (formuleringen styrer svaret), selvseleksjon (bare engasjerte personer deltar), konfunderende variabler (en tredje faktor påvirker begge variablene) og lav svarprosent.

Den viktigste leksjonen er at korrelasjon ikke er det samme som kausalitet. Bare fordi to ting samvarierer, betyr det ikke at den ene forårsaker den andre. Spuriøse korrelasjoner forklares ofte av konfunderende variabler. For å påvise kausalitet trenger man korrelasjon, tidsrekkefølge, utelukkelse av alternativer og helst kontrollerte eksperimenter.

Ærlig statistikk betyr å bruke riktig sentralmål, oppgi spredning, starte y-aksen på null, vise hele bildet, oppgi utvalgets størrelse og feilmarginer, og skille tydelig mellom korrelasjon og kausalitet. Tall er kraftige verktøy -- bruk dem med omhu.