1.4 Eksperimentdesign

Da du trodde metoden virket -- men gjorde den det?

Tenk deg at du prøver en ny måte å pugge på. Etter tre måneder har du forbedret deg med 15 prosent på prøvene. Suksess? Kanskje. Men hvordan vet du at det var metoden, og ikke bare at du øvde mer, ble eldre og litt smartere, eller at prøvene var lettere?

Dette er hjertet i eksperimentdesign. En god hypotese og tydelige variabler er nødvendig, men ikke nok. Vi må også tenke nøye gjennom hvordan forsøket gjennomføres, slik at vi faktisk kan stole på slutningene. I dette kapittelet skal vi se på de viktigste verktøyene forskere bruker for å unngå å lure seg selv: kontrollgrupper, blinding, placebo, randomisering og replikasjon.

Kontrollgruppen -- speilet du sammenligner med

I et forsøk har vi gjerne en eksperimentgruppe, som utsettes for det vi undersøker, og en kontrollgruppe, som ikke gjør det. Kontrollgruppen er referansen, speilet vi holder opp. Den viser hva som ville skjedd uten påvirkningen. Uten den kan vi ikke vite om en endring skyldes det vi testet, eller noe helt annet -- tid, modning eller tilfeldig variasjon.

Tilbake til puggemetoden din: hadde du sammenlignet deg med en gruppe som pugget på vanlig måte, ville du sett om de 15 prosentene faktisk skyldtes metoden.

I naturvitenskapen bruker vi ofte to typer kontroller samtidig. En negativ kontroll får ingen behandling og viser hva som skjer uten påvirkning -- for eksempel planter som bare får vann og ingen gjødsel. En positiv kontroll får en kjent behandling vi vet virker, og bekrefter at selve oppsettet fungerer -- for eksempel planter som får en velprøvd gjødsel. Tester du et nytt gjødselmiddel på tomatplanter, viser den negative kontrollen om gjødselen gjør noen forskjell i det hele tatt, mens den positive kontrollen avslører om noe er galt med oppsettet dersom selv den velprøvde gjødselen ikke virker.

Blinding og placebo -- når forventninger lurer oss

Forventninger er overraskende kraftige. En pasient som vet at hun får en ny medisin, kan rapportere bedring rett og slett fordi hun forventer det. Dette kalles placeboeffekten, og er så sterk at mange faktisk blir bedre av en virkningsløs sukkerpille -- en placebo. Derfor gir vi ofte kontrollgruppen en placebo som ser ut akkurat som den ekte behandlingen.

For å motvirke forventningene bruker vi blinding. I et enkelt blindforsøk vet ikke forsøkspersonene om de er i eksperiment- eller kontrollgruppen. I et dobbeltblindforsøk vet verken forsøkspersonene eller forskerne som samler inn data, hvem som er hvor. Dette siste er gullstandarden i medisinsk forskning, fordi det fjerner to feilkilder på en gang: pasientens forventninger og forskerens ubevisste skjevhet. En lege som vurderer smertenivå, kan nemlig ubevisst tolke utsagn mer positivt for dem han tror har fått ekte medisin. I et dobbeltblindforsøk holder en uavhengig tredjepart koden og avslører den først etter at all data er samlet inn -- så det er ikke slik at absolutt ingen vet, men de som måler, gjør det ikke.

Noen ganger er blinding rett og slett umulig. Tester du effekten av trening mot ikke-trening, kan ikke deltakerne late som de ikke vet om de trener. Da må forskerne være ekstra nøye med andre feilkilder og bruke mest mulig objektive målemetoder.

Randomisering, replikasjon -- og en vanlig felle

Selv med kontrollgruppe og placebo kan skjevheter snike seg inn hvis vi ikke er forsiktige med hvordan deltakerne fordeles. Randomisering betyr at forsøkspersonene fordeles helt tilfeldig til gruppene, for eksempel ved loddtrekning eller en tilfeldighetsgenerator. Da fordeles også alle ukjente faktorer jevnt mellom gruppene. Lar en lærer derimot klassene selv velge hvem som skal teste en ny metode, kan de mest motiverte elevene havne i samme gruppe -- og da vet vi ikke om en forbedring skyldes metoden eller motivasjonen.

Replikasjon betyr at forsøket gjentas, gjerne av andre forskere. Et enkelt forsøk kan villede: kanskje var det en uvanlig dag, eller utvalget var ikke representativt. Når flere uavhengige forskere får samme resultat, vokser tilliten betraktelig. Også utvalgsstørrelsen spiller inn -- jo flere deltakere, jo mindre påvirker tilfeldig variasjon resultatet. I de senere årene har forskere oppdaget at mange publiserte resultater ikke lar seg gjenta, det som kalles replikasjonskrisen, og det har ført til mer åpenhet, forhåndsregistrering av studier og deling av data.

Til slutt en felle alle bør kjenne: korrelasjon er ikke det samme som årsak. Bare fordi to ting opptrer sammen, betyr ikke det at den ene forårsaker den andre. Iskremsalg og drukningsulykker stiger samtidig om sommeren -- men det er det varme været, en bakenforliggende konfunderende variabel, som driver begge deler, ikke iskremen. Det er nettopp derfor påstander som «barn som spiser frokost gjør det bedre på skolen» må tolkes med varsomhet: barn som spiser frokost har ofte også mer stabile hjem og mer søvn, og slike observasjonsstudier viser sjelden en ekte årsakssammenheng.

Oppsummering

Vi har sett hva som gjør et forsøk til å stole på. Kontrollgruppen er speilet som viser hva som skjer uten påvirkning, og negative og positive kontroller hjelper oss å tolke resultatet riktig. Blinding -- særlig dobbeltblinding -- fjerner forventninger hos både deltakere og forskere, og placebo kontrollerer for placeboeffekten.

Randomisering sikrer sammenlignbare grupper ved tilfeldig fordeling, og replikasjon og store nok utvalg styrker tilliten til funnene. Og helt til slutt: korrelasjon er ikke kausalitet -- to ting som opptrer sammen, har ikke nødvendigvis en årsakssammenheng, slik iskrem og drukning minner oss om.