1.2 Eksperimentelt design i praksis

Kunsten å planlegge et eksperiment

Forestill deg at du skal teste om en ny undervisningsmetode gir bedre læring. Du har idéen, du har viljen -- men hvordan setter du det opp slik at andre faktisk kan stole på resultatet? Her ligger hele kunsten i eksperimentell forskning: å kontrollere alt som kan kontrolleres, randomisere det som ikke kan kontrolleres, og måle det som skal måles med størst mulig presisjon.

I forrige kapittel så vi at det eksperimentelle designet er gullstandarden for å påvise årsakssammenhenger. Nå skal vi inn i maskinrommet og se på fire verktøy som er like relevante om du tester en medisin, et nytt materiale eller et stykke programvare: randomisering, kontrollgrupper, blindtesting og replikasjon.

Hvorfor tilfeldighet er din venn

Randomisering betyr at deltakere eller enheter fordeles tilfeldig til gruppene. Hensikten er å gjøre gruppene statistisk likeverdige fra start, slik at en forskjell i utfallet skyldes behandlingen og ikke noe gruppene hadde med seg fra før.

Tenk på undervisningseksempelet igjen. Lar du elevene velge metode selv, kan de mest motiverte samle seg i én gruppe -- og da vet du ikke om et bedre resultat skyldes metoden eller motivasjonen. Med randomisering fordeles motiverte og umotiverte elever omtrent likt, og motivasjon blir nøytralisert som forstyrrende faktor. Det fine er at randomisering også beskytter mot faktorer du aldri har tenkt på: forkunnskaper, søvnvaner, kognitiv stil. Den verner mot både kjente og ukjente konfunderende variabler -- noe ingen annen metode klarer like godt.

Det finnes flere varianter. Enkel randomisering er ren loddtrekning eller myntkast. Blokkrandomisering sikrer like store grupper. Stratifisert randomisering balanserer en kjent variabel før den tilfeldige fordelingen. Si at du tester et kosttilskudd på 30 menn og 30 kvinner, og kjønn kan påvirke utholdenheten. Da deler du først i to lag etter kjønn, og randomiserer 15 menn og 15 kvinner til hver gruppe. Resultatet er perfekt kjønnsbalanse -- hadde du brukt enkel randomisering, kunne du endt med 20 menn i den ene gruppa og bare 10 i den andre.

Men randomisering har sine utfordringer i praksis. Deltakere kan falle fra underveis, særlig i den minst attraktive gruppa. Etikk setter grenser. Folk kan oppdage hvilken gruppe de er i og endre atferd. Og med små utvalg kan selv tilfeldigheten gi ubalanserte grupper.

Sammenligning, forventninger og gjentakelse

Et eksperiment uten en kontrollgruppe er nesten meningsløst. Kontrollgruppa er deltakerne som ikke får den eksperimentelle behandlingen, men ellers behandles likt. Uten den kan du ikke vite om en endring skyldes behandlingen eller bare tid, modning eller forventninger. Det finnes ulike typer: ingen-behandling-kontroll, placebo-kontroll (en virkningsløs behandling som ser ekte ut), aktiv kontroll (en allerede kjent behandling, brukt når det er uetisk å gi ingenting) og venteliste-kontroll (de får behandlingen etter studien).

Placebo henger tett sammen med det neste verktøyet: blindtesting. Tenk deg at gruppe A får en ny smertestillende tablett og gruppe B ingenting. 70 % i A melder bedring mot 30 % i B. Virker tabletten? Ikke nødvendigvis -- gruppe B vet at de ikke fikk noe, og selve troen på behandling kan lindre smerte. Det er placeboeffekten. Løsningen er en placebo-tablett og blinding. I en enkelblind studie vet ikke deltakerne hvilken gruppe de er i. I en dobbeltblind studie vet verken deltakerne eller forskerne som måler. I en trippelblind studie vet heller ikke de som analyserer dataene -- maksimal objektivitet.

Det fjerde verktøyet er replikasjon: å gjenta eksperimentet for å se om resultatet holder. Et funn som bare oppstår én gang, er ikke til å stole på. Direkte replikasjon gjentar alt så nøyaktig som mulig og tester pålitelighet. Konseptuell replikasjon tester samme hypotese med andre metoder eller deltakere og tester generaliserbarhet. Fant du at klassisk musikk bedrer konsentrasjonen hos studenter, kan en konseptuell replikasjon teste videregåendeelever med lo-fi-musikk og en annen test.

Siden 2010-tallet har en replikasjonskrise rystet forskningen. En stor studie i 2015 forsøkte å gjenskape 100 psykologistudier -- bare 36 % lyktes. Årsakene er sammensatte: publiseringsskjevhet (tidsskrifter elsker positive funn), p-hacking (man analyserer til noe blir signifikant), små utvalg, dårlig dokumentasjon og manglende belønning for å gjenta andres arbeid. Mottiltakene er forhåndsregistrering av hypotese og metode, åpne data og åpen kode, registrerte rapporter som vurderes på metode alene, og krav om større utvalg.

Oppsummering

Vi har sett at fire verktøy sammen gjør et eksperiment til å stole på. Randomisering fordeler deltakere tilfeldig og verner mot både kjente og ukjente forstyrrende faktorer, og stratifisert randomisering kan balansere viktige variabler. Kontrollgrupper gir et sammenligningsgrunnlag, og placebo-kontroll fanger forventningseffekter. Blindtesting -- enkel, dobbel eller trippel -- reduserer skjevheter fra både deltakere og forskere. Replikasjon tester om funnene holder: direkte replikasjon for pålitelighet, konseptuell for generaliserbarhet.

Replikasjonskrisen minnet forskningen om at mange publiserte funn ikke lar seg gjenta, og at forhåndsregistrering, åpne data og større utvalg er nødvendige svar. Et godt eksperiment kombinerer alle fire verktøyene og dokumenterer alt så grundig at andre kan gjøre det samme.