1.2 Eksperimentelt design i praksis

Eksperimentelt design i praksis

I førre kapittel lærte du om dei overordna typane forskingsdesign. No skal vi gå i djupna på det eksperimentelle designet — gullstandarden for å påvise årsakssamanhengar.

Å planleggje eit godt eksperiment er ein kunst og ein vitskap i seg sjølv. Det handlar om å kontrollere alt som kan kontrollerast, randomisere det som ikkje kan kontrollerast, og måle det som skal målast med størst mogleg presisjon. Vi skal sjå på fire sentrale verktøy i eksperimentell forsking: randomisering, kontrollgrupper, blindtesting og replikasjon.

Desse fire verktøya er ikkje berre viktige i medisinsk forsking — dei er relevante for alle naturvitskaplege og teknologiske eksperiment, frå å teste nye materiale til å evaluere programvare.

Kvifor er randomisering så viktig?

Tenk deg at ein forskar vil teste om ein ny undervisningsmetode gir betre læringsutbytte. Dersom forskaren lèt elevane sjølve velje kva for metode dei vil prøve, kan dei mest motiverte elevane samle seg i éi gruppe. Då veit vi ikkje om eit betre resultat kjem av metoden eller motivasjonen.

Med randomisering blir motiverte og umotiverte elevar fordelte tilfeldig og omtrent likt i begge gruppene. Då blir motivasjon «nøytralisert» som konfunderande variabel.

Det same gjeld for alle andre faktorar vi kanskje ikkje eingong har tenkt på — forkunnskapar, søvnvanar, kognitiv stil og så vidare. Randomisering vernar mot både kjende og ukjende konfunderande variablar, noko ingen annan metode klarer like godt.

Praktiske utfordringar med randomisering

I verkelegheita er randomisering ikkje alltid mogleg eller uproblematisk:

- Frafall: Deltakarar kan droppe ut undervegs, spesielt frå gruppa som mottek det «minst attraktive» vilkåret.
- Etikk: Vi kan ikkje randomisere menneske til skadelege vilkår (t.d. røyking).
- Gruppedynamikk: Deltakarar kan oppdage kva for gruppe dei er i og endre åtferd (kompensatorisk rivalisering eller demoralisering).
- Små utval: Med få deltakarar kan tilfeldigheitene gi ubalanserte grupper trass i randomisering.

Kontrollgrupper

Ei kontrollgruppe er ei gruppe deltakarar som ikkje mottek den eksperimentelle behandlinga, men som elles blir behandla identisk med eksperimentgruppa. Kontrollgruppa fungerer som eit samanlikningsgrunnlag: utan ho kan vi ikkje vite om endringar i eksperimentgruppa kjem av behandlinga eller andre faktorar som tid, modning, eller forventningseffektar.

Det finst ulike typar kontrollgrupper:

Inga-behandling-kontroll: Kontrollgruppa mottek inga behandling. Enklast, men deltakarane veit at dei ikkje blir behandla, noko som kan påverke resultatet.

Placebo-kontroll: Kontrollgruppa mottek ei verknadslaus behandling som ser ut som den ekte. I medisinske studiar er dette t.d. ein sukkerpille. I teknologieksperiment kan det vere ei «falsk» oppdatering utan reell endring.

Aktiv kontroll: Kontrollgruppa mottek ei alternativ, allereie kjend behandling. Blir brukt når det er uetisk å gi inga behandling — til dømes i kreftstudiar der det finst ei eksisterande behandling.

Venteliste-kontroll: Kontrollgruppa får behandlinga etter at studien er fullført. Løyser etiske problem ved å sikre at alle til slutt får tilgang.

Blindtesting

Blindtesting er ein metode for å redusere forventningseffektar — altså at forventningane til deltakarane og forskarane påverkar resultatet.

Enkelblind studie: Deltakarane veit ikkje kva for gruppe dei er i. Eliminerer placeboeffekt hos deltakarane.

Dobbeltblind studie: Korkje deltakarane eller forskarane som gjennomfører målingane veit kven som er i kva for gruppe. Eliminerer både placeboeffekt og observatørskeivskap.

Trippelblind studie: I tillegg til deltakarar og forskarar veit heller ikkje dei som analyserer dataa kva for gruppe som er kva. Svært sjeldan, men gir maksimal objektivitet.

Replikasjon — gjentaking av eksperiment

Replikasjon betyr å gjenta eit eksperiment for å sjå om resultata kan reproduserast. Det er eit av dei mest grunnleggjande prinsippa i vitskap: eit funn som berre kan oppnåast éin gong, er ikkje særleg truverdig.

Vi skil mellom ulike typar replikasjon:

Direkte replikasjon: Eksperimentet blir gjenteke så nøyaktig som mogleg — same prosedyre, materiale og vilkår. Testar om det opphavlege funnet er påliteleg.

Konseptuell replikasjon: Same hypotese blir testa med andre metodar, andre deltakarar eller andre vilkår. Testar om funnet er robust og generaliserbart.

Intern replikasjon: Forskaren inkluderer gjentekne målingar eller fleire grupper innanfor éin studie for å sjekke konsistens.

Replikasjonskrisa

Sidan 2010-talet har fleire vitskapsfelt opplevd ei replikasjonskrise: mange publiserte funn lèt seg ikkje gjenskape. Ein storstilt studie publisert i 2015 forsøkte å replikere 100 psykologiske studiar. Berre 36 % gav liknande resultat som originalen.

Årsakene er samansette:
- Publiseringsskeivskap: Tidsskrift føretrekkjer positive og overraskande funn
- p-hacking: Forskarar analyserer data på ulike måtar til dei finn eit signifikant resultat
- Små utval: Gir ustabile resultat med stor tilfeldigheitsvariasjon
- Dårleg dokumentasjon: Mange studiar rapporterer metoden for vagt til å kunne gjentakast
- Manglande insentiv: Forskarar blir løna for nye funn, ikkje for å gjenta arbeidet til andre

Løysingar

Forskingsmiljøet har innført fleire tiltak:
- Førehandsregistrering: Forskarar registrerer hypotese, metode og analyseplan før datainnsamling
- Open data og open kode: Gjer det mogleg for andre å verifisere analysar
- Registrerte rapportar: Tidsskrift vurderer studiar basert på metode, uavhengig av resultat
- Større utval: Krav om statistisk styrkeberekning i forkant

Oppsummering

- Randomisering fordeler deltakarar tilfeldig til grupper og vernar mot kjende og ukjende konfunderande variablar. Stratifisert randomisering kan brukast for å balansere viktige variablar.
- Kontrollgrupper gir eit samanlikningsgrunnlag. Placebo-kontroll er viktig for å kontrollere for forventningseffektar.
- Blindtesting (enkel-, dobbel- og trippelblind) reduserer subjektive skeivskapar frå deltakarar og forskarar.
- Replikasjon inneber å gjenta eksperiment for å teste pålitelegheita til funn. Direkte replikasjon testar reproduserbarheit, konseptuell replikasjon testar generaliserbarheit.
- Replikasjonskrisa har vist at mange publiserte funn ikkje kan gjentakast. Førehandsregistrering, open data og større utval er viktige mottiltak.
- Eit godt eksperiment kombinerer alle fire verktøya for å gi mest mogleg pålitelege resultat.