2.1 Det ekte eksperimentet — indre og ytre validitet
Hva som gjør et eksperiment ekte, hvorfor randomisering er kausalitetens pris — og validitetsspråket alle designoppgaver vurderes i.
- Designoppgaven (i denne boka kalt T4 — designoppgaven: den scenariobaserte oppgaven der du skal kjenne igjen, vurdere og forbedre et forskningsdesign) er fast eksamensstoff. Begrepsparet indre validitet (om årsaksslutningen holder) og ytre validitet (om resultatet kan generaliseres) er kjernen i 10 av de 29 settene 2008–2025, og dukker opp som komponent i nesten alle designoppgaver.
- Det vanligste oppgavemønsteret er «klassifiser designet — pek på svakhetene — foreslå forbedring». Sensor vil at du knytter hver svakhet til det konkrete scenariet, ikke bare ramser opp trusler.
Tommelfingerregel: når du får et design, spør alltid to spørsmål — kan jeg stole på årsaksslutningen her? (indre validitet) og gjelder funnet utenfor denne studien? (ytre validitet). Alt annet henger på de to.
Du møter også et frempek til utvalgslæren i kap. 1.4 (bekvemmelighetsutvalg og frivillighetsbias) når vi drøfter ytre validitet — men vi forklarer alt du trenger underveis her.
Tenk deg at du vil vite om en app mot eksamensangst faktisk virker. Du lar hundre studenter bruke appen i fire uker og måler angsten før og etter. Angsten synker. Beviser det at appen virker?
Nei — og hvorfor ikke, er hele dette kapitlets tema. Kanskje angsten sank fordi eksamen kom nærmere og de begynte å lese; kanskje bare det å bli spurt roet dem; kanskje de som ble værende, var de rolige typene. Det ekte eksperimentet er forskningens svar på nettopp denne uroen: en oppskrift som lar oss slutte at det var tiltaket som virket, ikke noe annet.
Kapitlet er bygget som tre læringsløkker — teori, så et eksempel, så en oppgave du løser før du går videre. Løkke 1: hva som gjør et eksperiment ekte. Løkke 2: hvordan randomisering kjøper oss årsakssikkerhet. Løkke 3: validitetsspråket — indre og ytre validitet — som du vurderer alle design i. (~60 min totalt; naturlige pausepunkter er markert mellom løkkene.)
Løkke 1 — Hva gjør et eksperiment «ekte»? (~18 min)
I dagligtale er et «eksperiment» hva som helst man prøver ut. I metodefaget er ordet strengt. Et ekte eksperiment (også kalt et sant eller randomisert kontrollert eksperiment) har tre kjennetegn, og alle tre må være på plass:
1. Forskeren manipulerer den uavhengige variabelen — bestemmer aktivt hvem som får hvilken betingelse.
2. Deltakerne tilordnes betingelsene tilfeldig (randomisert tilordning).
3. Det finnes en kontrollgruppe eller kontrollbetingelse å sammenligne mot.
Mangler ett av kjennetegnene, har du ikke et ekte eksperiment — du har et kvasieksperiment eller en ikke-eksperimentell studie (det kommer i kap. 2.4). Den enkleste huskeregelen: manipulasjon + randomisering + kontroll. Diagrammet under viser de tre kjennetegnene som må være til stede samtidig.
Et ekte eksperiment er en studie der forskeren (1) manipulerer den uavhengige variabelen, (2) tilordner deltakerne betingelsene tilfeldig, og (3) sammenligner mot en kontrollgruppe eller -betingelse.
Kontrastbegrep: i et kvasieksperiment manipuleres den uavhengige variabelen, men tilordningen er ikke tilfeldig (gruppene fantes fra før). Det er nettopp den tilfeldige tilordningen som skiller de to — og som gir det ekte eksperimentet dets kausale kraft.
En kontrollgruppe er gruppen som ikke får tiltaket (eller får en nøytral versjon), og som eksperimentgruppen sammenlignes mot. Uten et sammenligningsgrunnlag vet vi ikke hva som ville skjedd uansett — angsten kunne sunket av seg selv.
Kontrastbegrep: en venteliste-kontroll er en kontrollgruppe som får tiltaket etter at studien er ferdig. Det er en etisk variant: ingen nektes hjelpen permanent, men vi beholder sammenligningsgrunnlaget mens studien pågår.
En forsker vil teste om en pusteøvelse reduserer prøvenervøsitet. Hun rekrutterer 60 elever, trekker lodd om hvem som lærer pusteøvelsen og hvem som ser en nøytral naturvideo like lenge, og måler nervøsitet før prøven. Er dette et ekte eksperiment? Begrunn med de tre kjennetegnene.
Ja. Vi sjekker de tre kjennetegnene ett for ett — det er slik sensor vil se det gjort:
Manipulasjon: Forskeren bestemmer aktivt betingelsen (pusteøvelse vs. naturvideo). Den uavhengige variabelen — type øvelse — er manipulert. ✓
Randomisert tilordning: Loddtrekningen fordeler elevene tilfeldig. ✓
Kontrollgruppe: Naturvideo-gruppen fungerer som kontroll — den gjør «noe» like lenge, så vi isolerer effekten av pusteøvelsen fra effekten av bare å ta en pause. ✓
Tolkning i ord: Fordi alle tre er på plass, kan et lavere nervøsitetsnivå i pustegruppen med rimelighet tilskrives pusteøvelsen — ikke tilfeldige forskjeller mellom elevene, og ikke bare det å slappe av. Det er dette som gjør designet «ekte».
a) Hvilket av de tre kjennetegnene på et ekte eksperiment mangler her?
b) Nevn én ting eier kunne endret for å komme nærmere et ekte eksperiment.
Løkke 2 — Randomisering: kausalitetens pris (~18 min)
(Naturlig pausepunkt — du har nå de tre kjennetegnene. Ta gjerne en pause før randomiseringslogikken.)
Hvorfor er nettopp den tilfeldige tilordningen så avgjørende? Fordi den løser problemet med alt det andre som skiller deltakere fra hverandre.
To personer er aldri like: de har ulik motivasjon, søvn, forkunnskaper, dagsform. Kaller vi disse forskjellene feilvarians (variasjon i den avhengige variabelen som ikke skyldes tiltaket), så er poenget: dersom vi fordeler deltakerne tilfeldig, blir feilvariansen fordelt omtrent likt mellom gruppene. Da kan den ikke systematisk favorisere den ene gruppen.
Dette er kjernesetningen: randomisering fordeler feilvariansen likt mellom gruppene, slik at en forskjell i utfallet med rimelighet kan tilskrives tiltaket.
- Usystematisk (tilfeldig) feilvarians er tilfeldig støy — dagsform, målefeil — som fordeler seg jevnt og bare gjør resultatene mindre presise (større spredning).
- Systematisk feilvarians trekker konsekvent i én retning i én gruppe (f.eks. at de mest motiverte havnet i tiltaksgruppen). Det er den farlige typen: den kan etterligne en tiltakseffekt.
Randomiseringens jobb er å gjøre om potensiell systematisk skjevhet til usystematisk støy. En tredje kategori, planlagt systematisk varians, er variasjonen forskeren med vilje skaper ved å manipulere den uavhengige variabelen — altså selve effekten vi er ute etter.
- Enkel blinding: deltakeren vet ikke hvilken betingelse hun er i (f.eks. ekte pille vs. narrepille).
- Dobbel blinding: verken deltakeren eller den som måler/behandler vet det.
Kontrastbegrep — hva blinding beskytter mot: reaktivitet (at deltakere endrer seg fordi de vet de blir studert) og demand characteristics (signaler i situasjonen som avslører hva forskeren håper på, så deltakerne «spiller med»). Fravær av blinding truer indre validitet fordi forventningseffekter da kan forkles som tiltakseffekter.
I app-studien fra innledningen lot forskeren studentene melde seg på app-gruppen selv, mens resten ble kontroll. App-gruppen fikk lavere angst. Hvorfor er ikke det gyldig bevis — og hva ville randomisering endret?
Hva randomisering endrer: Trekker vi lodd om hvem som får appen, blir motivasjon, angstnivå og ressurser fordelt omtrent likt i begge grupper. Den systematiske skjevheten blir til usystematisk støy. En gjenværende forskjell i angst kan da med rimelighet tilskrives appen.
Tolkning i ord: Randomisering fjerner ikke individforskjellene — den nøytraliserer dem ved å spre dem jevnt. Det er prisen kausalitet koster: uten den kan vi beskrive en sammenheng, men ikke slå fast en årsak.
a) Forklar med begrepet systematisk feilvarians hvorfor bedriften ikke kan konkludere at kurset reduserte stress.
b) Hva slags feilvarians blir individforskjellene til dersom deltakerne i stedet tilordnes tilfeldig?
Løkke 3 — Indre og ytre validitet (~20 min)
(Naturlig pausepunkt.)
Nå kommer selve validitetsspråket. To spørsmål avgjør hvor mye en studie er verdt, og de trekker ofte i hver sin retning.
Det første spørsmålet — indre validitet: Holder årsaksslutningen innenfor studien? Kan vi stole på at det var tiltaket, ikke noe annet, som skapte forskjellen? Randomisering, kontrollgruppe og blinding er alle verktøy for høy indre validitet.
Det andre spørsmålet — ytre validitet: Gjelder funnet utenfor studien? Kan vi generalisere til andre mennesker, situasjoner og tidspunkter? Her spiller utvalget (jf. kap. 1.4) og hvor naturlig situasjonen er, en avgjørende rolle.
Spenningen mellom dem er selve dramaet: jo strengere vi kontrollerer laboratoriet for å sikre indre validitet, desto mer kunstig blir situasjonen — og desto svakere blir ofte den ytre validiteten. Matrisen under setter laboratorium mot felt og viser hvordan de to validitetstypene typisk drar i hver sin retning.
Ytre validitet er i hvilken grad resultatet kan generaliseres til andre personer, situasjoner og tidspunkter enn dem i studien.
Kontrasten: indre validitet handler om slutningen innad i studien; ytre validitet om rekkevidden utad. En stramt kontrollert laboratoriestudie kan ha høy indre og lav ytre validitet; en naturlig feltstudie kan ha det motsatte. Viktig: disse to gjelder slutninger fra studier — ikke tester. Om en test måler det den skal, kalles testvaliditet (kap. 1.3), og å blande de to er en klassisk tabbe (se Typiske feil under).
Et Solomon firegruppedesign kombinerer to eksperimentgrupper og to kontrollgrupper, der bare halvparten får en pretest (måling før tiltaket). Slik kan forskeren sjekke om selve pretesten påvirket resultatet.
Hensikten: å skille tiltakets effekt fra en mulig pretest-effekt (at det å bli målt før tiltaket i seg selv endrer deltakeren, f.eks. gjør dem oppmerksomme på temaet). Du bør kjenne til dette designet — det er dukket opp som gjenkjenningsledd på eksamen — men du trenger ikke kunne konstruere det fra bunnen.
To forskere studerer om koffein bedrer konsentrasjon. Forsker A tester deltakere enkeltvis i et lydisolert laboratorium med randomisert tildeling av koffein/placebo. Forsker B deler ut koffein eller placebo til folk på en travel kafé og måler dem der. Sammenlign de to studienes indre og ytre validitet.
- Indre validitet — høy. Randomisering, placebokontroll og et skjermet rom fjerner konkurrerende forklaringer. En forskjell kan trygt tilskrives koffeinet.
- Ytre validitet — lavere. Et lydisolert rom likner lite på virkeligheten der folk faktisk drikker kaffe. Gjelder funnet på en travel arbeidsdag?
Forsker B (kafeen):
- Indre validitet — lavere. Støy, avbrytelser og folk som kommer og går, er ukontrollerte forhold som kan påvirke konsentrasjonen uavhengig av koffeinet.
- Ytre validitet — høyere. Situasjonen likner den virkelige bruken av koffein.
Tolkning i ord: Ingen av studiene er «best» — de kjøper hver sin styrke med den andres svakhet. Det er selve spenningen: kontroll (indre validitet) koster naturlighet (ytre validitet). En god designbesvarelse peker på hvilken validitet som ofres, og hvorfor.
a) Klassifiser designet. Er det et ekte eksperiment? Begrunn med de tre kjennetegnene.
b) Pek på én trussel mot indre validitet og én mot ytre validitet — knyttet konkret til dette scenariet.
c) Foreslå én forbedring for hver av de to truslene.
Feil #8 — svakhetsliste uten kobling til scenariet. (Feilkode #8: å ramse opp trusler generelt uten å bruke dem på caset — det gir C-tak, altså at besvarelsen ikke kan nå over C uansett hvor mye du skriver.) Å liste «reaktivitet, seleksjon, historie» uten å si hvor i akkurat dette scenariet de slår inn, honoreres ikke. Vaksine: for hver trussel, skriv én setning om hvordan den rammer nettopp denne studien.
Kontrastbegrep: selvseleksjon, der deltakerne velger betingelse selv — kilden til systematisk skjevhet randomiseringen fjerner.
Et design der begge grupper måles før (pretest) og etter (posttest) tiltaket, og bare eksperimentgruppen får tiltaket. Pretesten lar forskeren sjekke at gruppene startet likt.
Kontrastbegrep: et kun-posttest-design dropper pretesten (og unngår pretest-effekten), men mister muligheten til å bekrefte at gruppene var like i utgangspunktet — her stoler man i stedet på randomiseringen.
Begge er trusler mot indre validitet fordi de skaper forskjeller som likner en tiltakseffekt. Motmiddelet er blinding.
Kontrastbegrep: indre validitet, som ofte styrkes av nettopp den kontrollen som svekker den økologiske validiteten.
Kontrastbegrep: en kvasi-uavhengig variabel (kap. 1.2) — en egenskap som kjønn eller alder — kan ikke manipuleres; den er gitt på forhånd. Uten manipulasjon er studien ikke-eksperimentell eller kvasieksperimentell.
Kontrastbegrep: systematisk feilvarians, som også trekker i én retning, men som ikke er ønsket (den skyldes en konkurrerende forklaring). Poenget med design er å maksimere den planlagte og minimere den systematiske feilvariansen.
Kontrastbegrep: indre validitet, som ikke sier noe om rekkevidde, bare om årsaksslutningen holder innenfor studien. En studie kan ha perfekt indre validitet og likevel ikke la seg generalisere.
En konkurrerende forklaring er en alternativ årsak som kan forklare resultatet like godt som tiltaket, og som forskeren ikke har utelukket. Jo flere konkurrerende forklaringer et design tillater, desto lavere er den indre validiteten.
Kontrastbegrep: en kontrollert faktor — en mulig konkurrerende forklaring som designet har nøytralisert (f.eks. gjennom randomisering eller en kontrollgruppe).
En placebokontroll er en kontrollbetingelse som ser ut som tiltaket, men mangler den virksomme ingrediensen (narrepille, «placebo-app»). Den lar oss skille tiltakets egen effekt fra ren forventningseffekt.
Kontrastbegrep: en ren venteliste-kontroll får ingenting underveis — den kontrollerer for tidens gang, men ikke for forventningseffekten. Placebokontroll kreves når forventning er en sannsynlig konkurrerende forklaring.
En pretest-effekt er at selve før-målingen påvirker deltakerne — de blir oppmerksomme på temaet, øver seg, eller reagerer på å bli målt — slik at posttesten ikke lenger måler bare tiltaket.
Kontrastbegrep: tiltakseffekten, som er den vi vil isolere. Solomon firegruppedesign er laget nettopp for å skille de to.
Kontrastbegrep: en kontrollgruppe nøytraliserer begge — historie og modning rammer da begge grupper likt, så en forskjell mellom dem må skyldes tiltaket.
Kontrastbegrep: enkel blinding, der bare deltakeren er blindet — det stenger for deltakerens forventning, men ikke forskerens.
Kontrastbegrep: kontrollgruppen, som ikke får tiltaket. Sammenligningen mellom de to er selve målingen av effekten; uten en kontrollgruppe finnes ingen eksperimentgruppe i egentlig forstand.
Kontrasten: matching sikrer likhet på de målte variablene, men ikke på ukjente; randomisering sikrer forventet likhet på alt. Derfor er randomisering gullstandarden for indre validitet.
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Innholdet er læringsstoff, ikke helse- eller medisinske råd. Les mer.