Intern og ekstern validitet, reliabilitet og feilkilder.
Validitet og reliabilitet
Når vi gjennomfører et forsøk eller en undersøkelse, er det ikke nok at vi får et resultat. Vi må også vurdere om resultatet er gyldig og pålitelig. Disse to kvalitetskriteriene – validitet og reliabilitet – er avgjørende for om forskningen vår har verdi.
I dette kapittelet lærer du å skille mellom ulike typer validitet, forstå hva reliabilitet innebærer, og identifisere feilkilder som kan undergrave kvaliteten på forskningsresultater.
Det finnes flere typer validitet:
- Intern validitet: Kan vi trekke slutninger om årsakssammenheng? Er det den uavhengige variabelen som forårsaker endringen, eller kan andre faktorer forklare resultatet?
- Ekstern validitet: Kan resultatene generaliseres til andre situasjoner, populasjoner eller tidspunkter? Er funnene relevante utenfor forsøkssituasjonen?
- Begrepsvaliditet (konstruktvaliditet): Måler vi faktisk det begrepet vi påstår å måle? Fanger operasjonaliseringen det teoretiske begrepet?
Intern validitet – årsakssammenheng
Intern validitet handler om å utelukke alternative forklaringer. Hvis vi finner at eksperimentgruppen gjør det bedre enn kontrollgruppen, vil vi vite at det skyldes den uavhengige variabelen – ikke noe annet.
Trusler mot intern validitet:
- Konfunderende variabler: En tredje variabel som påvirker resultatet uten at vi har kontrollert for den. Eksempel: Elever som får den nye undervisningsmetoden har tilfeldigvis også en mer erfaren lærer.
- Modningseffekt: Deltakerne endrer seg naturlig over tid (f.eks. barn blir flinkere til å lese uansett metode).
- Seleksjonseffekt: Gruppene er ikke sammenlignbare fra start (unngås med randomisering).
Ekstern validitet – generaliserbarhet
Ekstern validitet handler om overførbarhet. Resultater fra en studie med universitetsstudenter i Oslo kan ikke automatisk generaliseres til eldre i distriktene, eller til mennesker i andre kulturer.
Faktorer som påvirker ekstern validitet:
- Utvalgets representativitet: Er deltakerne representative for populasjonen vi ønsker å uttale oss om?
- Situasjonens naturlighet: Kunstige laboratorieforhold kan gi resultater som ikke gjelder i virkeligheten.
- Tidsavhengighet: Sosiale fenomener kan endre seg over tid.
En skole tester en ny lesemetode. De lar den beste norsklæreren bruke den nye metoden i sin klasse, mens en nyutdannet lærer fortsetter med den gamle metoden. Etter ett semester har klassen med den nye metoden bedre leseresultater. Hvilke validitetsproblemer ser du?
Den viktigste trusselen er en konfunderende variabel: lærerens erfaring. Vi kan ikke vite om forbedringen skyldes den nye metoden eller den dyktigere læreren. For å sikre intern validitet burde begge lærerne brukt begge metodene, eller lærerne burde vært tilfeldig fordelt.
Ekstern validitet – usikker:
Selv om metoden virker med denne læreren, betyr det ikke at den virker for alle lærere, alle elevgrupper eller alle skoler. Resultatet kan ikke uten videre generaliseres.
Begrepsvaliditet – mulig problem:
Hva menes med «bedre leseresultater»? Hvis testen bare måler lesehastighet og ikke leseforståelse, fanger den kanskje ikke det vi egentlig mener med «bedre lesing».
En forsker konkluderer med at et nytt kosttilskudd forbedrer hukommelsen, basert på et forsøk med 10 medisinstudenter. Hvilket validitetsproblem er mest fremtredende?
Typer reliabilitet:
- Test-retest-reliabilitet: Gir testen samme resultat når den gjentas på et senere tidspunkt? Eksempel: En IQ-test bør gi omtrent samme skår om den tas igjen etter to uker.
- Inter-rater-reliabilitet: Gir ulike observatører/bedømmere samme vurdering? Eksempel: To lærere som retter samme besvarelse bør gi tilnærmet lik karakter.
- Intern konsistens: Måler ulike deler av testen det samme? Eksempel: Spørsmål som skal måle angst bør korrelere med hverandre.
Forholdet mellom validitet og reliabilitet
Validitet og reliabilitet henger sammen, men er ikke det samme. En enkel analogi er en blink:
- Høy reliabilitet + høy validitet: Alle skuddene treffer midt i blinken (nøyaktig og konsistent).
- Høy reliabilitet + lav validitet: Alle skuddene treffer samlet, men utenfor blinken (konsistent, men måler feil ting).
- Lav reliabilitet + lav validitet: Skuddene er spredd over hele skiva (verken konsistent eller nøyaktig).
Viktig: En måling kan være reliabel uten å være valid, men den kan ikke være valid uten å være reliabel. Hvis en vekt viser ulike tall hver gang du veier samme gjenstand (lav reliabilitet), kan den umulig gi riktig vekt (lav validitet).
Eksempel fra virkeligheten
Et mattetermometer som konsekvent viser 2 grader for mye, er reliabelt (konsistent) men ikke valid (måler feil). Når vi kjenner feilen, kan vi korrigere for den. Et termometer som viser tilfeldig forskjellige temperaturer, er verken reliabelt eller valid – og er ubrukelig.
Hvilken påstand om validitet og reliabilitet er korrekt?
Systematiske og tilfeldige feil
Alle målinger inneholder usikkerhet. Vi skiller mellom to hovedtyper feil:
Systematiske feil påvirker alle målingene i samme retning. De skyldes et fast problem med metoden eller utstyret, og gjør resultatene konsekvent feil:
- En vekt som alltid viser 50 g for mye
- Et spørreskjema med ledende spørsmål som påvirker svarene i én retning
- En observatør som systematisk undervurderer en bestemt atferd
Systematiske feil reduserer validiteten men ikke nødvendigvis reliabiliteten. De kan ofte oppdages ved kalibrering eller ved å sammenligne med andre metoder.
Tilfeldige feil varierer uforutsigbart fra måling til måling, noen ganger for høyt, andre ganger for lavt:
- Små temperatursvingninger i et rom under et forsøk
- Variasjon i forsøkspersoners dagsform
- Unøyaktighet ved avlesning av måleinstrumenter
Tilfeldige feil reduserer reliabiliteten. De kan reduseres ved å ta mange målinger og beregne gjennomsnitt – tilfeldige feil jevner seg ut over tid.
Når du skal identifisere feilkilder i et forsøk, spør deg selv: «Hva annet enn den uavhengige variabelen kunne ha påvirket resultatet?» Tenk systematisk gjennom utstyr, prosedyre, deltakere og omgivelser.
Forklar forskjellen mellom systematiske og tilfeldige feil med egne ord. Gi ett eksempel på hver type feil i et forsøk der du måler lengden av bønnestengler under ulike lysforhold.
Oppsummering
- Validitet handler om vi faktisk måler det vi ønsker å måle og om konklusjonene er holdbare.
- Intern validitet gjelder årsakssammenheng, ekstern validitet gjelder generaliserbarhet, og begrepsvaliditet gjelder om operasjonaliseringen fanger begrepet.
- Reliabilitet handler om målingenes konsistens – gir vi samme resultat ved gjentatte målinger?
- En måling kan være reliabel uten å være valid, men ikke valid uten å være reliabel.
- Systematiske feil påvirker alle målinger i samme retning og reduserer validiteten.
- Tilfeldige feil varierer uforutsigbart og reduserer reliabiliteten, men kan reduseres ved gjentatte målinger.
En forsker utvikler et spørreskjema for å måle «skolemotivasjon». Forklar hva begrepsvaliditet betyr i denne sammenhengen, og foreslå to måter forskeren kan sjekke om spørreskjemaet har god begrepsvaliditet.
Drøft følgende situasjon: To sensorer retter de samme 30 norskbesvarelsene. Sensor A gir i snitt karakter 4,2, mens sensor B gir i snitt 3,5. Hvordan forholder dette seg til reliabilitet og validitet? Hva kan gjøres for å forbedre situasjonen?
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.