1.6 Validitet og reliabilitet

Et resultat er ikke nok

Forestill deg at du har gjennomført et forsøk og fått et flott resultat. Men hvordan vet du at det betyr noe? Måler du egentlig det du tror du måler? Og ville du fått det samme svaret hvis du gjentok forsøket i morgen?

Disse to spørsmålene fører oss til to av de viktigste kvalitetskriteriene i all forskning: validitet og reliabilitet -- gyldighet og pålitelighet. Uten dem er selv det vakreste resultatet verdiløst. I dette kapittelet skal vi se på ulike typer validitet, forstå hva reliabilitet er, og lære å spore opp feilkildene som kan undergrave et helt forsøk.

Validitet: måler vi det rette?

Validitet handler om hvorvidt vi faktisk måler det vi ønsker å måle, og om konklusjonene våre holder. Det finnes flere typer.

Intern validitet handler om årsakssammenheng. Hvis eksperimentgruppen gjør det bedre enn kontrollgruppen, kan vi virkelig si at det skyldes den uavhengige variabelen -- eller kan noe annet forklare det? Trusler her er konfunderende variabler (en tredje faktor vi ikke har kontrollert for), modningseffekt (deltakerne endrer seg naturlig over tid) og seleksjonseffekt (gruppene var ulike fra start, noe randomisering motvirker).

Ekstern validitet handler om generaliserbarhet. Kan resultatene overføres til andre situasjoner, mennesker eller tidspunkter? Et funn fra en studie med universitetsstudenter i Oslo kan ikke automatisk gjelde for eldre i distriktene. Her spiller utvalgets representativitet, situasjonens naturlighet og tidsavhengighet inn.

Begrepsvaliditet handler om operasjonaliseringen faktisk fanger begrepet vi vil måle. Måler en lesetest «bedre lesing», eller bare lesehastighet?

Tenk deg en skole som tester en ny lesemetode, men lar sin beste norsklærer bruke den nye metoden mens en nyutdannet lærer holder seg til den gamle. Klassen med ny metode gjør det bedre. Men er det metoden eller læreren? Lærerens erfaring er en konfunderende variabel som ødelegger den interne validiteten. Selv om metoden virker akkurat her, sier det ikke at den virker for alle -- den eksterne validiteten er usikker. Og hvis testen bare måler lesehastighet, kan til og med begrepsvaliditeten være svak.

Reliabilitet: måler vi presist?

Reliabilitet handler om hvor konsistente og stabile målingene er. En måling er reliabel hvis den gir samme resultat ved gjentatte målinger under like forhold. Vi snakker om test-retest-reliabilitet (gir en IQ-test omtrent samme skår to uker senere?), inter-rater-reliabilitet (gir to lærere som retter samme besvarelse lik karakter?) og intern konsistens (måler ulike deler av testen det samme?).

Forholdet mellom validitet og reliabilitet forstår vi best med en blink. Treffer alle skuddene midt i blinken, har vi både høy reliabilitet og høy validitet -- presist og riktig. Sitter alle skuddene samlet, men utenfor blinken, har vi høy reliabilitet, men lav validitet: konsistent, men feil sted. Og er skuddene spredd over hele skiva, har vi verken det ene eller det andre.

Her ligger en viktig innsikt: en måling kan godt være reliabel uten å være valid, men den kan ikke være valid uten å være reliabel. Et termometer som alltid viser to grader for mye, er reliabelt -- og siden vi kjenner feilen, kan vi korrigere for den. Men et termometer som viser tilfeldige temperaturer hver gang, er verken reliabelt eller valid, og dermed ubrukelig. En vekt som spretter mellom ulike tall for samme gjenstand, kan rett og slett umulig gi riktig vekt.

To slags feil som lurer overalt

Ingen måling er helt perfekt. All måling inneholder usikkerhet, og vi skiller mellom to typer feil.

Systematiske feil påvirker alle målingene i samme retning. De skyldes et fast problem med metode eller utstyr og gjør resultatene konsekvent feil: en vekt som alltid viser 50 gram for mye, et spørreskjema med ledende spørsmål, eller en observatør som hele tiden undervurderer en bestemt atferd. Systematiske feil rammer validiteten, men ikke nødvendigvis reliabiliteten -- de gir tross alt konsistente, om enn skjeve, resultater. Heldigvis kan de ofte oppdages ved kalibrering eller ved å sammenligne med andre metoder.

Tilfeldige feil varierer derimot uforutsigbart fra måling til måling, snart for høyt, snart for lavt: små temperatursvingninger i rommet, variasjon i forsøkspersonenes dagsform, eller unøyaktig avlesning av et instrument. Disse rammer reliabiliteten. Det fine er at de jevner seg ut hvis du tar mange målinger og regner gjennomsnitt.

Tenk deg at du måler lengden på bønnestengler. Bruker du en linjal som starter på 2 mm i stedet for 0, blir alle stenglene målt 2 mm for korte -- en systematisk feil som rammer alle likt. Men hvis ulike elever leser av linjalen litt forskjellig, noen runder opp og andre ned, får du tilfeldige feil som spriker i begge retninger. En nyttig huskeregel når du leter etter feilkilder, er å spørre deg selv: «Hva annet enn den uavhengige variabelen kunne ha påvirket resultatet?» og tenke systematisk gjennom utstyr, prosedyre, deltakere og omgivelser.

Oppsummering

Vi har sett at validitet handler om vi måler det rette: intern validitet om årsakssammenheng, ekstern validitet om generaliserbarhet og begrepsvaliditet om operasjonaliseringen treffer begrepet. Reliabilitet handler om vi måler presist og konsistent.

Blinken minner oss om sammenhengen: en måling kan være reliabel uten å være valid, men aldri valid uten å være reliabel. Og til slutt skiller vi mellom systematiske feil, som rammer alle målinger likt og svekker validiteten, og tilfeldige feil, som spriker uforutsigbart og svekker reliabiliteten -- men som jevner seg ut når vi måler mange ganger.