1.4 Reliabilitet, validitet og feilkilder

Hvor mye kan du stole på en måling?

Uansett hvor godt du planlegger et forskningsprosjekt, vil det alltid romme litt usikkerhet. Spørsmålet er ikke om det finnes feilkilder, men hvilke -- og hvor mye de påvirker resultatet. To nøkkelbegreper hjelper oss å vurdere dette: reliabilitet (pålitelighet) og validitet (gyldighet).

Tenk på en badevekt. Reliabilitet handler om konsistens: viser vekta 72 kg hver gang du stiller deg på den under like forhold, er den reliabel. Viser den 72, 68, 75 og 69 på fire forsøk, er den ikke reliabel -- selv om gjennomsnittet kanskje stemmer. Reliabilitet kommer i flere former. Test-retest sjekker om samme test gir samme svar på to tidspunkter. Inter-rater sjekker om to bedømmere gir samme vurdering -- som to lærere som retter de samme essayene likt. Intern konsistens sjekker at spørsmål som måler samme begrep henger sammen, ofte målt med Cronbachs alfa, en verdi mellom 0 og 1 der over 0,7 regnes som akseptabelt.

Presist er ikke det samme som riktig

La oss si en elev måler akselerasjonen til en trille på et skråplan fem ganger og får 2,3 -- 2,5 -- 2,4 -- 2,3 -- 2,4 $\text{m/s}^2$. Verdiene ligger tett, gjennomsnittet er 2,38, og målingen er reliabel. Får hun i stedet 2,3 -- 3,1 -- 1,8 -- 2,9 -- 2,0, spriker det fra 1,8 til 3,1. Gjennomsnittet er nesten det samme, men reliabiliteten er dårlig. Poenget er at reliabilitet handler om spredningen, ikke gjennomsnittet.

Men en pålitelig måling kan likevel være feil. Her kommer validitet inn: måler vi faktisk det vi tror vi måler? En vekt som konsekvent viser 3 kg for mye er pålitelig (samme tall hver gang), men ikke gyldig. Det klassiske eksempelet er en forsker som måler intelligens med hodeomkrets. Hun får 52,3 cm gang etter gang -- høyst reliabelt -- men hodestørrelse er et elendig mål på intelligens, så målingen er ikke valid.

Validitet finnes i flere typer. Begrepsvaliditet spør om instrumentet fanger det teoretiske begrepet. Intern validitet spør om det virkelig er den uavhengige variabelen som forårsaker endringen, eller om det finnes andre forklaringer som modning, testing-effekt eller frafall. Ekstern validitet handler om generaliserbarhet til andre grupper og situasjoner. Det avgjørende prinsippet er dette: reliabilitet er en nødvendig, men ikke tilstrekkelig betingelse for validitet. En kaotisk måling kan aldri treffe riktig, men en stabil måling kan godt være systematisk feil.

To slags feil og en usynlig fiende

Alle målinger inneholder feil, men det finnes to grunnleggende typer. Tilfeldige feil varierer fra måling til måling og kan gå begge veier -- naturlig variasjon i reaksjonstid, elektronisk støy i en sensor, ulik avlesningsvinkel. De reduserer reliabiliteten, men kan minskes ved å ta mange målinger og regne gjennomsnitt. Systematiske feil går derimot konsekvent i samme retning og rammer validiteten -- en klokke som går fem sekunder for fort, et spørreskjema med ledende spørsmål, en temperaturmåler som alltid viser 2 grader for mye. Disse kan ikke fjernes ved å ta flere målinger, for de ligger i gjennomsnittet også. De synes i gjennomsnittet, mens tilfeldige feil synes i spredningen.

Den mest lumske trusselen er likevel konfunderende variabler: en tredjevariabel som påvirker både den uavhengige og den avhengige variabelen, og som dermed kan skape en falsk sammenheng eller skjule en ekte. Tenk på en elev som tester reaksjonstid i et kaldt rom om morgenen og et varmt rom om ettermiddagen, og finner at folk er raskere om morgenen. Men temperatur og tid på døgnet er konfundert -- kanskje er elevene bare mer opplagte tidlig på dagen. I tillegg lurer en testing-effekt (de har øvd) og et lite utvalg på 10 personer.

Konfunderende variabler er den største trusselen mot intern validitet, og det verste er at vi kanskje ikke vet at de finnes. For å kontrollere dem kan vi randomisere (fordeler alle, også de ukjente), matche deltakere med like egenskaper, kontrollere statistisk i en regresjonsanalyse, bruke blokkdesign, eller holde variabelen konstant for alle. Bare et ekte eksperiment med randomisering kan håndtere også de ukjente konfunderne.

Oppsummering

Vi har sett at reliabilitet handler om konsistens -- at målinger gir stabile resultater -- mens validitet handler om at vi faktisk måler det vi tror vi måler. Reliabilitet er en nødvendig, men ikke tilstrekkelig betingelse for validitet. Reliabilitet kommer i former som test-retest, inter-rater og intern konsistens; validitet i former som begreps-, intern og ekstern validitet.

Vi skiller mellom tilfeldige feil, som varierer i begge retninger og senker reliabiliteten, og systematiske feil, som går samme vei og senker validiteten. Tilfeldige feil dempes med mange målinger; systematiske feil krever kalibrering og bedre design. Den farligste trusselen er konfunderende variabler -- tredjevariabler som skaper falske sammenhenger -- og bare randomisering kan kontrollere for både kjente og ukjente av dem.