7.4 Kritisk tenkning og kildekritikk

En badevekt som lyver

Tenk deg at du stiller deg på badevekta hver morgen, og den viser nøyaktig tre kilo for mye -- hver eneste gang. Vekta er pålitelig og konsistent, men den gir deg likevel feil svar. Stiller du deg på en annen vekt som viser forskjellig tall hver gang, er den verken pålitelig eller riktig. Dette enkle bildet fanger to av de viktigste begrepene i all forskning: reliabilitet og validitet.

Reliabilitet handler om pålitelighet og konsistens. Gir måleinstrumentet det samme resultatet hver gang vi måler? Kan resultatene gjentas, eller replikeres? Validitet handler om gyldighet. Måler vi faktisk det vi ønsker å måle, og er konklusjonene våre riktige? Vekta som alltid viser tre kilo for mye, er reliabel fordi den er konsistent, men ikke valid fordi den gir feil vekt.

Mellom disse to begrepene finnes en viktig sammenheng. Et måleinstrument kan godt være reliabelt uten å være valid -- som badevekta. Men et instrument kan aldri være valid uten samtidig å være reliabelt. Reliabilitet er altså en forutsetning for validitet, men ikke nok i seg selv. Å forstå disse begrepene er helt avgjørende for å kunne vurdere kvaliteten på psykologisk forskning, og for å designe gode studier selv. I dette kapittelet skal vi se på de ulike typene reliabilitet og validitet, på konfunderende variabler som truer dem, og på den store replikasjonskrisen som rystet psykologien.

Mange måter å være pålitelig på

Reliabilitet er ikke én ting, men flere -- avhengig av hva vi er bekymret for. Den første typen er test-retest-reliabilitet: gir testen det samme resultatet hvis vi gjennomfører den to ganger med et tidsintervall? Hvis en IQ-test gir 115 i dag og 112 om en måned, er det god test-retest-reliabilitet, og vi måler den med korrelasjonskoeffisienten $r$ mellom de to målingene, der $r > 0{,}80$ regnes som godt. Men her må vi være forsiktige: noen fenomener, som humør eller stressnivå, endrer seg naturlig over tid, og da er lav test-retest-reliabilitet ikke en feil ved testen, men en gjenspeiling av reelle endringer.

Den andre typen er inter-rater-reliabilitet, eller mellomvurderer-reliabilitet: er to eller flere observatører enige i sine vurderinger? Dette er avgjørende i observasjonsstudier og klinisk diagnostikk -- to psykologer som vurderer samme pasient, bør komme til samme diagnose. Vi måler det med Cohens kappa ($\kappa$), der $\kappa > 0{,}80$ er utmerket og $\kappa < 0{,}40$ er svakt. Vi kan øke denne reliabiliteten gjennom tydelige operasjonelle definisjoner, opplæring av observatører og standardiserte skjemaer.

En tredje type er indre konsistens, som spør om alle delene av en test måler det samme underliggende konseptet. Alle spørsmål i et depresjonsskjema bør henge sammen, og vi måler dette med Cronbachs alfa ($\alpha$), der $\alpha > 0{,}70$ regnes som akseptabelt. Til slutt finnes parallelltest-reliabilitet, som handler om hvorvidt to alternative versjoner av samme test gir like resultater -- nyttig når man trenger å teste samme person flere ganger uten at de husker svarene fra forrige gang, som med alternative versjoner av hukommelsestester.

Validitet: måler vi det vi tror?

Validitet er et mer sammensatt begrep enn reliabilitet, og det finnes på flere nivåer. Intern validitet handler om vi kan trekke kausale konklusjoner: var det virkelig den uavhengige variabelen som forårsaket endringen, eller kan andre faktorer forklare resultatet? De største truslene er konfunderende variabler -- faktorer som samvarierer med den uavhengige variabelen og kan forklare resultatet, slik som placeboeffekt, modning over tid, historieeffekter, testeffekter og seleksjonsskjevhet.

Ekstern validitet handler derimot om generaliserbarhet: kan resultatene overføres til andre populasjoner, situasjoner og tider? Her spiller utvalget en hovedrolle. Psykologisk forskning har lenge basert seg på såkalte WEIRD-utvalg -- Western, Educated, Industrialized, Rich, Democratic. I 2010 påpekte Henrich, Heine og Norenzayan at hele 96 prosent av deltakerne i psykologiske studier kom fra WEIRD-land, og 68 prosent var amerikanske universitetsstudenter, en gruppe som utgjør bare rundt 12 prosent av verdens befolkning. Konsekvensen er at teorier utviklet på en svært snever gruppe presenteres som universelle. Et eksempel er Müller-Lyer-illusjonen, som er mye svakere hos folk i kulturer uten rette vinkler og firkantede bygninger. Økologisk validitet -- hvor likt forskningsmiljøet er det virkelige liv -- er også en del av den eksterne validiteten.

Det tredje nivået er begrepsvaliditet, også kalt konstruktvaliditet: måler vi virkelig det teoretiske begrepet vi påstår å måle? Måler en IQ-test faktisk «intelligens», eller bare evnen til å løse bestemte oppgavetyper? Begrepsvaliditet vurderes gjennom to typer evidens. Konvergent validitet betyr at testen vår korrelerer høyt med andre tester som måler det samme. Divergent eller diskriminant validitet betyr at den ikke korrelerer for høyt med tester som måler noe annet. En ny kreativitetstest som korrelerer høyt ($r = 0{,}75$) med andre kreativitetstester, men lavt ($r = 0{,}15$) med IQ-tester, viser dermed god begrepsvaliditet -- den måler kreativitet, ikke bare intelligens.

Konfunderende variabler og replikasjonskrisen

La oss se nærmere på konfunderende variabler, intern validitets verste fiende. De oppstår når en ukontrollert faktor samvarierer med den uavhengige variabelen. Vanlige eksempler er seleksjonsskjevhet (gruppene er ulike fra start), placeboeffekten (forventning gir bedring), eksperimentør-forventningseffekten eller Rosenthal-effekten (forskerens forventning smitter ubevisst over på deltakerne), og kohorteffekter (aldersforskjeller skyldes ulike generasjoner, ikke alder). Heldigvis har vi virkemidler: randomisering fordeler ukjente konfunder likt mellom grupper, matching gjør gruppene like på relevante variabler, blinding skjuler gruppetilhørighet for deltakere (enkeltblind) eller for både deltakere og forskere (dobbeltblind), og standardisering sikrer at alle behandles likt bortsett fra manipulasjonen.

I 2015 ble psykologien rystet av en studie fra Open Science Collaboration. De forsøkte å replikere 100 publiserte psykologiske studier, men bare 36 prosent av replikasjonene ga signifikante resultater -- mot 97 prosent i originalstudiene. Dette ble starten på replikasjonskrisen. Replikasjon -- å gjenta en studie for å se om man får samme resultat -- er et grunnleggende vitenskapelig prinsipp, og en enkelt studie er aldri nok. Hvorfor klarte så mange ikke å bli replikert? En viktig årsak er publiseringsskjevhet: tidsskrifter foretrekker signifikante resultater, mens nullresultater havner i skuffen -- det såkalte filedrawer-problemet. En annen er små utvalg og lav statistisk styrke, som gjør tilfeldige funn mer sannsynlige. En tredje er tvilsomme forskningspraksiser som p-hacking (analysere data på mange måter til noe blir signifikant), HARKing (formulere hypotesen etter at resultatene er kjent) og selektiv fjerning av uteliggere.

Men krisen hadde også en lys side. Psykologien tok selvkritikken på alvor og innførte kraftfulle tiltak. Preregistrering lar forskere publisere hypoteser og analyseplan før data samles inn, slik at HARKing blir umulig. Åpen vitenskap deler rådata og analysekode for innsyn. Registered Reports lar tidsskrifter godkjenne studier basert på planen, før resultatene er kjent, noe som eliminerer publiseringsskjevhet. I tillegg oppfordres forskere til større utvalg, styrkeanalyser og strengere statistisk praksis. Paradoksalt nok har replikasjonskrisen gjort psykologien til en av de ledende vitenskapene i åpen vitenskap-praksis -- nyere forskning holder gjennomgående høyere standard enn den eldre.

Oppsummering

I dette kapittelet har vi sett at to begreper avgjør om vi kan stole på forskning. Reliabilitet handler om pålitelighet og konsistens, og finnes i flere former: test-retest, inter-rater, indre konsistens og parallelltest -- målt med verktøy som korrelasjonskoeffisienten $r$, Cohens kappa og Cronbachs alfa. Validitet handler om gyldighet og finnes på tre nivåer: intern validitet (kausale slutninger), ekstern validitet (generaliserbarhet, med WEIRD-problemet som advarsel) og begrepsvaliditet (måler vi rett konstrukt).

Vi så at konfunderende variabler er den største trusselen mot intern validitet, og at randomisering, blinding og standardisering er våre forsvar. Til slutt møtte vi replikasjonskrisen fra 2015, drevet av publiseringsskjevhet, små utvalg og p-hacking -- men også de kraftfulle tiltakene som preregistrering, åpen vitenskap og Registered Reports, som paradoksalt nok har gjort psykologien til en ledende vitenskap i åpen forskningspraksis.