1.3 Reliabilitet og testvaliditet
Måleteoriens to spørsmål — måler testen stabilt, og måler den det den skal? — og skillet mot slutningsvaliditet som koster karakterer å blande.
- Reliabilitet og testvaliditet er spurt i 8 av de 29 eksamenssettene (typisk i måleoppgaven, kortkode T5 — se kap. 0.1). Temaet regnes som differensierende: her taper svakere kandidater poeng på én bestemt forveksling.
- Den forvekslingen er kjernen i kapitlet: testvaliditet (måler testen det den skal?) blandes med slutningsvaliditet (kan vi trekke sikre konklusjoner fra studien?). Det er to helt ulike ting, og sensor påpeker sammenblandingen hvert år det spørres. I boka har denne forvekslingen fått feilkode #5 — et oppslagsnummer i feilregisteret (kap. 8.6).
- Typologiene (reliabilitetsmetoder, validitetstyper) er dessuten rene flashcard-gull: begrep ↔ hva det fanger.
Mål: at du kan velge reliabilitetsmetode og valideringsmetode med begrunnelse, tolke en oppgitt Cronbachs alfa, og holde testvaliditet og slutningsvaliditet skarpt fra hverandre.
Tidsbruk: ~60 minutter — kapitlet er delt i tre løkker med pausepunkter. Anslaget gjelder kjernestoffet; begrepsbankene er repetisjon.
Løkke 1 — Reliabilitet: måler testen stabilt? (~20 min)
Tenk deg en badevekt som viser 70 kg, så 74 kg, så 68 kg når du stiger på tre ganger etter hverandre. Vekta er ubrukelig — ikke fordi den viser feil tall (kanskje snittet stemmer), men fordi den er ustabil. Det samme gjelder psykologiske tester: en test som gir sprikende resultater fra gang til gang, kan vi ikke stole på. Måleteorien stiller to spørsmål, og reliabilitet er det første: måler testen stabilt?
(Lett innstegsoppgave.) En badevekt viser tre ulike tall når du veier deg tre ganger på rappen. Er problemet med denne vekta reliabilitet eller validitet? Forklar kort.
Definisjonsboksene under er også flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget gjelder kjernestoffet.
En tests stabilitet og konsistens — gir den samme resultat under like forhold? Reliabilitet er en forutsetning for validitet: en test som spretter tilfeldig, kan ikke måle noe presist. Men reliabilitet alene holder ikke — en stabil test kan måle konsekvent feil ting (se validitet). Kontrast: reliabilitet = stabilt; validitet = riktig. Se matrisen under: blinkskive-analogien deler opp de fire mulige kombinasjonene av stabil/ustabil og riktig/feil.
Man gir samme test til samme personer på to tidspunkter og ser om resultatene henger sammen. Forutsetter at egenskapen som måles er stabil over tid — passer for personlighetstrekk, ikke for humør som svinger fra dag til dag. Kontrast til intern konsistens (som ser på leddene innad, ikke over tid).
To ulike, men likeverdige versjoner av samme test gis til samme personer; høy samsvar = god reliabilitet. Løser test-retests problem med at folk husker svarene fra første gang. Kostnaden: å lage to genuint likeverdige tester er vanskelig.
Man deler testen i to halvdeler (f.eks. partalls- og oddetallsledd) og sjekker om de to halvdelene gir samsvarende skårer. En form for intern konsistens. Forutsetter en homogen test — at alle ledd måler det samme.
Måler hvor samstemte leddene i en test er — svarer folk konsistent på tvers av spørsmål som skal måle det samme? Tallfestes med Cronbachs alfa (), fra 0 til 1: rundt 0,70+ regnes gjerne som akseptabelt, 0,80+ som godt. NB: «høyere er bedre» har et tak — svært høy kan bety at leddene er nesten identiske og dermed overflødige. tolkes, regnes aldri for hånd på eksamen.
Enighet mellom ulike bedømmere som vurderer det samme — f.eks. to psykologer som skårer de samme intervjuene. Måles enkelt som prosent enighet, eller mer presist med Cohens kappa (), som korrigerer for enighet man ville fått ved ren tilfeldighet.
En forsker har laget en ny skala for prokrastinering (utsettelsesatferd) med 20 ledd. Foreslå to reliabilitetsmetoder som passer, og begrunn valgene. Hvorfor kan test-retest være problematisk her?
Split-half: samme logikk — del skalaen i to og se om halvdelene samsvarer. Passer fordi leddene skal være homogene.
Hvorfor test-retest er problematisk: test-retest forutsetter at egenskapen er stabil mellom de to testingene. Prokrastinering kan svinge med semesterfase, arbeidsmengde og humør, så lav test-retest-korrelasjon kunne skyldes ekte endring i personen, ikke dårlig test. Da måler man ustabilitet i fenomenet, ikke i instrumentet.
Legg merke til at hvert valg står med begrunnelse — det er det som gir uttelling.
En forsker har en kort test som skal måle et stabilt personlighetstrekk.
a) Hvilken reliabilitetsmetode passer for å sjekke stabilitet over tid?
b) Hva er én ulempe med den metoden?
En skala rapporterer Cronbachs alfa = 0,82.
a) Hva forteller dette tallet?
b) Betyr «jo høyere, jo bedre» at alltid er ideelt? Forklar.
Løkke 2 — Testvaliditet: måler testen det den skal? (~20 min)
— naturlig pausepunkt —
Reliabilitet er nødvendig, men ikke nok. En badevekt som konsekvent viser 3 kg for mye er helt stabil (reliabel) — men den måler feil. Det er validitetsspørsmålet: måler testen faktisk det den skal måle? Her er den klassiske innsikten: en test kan være reliabel uten å være valid, men ikke omvendt — en test som spretter tilfeldig, kan ikke treffe presist.
Om en test faktisk måler det den er ment å måle. En intelligenstest som egentlig måler lesehastighet, er reliabel men ikke valid. Testvaliditet handler om instrumentet — ikke å forveksle med slutningsvaliditet (om konklusjoner fra en studie er holdbare, se kap. 2.1).
Om testen ser ut til å måle det den skal, ved en overflatevurdering. En stresskala med spørsmål om stress har høy face-validitet. Dobbeltrolle: høy face-validitet motiverer deltakere og virker troverdig — men gjør også testen lett å gjennomskue og manipulere. Svakeste validitetsform (bygger bare på inntrykk).
Om testens innhold dekker hele bredden av begrepet det skal måle. En matematikkprøve som bare tester addisjon, har dårlig innholdsvaliditet for «matematikkferdighet». Vurderes typisk av fageksperter mot en definisjon av området.
Om testens skårer henger sammen med et utenforstående kriterium vi bryr oss om. To varianter: samtidig validitet (testen samsvarer med et kriterium målt samtidig, f.eks. en ny angstskala mot en etablert) og prediktiv validitet (testen forutsier et fremtidig utfall, f.eks. opptaksprøve som forutsier studieresultater).
Den mest overordnede formen: om testen faktisk fanger det teoretiske begrepet (konstruktet) den påstår å måle. Bygges opp over tid ved at testen oppfører seg som teorien forutsier — korrelerer med det den bør, og ikke med det den ikke bør.
Forklar med et eget eksempel hvordan en test kan være reliabel uten å være valid — og hvorfor det motsatte (valid uten reliabel) er umulig.
Hvorfor valid-uten-reliabel er umulig: Validitet krever presisjon — at testen treffer riktig. Men hvis testen spretter tilfeldig fra gang til gang (lav reliabilitet), kan den ikke treffe konsistent. En upålitelig test bommer ulikt hver gang og kan derfor ikke være valid. Derfor er reliabilitet en forutsetning for validitet, men ikke omvendt.
En forsker vil validere en ny skala for eksamensstress.
a) Beskriv hvordan hun kan undersøke samtidig kriterievaliditet.
b) Beskriv hvordan hun kan undersøke prediktiv validitet.
Løkke 3 — Den kritiske forvekslingen + interrater-enighet (~20 min)
— naturlig pausepunkt —
Nå kommer differensieringsleddet. Testvaliditet (denne løkka handler om) gjelder tester og instrumenter: måler skalaen det den skal? Slutningsvaliditet — som deles inn i indre og ytre validitet (kap. 2.1) — gjelder noe helt annet: kan vi trekke holdbare konklusjoner fra en studie? Indre validitet spør om årsakssammenhengen er sikker; ytre om funnet kan generaliseres. Disse gjelder slutninger, ikke tester.
Når en oppgave ber deg vurdere om en test er god, er svaret testvaliditet (face, innhold, kriterium, begrep) — ikke indre/ytre validitet. Å svare «indre og ytre validitet» på et testspørsmål er feilkode #5, og sensor fanger den hvert år.
Om konklusjonene fra en studie er holdbare — deles i indre validitet (er årsakssammenhengen sikker?) og ytre validitet (kan funnet generaliseres?). Gjelder slutninger fra studier, ikke tester. Å forveksle dette med testvaliditet (face/innhold/kriterium/begrep) er feilkode #5 — bokas mest påpekte målefeil. Detaljene om indre/ytre validitet kommer i kap. 2.1.
Et mål på enighet mellom to bedømmere som korrigerer for tilfeldig enighet. Formel (oppgis alltid): , der er observert enighet og er forventet enighet ved ren tilfeldighet. er perfekt, betyr enighet bare på tilfeldighetsnivå. Poenget: to bedømmere som gjetter tilfeldig, vil av og til være enige ved flaks — kappa trekker fra den flaksen. Perifert stoff (mer i kap. 7.2).
To psykologer vurderer uavhengig 40 barn som «engstelig» eller «ikke engstelig». De er enige på 36 av 40 (begge sa «engstelig» for 18, begge «ikke engstelig» for 18; de var uenige om 4). Ved ren tilfeldighet ville de vært enige i 50 % av tilfellene (). Regn ut Cohens kappa med formelen og tolk resultatet.
Intuisjon: rå enighet er 90 % — ser høyt ut, men noe av det er flaks.
Steg 2 — forventet tilfeldig enighet: oppgitt, .
Steg 3 — sett inn i formelen:
Prosatolkning (obligatorisk siste steg): betyr at bedømmerne er enige langt utover det tilfeldigheten alene skulle tilsi — av det «rommet» som var igjen etter at vi trakk fra flaks-enigheten, dekker de 80 %. Interrater-reliabiliteten er altså god: de to psykologene bruker kriteriene likt. Merk at rå enighet (90 %) overdriver samstemtheten — kappa (0,80) gir det ærligere bildet fordi den korrigerer for tilfeldig enighet.
To lærere vurderer 50 tekster som «bestått» eller «ikke bestått». De er enige på 44 av 50. Forventet tilfeldig enighet er . Bruk .
a) Regn ut observert enighet .
b) Regn ut kappa.
c) Tolk resultatet i én setning.
Hvilken metode passer hvilket instrument?
Det er ikke ett riktig reliabilitetsmål for alle tester. Test-retest forutsetter et stabilt fenomen — bra for personlighet, dårlig for humør. Split-half og intern konsistens forutsetter en homogen test der alle ledd måler det samme — meningsløst for en test som med vilje dekker flere ulike delområder. Interrater trengs når skåringen krever skjønn (intervjuer, observasjoner), ikke ved rene flervalgstester.
Og face-validitetens dobbeltrolle er verdt å merke: den motiverer deltakere og gir troverdighet, men gjør testen lett å gjennomskue — noen ganger vil man bevisst ha lav face-validitet (f.eks. i tester der man ikke ønsker at folk skal kunne pynte på svarene).
En eksamensoppgave lyder: «En forsker har utviklet en ny skala for sosial angst. Diskuter hvordan skalaens validitet kan vurderes.» En medstudent svarer med å drøfte indre og ytre validitet.
a) Hva er galt med medstudentens svar?
b) Hvilke validitetsformer burde svaret handlet om, og hvordan?
Før (feil): «For å vurdere om testen er valid, ser vi på indre validitet (er sammenhengen kausal?) og ytre validitet (kan den generaliseres?).» → Dette svarer på studievaliditet, ikke testvaliditet.
Etter (riktig): «Testens validitet vurderes gjennom face-, innholds-, kriterie- og begrepsvaliditet: måler leddene sosial angst (innhold), samsvarer skalaen med et etablert mål (kriterium), oppfører den seg som teorien forutsier (begrep)?»
Feil #8 — å liste alle validitetsformene uten å knytte dem til scenariet. En ren definisjonsremse gir C-tak; anvend hver form på den konkrete testen.
Feilkode-gloss: «feil #5» og «feil #8» er oppslagsnumre i bokas feilregister (kap. 8.6).
Typologiene i kortform
Rene repetisjonskort — hopp trygt over ved førstegangslesing. Kortene under samler reliabilitets- og validitetstypologiene som par (metode ↔ hva den fanger). Dette er flashcard-gullet i kapitlet.
Kjernekontrasten å ha klar: reliabilitet = stabilt (samme svar hver gang), validitet = riktig (måler det den skal). En test kan være reliabel uten å være valid, men ikke omvendt.
Reliabilitet er en forutsetning for validitet: en test som spretter tilfeldig kan ikke treffe presist. Derfor sjekkes reliabilitet typisk først. Men høy reliabilitet garanterer ikke validitet (klokka som går ti minutter for fort).
Passer når egenskapen er stabil over tid (personlighet). Svakhet: hukommelseseffekt — folk husker svarene sine. Løses med parallelle former.
To likeverdige testversjoner unngår at deltakerne husker svarene. Kostnaden: det er vanskelig å lage to genuint likeverdige tester.
Deler testen i to halvdeler og sjekker samsvar. Forutsetter at leddene måler det samme (homogen test).
Tallfester hvor samstemte leddene er (0–1). ~0,70+ akseptabelt, 0,80+ godt. Tak: svært høy alfa kan bety redundante ledd. Tolkes, regnes aldri for hånd.
Trengs når skåring krever skjønn (intervjuer, observasjoner). Måles som prosent enighet eller Cohens kappa (korrigert for tilfeldighet).
Om testen ser ut til å måle det den skal (overflatevurdering). Dobbeltrolle: motiverer, men lett å gjennomskue. Svakeste validitetsform.
Om testen dekker hele begrepets bredde. En matteprøve med bare addisjon har dårlig innholdsvaliditet for «matteferdighet».
Testen samsvarer med et kriterium målt samtidig (ny angstskala mot etablert skala). En undertype kriterievaliditet.
Testen forutsier et fremtidig utfall (opptaksprøve forutsier studieresultat). Den andre undertypen kriterievaliditet.
Den mest overordnede formen: om testen faktisk fanger det teoretiske begrepet. Bygges over tid ved at testen oppfører seg som teorien forutsier.
Testvaliditet gjelder instrumenter (face/innhold/kriterium/begrep); slutningsvaliditet gjelder studieslutninger (indre/ytre). Å blande dem er feil #5.
Andelen tilfeller der to bedømmere faktisk er enige. Rå enighet — overvurderer samstemthet fordi noe skyldes flaks. Derav behovet for kappa.
Enigheten man ville ventet ved ren gjetting. Trekkes fra i kappa-formelen slik at bare enighet utover flaks teller.
Cronbachs (reliabilitet, 0–1) er ikke signifikansnivået fra hypotesetesting (kap. 4.1). Samme bokstav, helt ulik betydning — en klassisk forvekslingsfelle.
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Innholdet er læringsstoff, ikke helse- eller medisinske råd. Les mer.