Systematiske og tilfeldige feil, konfunderende variabler.
Reliabilitet, validitet og feilkilder
Uansett hvor godt et forskningsprosjekt er planlagt, vil det alltid inneholde en viss grad av usikkerhet. Spørsmålet er ikke om det finnes feilkilder, men hvilke feilkilder som er til stede, og hvor mye de påvirker resultatene.
To nøkkelbegreper hjelper oss med å vurdere kvaliteten på forskning: reliabilitet (pålitelighet) og validitet (gyldighet). Disse begrepene er ikke bare viktige i forskning — de er avgjørende for all kunnskapsproduksjon, fra laboratorieeksperimenter til spørreundersøkelser, fra kvalitative intervjuer til teknologiske målinger.
I dette kapittelet skal vi forstå hva reliabilitet og validitet betyr, lære å skille mellom systematiske og tilfeldige feil, og bli kjent med konfunderende variabler — den «usynlige fienden» i forskningsdesign.
En måling er reliabel dersom:
- Gjentatte målinger av det samme gir tilnærmet like resultater (test-retest-reliabilitet)
- Ulike observatører gir like vurderinger av det samme fenomenet (inter-rater-reliabilitet)
- Ulike deler av et måleinstrument måler det samme (intern konsistens)
Analogi: Tenk på en badevekt. Hvis den viser 72 kg hver gang du stiller deg på den (under like forhold), er den reliabel. Hvis den viser 72, 68, 75 og 69 kg på fire påfølgende målinger, er den ikke reliabel — selv om gjennomsnittet kanskje er riktig.
Typer reliabilitet
Test-retest-reliabilitet: Samme test gis til de samme personene på to ulike tidspunkter. Høy korrelasjon mellom resultatene indikerer god reliabilitet. Eksempel: En konsentrasjonstest gis til 50 elever på mandag og igjen på onsdag. Hvis elevene scorer omtrent likt begge ganger, har testen god test-retest-reliabilitet.
Inter-rater-reliabilitet: To eller flere uavhengige bedømmere vurderer det samme materialet. Høy enighet mellom bedømmerne indikerer god reliabilitet. Eksempel: To lærere retter samme sett med essay. Hvis de gir omtrent like karakterer, er vurderingen reliabel.
Intern konsistens: Ulike spørsmål i et spørreskjema som måler samme begrep bør gi samsvarende svar. Måles ofte med Cronbachs alfa — en verdi mellom 0 og 1, der verdier over 0,7 regnes som akseptable.
Hva truer reliabiliteten?
- Tilfeldige feil i måleinstrumenter (f.eks. elektronisk støy i en sensor)
- Variasjoner i betingelser (temperaturendringer, ulik tid på døgnet)
- Tretthet eller motivasjonsendringer hos deltakerne
- Uklare instruksjoner som tolkes ulikt
- For få målinger til å jevne ut tilfeldig variasjon
En elev måler akselerasjonen til en trille på et skråplan. Hun gjør 5 målinger og får verdiene: 2,3 m/s², 2,5 m/s², 2,4 m/s², 2,3 m/s² og 2,4 m/s². Er målingene reliable? Hva om verdiene i stedet var 2,3, 3,1, 1,8, 2,9 og 2,0 m/s²?
- Gjennomsnitt: 2,38 m/s²
- Spredning: Alle verdier ligger mellom 2,3 og 2,5 (svært liten variasjon)
- Vurdering: God reliabilitet. Målingene er konsistente og stabile.
Andre datasett: 2,3 — 3,1 — 1,8 — 2,9 — 2,0 m/s²
- Gjennomsnitt: 2,42 m/s²
- Spredning: Verdiene spriker fra 1,8 til 3,1 (stor variasjon)
- Vurdering: Dårlig reliabilitet. Selv om gjennomsnittet er nesten likt, er målingene inkonsistente.
Merk: Begge datasettene gir omtrent samme gjennomsnitt (~2,4), men vi kan stole mye mer på det første. Reliabilitet handler om spredningen, ikke gjennomsnittet.
Eleven bør undersøke årsaken til den store spredningen i det andre datasettet: kanskje trilla ble plassert ulikt, kanskje tidtakingen var upresis, eller kanskje underlaget var ujevnt.
En forsker utvikler et spørreskjema for å måle «teknologiangst» hos eldre. Hva er den mest relevante formen for reliabilitet å teste først?
Mens reliabilitet handler om konsistens (presisjon), handler validitet om nøyaktighet (riktighet). En måling kan være reliabel uten å være valid — som en vekt som konsekvent viser 3 kg for mye. Den er pålitelig (samme tall hver gang), men ikke gyldig (viser feil vekt).
Hovedtyper validitet:
- Begrepsvaliditet: Måler instrumentet det teoretiske begrepet vi ønsker å måle?
- Intern validitet: Kan vi slutte at X forårsaker Y, eller finnes det alternative forklaringer?
- Ekstern validitet: Kan resultatene generaliseres til andre grupper, situasjoner og tidspunkter?
- Statistisk konklusjonsvaliditet: Er de statistiske slutningene korrekte?
Validitetstyper i detalj
Begrepsvaliditet (construct validity) spør om måleinstrumentet faktisk fanger det teoretiske begrepet. Eksempel: Hvis vi vil måle «kreativitet», men spørreskjemaet vårt egentlig måler «evne til å følge instruksjoner», har vi dårlig begrepsvaliditet.
Begrepsvaliditet styrkes gjennom:
- Konvergent validitet: Vårt mål korrelerer med andre etablerte mål på samme begrep
- Diskriminant validitet: Vårt mål korrelerer ikke med mål på andre begreper
Intern validitet er avgjørende for kausalforskning og spør: «Er det virkelig den uavhengige variabelen som forårsaker endringen i den avhengige variabelen?» Trusler mot intern validitet inkluderer:
- Konfunderende variabler (omtales under)
- Modning: Deltakerne endrer seg over tid uavhengig av behandling
- Testing-effekt: Å ta en test første gang påvirker resultatet andre gang
- Instrumentendring: Måleinstrumentet endres eller kalibreres annerledes over tid
- Frafall: Systematisk frafall av deltakere kan skjeve gruppene
Ekstern validitet handler om generaliserbarhet. Et eksperiment med universitetsstudenter kan ha sterk intern validitet, men svak ekstern validitet dersom resultatene ikke gjelder for andre aldersgrupper. Ekstern validitet styrkes gjennom representative utvalg, konseptuell replikasjon og forskning i naturlige settinger.
Forholdet mellom reliabilitet og validitet
Et viktig prinsipp: Reliabilitet er en nødvendig, men ikke tilstrekkelig betingelse for validitet.
- En måling som ikke er reliabel kan aldri være valid (kaotiske målinger kan ikke treffe riktig)
- En måling som er reliabel kan likevel være invalid (systematisk feil — presise, men gale)
- Målet er å oppnå både høy reliabilitet og høy validitet
En forsker vil måle intelligens hos barn. Hun bruker hodestørrelse (hodeomkrets) som mål. Målingene er svært reliable — samme barn måles til 52,3 cm gang etter gang. Er målingen valid?
Validitet: Nei, målingen er ikke valid. Hodestørrelse er et svært dårlig mål på intelligens. Selv om det finnes en svak korrelasjon mellom hjernesstørrelse og visse kognitive mål, er hodestørrelse påvirket av mange andre faktorer (genetikk, kroppsstørrelse, alder) og fanger ikke det komplekse begrepet «intelligens».
Konklusjon: Dette illustrerer at reliabilitet er nødvendig, men ikke tilstrekkelig for validitet. Målingen er presis og konsistent (reliabel), men måler noe annet enn det vi ønsker (ikke valid). Et valid mål på intelligens ville kreve standardiserte kognitive tester som faktisk måler resonneringsevne, problemløsning og lignende.
Hva er forholdet mellom reliabilitet og validitet?
Systematiske og tilfeldige feil
Alle målinger inneholder feil. Vi skiller mellom to hovedtyper:
Tilfeldige feil (random errors) varierer tilfeldig fra måling til måling og kan gå i begge retninger. Eksempler: naturlig variasjon i reaksjonstid, elektronisk støy i sensorer, ulike avlesningsvinkler. Tilfeldige feil reduserer reliabiliteten og kan minskes ved å ta mange målinger og beregne gjennomsnitt.
Systematiske feil (systematic errors/bias) går konsekvent i samme retning og påvirker validiteten. Eksempler: en klokke som går 5 sekunder for fort, et spørreskjema med ledende spørsmål, en temperaturmåler som konsekvent viser 2 °C for mye. Systematiske feil kan ikke elimineres ved å ta flere målinger — de finnes i gjennomsnittet også.
| Egenskap | Tilfeldige feil | Systematiske feil |
|---|---|---|
| Retning | Tilfeldig (begge veier) | Konsekvent (én retning) |
| Effekt | Reduserer reliabilitet | Reduserer validitet |
| Løsning | Flere målinger, gjennomsnitt | Kalibrering, bedre design |
| Synlighet | Synes i spredningen | Skjult i gjennomsnittet |
Konfunderende variabler
En konfunderende variabel (confounder) er en «tredjepartsvariabel» som påvirker både den uavhengige og den avhengige variabelen, og som dermed kan skape en falsk sammenheng eller skjule en ekte sammenheng mellom dem.
Konfunderende variabler er den største trusselen mot intern validitet. For å kontrollere for dem kan vi:
1. Randomisering: Fordeler alle konfunderende variabler (kjente og ukjente) tilfeldig mellom gruppene
2. Matching: Parer deltakere med like egenskaper i eksperiment- og kontrollgruppe
3. Statistisk kontroll: Inkluder konfunderen i regresjonsanalysen
4. Blokkdesign: Stratifiser utvalget etter konfunderen og analyser innenfor hvert stratum
5. Holde konstant: Hold konfunderen lik for alle grupper (f.eks. kun teste jenter)
Det mest problematiske med konfunderende variabler er at vi kanskje ikke vet at de eksisterer. En studie kan finne en sterk sammenheng mellom to variabler, men den egentlige årsaken kan være en tredje variabel forskeren aldri har tenkt på.
Eksempel: En studie finner at barn som spiser frokost, presterer bedre på skolen. Men kanskje er den egentlige konfunderen familiestabilitet — familier som spiser frokost sammen har kanskje også mer struktur, mer søvn og mer foreldreinvolvering. Bare et ekte eksperiment med randomisering kan kontrollere for alle konfunderende variabler, inkludert de ukjente.
En elev undersøker om romtemperatur påvirker reaksjonstid. Hun tester 10 medelever om morgenen i et kaldt rom (18 °C) og de samme 10 om ettermiddagen i et varmt rom (25 °C). Reaksjonstiden er i gjennomsnitt 15 ms raskere om morgenen. Hun konkluderer med at kalde rom gir raskere reaksjonstid. Identifiser minst tre feilkilder.
Målingene i kaldt rom ble gjort om morgenen, og i varmt rom om ettermiddagen. Forskjellen i reaksjonstid kan skyldes at elevene er mer opplagte om morgenen og mer trøtte etter en lang dag. Tid på døgnet og romtemperatur er konfundert — de varierer sammen.
Feilkilde 2: Testing-effekt (øvingseffekt)
Alle deltakerne ble testet to ganger — først om morgenen, deretter om ettermiddagen. Den andre målingen kan være påvirket av øving: deltakerne har lært oppgaven. Eller omvendt: de kan ha blitt lei og gjort mindre innsats.
Feilkilde 3: Lite utvalg
Kun 10 deltakere gir stor usikkerhet. Med så få personer kan tilfeldige variasjoner gi store utslag, og en forskjell på 15 ms er kanskje ikke statistisk signifikant.
Bedre design: Bruk randomisert rekkefølge (halvparten starter i kaldt rom, halvparten i varmt), test på samme tid på døgnet, bruk et større utvalg, og inkluder en hvilepause mellom målingene.
En ny studie viser at elever som bruker digitale notatverktøy scorer 8 % høyere på prøver enn elever som bruker penn og papir. Studien er en tverrsnittstudie med 200 deltakere. Diskuter minst to konfunderende variabler som kan forklare denne sammenhengen, og foreslå et bedre forskningsdesign.
Oppsummering
- Reliabilitet handler om konsistens og pålitelighet i målinger. Typer: test-retest, inter-rater og intern konsistens.
- Validitet handler om gyldighet — at vi måler det vi tror vi måler. Typer: begreps-, intern, ekstern og statistisk konklusjonsvaliditet.
- Reliabilitet er en nødvendig, men ikke tilstrekkelig betingelse for validitet.
- Tilfeldige feil varierer i begge retninger og reduserer reliabiliteten. Løsning: ta flere målinger.
- Systematiske feil (bias) går i samme retning og reduserer validiteten. Løsning: kalibrering og bedre design.
- Konfunderende variabler er tredjepartsvariabler som truer intern validitet ved å skape falske sammenhenger.
- Kontroll for konfunderende variabler oppnås gjennom randomisering, matching, statistisk kontroll og god forsøksplanlegging.
En gruppe elever har bygget en vindmølle og vil måle effekten (watt) ved ulike vindhastigheter. De bruker en digital effektmåler og en vindmåler. Beskriv: (a) minst to mulige tilfeldige feilkilder og hvordan de kan reduseres, (b) minst én mulig systematisk feilkilde og hvordan den kan oppdages og korrigeres, og (c) hva det betyr for reliabiliteten og validiteten av resultatene.
Les følgende forskningssammendrag: «Vi undersøkte om bruk av sosiale medier påvirker søvnkvaliteten hos ungdom (N = 300). Deltakerne rapporterte sin daglige skjermtid og søvnkvalitet via spørreskjema. Vi fant en signifikant negativ korrelasjon (r = −0,42, p < 0,001): jo mer skjermtid, desto dårligere søvnkvalitet.» Vurder studiens reliabilitet, validitet og mulige feilkilder. Diskuter minst: (a) begrepsvaliditet, (b) intern validitet, (c) to konfunderende variabler, og (d) forslag til forbedring.
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.