Systematiske og tilfeldige feil, konfunderende variabler.
Reliabilitet, validitet og feilkjelder
Uansett kor godt eit forskingsprosjekt er planlagt, vil det alltid innehalde ein viss grad av uvisse. Spørsmålet er ikkje om det finst feilkjelder, men kva feilkjelder som er til stades, og kor mykje dei påverkar resultata.
To nøkkelomgrep hjelper oss med å vurdere kvaliteten på forsking: reliabilitet (pålitelegheit) og validitet (gyldigheit). Desse omgrepa er ikkje berre viktige i forsking — dei er avgjerande for all kunnskapsproduksjon, frå laboratorieeksperiment til spørjeundersøkingar, frå kvalitative intervju til teknologiske målingar.
I dette kapittelet skal vi forstå kva reliabilitet og validitet tyder, lære å skilje mellom systematiske og tilfeldige feil, og bli kjende med konfunderande variablar — den «usynlege fienden» i forskingsdesign.
Ei måling er reliabel dersom:
- Gjentekne målingar av det same gjev tilnærma like resultat (test-retest-reliabilitet)
- Ulike observatørar gjev like vurderingar av det same fenomenet (inter-rater-reliabilitet)
- Ulike delar av eit måleinstrument måler det same (intern konsistens)
Analogi: Tenk på ei badevekt. Viss ho viser 72 kg kvar gong du stiller deg på henne (under like forhold), er ho reliabel. Viss ho viser 72, 68, 75 og 69 kg på fire påfølgjande målingar, er ho ikkje reliabel — sjølv om gjennomsnittet kanskje er rett.
Typar reliabilitet
Test-retest-reliabilitet: Same test vert gjeven til dei same personane på to ulike tidspunkt. Høg korrelasjon mellom resultata indikerer god reliabilitet. Døme: Ein konsentrasjonstest vert gjeven til 50 elevar på måndag og igjen på onsdag. Viss elevane scorar omtrent likt begge gongene, har testen god test-retest-reliabilitet.
Inter-rater-reliabilitet: To eller fleire uavhengige bedømmarar vurderer det same materialet. Høg semje mellom bedømmarane indikerer god reliabilitet. Døme: To lærarar rettar same sett med essay. Viss dei gjev omtrent like karakterar, er vurderinga reliabel.
Intern konsistens: Ulike spørsmål i eit spørjeskjema som måler same omgrep bør gje samsvarande svar. Vert ofte målt med Cronbachs alfa — ein verdi mellom 0 og 1, der verdiar over 0,7 vert rekna som akseptable.
Kva trugar reliabiliteten?
- Tilfeldige feil i måleinstrument (t.d. elektronisk støy i ein sensor)
- Variasjonar i vilkår (temperaturendringar, ulik tid på døgnet)
- Trøyttleik eller motivasjonsendringar hos deltakarane
- Uklare instruksjonar som vert tolka ulikt
- For få målingar til å jamne ut tilfeldig variasjon
Ein elev måler akselerasjonen til ei trille på eit skråplan. Ho gjer 5 målingar og får verdiane: 2,3 m/s², 2,5 m/s², 2,4 m/s², 2,3 m/s² og 2,4 m/s². Er målingane reliable? Kva om verdiane i staden var 2,3, 3,1, 1,8, 2,9 og 2,0 m/s²?
- Gjennomsnitt: 2,38 m/s²
- Spreiing: Alle verdiar ligg mellom 2,3 og 2,5 (svært liten variasjon)
- Vurdering: God reliabilitet. Målingane er konsistente og stabile.
Andre datasett: 2,3 — 3,1 — 1,8 — 2,9 — 2,0 m/s²
- Gjennomsnitt: 2,42 m/s²
- Spreiing: Verdiane sprikar frå 1,8 til 3,1 (stor variasjon)
- Vurdering: Dårleg reliabilitet. Sjølv om gjennomsnittet er nesten likt, er målingane inkonsistente.
Merk: Begge datasetta gjev omtrent same gjennomsnitt (~2,4), men vi kan stole mykje meir på det første. Reliabilitet handlar om spreiinga, ikkje gjennomsnittet.
Eleven bør undersøkje årsaka til den store spreiinga i det andre datasettet: kanskje vart trilla plassert ulikt, kanskje var tidtakinga upresis, eller kanskje var underlaget ujamt.
Ein forskar utviklar eit spørjeskjema for å måle «teknologiangst» hos eldre. Kva er den mest relevante forma for reliabilitet å teste først?
Medan reliabilitet handlar om konsistens (presisjon), handlar validitet om nøyaktigheit (rettheit). Ei måling kan vere reliabel utan å vere valid — som ei vekt som konsekvent viser 3 kg for mykje. Ho er påliteleg (same tal kvar gong), men ikkje gyldig (viser feil vekt).
Hovudtypar validitet:
- Omgrepsvaliditet: Måler instrumentet det teoretiske omgrepet vi ønskjer å måle?
- Intern validitet: Kan vi slutte at X forårsakar Y, eller finst det alternative forklaringar?
- Ekstern validitet: Kan resultata generaliserast til andre grupper, situasjonar og tidspunkt?
- Statistisk konklusjonsvaliditet: Er dei statistiske slutningane korrekte?
Validitetstypar i detalj
Omgrepsvaliditet (construct validity) spør om måleinstrumentet faktisk fangar det teoretiske omgrepet. Døme: Viss vi vil måle «kreativitet», men spørjeskjemaet vårt eigentleg måler «evne til å følgje instruksjonar», har vi dårleg omgrepsvaliditet.
Omgrepsvaliditet vert styrkt gjennom:
- Konvergent validitet: Målet vårt korrelerer med andre etablerte mål på same omgrep
- Diskriminant validitet: Målet vårt korrelerer ikkje med mål på andre omgrep
Intern validitet er avgjerande for kausalforsking og spør: «Er det verkeleg den uavhengige variabelen som forårsakar endringa i den avhengige variabelen?» Trugsmål mot intern validitet inkluderer:
- Konfunderande variablar (omtala under)
- Modning: Deltakarane endrar seg over tid uavhengig av behandling
- Testing-effekt: Å ta ein test første gong påverkar resultatet andre gong
- Instrumentendring: Måleinstrumentet endrar seg eller vert kalibrert annleis over tid
- Fråfall: Systematisk fråfall av deltakarar kan skeive gruppene
Ekstern validitet handlar om generaliserbarheit. Eit eksperiment med universitetsstudentar kan ha sterk intern validitet, men svak ekstern validitet dersom resultata ikkje gjeld for andre aldersgrupper. Ekstern validitet vert styrkt gjennom representative utval, konseptuell replikasjon og forsking i naturlege settingar.
Forholdet mellom reliabilitet og validitet
Eit viktig prinsipp: Reliabilitet er ein nødvendig, men ikkje tilstrekkeleg føresetnad for validitet.
- Ei måling som ikkje er reliabel kan aldri vere valid (kaotiske målingar kan ikkje treffe rett)
- Ei måling som er reliabel kan likevel vere invalid (systematisk feil — presise, men gale)
- Målet er å oppnå både høg reliabilitet og høg validitet
Ein forskar vil måle intelligens hos born. Ho brukar hovudstorleik (hovudomkrins) som mål. Målingane er svært reliable — same born vert målt til 52,3 cm gong etter gong. Er målinga valid?
Validitet: Nei, målinga er ikkje valid. Hovudstorleik er eit svært dårleg mål på intelligens. Sjølv om det finst ein svak korrelasjon mellom hjernestorleik og visse kognitive mål, er hovudstorleik påverka av mange andre faktorar (genetikk, kroppsstorleik, alder) og fangar ikkje det komplekse omgrepet «intelligens».
Konklusjon: Dette illustrerer at reliabilitet er nødvendig, men ikkje tilstrekkeleg for validitet. Målinga er presis og konsistent (reliabel), men måler noko anna enn det vi ønskjer (ikkje valid). Eit valid mål på intelligens ville krevje standardiserte kognitive testar som faktisk måler resonneringsevne, problemløysing og liknande.
Kva er forholdet mellom reliabilitet og validitet?
Systematiske og tilfeldige feil
Alle målingar inneheld feil. Vi skil mellom to hovudtypar:
Tilfeldige feil (random errors) varierer tilfeldig frå måling til måling og kan gå i begge retningar. Døme: naturleg variasjon i reaksjonstid, elektronisk støy i sensorar, ulike avlesingsvinklar. Tilfeldige feil reduserer reliabiliteten og kan minkast ved å ta mange målingar og rekne ut gjennomsnitt.
Systematiske feil (systematic errors/bias) går konsekvent i same retning og påverkar validiteten. Døme: ei klokke som går 5 sekund for fort, eit spørjeskjema med leiande spørsmål, ein temperaturmålar som konsekvent viser 2 °C for mykje. Systematiske feil kan ikkje eliminerast ved å ta fleire målingar — dei finst i gjennomsnittet òg.
| Eigenskap | Tilfeldige feil | Systematiske feil |
|---|---|---|
| Retning | Tilfeldig (begge vegar) | Konsekvent (éi retning) |
| Effekt | Reduserer reliabilitet | Reduserer validitet |
| Løysing | Fleire målingar, gjennomsnitt | Kalibrering, betre design |
| Synlegheit | Synest i spreiinga | Skjult i gjennomsnittet |
Konfunderande variablar
Ein konfunderande variabel (confounder) er ein «tredjepartsvariabel» som påverkar både den uavhengige og den avhengige variabelen, og som dermed kan skape ein falsk samanheng eller skjule ein ekte samanheng mellom dei.
Konfunderande variablar er det største trugsmålet mot intern validitet. For å kontrollere for dei kan vi:
1. Randomisering: Fordeler alle konfunderande variablar (kjende og ukjende) tilfeldig mellom gruppene
2. Matching: Parar deltakarar med like eigenskapar i eksperiment- og kontrollgruppe
3. Statistisk kontroll: Inkluder konfunderaren i regresjonsanalysen
4. Blokkdesign: Stratifiser utvalet etter konfunderaren og analyser innanfor kvart stratum
5. Halde konstant: Hald konfunderaren lik for alle grupper (t.d. berre teste jenter)
Det mest problematiske med konfunderande variablar er at vi kanskje ikkje veit at dei eksisterer. Ein studie kan finne ein sterk samanheng mellom to variablar, men den eigentlege årsaka kan vere ein tredje variabel forskaren aldri har tenkt på.
Døme: Ein studie finn at born som et frukost, presterer betre på skulen. Men kanskje er den eigentlege konfunderaren familiestabilitet — familiar som et frukost saman har kanskje òg meir struktur, meir søvn og meir foreldreinvolvering. Berre eit ekte eksperiment med randomisering kan kontrollere for alle konfunderande variablar, inkludert dei ukjende.
Ein elev undersøkjer om romtemperatur påverkar reaksjonstid. Ho testar 10 medelevar om morgonen i eit kaldt rom (18 °C) og dei same 10 om ettermiddagen i eit varmt rom (25 °C). Reaksjonstida er i gjennomsnitt 15 ms raskare om morgonen. Ho konkluderer med at kalde rom gjev raskare reaksjonstid. Identifiser minst tre feilkjelder.
Målingane i kaldt rom vart gjorde om morgonen, og i varmt rom om ettermiddagen. Skilnaden i reaksjonstid kan skuldast at elevane er meir opplagde om morgonen og meir trøytte etter ein lang dag. Tid på døgnet og romtemperatur er konfunderte — dei varierer saman.
Feilkjelde 2: Testing-effekt (øvingseffekt)
Alle deltakarane vart testa to gonger — først om morgonen, deretter om ettermiddagen. Den andre målinga kan vere påverka av øving: deltakarane har lært oppgåva. Eller omvendt: dei kan ha blitt leie og gjort mindre innsats.
Feilkjelde 3: Lite utval
Berre 10 deltakarar gjev stor uvisse. Med så få personar kan tilfeldige variasjonar gje store utslag, og ein skilnad på 15 ms er kanskje ikkje statistisk signifikant.
Betre design: Bruk randomisert rekkjefølgje (halvparten startar i kaldt rom, halvparten i varmt), test på same tid på døgnet, bruk eit større utval, og inkluder ein kvilepause mellom målingane.
Ein ny studie viser at elevar som brukar digitale notatverktøy scorar 8 % høgare på prøver enn elevar som brukar penn og papir. Studien er ein tverrsnittstudie med 200 deltakarar. Diskuter minst to konfunderande variablar som kan forklare denne samanhengen, og føreslå eit betre forskingsdesign.
Oppsummering
- Reliabilitet handlar om konsistens og pålitelegheit i målingar. Typar: test-retest, inter-rater og intern konsistens.
- Validitet handlar om gyldigheit — at vi måler det vi trur vi måler. Typar: omgreps-, intern, ekstern og statistisk konklusjonsvaliditet.
- Reliabilitet er ein nødvendig, men ikkje tilstrekkeleg føresetnad for validitet.
- Tilfeldige feil varierer i begge retningar og reduserer reliabiliteten. Løysing: ta fleire målingar.
- Systematiske feil (bias) går i same retning og reduserer validiteten. Løysing: kalibrering og betre design.
- Konfunderande variablar er tredjepartsvariablar som trugar intern validitet ved å skape falske samanhengar.
- Kontroll for konfunderande variablar vert oppnådd gjennom randomisering, matching, statistisk kontroll og god forsøksplanlegging.
Ei gruppe elevar har bygd ei vindmølle og vil måle effekten (watt) ved ulike vindhastigheiter. Dei brukar ein digital effektmålar og ein vindmålar. Skildra: (a) minst to moglege tilfeldige feilkjelder og korleis dei kan reduserast, (b) minst éi mogleg systematisk feilkjelde og korleis ho kan oppdagast og korrigerast, og (c) kva det tyder for reliabiliteten og validiteten av resultata.
Les følgjande forskingssamandrag: «Vi undersøkte om bruk av sosiale medium påverkar søvnkvaliteten hos ungdom (N = 300). Deltakarane rapporterte si daglege skjermtid og søvnkvalitet via spørjeskjema. Vi fann ein signifikant negativ korrelasjon (r = −0,42, p < 0,001): jo meir skjermtid, desto dårlegare søvnkvalitet.» Vurder reliabiliteten, validiteten og moglege feilkjelder i studien. Diskuter minst: (a) omgrepsvaliditet, (b) intern validitet, (c) to konfunderande variablar, og (d) forslag til forbetring.
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.