Type I og type II feil, teststyrke.
To typer feil i hypotesetesting
Når vi tar en beslutning basert på en hypotesetest, kan vi gjøre feil. Siden vi baserer oss på et utvalg (ikke hele populasjonen), er det alltid en risiko for å trekke feil konklusjon.
Det finnes to typer feil:
| er sann | er usann | |
|---|---|---|
| Forkaster | Type I feil | Riktig beslutning |
| Forkaster ikke | Riktig beslutning | Type II feil |
Sannsynligheten for Type I feil er lik signifikansnivået:
Eksempel: Vi konkluderer med at en medisin har effekt, men i virkeligheten har den ikke det.
Type I feil kalles også falsk alarm eller falsk positiv.
Sannsynligheten for Type II feil betegnes:
Eksempel: Vi konkluderer med at medisinen ikke har effekt, men i virkeligheten virker den.
Type II feil kalles også glipp eller falsk negativ.
avhenger av den sanne verdien av parameteren (som vi ikke kjenner), og kan derfor ikke settes direkte som kan.
Teststyrke (power)
Teststyrken er sannsynligheten for å forkaste når faktisk er usann:
En høy teststyrke betyr at testen er god til å oppdage virkelige effekter.
Tommelfingerregel: Teststyrken bør være minst 0,80 (80 %). Det betyr at vi oppdager en virkelig effekt i minst 80 % av tilfellene.
der er den sanne verdien av under .
For en tosidig test er formelen mer kompleks, men prinsippet er det samme.
Vi tester mot med , , og . Hva er teststyrken hvis den sanne verdien er ?
Beregning:
Teststyrken er 63,9 %. Det betyr at vi bare oppdager effekten i omtrent 64 % av tilfellene - noe lavt!
Sammenheng mellom , og
De tre faktorene påvirker hverandre:
1. Øke (signifikansnivå):
- Lettere å forkaste
- reduseres → styrken øker
- Men risikoen for Type I feil øker
2. Øke (utvalgsstørrelse):
- Både og kan holdes lave
- Styrken øker
- Men koster mer (tid, penger)
3. Stor effektstørrelse (avvik fra ):
- Lettere å oppdage → styrken øker
- Men vi kontrollerer ikke effektstørrelsen
Oppsummering:
- og er i «konflikt»: å redusere den ene øker den andre (for fast )
- Den eneste måten å redusere begge samtidig er å øke
Vi ønsker å teste mot med og styrke . Vi antar at den sanne verdien er og . Finn nødvendig utvalgsstørrelse.
Innsetting: og (fra )
Vi trenger observasjoner.
Praktisk vs. statistisk signifikans
Et resultat kan være statistisk signifikant uten å være praktisk viktig, og omvendt.
Eksempel: En studie med finner at en ny medisin senker blodtrykket med 0,5 mmHg (p-verdi < 0,001). Resultatet er statistisk signifikant, men en forskjell på 0,5 mmHg har neppe noen klinisk betydning.
Omvendt: En liten studie med finner at en behandling reduserer smerter med 40 % (p-verdi = 0,08). Resultatet er ikke statistisk signifikant, men effekten er potensielt klinisk viktig - problemet er for lite utvalg.
Konfidensintervall hjelper: De viser både estimert effekt (praktisk størrelse) og usikkerhet (statistisk). Rapporter alltid konfidensintervall i tillegg til p-verdier.
Løs oppgavene:
Forklar med egne ord hva en Type I feil er.
Forklar med egne ord hva en Type II feil er.
Løs oppgavene:
En brannalarm kan gi falsk alarm eller ikke varsle ved en ekte brann. Hvilken er Type I feil, og hvilken er Type II feil?
Løs oppgavene:
Hva er teststyrken, og hva er en god tommelfingerregel for styrke?
Løs oppgavene:
Et rettssystem kan gjøre to typer feil: dømme en uskyldig (Type I) eller frikjenne en skyldig (Type II). Forklar hvorfor rettssystemet har lavt («hevet over enhver rimelig tvil»).
Løs oppgavene:
Hva skjer med teststyrken dersom vi øker utvalgsstørrelsen ? Forklar intuitivt.
Løs oppgavene:
Forklar hvorfor man ikke kan redusere både og uten å endre noe annet.
Løs oppgavene:
Finn nødvendig for å teste mot med , styrke og dersom vi ønsker å oppdage .
Løs oppgavene:
En studie med finner at en medisin senker kolesterolet med 0,1 mg/dL (p-verdi ). Klinisk relevant forskjell er minst 5 mg/dL. Diskuter statistisk vs. praktisk signifikans.
Løs oppgavene:
I en medisinsk studie er konsekvensene av Type I og Type II feil ulike. Forklar hva som er konsekvensene av hver feiltype når man tester en ny behandling, og diskuter hvordan man bør velge .
Løs oppgavene:
Forklar hva som menes med «effektstørrelse» og hvorfor denne er viktig i tillegg til p-verdien. Gi et eksempel.
Oppsummering
Læringspunkter:
- Type I-feil: å forkaste en sann (falsk positiv). Sannsynligheten er signifikansnivået .
- Type II-feil: å beholde en gal (falsk negativ). Sannsynligheten kalles .
- Teststyrken er : sannsynligheten for å avsløre en reell effekt. Tommelfingerregel: styrke .
- Styrken øker med større utvalg, større reell effekt, større og mindre spredning.
- og trekker i hver sin retning: senkes (strengere test), øker — med mindre økes.
| Nøkkelbegrep | Forklaring |
|---|---|
| Type I-feil | Forkaste sann — sannsynlighet |
| Type II-feil | Beholde gal — sannsynlighet |
| Teststyrke | : sjansen for å oppdage en reell effekt |
| Effektstørrelse | Hvor stort det reelle avviket fra er |
Viktige formler:
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
