Type I og type II feil, teststyrke.
To typar feil i hypotesetesting
Når vi tek ei avgjerd basert på ein hypotesetest, kan vi gjere feil. Sidan vi baserer oss på eit utval (ikkje heile populasjonen), er det alltid ein risiko for å trekkje feil konklusjon.
Det finst to typar feil:
| er sann | er usann | |
|---|---|---|
| Forkastar | Type I-feil | Rett avgjerd |
| Forkastar ikkje | Rett avgjerd | Type II-feil |
Sannsynet for Type I-feil er lik signifikansnivået:
Døme: Vi konkluderer med at ein medisin har effekt, men i røyndomen har han ikkje det.
Type I-feil blir òg kalla falsk alarm eller falsk positiv.
Sannsynet for Type II-feil blir nemnt:
Døme: Vi konkluderer med at medisinen ikkje har effekt, men i røyndomen verkar han.
Type II-feil blir òg kalla glipp eller falsk negativ.
avheng av den sanne verdien av parameteren (som vi ikkje kjenner), og kan difor ikkje setjast direkte slik kan.
Teststyrke (power)
Teststyrken er sannsynet for å forkaste når faktisk er usann:
Ei høg teststyrke tyder at testen er god til å oppdage verkelege effektar.
Tommelfingerregel: Teststyrken bør vere minst 0,80 (80 %). Det tyder at vi oppdagar ein verkeleg effekt i minst 80 % av tilfella.
der er den sanne verdien av under .
For ein tosidig test er formelen meir kompleks, men prinsippet er det same.
Vi testar mot med , , og . Kva er teststyrken dersom den sanne verdien er ?
Berekning:
Teststyrken er 63,9 %. Det tyder at vi berre oppdagar effekten i om lag 64 % av tilfella - noko lågt!
Samanheng mellom , og
Dei tre faktorane påverkar kvarandre:
1. Auke (signifikansnivå):
- Lettare å forkaste
- blir redusert → styrken aukar
- Men risikoen for Type I-feil aukar
2. Auke (utvalsstorleik):
- Både og kan haldast låge
- Styrken aukar
- Men kostar meir (tid, pengar)
3. Stor effektstorleik (avvik frå ):
- Lettare å oppdage → styrken aukar
- Men vi kontrollerer ikkje effektstorleiken
Oppsummering:
- og er i «konflikt»: å redusere den eine aukar den andre (for fast )
- Den einaste måten å redusere begge samtidig er å auke
Vi ønskjer å teste mot med og styrke . Vi antar at den sanne verdien er og . Finn nødvendig utvalsstorleik.
Innsetjing: og (frå )
Vi treng observasjonar.
Praktisk vs. statistisk signifikans
Eit resultat kan vere statistisk signifikant utan å vere praktisk viktig, og omvendt.
Døme: Ein studie med finn at ein ny medisin senkar blodtrykket med 0,5 mmHg (p-verdi < 0,001). Resultatet er statistisk signifikant, men ein skilnad på 0,5 mmHg har neppe noka klinisk betydning.
Omvendt: Ein liten studie med finn at ei behandling reduserer smerter med 40 % (p-verdi = 0,08). Resultatet er ikkje statistisk signifikant, men effekten er potensielt klinisk viktig - problemet er for lite utval.
Konfidensintervall hjelper: Dei viser både estimert effekt (praktisk storleik) og uvisse (statistisk). Rapporter alltid konfidensintervall i tillegg til p-verdiar.
Løys oppgåvene:
Forklar med eigne ord kva ein Type I-feil er.
Forklar med eigne ord kva ein Type II-feil er.
Løys oppgåvene:
Ein brannalarm kan gi falsk alarm eller ikkje varsle ved ein ekte brann. Kva for ein er Type I-feil, og kva for ein er Type II-feil?
Løys oppgåvene:
Kva er teststyrken, og kva er ein god tommelfingerregel for styrke?
Løys oppgåvene:
Eit rettssystem kan gjere to typar feil: dømme ein uskuldig (Type I) eller frikjenne ein skuldig (Type II). Forklar kvifor rettssystemet har lågt («heva over kvar rimeleg tvil»).
Løys oppgåvene:
Kva skjer med teststyrken dersom vi aukar utvalsstorleiken ? Forklar intuitivt.
Løys oppgåvene:
Forklar kvifor ein ikkje kan redusere både og utan å endre noko anna.
Løys oppgåvene:
Finn nødvendig for å teste mot med , styrke og dersom vi ønskjer å oppdage .
Løys oppgåvene:
Ein studie med finn at ein medisin senkar kolesterolet med 0,1 mg/dL (p-verdi ). Klinisk relevant skilnad er minst 5 mg/dL. Diskuter statistisk vs. praktisk signifikans.
Løys oppgåvene:
I ein medisinsk studie er konsekvensane av Type I- og Type II-feil ulike. Forklar kva som er konsekvensane av kvar feiltype når ein testar ei ny behandling, og diskuter korleis ein bør velje .
Løys oppgåvene:
Forklar kva som blir meint med «effektstorleik» og kvifor denne er viktig i tillegg til p-verdien. Gi eit døme.
Oppsummering
Læringspunkt:
- Type I-feil: å forkaste ein sann (falsk positiv). Sannsynet er signifikansnivået .
- Type II-feil: å halde på ein gal (falsk negativ). Sannsynet blir kalla .
- Teststyrken er : sannsynet for å avsløre ein reell effekt. Tommelfingerregel: styrke .
- Styrken aukar med større utval, større reell effekt, større og mindre spreiing.
- og trekkjer i kvar si retning: blir senka (strengare test), aukar — med mindre blir auka.
| Nøkkelomgrep | Forklaring |
|---|---|
| Type I-feil | Forkaste sann — sannsyn |
| Type II-feil | Halde på gal — sannsyn |
| Teststyrke | : sjansen for å oppdage ein reell effekt |
| Effektstorleik | Kor stort det reelle avviket frå er |
Viktige formlar:
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
