4.2 Type I- og Type II-feil, power og utvalgsstørrelse
De to feilbeslutningene og balansen mellom dem — med power som det stigende A-temaet: hvorfor større utvalg gjør det lettere å avsløre en falsk H0.
- Kjernedelen (perfekt-nivå): definere de to feiltypene, koble dem til α og β, og si hva hver feil BETYR konkret i det gitte scenariet.
- Power-delen (kunne, stigende): power = 1 − β, og kjeden større utvalg → mindre standardfeil → lettere å avsløre en falsk H0.
- Den vanligste tabben (feil #2 — vi glosser feilkodene ved første bruk; hele registeret står i kap. 8.6) er å blande Type I og Type II. V2024-veiledningen skriver rett ut at «det er ganske vanlig at studentene blander». Vi bygger en fast huskeregel.
Øktmerking: ~55 min lesetid (×1,5 ved håndskriving), delt i tre løkker med pausepunkter.
Sist du var her (nøkkelbegrepene oppfrisket):
- = signifikansnivået = terskelen p sammenlignes mot, og risikoen for å forkaste en sann (fra 4.1).
- Beslutningsregelen: forkast hvis (fra 4.1).
- : standardfeilen krymper når vokser (fra 3.3) — dette er nøkkelen til power.
Her ser vi på hva som kan gå galt i en beslutning, og hvordan vi gjør det lettere å oppdage ekte effekter.
Løkke 1 — De to feilbeslutningene (~20 min)
En hypotesetest står overfor nøyaktig de samme to feilene. Vi vet aldri sikkert om egentlig er sann eller ikke, så beslutningen vår (forkaste eller beholde) kan bomme på to måter.
En Type I-feil er å forkaste en sann — å konkludere med at det finnes en effekt når det i virkeligheten ikke gjør det. Dette er alarmen som uler uten at det brenner.
Risikoen for en Type I-feil er nettopp (signifikansnivået). Setter vi , godtar vi 5 % sjanse for falsk alarm hver gang faktisk er sann. Vil vi ha færre falske alarmer, senker vi (til 0,01) — men det har en pris (se Type II).
En Type II-feil er å beholde en falsk — å overse en effekt som faktisk finnes. Dette er alarmen som tier mens det brenner.
Risikoen for en Type II-feil kalles (den greske bokstaven «beta»). avhenger av tre ting: hvor stor den ekte effekten er, hvor stort utvalget () er, og hvilket vi valgte. Vi kan ikke lese direkte av α — de to feiltypene henger sammen via en avveining.
Å blande de to feiltypene er den vanligste tabben her — V2024-veiledningen skriver rett ut at «det er ganske vanlig at studentene blander». Lær denne analogien:
- Type I = alarmen varsler brann uten røyk (falsk alarm, forkaster en sann , risiko = ).
- Type II = alarmen overser brannen (den ekte effekten glipper, beholder en falsk , risiko = ).
Huskeregelen med tallene: 1 kommer før 2 — akkurat som du først setter α (Type I) når du planlegger testen, og β (Type II) er konsekvensen som følger av valgene dine. Type I handler om å se noe som ikke er der; Type II om å ikke se noe som er der.
En forsker tester en ny medisin. I virkeligheten virker medisinen ikke ( er sann), men testen gir , og forskeren konkluderer at den virker.
a) Hvilken feiltype er dette?
b) Hvilken risiko (symbol) styrer hvor ofte en slik feil skjer?
En annen medisin virker faktisk ( er falsk), men studien er liten og gir , så forskeren beholder og konkluderer at medisinen ikke virker.
a) Hvilken feiltype er dette?
b) Hva heter risikoen for en slik feil, og hva er power uttrykt ved den?
Løkke 2 — Beslutningsmatrisen og avveiningen (~18 min)
— naturlig pausepunkt —
Alle fire utfall av en test kan settes i en tabell — sannhet (rad) mot beslutning (kolonne):
| H0 er sann (ingen effekt) | H0 er falsk (ekte effekt) | |
|---|---|---|
| Forkast H0 | ❌ Type I-feil (risiko ) | ✔ Riktig (power ) |
| Behold H0 | ✔ Riktig | ❌ Type II-feil (risiko ) |
De to riktige rutene ligger på diagonalen. De to feilene ligger på motdiagonalen: Type I øverst til venstre (så noe som ikke var der), Type II nederst til høyre (overså noe som var der). Figuren under viser den samme matrisen med feil-cellene fargekodet. Å kunne tegne og tolke denne tabellen er selve kjernen i deloppgaven.
Konvensjonen er 80 % power (β = 0,20). En test med lav power vil ofte overse ekte effekter (mange Type II-feil). Power øker med (i) større ekte effekt, (ii) større utvalg , og (iii) et mildere (større) . Merk at 80 %-konvensjonen aksepterer en langt høyere feilrisiko for Type II () enn for Type I () — falsk alarm regnes vanligvis som mer alvorlig enn en oversett effekt.
Hvilken feil er verst? Det avhenger av konteksten. Ved screening for en alvorlig sykdom er en oversett sykdom (Type II) verst — man vil heller ha noen falske alarmer. Ved godkjenning av et nytt medikament er det motsatt: å godkjenne noe virkningsløst (Type I) kan være farligere. En A-besvarelse drøfter dette i lys av det konkrete scenariet, ikke abstrakt.
En ny behandling mot flyskrekk testes mot ingen behandling. : behandlingen har ingen effekt.
a) Hva ville en Type I-feil bety konkret i denne studien?
b) Hva ville en Type II-feil bety konkret?
c) Hvis behandlingen er billig og ufarlig, hvilken feil er da mest bekymringsfull? Begrunn.
Løkke 3 — Power og utvalgsstørrelse: V2024-leddet (~17 min)
— naturlig pausepunkt —
Med et større utvalg blir utvalgsfordelingen smalere. En ekte forskjell som «drukner i støyen» ved lite , stikker tydelig fram når er liten. Å doble utvalget reduserer med faktoren — presisjonen øker, men langsommere enn utvalget vokser (√-effekten).
En pilotstudie ( per gruppe) finner en liten, men ekte forskjell mellom to grupper. Resultatet blir ikke signifikant (p = 0,14). En kollega foreslår å gjenta studien med dobbelt så mange deltakere. Forklar hva doblingen gjør, og hvorfor det hjelper.
Effekten er ekte (H0 er egentlig falsk), men pilotstudien overså den — en Type II-feil, fordi lav ga stor og dermed en liten testobservator og stor p.
Hva doblingen gjør: flere deltakere gir mindre standardfeil. Med reduseres med faktoren når dobles. Samme ekte forskjell deles nå på et mindre tall og gir en større testobservator — altså en mindre p-verdi.
Tolkning i ord: doblingen øker studiens power (1 − β) — sjansen for å oppdage den ekte effekten. Den endrer ikke den ekte effektstørrelsen eller SD, bare presisjonen vi måler den med. Derfor er kollegaens forslag fornuftig: en større studie har bedre sjanse til å avsløre en falsk .
Et forskerteam finner en ikke-signifikant forskjell mellom to studieteknikker og lurer på om de bør øke utvalget.
a) Definer power, uttrykt ved β.
b) Forklar kjeden fra 'større n' til 'høyere power'. Bruk .
c) Nevn tre ting som påvirker power, og si hvilken av dem forskerne faktisk kan styre her.
Å tro at α og β summerer til 1. De gjør ikke det — α gjelder når er sann, β når er falsk. Det er og power som summerer til 1 (power = 1 − β).
Å tro at større n reduserer SD. Nei — større reduserer (presisjonen i snittet), ikke (den ekte spredningen mellom personer). Det er nettopp fallende som gir høyere power.
Å avgjøre 'hvilken feil er verst' abstrakt. Svaret avhenger av konteksten (screening vs. medikamentgodkjenning). En A-besvarelse begrunner ut fra kostnadene i det konkrete scenariet.
Begrepsbank — feiltyper og power
Flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget over gjelder kjernestoffet.
Power er sannsynligheten for å oppdage en ekte effekt (forkaste en falsk ). . Konvensjonen er 80 % power, altså .
Dagligtale for Type I-feil: testen roper «effekt!» når det ikke er noen. Risikoen er α. Analogien: brannalarmen uler uten røyk.
Dagligtale for Type II-feil: testen tier når det faktisk er en effekt. Risikoen er β. Analogien: brannalarmen overser brannen.
2×2-tabellen sannhet (H0 sann/falsk) × beslutning (forkast/behold). Riktige utfall på diagonalen; Type I og Type II på motdiagonalen. Å tegne den er kjernen i deloppgaven.
Jo større den ekte effekten er, desto lettere er den å oppdage — høyere power. En bitteliten ekte effekt krever stort utvalg for å bli sett. Effektstørrelsen i naturen kan forskeren ikke styre.
Større ⟹ mindre ⟹ smalere utvalgsfordeling ⟹ ekte effekter stikker tydeligere fram ⟹ høyere power. Dette er faktoren forskeren lettest kan styre — et fast deloppgaveledd på eksamen.
Et mildere (større) gjør det lettere å forkaste og øker power — men på bekostning av flere Type I-feil. Et strengere α (0,01) senker Type I-risikoen, men øker β.
Senker du (færre Type I-feil), øker du (flere Type II-feil), alt annet likt. Du kan ikke minimere begge feiltypene bare ved å justere α — det krever mer data (større n).
Standarden er 80 % power (). Den godtar en langt høyere risiko for Type II (20 %) enn for Type I (5 %), fordi en falsk alarm ofte regnes som mer alvorlig enn en oversett effekt — men dette er en konvensjon, ikke en naturlov.
Kontekstavhengig. Ved screening for alvorlig sykdom er Type II (oversett sykdom) verst; ved medikamentgodkjenning er Type I (godkjenne noe virkningsløst) ofte verst. En A-besvarelse begrunner ut fra scenariets kostnader.
Større reduserer (presisjonen i gjennomsnittet), IKKE (den ekte spredningen mellom personer). Det er fallende som løfter power. Å tro n krymper SD er en fast felle.
Doblet utvalg reduserer med bare — presisjon (og power) øker, men langsommere enn vokser. Å firedoble halverer . Presisjon er «dyr».
Nøkkelen til å skille feiltypene: spør først om i virkeligheten er sann eller falsk. Feil ved sann = Type I; feil ved falsk = Type II. Uten dette utgangspunktet blander man dem (feil #2).
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Innholdet er læringsstoff, ikke helse- eller medisinske råd. Les mer.