2.4 Styrke, type II-feil og dimensjonering av utvalgsstørrelse
Sannsynligheten for type II-feil, teststyrken, og hvordan man løser for utvalgsstørrelsen n (og runder opp) slik at testen oppdager en gitt effekt.
- Sjanger F = styrke/type II/dimensjonering. Sjanger = en fast type deloppgave.
- Det avgjørende grepet: sett opp styrkekravet, løs ulikheten for , og rund alltid OPP til nærmeste heltall (avrunding ned gir for lav styrke).
- Ved Poisson-data brukes normaltilnærming til styrken — nevn sentralgrenseteoremet eksplisitt (sensorkrav §4.4).
Sensorens krav (§4.4, §5.1): riktig fortegn i styrkeformelen, korrekt avrunding av , og at og ikke forveksles. Prioritet: kunne godt.
Tidsbruk: ~45 min kjernestoff i fire løkker (feiltypene styrkeformelen dimensjonering Poisson-styrke).
Normaltilnærmingen for Poisson-data hviler på sentralgrenseteoremet fra STK1100 kap. 6.1 Sentralgrenseteoremet (→ stk1100-6-1) (klartekst — STK1100 er ikke bygget ennå).
Signifikansnivået er sannsynligheten for å forkaste en sann (type I-feil). Nå spør vi om det motsatte: hvor sannsynlig er det å forkaste når faktisk er falsk — altså å oppdage en reell effekt? Det er nettopp det styrken måler.
En test kan bomme på to måter. Den kan slå falsk alarm (forkaste en sann ), eller den kan overse en reell effekt (beholde en falsk ). Den første kontrollerer vi med ; den andre måles av , og er styrken.
Styrken svarer på det praktiske spørsmålet: hvis effekten virkelig er der, hvor stor sjanse har vi for å fange den opp? Er styrken lav, risikerer vi å bruke tid og penger på et forsøk som sannsynligvis ikke vil vise noe — selv om effekten finnes.
Derfor: før du samler data, regn ut hvor mange observasjoner du trenger for at styrken skal bli høy nok. Vi går i fire løkker: (1) feiltypene og styrken, (2) styrkeformelen, (3) dimensjonering av , (4) Poisson-styrke via normaltilnærming.
Løkke 1 — Feiltypene og styrken (~10 min)
Vi velger på forhånd (typisk 0,05 eller 0,01). Dette er sannsynligheten vi styrer gjennom valget av kritisk verdi.
I motsetning til er ikke én fast verdi: den avhenger av hvor sann den sanne parameteren ligger. Jo nærmere den sanne verdien er , desto større blir .
Høy styrke er bra. Styrken øker med (i) større utvalg , (ii) større reell effekt (avstand fra ), (iii) mindre spredning , og (iv) høyere (men det øker samtidig type I-risikoen).
En test har og ved en bestemt sann verdi.
a) Hva er sannsynligheten for en type I-feil?
b) Hva er styrken ved denne sanne verdien?
Løkke 2 — Styrkeformelen for en ensidig normaltest (~12 min)
Ekvivalent er type II-sannsynligheten . Her er den øvre -kvantilen i normalfordelingen. Fortegnet er kritisk: leddet er positivt når , og trekker styrken opp fra mot 1.
Vi forkaster når , altså når gjennomsnittet passerer den kritiske grensen
Intuisjon: er terskelen — alt over den gir «forkast».
Er den sanne forventningen , er . Styrken er sannsynligheten for å lande over :
Setter vi inn , blir , altså
Intuisjon: standardiser gjennomsnittet under den SANNE forventningen (ikke under ) — det er den vanligste tabben.
En prosess overvåkes med kjent . Vi tester mot ensidig på 5 %-nivå med målinger. Hva er styrken hvis den sanne forventningen egentlig er ? Bruk .
Sett inn i styrkeformelen med , :
Altså er styrken ca. 0,85: hvis den sanne forventningen er 54, har testen ca. 85 % sjanse for å forkaste . Type II-sannsynligheten er .
Sensor-margnotat: det avgjørende er å standardisere under , ikke under — og å få leddet positivt.
En test av mot har kjent , og nivå 5 %. Finn styrken ved den sanne verdien . Bruk og .
Løkke 3 — Dimensjonering: løs for og rund opp (~13 min)
Rund alltid OPP til nærmeste heltall — et desimalt gir ikke nok observasjoner til å nå styrkekravet, så avrunding ned ville gitt for lav styrke. Her er den øvre -kvantilen (f.eks. for 90 % styrke).
Intuisjon: både nivå-kravet () og styrke-kravet () må få plass mellom og , målt i standardfeil — derfor summen av de to kvantilene.
Et kontrollorgan vil kunne oppdage en overskridelse på enheter over grenseverdien med minst 90 % sannsynlighet, i en ensidig test på 5 %-nivå. Målestøyen er kjent, . Hvor mange prøver trengs? Bruk og .
Siden må være et heltall og vi trenger minst denne styrken, runder vi opp: .
Sensor-margnotat: svaret , ikke . Med ville styrken såvidt falt under 90 %. Å runde ned her er den hyppigste feilen (§5.1).
En ensidig test på 5 %-nivå skal oppdage en effekt med minst 95 % styrke. Kjent . Finn nødvendig . Bruk og for styrken (95 % styrke gir ).
Løkke 4 — Poisson-styrke via normaltilnærming (~10 min)
der spredningen regnes under den sanne raten. Nevn alltid at dette er en normaltilnærming (sensorkrav §4.4).
Antall registrerte hendelser i en periode er . Vi tester mot på 5 %-nivå med normaltilnærming. Hva er den tilnærmede styrken hvis den sanne raten er ? Bruk og .
Under den sanne raten er , så :
Styrken er ca. 0,69 (). Sensor-margnotat: poenget er å nevne normaltilnærmingen (CLT) eksplisitt og å bruke i grensen, men i styrken.
Et Poisson-antall testes mot på 5 %-nivå.
a) Finn den kritiske grensen med normaltilnærming. Bruk .
b) Hvilken fordelingsantakelse hviler dette på?
- Glemme å runde opp. Avrunding ned gir for få observasjoner og dermed for lav styrke. Trenger du «minst» en gitt styrke, må rundes opp. (§5.1)
- Forveksle og . er type I (falsk alarm, valgt på forhånd); er type II (oversett effekt, avhenger av sann verdi). Styrken er , ikke .
- Feil fortegn i styrkeformelen. Leddet skal være positivt når ; standardiser under den sanne , ikke under .
- Bruke for Poisson uten å nevne normaltilnærmingen. Sensor vil se at du kobler til sentralgrenseteoremet (). (§4.4)
- Blande og i Poisson-styrken. Grensen regnes under (); styrken regnes under den sanne raten ().
Blandet drill (sjanger F, stigende)
En ensidig test av mot har kjent og nivå 5 %.
a) Med , finn styrken ved . Bruk og .
b) Er styrken god nok hvis kravet er minst 0,80? Hva kan du gjøre for å øke den?
(Krevende.) Vis at for en ensidig normaltest med kjent er styrken ved nøyaktig lik , og forklar hva dette betyr for styrkekurven i figuren.
(Kald oppgave — fasit som momentliste, ingen hint.) En ensidig test på 5 %-nivå med kjent skal oppdage en effekt med minst 90 % styrke. Finn nødvendig , og forklar hva som skjer med kravet hvis ønsket styrke økes fra 90 % til 99 %. Bruk , , .
Begrepsbank
Terskelen for gjennomsnittet i opprinnelige enheter: (høyresidig). Vi forkaster når . Styrken er regnet under den sanne forventningen.
Med fast trekker lavere (strømmere terskel) opp og ned styrken, og omvendt. Man kan ikke gjøre begge feiltypene små samtidig uten å øke .
Styrken øker med (i) større , (ii) større effekt , (iii) mindre spredning , og (iv) høyere . De to første er de vanligste «knottene» i en dimensjoneringsoppgave.
For en tosidig test byttes med , og styrken får bidrag fra begge haler: . Det andre leddet er som regel forsvinnende lite.
Den standardiserte effekten er (effekten målt i standardavvik). Dimensjoneringsformelen viser at det er den standardiserte effekten som styrer .
Med gitt , og styrkekrav kan man snu formelen og finne den minste effekten testen kan oppdage: . Mindre effekter enn dette forblir sannsynligvis uoppdaget.
For sumbaserte størrelser (gjennomsnitt, Poisson-antall, binomiske antall) gir sentralgrenseteoremet en normal tilnærming når / er stor. Den ligger bak styrkeregningen for ikke-normale data. Må nevnes eksplisitt.
Siden må være et heltall og styrkekravet er en minst-betingelse, rundes det utregnede alltid opp. Runder du ned, faller styrken under kravet. Den hyppigste tabben i sjanger F.
Operasjonskarakteristikken (OC-kurven) er som funksjon av sann verdi — speilbildet av styrkefunksjonen (). Den faller fra ved mot 0 langt unna.
For er , så standardavviket er . Derfor endres spredningen når raten endres — grensen bruker , styrken .
Signifikansnivået kontrollerer falsk alarm og velges før data; styrken måler evnen til å oppdage en effekt og avhenger av , og . To ulike egenskaper ved samme test.
I motsetning til er ikke én verdi — den er en funksjon av den sanne parameteren. Derfor snakker vi alltid om styrke ved en bestemt alternativverdi .
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Les mer.