4.4 Utvalgsstørrelse, styrke og binomisk fordeling

Sannsynligheten for at studien påviser en effekt som faktisk finnes.

Er styrken 90 prosent, vil studien i ni av ti tilfeller ende med å forkaste nullhypotesen, gitt at forskjellen virkelig er minst så stor som den man dimensjonerte for. I det tiende tilfellet begår den en type II-feil og overser effekten.

Standardnivåene: 80 prosent er vanlig minimum, 90 prosent er det man sikter mot når det er mulig. Under 80 prosent regnes en studie som underpowered.

Det som skiller styrke fra signifikansnivå: $\alpha$ styrer hvor ofte man slår falsk alarm (type I), $1-\beta$ styrer hvor ofte man treffer når det faktisk er noe der (type II). Å blande dem — for eksempel å si «5 prosent styrke» — er en av de sikreste måtene å vise at forskjellen ikke sitter.

Den minste forskjellen som ville hatt praktisk betydning — den man ikke vil risikere å overse.

Dette er et faglig valg, ikke et statistisk. Det er ikke:

- forskjellen man håper å finne,
- forskjellen en pilotstudie tilfeldigvis viste,
- eller den forskjellen som gjør at $n$ blir behagelig liten.

Hvorfor valget er så avgjørende: $\Delta$ står i nevneren og er kvadrert. Halverer du $\Delta$, firedobles $n$. Det er derfor et urealistisk lite $\Delta$ gjør studien umulig å gjennomføre, mens et for stort $\Delta$ gir en studie som bare kan oppdage forskjeller så store at ingen tvilte på dem.

Enheten: samme som målingen selv. Er $\sigma$ oppgitt i millimol per liter, skal $\Delta$ være det også — og forholdet $\sigma/\Delta$ blir enhetsløst, som det skal.

$$k \approx 10{,}5 \text{ ved } 90 \text{ prosent styrke}, \qquad k \approx 7{,}9 \text{ ved } 80 \text{ prosent styrke}$$

Begge ved tosidig 5 prosent nivå. Verdiene står i formelsamlingen og skal ikke pugges — men du må vite hvilken av dem som hører til hvilken styrke, for det er nettopp det flervalgsspørsmålene tester.

Retningen å huske: høyere styrke krever større $k$ og dermed flere deltakere. Å gå fra 80 til 90 prosent styrke koster $10{,}5/7{,}9 = 1{,}33$, altså 33 prosent flere deltakere. Det er en billig oppgradering sammenlignet med å halvere $\Delta$, som koster fire ganger så mange.

Hvor tallene kommer fra: $k = (z_{\alpha/2} + z_\beta)^2$, altså kvadratet av summen av to kritiske verdier. Det er stoff du bør kjenne til, ikke noe du forventes å utlede.

En studie med for lav styrke til å påvise den forskjellen den skulle undersøke — i praksis under 80 prosent.

Konsekvensen, og hele koblingen til feilkoderegisteret: en underpowered studie som konkluderer «ingen signifikant forskjell» har ikke vist at det ikke er noen forskjell. Den har vist at den ikke var stor nok til å avgjøre saken. Å lese resultatet som bevis for fravær er felle E4.

Kjennetegnet du ser etter i en oppgave: et bredt konfidensintervall som dekker nullverdien og samtidig strekker seg langt ut på den ene siden. Det er signaturen til en studie som ikke har avgjort noe som helst.

Formuleringen som er riktig: «forskjellen er ikke påvist, og med denne utvalgsstørrelsen kunne studien uansett ikke ha påvist en forskjell mindre enn Δ».

- Halverer du $\Delta$, firedobles $n$.
- Tredeler du $\Delta$, nidobles $n$.
- Dobler du $\sigma$, firedobles $n$ (den står kvadrert i telleren).

Sammenhengen med kap. 4.1: det er nøyaktig samme kvadratrotlov, snudd. Der krympet feilmarginen som $1/\sqrt n$; her vokser $n$ som $1/\Delta^2$. Samme sak, sett fra to sider.

Hvorfor det er verdt å kunne utenat: flervalgsspørsmål av typen «hva skjer med $n$ når Δ halveres?» kan besvares på tre sekunder uten kalkulator. Og i en fritekstoppgave er det en kontroll: regner du $n$ på nytt med halvert Δ og ikke får omtrent fire ganger så mye, har du gjort en feil.

Den praktiske konsekvensen: det er billigere å øke styrken fra 80 til 90 prosent (33 prosent flere) enn å redusere Δ med en tredel (mer enn en dobling).

De to forutsetningene:

1. Uavhengighet — det ene forsøkets utfall påvirker ikke det neste.
2. Konstant $p$ — sannsynligheten er den samme i alle forsøk.

Forventning og standardavvik:
$$\mu = np, \qquad \sigma = \sqrt{np(1-p)}$$

Merk enheten: både $\mu$ og $\sigma$ er antall personer, ikke andeler. Med $n = 200$ og $p = 0{,}15$ er $\mu = 30$ personer — ikke $0{,}15$.

Det som skiller den fra en andel: deler du det binomiske antallet på $n$, får du andelen $\hat p$, og standardfeilen til den er $\sqrt{p(1-p)/n}$ — nøyaktig $\sigma/n$. De to beskrivelsene er samme sak i ulik skala, og det er derfor formlene i kap. 4.1 ser ut som de gjør.

Betingelsen: både $np \ge 5$ og $n(1-p) \ge 5$ — altså minst fem forventede i hver kategori. Det er samme betingelse som for konfidensintervallet for en andel i kap. 4.1.

Framgangsmåten: regn $\mu = np$ og $\sigma = \sqrt{np(1-p)}$, og bruk
$$z = \frac{x - \mu}{\sigma}$$
mot normalfordelingstabellen.

Når betingelsen ikke holder: ved $n = 60$ og $p = 0{,}04$ er $np = 2{,}4$, altså under 5. Da er fordelingen for skjev, og tilnærmingen gir feil svar — man må regne binomisk direkte, eller si i besvarelsen at tilnærmingen ikke kan brukes. Å bruke den likevel er en forutsetningsfeil, og forutsetninger er poenggivende å nevne.

En finesse verdt å kjenne til: noen lærebøker legger til en halvkorreksjon (regner fra $x - 0{,}5$ i stedet for $x$) fordi man tilnærmer en heltallsfordeling med en kontinuerlig. Det gir litt mer presise svar. Det er kjenne-til-stoff, ikke et krav — begge former godtas.

De to tallene styrer hver sin feiltype, og de blandes stadig sammen.

Å regne ut styrken etter at studien er ferdig, ut fra den forskjellen man faktisk observerte.

Hvorfor det er lite opplysende: en slik regning er bare en omskriving av p-verdien og gir ingen ny informasjon. Ble resultatet ikke signifikant, vil den etterregnede styrken alltid være lav — det følger av regnestykket, ikke av noe man har lært om studien.

Det som derimot er nyttig, og som oppgavene faktisk ber om: å regne ut hvilken forskjell studien kunne ha påvist med rimelig styrke, gitt utvalget den hadde. Snu formelen og løs for $\Delta$ i stedet for for $n$. Da får du et konkret tall å sette konklusjonen opp mot — som i oppgave 8.

Dette er kjenne-til-stoff, ikke et regnekrav — men skillet mellom de to regnestykkene er verdt å ha med seg.

Å beholde en nullhypotese som faktisk er falsk — altså å overse en effekt som virkelig finnes.

$\beta$ er sannsynligheten for dette, og styrken er $1-\beta$. Ved 80 prosent styrke er $\beta = 0{,}20$: én av fem reelle effekter av den planlagte størrelsen vil bli oversett.

Det som skiller den fra type I-feil: type I er en falsk alarm og styres av $\alpha$; type II er en oversett effekt og styres av utvalgsstørrelsen. Man kan senke begge samtidig — men bare ved å skaffe flere deltakere.

Sammenhengen med hele kapitlet: utvalgsstørrelsesregning er ganske enkelt kunsten å holde $\beta$ under kontroll før studien starter.

Utvalgsstørrelser rundes alltid opp til nærmeste hele person, og opprundingen skjer før frafallsjusteringen.

Rekkefølgen som er riktig: regn $n$ → rund opp → juster for frafall → rund opp igjen.

Hvorfor rekkefølgen betyr noe: rundes det ned i første ledd, har studien lavere styrke enn den ble dimensjonert for. Og legges frafallet på før opprundingen, blir totalen litt lavere enn den skal — feilen er liten, men den er unødvendig.

Formuleringen i svaret: «$142{,}2$ rundes opp til 143 personer per gruppe». At opprundingen står synlig, er et poenggivende ledd — det viser at du vet hvorfor den er der.

Regelen i ord: del på andelen som blir igjen, ikke gang med andelen som forsvinner.

Hvorfor: frafallsprosenten gjelder de rekrutterte. Skal 84 stå igjen etter 20 prosent frafall, trengs $84/0{,}80 = 105$ — ikke $84 \cdot 1{,}20 = 101$, som bare gir 81 fullførere.

Hvor stor feilen blir: ved 10 prosent frafall er avviket rundt 1 prosent, ved 30 prosent frafall rundt 9 prosent, og ved 50 prosent frafall 25 prosent. Feilen vokser altså raskt, og den går alltid i retning av for få deltakere.

Formelen $n = 2(\sigma/\Delta)^2 k$ gir antallet i hver gruppe. Totalt trengs $2n$.

Hvorfor faktoren 2 allerede står i formelen, uten at svaret er totalen: de to gruppene bidrar hver med sin varians til usikkerheten i differansen — det er den 2-tallet dekker. Antallet det gir, er likevel per gruppe.

Formuleringen som fjerner all tvil: «132 personer per gruppe, altså 264 til sammen». Oppgi begge tall, hver gang. Et svar som bare sier «132» er tvetydig, og tvetydighet koster i en sjanger der presisjon er det som rettes.

Den binomiske fordelingen forutsetter at hvert forsøk er uavhengig av de andre, og at sannsynligheten $p$ er den samme hver gang.

Når forutsetningen svikter: hvis personene i utvalget påvirker hverandre, eller hvis $p$ varierer mellom dem, er antallet ikke binomisk fordelt. Spredningen blir da typisk større enn $\sqrt{np(1-p)}$, og alle sannsynligheter regnet fra formelen blir for optimistiske.

Koblingen til felle E5 (kap. 4.2): det er samme grunnproblem som når parrede data behandles som uavhengige. Uavhengighetsforutsetningen er den som brytes oftest i hele statistikkfaget, og den er alltid verdt en setning i besvarelsen.