4.2 Hypotesetesting, z- og t-test

Påstanden om at det ikke er noen effekt, ingen forskjell eller ingen endring — den vi antar er sann til det motsatte er vist.

Den skrives alltid med likhetstegn og med parameteren definert i ord ved siden av: «$H_0: p = 0{,}20$, der $p$ er den sanne andelen i befolkningen».

Det som skiller $H_0$ fra en vanlig antakelse: $H_0$ er ikke det vi tror på, men det vi prøver å felle. Hele testen er bygd som et forsøk på å vise at $H_0$ er urimelig i lys av data. Klarer vi ikke det, sier vi ikke at $H_0$ er sann — vi sier at vi ikke fikk felt den.

Sensorkravet: hypotesene skal skrives eksplisitt, både symbolsk og med parameteren definert i ord. Dette er det aller første poenget i en B1-STAT-oppgave, og det er gratis.

Det vi åpner for hvis $H_0$ felles. Skrives med ulikhetstegn: «$H_a: p \ne 0{,}20$».

Tosidig er standarden. Med $\ne$ regner du med avvik i begge retninger, og det er dette du skal bruke om ikke oppgaven eksplisitt sier noe annet. En ensidig hypotese ($>$ eller $<$) krever at retningen var bestemt på forhånd, av faglige grunner — ikke fordi dataene pekte den veien. Å velge side etter å ha sett resultatet er en form for juks som halverer p-verdien gratis.

Det som skiller $H_a$ fra en konklusjon: $H_a$ formuleres før du regner. Konklusjonen kommer etterpå.

Grensen for hvor usannsynlig det observerte resultatet må være under $H_0$ før vi forkaster den. I medisin er standarden $\alpha = 0{,}05$, altså 5 prosent.

Hva tallet faktisk er: sannsynligheten for å forkaste en sann $H_0$ — altså for å slå fast en forskjell som ikke finnes. Setter vi $\alpha = 0{,}05$, godtar vi at én av tjue sanne nullhypoteser vil bli feilaktig forkastet.

Det som skiller $\alpha$ fra p-verdien: $\alpha$ velges før du ser data og er en terskel. p-verdien regnes fra data og er et resultat. Å sette $\alpha$ etter å ha sett p-verdien er sirkelslutning.

Formen er alltid den samme, uansett hvilken av de fire testene du bruker:

$$\text{teststatistikk} = \frac{\text{observert} - \text{forventet under } H_0}{\text{standardfeil}}$$

Derfor er tallet enhetsløst, og derfor kan samme kritiske verdi brukes på helt ulike målinger. En teststatistikk på 2,6 betyr at observasjonen ligger 2,6 standardfeil unna det $H_0$ forutsa — og det er langt nok til å være mistenkelig.

Fortegnet betyr retning, ikke styrke. Ved tosidig test ser du på tallverdien.

Forkastningsområdet er de verdiene av teststatistikken som fører til at $H_0$ forkastes — de to halene, hver med 2,5 prosent av arealet ved tosidig 5 prosent test.

Beslutningsregelen: ligger teststatistikken i forkastningsområdet (tallverdien er større enn kritisk verdi), forkastes $H_0$. Ellers beholdes den.

Den vanligste operative feilen her: å sammenligne en $t$-verdi med 1,96 når frihetsgradene er få. Ved 15 frihetsgrader er terskelen 2,131, og en teststatistikk på 2,05 er da ikke signifikant selv om den passerer 1,96. Det er felle E6.

$$Z = \frac{X - np_0}{\sqrt{np_0(1-p_0)}}$$

Telleren er observert antall minus forventet antall under $H_0$. Nevneren er standardavviket til antallet under $H_0$.

Den detaljen som ofte gjøres feil: i nevneren står $p_0$ — hypotesens andel — ikke den observerte $\hat p$. Testen spør hvor rart resultatet er gitt at $H_0$ er sann, og da skal all regning under rottegnet skje i $H_0$-verdenen. (I konfidensintervallet i kap. 4.1 er det motsatt: der finnes ingen hypotese, så der brukes $\hat p$.)

Forutsetning: $np_0 \ge 5$ og $n(1-p_0) \ge 5$. Kritisk verdi: 1,96 ved tosidig 5 prosent.

$$t = \frac{\bar x - \mu_0}{s/\sqrt n}, \qquad \text{df} = n-1$$

Telleren er avviket fra det $H_0$ hevder; nevneren er standardfeilen til gjennomsnittet.

Når den brukes: når du har målt én gruppe og vil sammenligne med en kjent referanse — en tidligere målt verdi, en oppgitt standard, en fastsatt grense.

Det som skiller den fra $Z$-testen: her er standardavviket estimert fra de samme dataene, og derfor hentes kritisk verdi fra $t$-tabellen på riktig df-rad. Ved store utvalg er $t$ nær 1,96 og forskjellen forsvinner.

$$t = \frac{\bar x_1 - \bar x_2}{s_p\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}}, \qquad s_p^2 = \frac{(n_1-1)s_1^2 + (n_2-1)s_2^2}{n_1+n_2-2}$$

med $\text{df} = n_1 + n_2 - 2$.

$s_p$ kalles det felles standardavviket og er et vektet gjennomsnitt av spredningen i de to gruppene — vektet slik at den største gruppen teller mest, siden den bærer mest informasjon.

Forutsetninger: gruppene består av ulike, uavhengige personer, og spredningen i dem er noenlunde lik. Er den ene gruppens standardavvik mer enn omtrent dobbelt så stort som den andres, holder ikke den siste forutsetningen, og det bør nevnes.

Det som skiller den fra den parrede testen: her er det to grupper mennesker. I den parrede er det én gruppe målt to ganger.

Observasjoner som hører sammen to og to, slik at den ene bærer informasjon om den andre.

De to vanligste formene: samme person målt før og etter, og matchede par (to personer koblet sammen på alder, kjønn eller andre kjennetegn).

Hvorfor det er avgjørende: hos parrede data forsvinner all variasjon mellom personer når du regner differansen for hvert par. Igjen står bare den endringen du faktisk er ute etter. Det gjør testen langt mer følsom — og det er derfor det er så dyrt å bruke feil test.

Felle E5 er å behandle avhengige observasjoner som uavhengige. Feilen går alltid samme vei: den store variasjonen mellom personer blir liggende igjen i nevneren, teststatistikken blir for liten, og en reell effekt forsvinner i støyen.

Kjennetegnet du ser etter i oppgaveteksten: ordene «før og etter», «hos de samme», «gjentatt måling», eller at de to gruppene har nøyaktig like mange og er listet parvis.

$$t = \frac{\bar d}{s_d/\sqrt n}, \qquad \text{df} = n-1$$

der $\bar d$ er gjennomsnittet av differansene, $s_d$ er standardavviket til differansene, og $n$ er antall par, ikke antall målinger.

Hypotesene formuleres i differansen: $H_0: \mu_d = 0$ mot $H_a: \mu_d \ne 0$, der $\mu_d$ er den sanne gjennomsnittlige endringen.

Den vanligste tellefeilen: å bruke antall målinger i stedet for antall par. Ti personer målt to ganger gir 20 målinger, men $n = 10$ og $\text{df} = 9$.

Sannsynligheten for å få et resultat minst like ekstremt som det observerte, gitt at $H_0$ er sann.

Beslutningsregelen: $p < \alpha$ gir forkast, $p \ge \alpha$ gir behold. Med $\alpha = 0{,}05$ er dette nøyaktig samme konklusjon som å sammenligne teststatistikken med kritisk verdi — to veier til samme svar.

Det p-verdien IKKE er, og her ligger de fleste feilene:

- Den er ikke sannsynligheten for at $H_0$ er sann. Den er en sannsynlighet regnet under antakelsen om at $H_0$ er sann.
- Den er ikke et mål på hvor stor effekten er. En bitteliten effekt gir en bitteliten p-verdi hvis utvalget er stort nok.
- Den sier ingenting om hvor sannsynlig det er at funnet lar seg gjenta.

Den ærlige lesemåten: en p-verdi på 0,01 betyr «hadde $H_0$ vært sann, ville et resultat så ekstremt som dette forekommet i én av hundre gjentakelser».

$$p_{\text{tosidig}} = 2 \cdot p_{\text{ensidig}}$$

Felle E11 er å glemme faktoren 2. Feilen halverer p-verdien og gjør et ikke-signifikant funn til et signifikant — det er den ene feilretningen man virkelig ikke vil ha.

Når er ensidig lov? Bare når retningen var bestemt av faglige grunner før dataene ble sett, og det bør sies eksplisitt. Å velge ensidig etter å ha sett hvilken vei tallene pekte, er å halvere terskelen i etterkant.

Standarden i medisin er tosidig. Bruk det om ikke oppgaven sier noe annet.

Å forkaste en $H_0$ som faktisk er sann — altså å slå fast en forskjell som ikke finnes. En falsk alarm.

Sannsynligheten for dette er nøyaktig $\alpha$, signifikansnivået. Med 5 prosent nivå aksepterer vi at én av tjue sanne nullhypoteser vil bli feilaktig forkastet.

Konsekvensen som går igjen på eksamen: tester du mange hypoteser i samme datasett, hoper de falske alarmene seg opp. Tjue uavhengige tester på 5 prosent nivå gir rundt 64 prosent sjanse for minst én falsk positiv, selv om ingenting er sant. Det er felle E9, og det er hele grunnen til at multippel testing må korrigeres for — se kap. 4.5.

Å beholde en $H_0$ som faktisk er falsk — altså å overse en forskjell som virkelig finnes. Sannsynligheten kalles $\beta$.

Den vanligste årsaken: for lite utvalg. Er standardfeilen stor, må effekten være enorm før teststatistikken passerer terskelen.

Motstykket er styrken, $1-\beta$: sannsynligheten for å påvise en effekt som faktisk er der. Det er styrken som styrer hvor stort utvalg en studie trenger, og den regningen er tema i kap. 4.4.

Koblingen til feilkodene: en studie med lav styrke som konkluderer «ingen effekt» begår i praksis felle E4 — den forveksler ikke påvist med fraværende.

Behold $H_0$ betyr: data er ikke urimelige under antakelsen om ingen forskjell. Vi har ikke påvist noe. Legg merke til at vi aldri sier «$H_0$ er sann» eller «vi aksepterer $H_0$» — testen er ikke i stand til å bevise fravær.

Analogien som holder hele veien: en frifinnelse i retten betyr «ikke bevist», ikke «bevist uskyldig». Hypotesetesten er bygd på nøyaktig samme asymmetri, og det er derfor felle E4 — å lese «behold» som «det finnes ingen forskjell» — er en logisk feil og ikke bare en språklig unøyaktighet.

Den formuleringen som alltid er trygg: «vi kan ikke utelukke at det ikke er noen forskjell», eventuelt med tillegget «studien kan ha vært for liten til å avgjøre det».

En tosidig test på 5 prosent nivå og et 95 prosent konfidensintervall gir alltid samme konklusjon:

- Dekker intervallet nullverdien → testen beholder $H_0$.
- Dekker det den ikke → testen forkaster $H_0$.

Hvorfor intervallet likevel er det bedre svaret: testen gir bare ja eller nei. Intervallet gir i tillegg størrelsen på effekten og presisjonen i estimatet. Det er derfor moderne medisinsk litteratur rapporterer intervaller, og ofte bare p-verdien i tillegg.

Praktisk nytte i blokk 1: ber en oppgave om både et intervall og en test, kan du bruke det ene som kontroll på det andre. Spriker de, har du regnet feil et sted.

Hver test har forutsetninger, og å skrive dem ned er et poenggivende ledd som tar én linje:

- $Z$-test for andel: $np_0 \ge 5$ og $n(1-p_0) \ge 5$; uavhengige observasjoner.
- Ett-utvalgs $t$-test: uavhengige observasjoner; målingene rimelig symmetrisk fordelt (svakt krav ved store $n$).
- To-utvalgs $t$-test: to uavhengige grupper; noenlunde lik spredning i dem.
- Parret $t$-test: parene uavhengige av hverandre; differansene rimelig symmetrisk fordelt.

Den forutsetningen som brytes oftest, og som ingen formelsamling kan redde deg fra, er uavhengigheten (felle E5).

Hvor stor forskjellen er, målt i den enheten data har — for eksempel 8,0 enheter i Eksempel 3, eller 6 prosentpoeng i Eksempel 1.

Hvorfor den må stå i svaret: teststatistikken og p-verdien sier bare om forskjellen trolig er reell. De sier ingenting om størrelse, fordi begge vokser med utvalget. To studier med identisk effektstørrelse kan gi $p = 0{,}30$ og $p = 0{,}0001$ bare fordi den ene er større.

Formuleringen som viser at du har skjønt det: «forskjellen er 8,0 enheter og er statistisk signifikant på 5 prosent nivå» — begge deler, i samme setning.

Jo flere tester du kjører i samme datasett, jo større er sjansen for minst én falsk positiv, selv om ingen av nullhypotesene er falske.

Med $m$ uavhengige tester på 5 prosent nivå er sannsynligheten for minst én falsk alarm $1 - 0{,}95^m$: rundt 23 prosent ved 5 tester, 40 prosent ved 10, og 64 prosent ved 20.

Grepet er å stramme terskelen, for eksempel med Bonferroni-korreksjon ($\alpha/m$). Temaet hører til kap. 4.5, men fellen — E9 — dukker like gjerne opp i en oppgave om hypotesetesting: en studie som rapporterer det ene signifikante funnet av tjue undersøkte, har ikke funnet noe som helst.

En praktisk arbeidsvane for B1-STAT-oppgaver, når klokka går:

1. Skriv trinn 1 og 2 med en gang — parameter og hypoteser. De krever ingen regning og gir uttelling uansett hva som skjer videre.
2. Skriv hvilken test du velger og hvorfor. Ett ledd, ett poeng.
3. Regn. Her kan kalkulatoren svikte deg, men de tre første leddene står allerede.
4. Skriv konklusjonen i klartekst før du går videre til neste oppgave — den glemmes lettest når man har det travelt, og den er obligatorisk.

Begrunnelsen: fire av seks ledd i føringen inneholder ingen regning. Blokk 1 har ingen minuspoeng, så det finnes ingen grunn til å levere en tom oppgave.