7.7 Hypotesetesting i reelle datasett

a) Problemstilling: Er gjennomsnittlig husholdningsstørrelse i kommunen høyere enn landsgjennomsnittet på 2,12?

Kommunen har en klar retning i tankene, så testen er ensidig:

$$H_0: \mu = 2{,}12 \qquad H_1: \mu > 2{,}12$$

Signifikansnivå: $\alpha = 0{,}05$, valgt på forhånd.

b) Vi regner fra frekvenstabellen. Summen av alle husholdningsstørrelsene:

$$1 \cdot 7 + 2 \cdot 15 + 3 \cdot 8 + 4 \cdot 6 + 5 \cdot 3 + 6 \cdot 1 = 7 + 30 + 24 + 24 + 15 + 6 = 106$$

$$\bar{x} = \frac{106}{40} = 2{,}65 \text{ personer}$$

regneark:   =SUMMERPRODUKT(A2:F2;A3:F3)/SUMMER(A3:F3)   gir 2,65
            =STDAV.S(...)  på de 40 enkeltverdiene        gir 1,29

$$s \approx 1{,}29 \text{ personer}$$

Trinn 1 i analysen: beskriv først. De 40 husholdningene fordeler seg med toppen ved to personer og en hale mot høyre. Gjennomsnittet 2,65 ligger til høyre for typetallet, slik det alltid gjør i en høyreskjev fordeling — og skjevheten er nettopp forbeholdet som må drøftes når testen bygger på normaltilnærming.

c) Standardfeilen:

$$\frac{s}{\sqrt{n}} = \frac{1{,}29}{\sqrt{40}} \approx \frac{1{,}29}{6{,}325} \approx 0{,}204$$

Testobservatoren:

$$z = \frac{\bar{x} - \mu_0}{\frac{s}{\sqrt{n}}} = \frac{2{,}65 - 2{,}12}{0{,}204} = \frac{0{,}53}{0{,}204} \approx 2{,}59$$

p-verdien:

$$p = P(Z \ge 2{,}59) = 1 - 0{,}9952 = 0{,}0048$$

$$0{,}0048 \le 0{,}05$$

$H_0$ forkastes.

d) Konklusjon med forbehold:

Undersøkelsen gir grunnlag for å si at husholdningene i kommunen i gjennomsnitt er større enn landsgjennomsnittet på 2,12 personer ($p = 0{,}005$). Vårt anslag er 2,65 personer, med 95 % konfidensintervall $[2{,}25,\ 3{,}05]$.

Forbehold: (1) Konklusjonen gjelder bare hvis de 40 husholdningene virkelig er trukket tilfeldig — er de hentet fra ett boligfelt, måler vi boligfeltet og ikke kommunen. (2) Enkeltmålingene er langt fra normalfordelte (de er hele tall fra 1 til 6, og fordelingen er skjev), men det er greit: det er $\bar{X}$ som skal være tilnærmet normalfordelt, og med $n = 40$ sørger sentralgrensesetningen for det. (3) Testen sier ingenting om hvorfor husholdningene er større.

Svar: a) $H_0: \mu = 2{,}12$ mot $H_1: \mu > 2{,}12$, $\alpha = 0{,}05$. b) $\bar{x} = 2{,}65$ og $s \approx 1{,}29$. c) $z \approx 2{,}59$, $p \approx 0{,}005$ — $H_0$ forkastes. d) Se konklusjonen over.

NB — forbehold nummer 2 er det viktigste å forstå. Mange tror normalfordeling er et krav til dataene. Det er det ikke. Kravet gjelder fordelingen til gjennomsnittet, og den blir normal av seg selv når $n$ er stor nok.

a) Standardfeilen:

$$\frac{\sigma}{\sqrt{n}} = \frac{12}{\sqrt{36}} = 2 \text{ ml}$$

Venstresidig test på 5 %-nivå gir kritisk $z = -1{,}645$:

$$\bar{x}_{\text{kritisk}} = 500 - 1{,}645 \cdot 2 = 500 - 3{,}29 = 496{,}71 \text{ ml}$$

Vi forkaster $H_0$ hvis $\bar{x} \le 496{,}71$ ml.

b) $P(\text{type I-feil}) = \alpha = 0{,}05$. Er maskinen riktig innstilt, vil kontrollen likevel slå alarm i 5 % av tilfellene — omtrent hver tjuende gang.

c) Nå antar vi at $\mu = 495$ er sann. Da er $\bar{X}$ normalfordelt om 495, fortsatt med standardavvik 2. Type II-feil betyr at vi ikke forkaster, altså at $\bar{X}$ havner over grensen:

$$\beta = P(\bar{X} > 496{,}71 \ \lvert \ \mu = 495)$$

Vi standardiserer — nå med 495 i midten:

$$z = \frac{496{,}71 - 495}{2} = \frac{1{,}71}{2} = 0{,}855$$

$$\beta = P(Z > 0{,}855) = 1 - 0{,}8037 = 0{,}196$$

$$\text{styrke} = 1 - \beta = 0{,}804$$

Fyller maskinen 495 ml, oppdager kontrollen det altså i omtrent 80 % av tilfellene — og overser det i 20 %.

d) Med $\mu = 498$:

$$z = \frac{496{,}71 - 498}{2} = \frac{-1{,}29}{2} = -0{,}645$$

$$\beta = P(Z > -0{,}645) = 0{,}741$$

$$\text{styrke} = 0{,}259$$

Et avvik på 2 ml oppdages altså bare i omtrent hvert fjerde tilfelle.

De to feiltypene i samme bilde. Aksen måler standardfeil fra 500 ml, så forkastningsgrensen 496,7 ml står som $-1{,}645$. Gult areal er $\alpha$: sannsynligheten for å slå alarm når maskinen er riktig innstilt. Turkist areal er $\beta$: sannsynligheten for å overse at maskinen fyller 495 ml. Flytter vi linja mot venstre, krymper $\alpha$ og vokser $\beta$ — de to kan ikke reduseres samtidig uten å måle flere flasker.

Svar: a) $\bar{x} \le 496{,}71$ ml. b) 0,05. c) $\beta \approx 0{,}196$, styrke $\approx 0{,}80$. d) $\beta \approx 0{,}741$, styrke $\approx 0{,}26$.

Hva dette betyr i praksis: testen er god til å oppdage store avvik og nesten blind for små. Det er derfor «testen fant ingen feil» aldri betyr «maskinen er riktig innstilt» — det kan like gjerne bety at avviket var for lite for denne testen å se.

a) For hver $n$ regner vi først grensen $\displaystyle \bar{x}_{\text{kritisk}} = 500 - 1{,}645 \cdot \frac{12}{\sqrt{n}}$, og deretter $1 - \beta$ for hver sanne $\mu$:

$$\beta = P(\bar{X} > 495{,}35 \ \lvert \ \mu = 496) = P\!\left(Z > \frac{495{,}35 - 496}{2}\right) = P(Z > -0{,}325) = 0{,}628$$

Styrken faller fra 0,64 til 0,37. Å gjøre $\alpha$ mindre gjør $\beta$ større.

c) Styrken avhenger av tre ting:

1. Effektstørrelsen — hvor langt den sanne verdien er fra $\mu_0$. Store avvik er lette å se.

2. Utvalgsstørrelsen $n$ — flere målinger krymper $\displaystyle \frac{\sigma}{\sqrt{n}}$ og skiller fordelingene bedre.

3. Signifikansnivået $\alpha$ — strengere krav mot falsk alarm gir flere oversette effekter.

Styrken $1 - \beta$ mot den sanne $\mu$. Tre ting leses av på én gang: styrken vokser når avviket fra 500 blir større (til venstre), den vokser med $n$ (kurvene stiger med utvalgsstørrelsen), og alle tre ender i $\alpha = 0{,}05$ når $\mu$ faktisk er 500. Punktene på den blå kurven er tallene i tabellen over. Kurvene for $n = 100$ og $n = 400$ er tegnet fra det punktet der de skiller seg fra 1,00 — lenger til venstre ligger de pikselvis oppå hverandre.
Svar: a) Se tabellen. b) $\beta$ vokser fra 0,36 til 0,63, styrken faller fra 0,64 til 0,37. c) Effektstørrelse, utvalgsstørrelse og $\alpha$.
NB: Bare én av de tre gir forbedring uten motytelse, og det er $n$. $\alpha$ og $\beta$ er en byttehandel; flere målinger er den eneste måten å redusere begge på samtidig.

a) Brannalarm. $H_0$: det brenner ikke.

- Type I-feil: alarmen går uten brann. Irriterende, men ufarlig.
- Type II-feil: det brenner, og alarmen tier. Katastrofalt.

Her vil vi ha svært liten $\beta$, og godtar en stor $\alpha$. Derfor er brannalarmer stilt inn så følsomt at de går av når noen brenner brødskiver.

b) Legemiddel. $H_0$: medisinen virker ikke bedre enn dagens behandling.

- Type I-feil: vi godkjenner en medisin som ikke virker. Pasienter får bivirkninger uten nytte, og en virksom behandling kan bli erstattet.
- Type II-feil: vi avviser en medisin som faktisk virker. Også alvorlig, men den kan prøves på nytt senere.

Her settes $\alpha$ lavt, ofte 0,01 eller lavere, og man kompenserer for den økte $\beta$ ved å kreve store studier.

c) Knappefarge. $H_0$: fargen har ingen effekt.

- Type I-feil: de bytter farge uten grunn. Koster nesten ingenting.
- Type II-feil: de beholder en dårligere farge. Koster også lite.

Her kan $\alpha = 0{,}10$ være helt forsvarlig. Ingen kommer til skade av en knapp.

Svar: a) Type II er verst — velg stor $\alpha$ (følsom alarm). b) Type I er alvorligst — velg liten $\alpha$, og kompenser med stort utvalg. c) Begge feilene er billige — $\alpha = 0{,}10$ er greit.

Regelen bak alle tre: sett $\alpha$ lavt når falsk alarm er dyrt, og sørg for stort nok utvalg når det å overse noe er dyrt. Statistikken gir deg tallene; hva de er verdt, må du avgjøre selv.

En siste ting å legge merke til: i alle tre tilfellene er $H_0$ satt til «det skjer ingenting». Det er ikke tilfeldig. Testen er bygget slik at det kreves holdepunkter for å påstå at noe skjer — den som hevder noe nytt, har bevisbyrden.