7.4 Hypotesetesting — grunnideen

a) La $p$ være sannsynligheten for at hun treffer på en enkelt kopp.

$$H_0: p = 0{,}5$$

$$H_1: p > 0{,}5$$

b) Vi regner under $H_0$, altså som om hun gjetter. Da er antall riktige binomisk fordelt med

$$n = 10 \qquad p = 0{,}5$$

Vi skal finne $P(X \ge 9)$, altså «9 eller 10 riktige»:

$$P(X \ge 9) = P(X = 9) + P(X = 10)$$

$$P(X = 9) = \binom{10}{9} \cdot 0{,}5^9 \cdot 0{,}5^1 = 10 \cdot \frac{1}{1024} = \frac{10}{1024}$$

$$P(X = 10) = \binom{10}{10} \cdot 0{,}5^{10} = 1 \cdot \frac{1}{1024} = \frac{1}{1024}$$

$$P(X \ge 9) = \frac{10}{1024} + \frac{1}{1024} = \frac{11}{1024} \approx 0{,}0107$$

(Her er nevneren den samme i alle leddene fordi $0{,}5^k \cdot 0{,}5^{10-k} = 0{,}5^{10}$ uansett $k$. Det gjør $p = 0{,}5$ til det enkleste tilfellet å regne for hånd.)

c) Dette tallet kalles p-verdien. Den er 0,0107, altså omtrent 1 %.

Vi sammenligner med signifikansnivået:

$$0{,}0107 < 0{,}05$$

Hadde hun gjettet, ville et resultat som dette (eller bedre) forekommet i bare omtrent 1 av 100 forsøk. Vi forkaster $H_0$ og konkluderer med at hun ser ut til å kunne smake forskjell.

d) Med 8 riktige:

$$P(X \ge 8) = \frac{45 + 10 + 1}{1024} = \frac{56}{1024} \approx 0{,}0547$$

Nå er $0{,}0547 > 0{,}05$. Vi beholder $H_0$ — resultatet er ikke overraskende nok på 5 %-nivå.

$p$-verdien er en hale i fordelingen. Under $H_0$ gjetter baristaen, og da er antall riktige binomisk fordelt med $n = 10$ og $p = 0{,}5$. De to røde søylene er alt som er minst like ekstremt som det observerte: $\displaystyle \frac{10 + 1}{1024} = 0{,}0107$. Legg merke til hvor lite det området er sammenlignet med resten.

Svar: a) $H_0: p = 0{,}5$ mot $H_1: p > 0{,}5$. b) $\displaystyle P(X \ge 9) = \frac{11}{1024} \approx 0{,}0107$. c) $H_0$ forkastes på 5 %-nivå. d) $P(X \ge 8) \approx 0{,}0547 > 0{,}05$, så $H_0$ beholdes.

NB: Legg merke til hvor tett d) ligger på grensen. Én kopp til eller fra snur konklusjonen. Det betyr ikke at 9 riktige er «bevis» og 8 riktige er «ingenting» — det betyr at 10 forsøk er et tynt grunnlag, og at grensen 5 % er et valg vi har gjort, ikke en naturlov.

a) La $p$ være andelen defekte i produksjonen.

$$H_0: p = 0{,}05 \qquad H_1: p > 0{,}05$$

Garantien «høyst 5 %» blir til likhetstegnet $p = 0{,}05$ i $H_0$ — vi regner i det verste tilfellet garantien tillater.

b) Under $H_0$ er antall defekte binomisk fordelt med $n = 200$ og $p = 0{,}05$:

$$E(X) = np = 200 \cdot 0{,}05 = 10$$

Vi observerte 16. Det er 6 mer enn ventet — men er det mye? Standardavviket under $H_0$ er

$$\sqrt{np(1-p)} = \sqrt{200 \cdot 0{,}05 \cdot 0{,}95} = \sqrt{9{,}5} \approx 3{,}08$$

Avviket er altså omtrent to standardavvik. Det er mye, men ikke ekstremt — vi må regne.

c) p-verdien er sannsynligheten for 16 eller flere defekte under $H_0$:

$$P(X \ge 16) = 1 - P(X \le 15) \approx 0{,}0444$$

regneark:   =1-BINOM.FORDELING.N(15;200;0,05;SANN)    gir 0,0444

d) Vi sammenligner:

$$0{,}0444 \le 0{,}05$$

$H_0$ forkastes på 5 %-nivå.

Konklusjon i kontekst: Kontrollen gir grunnlag for å si at andelen defekte er høyere enn de garanterte 5 %. Hadde leverandøren holdt garantien, ville en kontroll som denne gitt 16 eller flere defekte i bare omtrent 4 av 100 tilfeller.

Svar: a) $H_0: p = 0{,}05$ mot $H_1: p > 0{,}05$. b) 10 defekte. c) $\approx 0{,}0444$. d) $H_0$ forkastes — dataene taler for at mer enn 5 % er defekte.

NB: Legg merke til hvor nær grensen vi er. På 1 %-nivå ville vi beholdt $H_0$, siden $0{,}0444 > 0{,}01$. Signifikansnivået må derfor velges før vi regner — ellers blir valget en måte å få det svaret man vil ha.

a) Spørsmålet er om andelen har økt. Vi bryr oss bare om den ene retningen:

$$H_0: p = 0{,}18 \qquad H_1: p > 0{,}18$$

Dette er en ensidig test (høyresidig). Hele $\alpha$ legges i den ene halen.

b) Her er både for mye og for lite et problem. Begge avvik teller:

$$H_0: \mu = 500 \qquad H_1: \mu \ne 500$$

Dette er en tosidig test. Signifikansnivået deles i to, med $\displaystyle \frac{\alpha}{2} = 0{,}025$ i hver hale — og det er nettopp derfor grensen blir 1,96 i stedet for 1,645.

c) Spørsmålet er om metoden er bedre:

$$H_0: \mu = 3{,}4 \qquad H_1: \mu > 3{,}4$$

Ensidig igjen.

Svar: a) $H_0: p = 0{,}18$, $H_1: p > 0{,}18$ — ensidig. b) $H_0: \mu = 500$, $H_1: \mu \ne 500$ — tosidig. c) $H_0: \mu = 3{,}4$, $H_1: \mu > 3{,}4$ — ensidig.

Hvordan velge? Still deg spørsmålet: ville et avvik den andre veien vært interessant? Ville laboratoriet i b) vært likegyldig til at flaskene inneholdt 530 ml? Nei — da er testen tosidig. Er kommunen i a) interessert i om sykling gikk ned? I denne undersøkelsen ikke, så testen er ensidig.

NB — én ufravikelig regel: valget mellom ensidig og tosidig tas før dataene ses. Å velge ensidig etter at man har sett hvilken vei avviket gikk, halverer p-verdien uten at det er dekning for det, og er en av de vanligste måtene statistikk misbrukes på.

a) Galt. p-verdien er regnet under antakelsen om at metoden ikke virker. Den er en sannsynlighet for dataene gitt $H_0$, ikke for $H_0$ gitt dataene. Å bytte om på de to er den vanligste feiltolkningen av p-verdier som finnes.

Et bilde som gjør forskjellen tydelig: sannsynligheten for å være våt gitt at det regner, er nær 1. Sannsynligheten for at det regner gitt at du er våt, er noe helt annet — du kan ha vært i dusjen.

b) Galt, av samme grunn. $1 - p$ er ikke sannsynligheten for at $H_1$ er sann.

c) Galt. p-verdien sier bare noe om hvor godt dataene taler mot $H_0$, ikke hvor stor effekten er. Med et stort nok utvalg kan en ørliten forskjell gi $p = 0{,}03$. Skal vi vite hvor stor effekten er, trenger vi et konfidensintervall.

d) Riktig. Dette er nettopp definisjonen: hadde $H_0$ vært sann, ville et resultat minst så ekstremt forekommet i omtrent 3 % av forsøkene.

Svar: a) galt, b) galt, c) galt, d) riktig — d) er selve definisjonen av p-verdien.

Hvordan bør setningen vært skrevet? For eksempel slik: «Forskjellen var statistisk signifikant på 5 %-nivå ($p = 0{,}03$). Metoden ga i gjennomsnitt 0,4 karakterpoeng bedre resultat, med 95 % konfidensintervall fra 0,05 til 0,75.» Da får leseren både om det er en effekt og hvor stor den er.