7.4 Hypotesetesting — grunnideen

a) Lat $p$ vere sannsynet for at ho treffer på ein einskild kopp.

$$H_0: p = 0{,}5$$

$$H_1: p > 0{,}5$$

b) Vi reknar under $H_0$, altså som om ho gjettar. Då er talet på rette binomisk fordelt med

$$n = 10 \qquad p = 0{,}5$$

Vi skal finne $P(X \ge 9)$, altså «9 eller 10 rette»:

$$P(X \ge 9) = P(X = 9) + P(X = 10)$$

$$P(X = 9) = \binom{10}{9} \cdot 0{,}5^9 \cdot 0{,}5^1 = 10 \cdot \frac{1}{1024} = \frac{10}{1024}$$

$$P(X = 10) = \binom{10}{10} \cdot 0{,}5^{10} = 1 \cdot \frac{1}{1024} = \frac{1}{1024}$$

$$P(X \ge 9) = \frac{10}{1024} + \frac{1}{1024} = \frac{11}{1024} \approx 0{,}0107$$

(Her er nemnaren den same i alle ledda fordi $0{,}5^k \cdot 0{,}5^{10-k} = 0{,}5^{10}$ same kva $k$ er. Det gjer $p = 0{,}5$ til det enklaste tilfellet å rekne for hand.)

c) Dette talet blir kalla p-verdien. Han er 0,0107, altså omtrent 1 %.

Vi samanliknar med signifikansnivået:

$$0{,}0107 < 0{,}05$$

Hadde ho gjetta, ville eit resultat som dette (eller betre) ha førekome i berre omtrent 1 av 100 forsøk. Vi forkastar $H_0$ og konkluderer med at ho ser ut til å kunne smake skilnad.

d) Med 8 rette:

$$P(X \ge 8) = \frac{45 + 10 + 1}{1024} = \frac{56}{1024} \approx 0{,}0547$$

No er $0{,}0547 > 0{,}05$. Vi beheld $H_0$ — resultatet er ikkje overraskande nok på 5 %-nivå.

$p$-verdien er ein hale i fordelinga. Under $H_0$ gjettar baristaen, og då er talet på rette binomisk fordelt med $n = 10$ og $p = 0{,}5$. Dei to raude søylene er alt som er minst like ekstremt som det observerte.

$$\frac{10 + 1}{1024} \approx 0{,}0107$$

Legg merke til kor lite det området er samanlikna med resten.

Svar: a) $H_0: p = 0{,}5$ mot $H_1: p > 0{,}5$. b) $\displaystyle P(X \ge 9) = \frac{11}{1024} \approx 0{,}0107$. c) $H_0$ blir forkasta på 5 %-nivå. d) $P(X \ge 8) \approx 0{,}0547 > 0{,}05$, så $H_0$ blir behalden.

NB: Legg merke til kor tett d) ligg på grensa. Éin kopp til eller frå snur konklusjonen. Det tyder ikkje at 9 rette er «prov» og 8 rette er «ingenting» — det tyder at 10 forsøk er eit tynt grunnlag, og at grensa 5 % er eit val vi har gjort, ikkje ei naturlov.

a) Lat $p$ vere andelen defekte i produksjonen.

$$H_0: p = 0{,}05 \qquad H_1: p > 0{,}05$$

Garantien «høgst 5 %» blir til likskapsteiknet $p = 0{,}05$ i $H_0$ — vi reknar i det verste tilfellet garantien tillèt.

b) Under $H_0$ er talet på defekte binomisk fordelt med $n = 200$ og $p = 0{,}05$:

$$E(X) = np = 200 \cdot 0{,}05 = 10$$

Vi observerte 16. Det er 6 meir enn venta — men er det mykje? Standardavviket under $H_0$ er

$$\sqrt{np(1-p)} = \sqrt{200 \cdot 0{,}05 \cdot 0{,}95} = \sqrt{9{,}5} \approx 3{,}08$$

Avviket er altså omtrent to standardavvik. Det er mykje, men ikkje ekstremt — vi må rekne.

c) p-verdien er sannsynet for 16 eller fleire defekte under $H_0$:

$$P(X \ge 16) = 1 - P(X \le 15) \approx 0{,}0444$$

rekneark:   =1-BINOM.FORDELING.N(15;200;0,05;SANN)    gir 0,0444

d) Vi samanliknar:

$$0{,}0444 \le 0{,}05$$

$H_0$ blir forkasta på 5 %-nivå.

Konklusjon i kontekst: Kontrollen gir grunnlag for å seie at andelen defekte er høgare enn dei garanterte 5 %. Hadde leverandøren halde garantien, ville ein kontroll som denne gitt 16 eller fleire defekte i berre omtrent 4 av 100 tilfelle.

Svar: a) $H_0: p = 0{,}05$ mot $H_1: p > 0{,}05$. b) 10 defekte. c) $\approx 0{,}0444$. d) $H_0$ blir forkasta — dataa talar for at meir enn 5 % er defekte.

NB: Legg merke til kor nær grensa vi er. På 1 %-nivå ville vi behalde $H_0$, sidan $0{,}0444 > 0{,}01$. Signifikansnivået må difor veljast før vi reknar — elles blir valet ein måte å få det svaret ein vil ha.

a) Spørsmålet er om andelen har auka. Vi bryr oss berre om den eine retninga:

$$H_0: p = 0{,}18 \qquad H_1: p > 0{,}18$$

Dette er ein einsidig test (høgresidig). Heile $\alpha$ blir lagd i den eine halen.

b) Her er både for mykje og for lite eit problem. Begge avvika tel:

$$H_0: \mu = 500 \qquad H_1: \mu \ne 500$$

Dette er ein tosidig test. Signifikansnivået blir delt i to, med $\displaystyle \frac{\alpha}{2} = 0{,}025$ i kvar hale — og det er nettopp difor grensa blir 1,96 i staden for 1,645.

c) Spørsmålet er om metoden er betre:

$$H_0: \mu = 3{,}4 \qquad H_1: \mu > 3{,}4$$

Einsidig igjen.

Svar: a) $H_0: p = 0{,}18$, $H_1: p > 0{,}18$ — einsidig. b) $H_0: \mu = 500$, $H_1: \mu \ne 500$ — tosidig. c) $H_0: \mu = 3{,}4$, $H_1: \mu > 3{,}4$ — einsidig.

Korleis velje? Still deg spørsmålet: ville eit avvik den andre vegen vore interessant? Ville laboratoriet vore likegyldig til at flaskene inneheldt 530 ml? Nei — då er testen tosidig. Er kommunen med sykkelvegen interessert i om syklinga gjekk ned? I denne undersøkinga ikkje, så testen er einsidig.

NB — éin ufråvikeleg regel: valet mellom einsidig og tosidig blir teke før dataa er sette. Å velje einsidig etter at ein har sett kva veg avviket gjekk, halverer p-verdien utan at det er dekning for det, og er ein av dei vanlegaste måtane statistikk blir misbrukt på.

a) Gale. p-verdien er rekna under føresetnaden om at metoden ikkje verkar. Han er eit sannsyn for dataa gitt $H_0$, ikkje for $H_0$ gitt dataa. Å byte om på dei to er den vanlegaste mistydinga av p-verdiar som finst.

Eit bilete som gjer skilnaden tydeleg: sannsynet for å vere våt gitt at det regnar, er nær 1. Sannsynet for at det regnar gitt at du er våt, er noko heilt anna — du kan ha vore i dusjen.

b) Gale, av same grunn. $1 - p$ er ikkje sannsynet for at $H_1$ er sann.

c) Gale. p-verdien seier berre noko om kor godt dataa talar mot $H_0$, ikkje kor stor effekten er. Med eit stort nok utval kan ein ørliten skilnad gi $p = 0{,}03$. Skal vi vite kor stor effekten er, treng vi eit konfidensintervall.

d) Rett. Dette er nettopp definisjonen: hadde $H_0$ vore sann, ville eit resultat minst like ekstremt ha førekome i omtrent 3 % av forsøka.

Svar: a) gale, b) gale, c) gale, d) rett — d) er sjølve definisjonen av p-verdien.

Korleis burde setninga vore skriven? Til dømes slik: «Skilnaden var statistisk signifikant på 5 %-nivå ($p = 0{,}03$). Metoden gav i gjennomsnitt 0,4 karakterpoeng betre resultat, med 95 % konfidensintervall frå 0,05 til 0,75.» Då får lesaren både om det er ein effekt og kor stor han er.