4.1 H0, H1 og nullhypotesetestingens trinn
Å formulere hypoteser med μ-notasjon, kjøre trinnene i nullhypotesetesting — og definere p-verdien riktig: den ene feilen sensor har eksplisitt trekk-instruks for.
- Den typiske oppgaven (kalt hypotesetestingsoppgaven — vi merker den T2 i boka; T-kodene forklares i kap. 0.1) ber deg formulere og , gjøre rede for trinnene i en test og tolke en oppgitt p-verdi.
- Én feil har eksplisitt trekk-instruks i sensorveiledningen (V2018): å definere p-verdien som «sannsynligheten for at er feil». Vi driller den riktige definisjonen side ved side med de gale — dette er kapitlets viktigste enkeltmoment.
- A-skiller sensor ser etter: at hypotesene gjelder populasjonsgjennomsnittet (ikke utvalget), at retningsbestemt er begrunnet, at du kan snu konklusjonen ved et strengere , og at du skiller signifikans fra viktighet.
Øktmerking: kapitlet er langt (~70 min lesetid, ×1,5 ved håndskriving). Det er delt i fire løkker med pausepunkter — ta gjerne én løkke per økt.
Sist du var her (nøkkelformlene oppfrisket):
- — standardfeilen: hvor mye et utvalgsgjennomsnitt typisk avviker fra populasjonssnittet (fra 3.3).
- Utvalgsfordelingen er fordelingen av tenkte gjentatte utvalgsgjennomsnitt; p-verdien leses fra den (fra 3.3).
- — differansen målt i standardfeil; stor ⟹ liten p (fra 3.4).
Her setter vi ord på logikken rundt disse tallene: hva vi egentlig tester, og hva p faktisk betyr.
Løkke 1 — Hva vi egentlig tester: , og μ (~18 min)
Nullhypotesetesting fungerer på nøyaktig samme måte. Vi starter med en «uskyldsantakelse» — at det ikke er noen effekt () — og spør: er dataene så ekstreme at antakelsen blir vanskelig å tro på? Vi beviser aldri at det er en effekt; vi klarer enten å forkaste «ingen effekt» eller ikke.
Dette er logikken bak hver eneste hypotesetest. Vi bygger den ledd for ledd.
Alternativhypotesen (også skrevet ) er forskerens egentlige påstand: at det finnes en effekt eller forskjell.
Hypotesene handler alltid om populasjonsgjennomsnittet (den greske bokstaven «my», uttales /myː/), ikke om utvalget vi målte. Eksempel for én gruppe mot en kjent norm :
Vi tester altså en påstand om hele populasjonen ved hjelp av ett utvalg.
En konsentrasjonstest er normert slik at befolkningsgjennomsnittet er . En forsker vil undersøke om en gruppe som har fått koffein, skårer annerledes enn normen — uten å ha en formening om retning på forhånd.
a) Skriv og med μ-notasjon.
b) Hva er det som faktisk testes, eller ?
En tohalet (toveis) test har ikke-retningsbestemt — den fanger avvik i begge retninger. Dette er standardvalget.
En enhalet (enveis) test har retningsbestemt (eller ) — den ser bare etter avvik i én retning. Enhalet test er mer «sjenerøs» (lettere å få signifikans), men krever en faglig begrunnelse for retningen på forhånd — ellers er den en felle (feil #11). Å velge enhalet etter å ha sett dataene er ikke tillatt.
For samme resultat er enhalet p halvparten av den tohalede — forutsatt at effekten går i den predikerte retningen: er tohalet , er enhalet . (Går effekten motsatt vei av prediksjonen, gjelder ikke halveringen.)
En forsker har god teoretisk grunn til å tro at et nytt lesetreningsopplegg gir høyere skår enn normen , og formulerer en retningsbestemt hypotese.
a) Skriv og .
b) Er dette lov? Hva må til for at en enhalet test skal være tillatt?
Løkke 2 — Trinnene i en nullhypotesetest (~16 min)
— naturlig pausepunkt —
Hver hypotesetest følger de samme trinnene:
1. Formuler hypotesene og om populasjonen () — velg to- eller enhalet (sistnevnte krever begrunnelse).
2. Velg signifikansnivå (den greske bokstaven «alfa») — konvensjonelt , av og til det strengere . er hvor stor risiko for falsk alarm vi godtar.
3. Velg og utfør testen (t-test, ANOVA … — hvilken kommer i kap. 4.3) og beregn testobservatoren.
4. Finn p-verdien — sannsynligheten for et minst like ekstremt resultat gitt at er sann (leses fra utvalgsfordelingen).
5. Konkluder: forkast hvis ; behold ellers. En forkastning betyr «effekten er trolig ekte»; å beholde er ikke bevis for at effekten mangler.
På eksamen oppgis som regel p — jobben din er trinn 1, 2 og 5, og å tolke riktig.
Et utvalg på tar en normert stresstest der befolkningssnittet er og . Utvalget får gjennomsnitt . Bruk .
a) Formuler og (tohalet).
b) Regn ut , og forklar hvorfor er relevant her.
c) Sett opp de fem trinnene og si hva som gjenstår før du kan konkludere.
Løkke 3 — p-verdien: den ene definisjonen som må sitte (~20 min)
— naturlig pausepunkt — dette er kapitlets viktigste del —
Legg merke til den siste leddet — «gitt at er sann». p er en sannsynlighet regnet ut under antakelsen om at nullhypotesen stemmer. Den sier hvor overraskende dataene er i en verden uten effekt. Figuren under viser tanken: utvalgsfordelingen tegnes sentrert på det forutsier, og p er haleområdet — hvor mye av fordelingen som ligger minst like langt ute som det observerte resultatet.
p er ikke sannsynligheten for at er sann, og ikke sannsynligheten for at er feil. Hypotesen er enten sann eller ikke — det er dataene som er tilfeldige, ikke hypotesen. p måler hvor rare dataene er hvis holder.
Dette er bokas viktigste før/etter-drill. Sensorveiledningen for H2018 har en eksplisitt trekk-instruks for den gale formuleringen. Lær forskjellen utenat:
❌ GALT: «p = 0,03 betyr at det er 3 % sannsynlig at er sann/riktig.»
❌ GALT: «p = 0,03 betyr at det er 97 % sannsynlig at er sann.»
✔ RIKTIG: «p = 0,03 betyr at hvis var sann, ville vi fått et resultat minst så ekstremt som dette bare 3 % av gangene. Det er så sjelden at vi forkaster ved α = 0,05.»
Hele forskjellen ligger i hva sannsynligheten gjelder: p er sannsynligheten for dataene gitt hypotesen, ikke for hypotesen gitt dataene. Å bytte om de to er logisk feil (som å forveksle «sannsynligheten for våte gater hvis det regner» med «sannsynligheten for regn hvis gatene er våte»).
En kandidat skriver: «Vi fikk p = 0,02. Det betyr at det er bare 2 % sjanse for at nullhypotesen er riktig, så vi kan være 98 % sikre på at behandlingen virker.»
a) Hvilken feil har kandidaten gjort? Nevn feilkoden.
b) Skriv en korrekt tolkning av p = 0,02.
Løkke 4 — Å tolke oppgitte p-verdier: α-skifte og halvering (~16 min)
— naturlig pausepunkt —
På eksamen får du som regel p oppgitt og skal konkludere. Regelen er enkel: forkast hvis , behold ellers. Men to grep skiller A- fra C-besvarelsene:
1. α-skiftet: en p som ligger mellom 0,01 og 0,05 (f.eks. 0,048 eller 0,017) snur konklusjon når du bytter fra α = 0,05 til det strengere α = 0,01. Slike «vippeverdier» er faste deloppgaveledd.
2. Halveringen: enhalet p er halvparten av tohalet. En tohalet (behold ved 0,05) blir enhalet (forkast ved 0,05) — men bare hvis retningen var begrunnet på forhånd.
Og husk: signifikans ≠ viktighet. At sier «forskjellen er trolig ekte», ikke «forskjellen er stor eller viktig». Konvensjonsgrensen 0,05 er dessuten nettopp det — en konvensjon; 0,049 og 0,051 er praktisk talt like sterke resultater.
En studie tester om en app senker eksamensangst. Tohalet test gir oppgitt .
a) Konkluder ved og ved .
b) Anta i stedet at forskeren hadde en begrunnet retningshypotese (appen senker angst) og gjorde en enhalet test. Hva ville enhalet p bli, og hva endrer det?
b) Enhalet p er halvparten: . Nå er , så resultatet ville vært signifikant også ved det strenge α = 0,01. Men dette gjelder kun fordi retningen var begrunnet før dataene ble sett — ellers er halveringen ikke tillatt (feil #11).
Tolkning i ord: p forteller hvor uvanlig resultatet er under . Om vi kaller det «signifikant» avhenger av terskelen α og av om testen var én- eller tohalet — begge valg må gjøres før dataene ses.
En tohalet test av et nytt søvnråd gir oppgitt .
a) Konkluder ved .
b) Konkluder ved .
c) Betyr en signifikant p her at effekten er stor og viktig? Forklar.
En konsentrasjonstest har befolkningssnitt . Et nytt utvalg på personer som har fått en pausetrening, får med . Tohalet test gir oppgitt . Bruk .
a) Formuler og (tohalet), og regn .
b) Gjør rede for de fem trinnene og konkluder ved .
c) Hva ville en enhalet test (begrunnet retning: pausetrening hever skår) endret? Regn enhalet p og konkluder ved både 0,05 og 0,01.
d) Hva må til for at den enhalede testen skal være faglig forsvarlig?
Feil #11 — retningsbestemt uten begrunnelse. Å velge enhalet test (og halvere p) uten faglig forhåndsbegrunnelse for retningen. Enhalet er kun tillatt når retningen er begrunnet før dataene ble sett.
Feil #12 — hypoteser om utvalgsverdier. Å skrive i stedet for . Hypotesene gjelder alltid populasjonen () — utvalgssnittet kjenner vi allerede.
«Ikke signifikant» = bevis for . Å beholde betyr ikke at effekten er fraværende — bare at vi ikke fant sterke nok bevis. Fravær av bevis er ikke bevis på fravær.
Signifikans = viktighet. At sier «trolig ekte», ikke «stor/viktig». Rapporter effektstørrelse i tillegg.
Begrepsbank — hypotesetesting
Flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget over gjelder kjernestoffet.
Forkast hvis ; behold ellers. Å forkaste betyr «effekten er trolig ekte». Å beholde betyr ikke at er bevist — bare at bevisene ikke var sterke nok.
p leses fra utvalgsfordelingen — fordelingen av tenkte gjentatte utvalgsgjennomsnitt (jf. kap. 3.3). Dens spredning er standardfeilen . Uten utvalgsfordelingen finnes ingen p — dette er en A-markør å nevne.
Kjernen i p-definisjonen: p er en betinget sannsynlighet — sannsynligheten for dataene forutsatt at holder. Uten dette leddet blir tolkningen feil #1.
En p mellom 0,01 og 0,05 (f.eks. 0,048, 0,017) gir signifikans ved α = 0,05 men ikke ved α = 0,01. Å snu konklusjonen ved α-skifte er et fast deloppgaveledd.
Vi tester , ikke : antar «ingen effekt», ser om dataene blir usannsynlige under den antakelsen, og forkaster hvis de blir det. Vi «beviser» aldri direkte.
Å beholde er fravær av bevis, ikke bevis på fravær. En ikke-signifikant test kan skyldes en ekte, men liten effekt, eller for lite utvalg (lav power — kap. 4.2).
Hypotesene handler om populasjonssnittet (ukjent), ikke om utvalgssnittet (kjent). Å skrive er feil #12 — vi tester det vi ikke vet, ikke det vi har målt.
α = 0,05 er en konvensjon, ikke en naturlov. p = 0,049 og p = 0,051 er nesten identisk sterke resultater, selv om det ene «passerer» og det andre ikke. En A-kandidat nevner dette.
Et tall (t, F, z …) som oppsummerer hvor langt dataene ligger fra det forutsier, målt i standardfeil-enheter. Stor testobservator ⟹ liten p. Hvilken observator kommer an på testvalget (kap. 4.3).
1) formuler / om ; 2) velg ; 3) velg og utfør test; 4) finn p fra utvalgsfordelingen; 5) forkast hvis . På eksamen oppgis ofte p — tolkningen er jobben din.
p er ikke sannsynligheten for at er sann, og ikke for at den er feil. Hypotesen er sann eller ikke; det er dataene som er tilfeldige. Å bytte om «data gitt hypotese» og «hypotese gitt data» er feil #1.
En enhalet test er kun tillatt når retningen er begrunnet i teori/tidligere funn før dataene ses. Velges den i etterkant for å presse p under grensen, er det feil #11.
Nullhypotesetesting er et falsifiseringsapparat: vi kan forkaste (falsifisere) , men aldri «bevise» den. Derfor beholder vi heller enn å akseptere den.
Et mål på hvor stor en effekt er (f.eks. selve differansen, eller standardiserte mål), uavhengig av utvalgsstørrelse. Supplerer p: p sier «ekte?», effektstørrelsen sier «hvor mye?».
Ved å sette α = 0,05 aksepterer vi 5 % risiko for å forkaste en sann (falsk alarm). Et strengere α (0,01) reduserer denne risikoen, men gjør det vanskeligere å oppdage ekte effekter (bro til kap. 4.2).
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Innholdet er læringsstoff, ikke helse- eller medisinske råd. Les mer.