4.3 Testvalg — t-test, ANOVA og ANCOVA
«Hvilken test, og hvorfor?» — differensieringsformelen gjennom ti år, fra to grupper til fem, og kovariat-grepet sensor kaller en oppgave «ment å skille gode kandidater».
- Vi merker denne oppgavetypen T6 (testvalgsoppgaven — T-kodene forklares i kap. 0.1).
- Kjernepoenget sensor krever: ikke hvilken test, men hvorfor. Å velge ANOVA framfor mange t-tester uten å kunne begrunnelsen gir null — feil #7 (vi glosser feilkodene ved første bruk; hele registeret står i kap. 8.6).
- Ingen ANOVA-regning kreves noensinne — testvalget er en drøfting, ikke et regnestykke. Den ene lille talleillustrasjonen (antall parvise sammenligninger) er nettopp illustrasjon.
Øktmerking: ~55 min lesetid (×1,5 ved håndskriving), tre løkker med pausepunkter.
Sist du var her (nøkkelbegrepene oppfrisket):
- t-testen sammenligner to gruppegjennomsnitt (fra 3.4).
- Signifikansnivået er risikoen for en falsk positiv ved én test (fra 4.1) — dette blir nøkkelen til hvorfor mange t-tester er farlig.
- Faktor, nivå og interaksjon i faktorielle design (fra 2.3) — grunnlaget for når vi trenger toveis ANOVA.
Her lærer du å velge riktig test og — viktigst — å begrunne valget.
Løkke 1 — Fra to grupper til mange: t-test og ANOVA (~20 min)
Det er nøyaktig dette problemet som gjør at vi ikke kjører mange t-tester når vi har flere enn to grupper. Vi trenger én samlet test i stedet. Vi bygger begrunnelsen ledd for ledd.
Når du sammenligner gjennomsnittet i to uavhengige grupper, bruker du en uparet t-test. Den regner ut om differansen mellom de to gjennomsnittene er stor relativt til den tilfeldige variasjonen (jf. kap. 3.4).
Testen er tohalet med mindre du har en begrunnet retningshypotese (jf. kap. 4.1). t-testen er riktig valg bare ved nøyaktig to grupper — ved tre eller flere trenger vi noe annet.
Hver enkelt t-test har feilrisiko . Men gjør du mange, hoper risikoen seg opp: med 10 uavhengige tester er sjansen for minst én falsk positiv omtrent — altså 40 %, ikke 5 %. Dette er kjernebegrunnelsen for hvorfor mange parvise t-tester er en dårlig idé ved flere grupper.
- 3 grupper → 3 par
- 4 grupper → 6 par
- 5 grupper → 10 par
Med fem grupper (et typisk eksamenstall) blir det ti t-tester. Ti tester à 5 % risiko er ikke 5 % samlet risiko — den samlede (familywise) risikoen for minst én falsk alarm er da rundt 40 %. Løsningen er én samlet test.
Kjernebegrunnelsen (det sensor krever): ANOVA holder den samlede feilraten (familywise error) på i stedet for å la den eksplodere over mange parvise t-tester. Den svarer på ett spørsmål: «er det noen forskjell et sted mellom gruppene?» — uten å blåse opp Type I-risikoen. Ingen ANOVA-regning kreves på eksamen; begrunnelsen ER poenget.
En forsker sammenligner reaksjonstid i to grupper (koffein vs. placebo).
a) Hvilken test passer?
b) En annen forsker sammenligner fem grupper (fem koffeindoser). Hvilken test bør hun bruke i stedet for fem–ti t-tester?
En student skriver: «Med fem grupper kjørte jeg ti t-tester og fant to signifikante forskjeller.»
a) Hvilken feil har studenten begått? Nevn feilkoden.
b) Forklar hvorfor dette er et problem, med et tall.
c) Hva burde studenten gjort?
Løkke 2 — ANCOVA: kovariaten som skiller kandidatene (~18 min)
— naturlig pausepunkt —
En kovariat er en tilleggsvariabel som henger sammen med både den uavhengige variabelen (UV) og den avhengige (AV), og som du vil kontrollere for — regne bort effekten av — så den ikke forurenser sammenligningen mellom gruppene.
Eksempel: sammenligner du fem studieteknikker (UV) på eksamensskår (AV), kan søvnmengde være en kovariat hvis den både varierer mellom gruppene og påvirker skåren. Uten å ta hensyn til søvn vet du ikke om forskjellen skyldes teknikken eller søvnen.
Vilkårene: kovariaten må (i) korrelere med AV og (ii) helst være målt før manipulasjonen. ANCOVA øker presisjonen (reduserer uforklart støy) og fjerner en systematisk skjevhet mellom gruppene. Sensor kaller ANCOVA-leddet et oppgaveelement «ment å skille gode kandidater» — å nevne begrepet uoppfordret og forklare hva kovariaten gjør, er en klar A-markør.
- ANCOVA: kontroller den bort som kovariat — du er ikke interessert i den selv, bare i å fjerne dens forstyrrelse.
- Toveis ANOVA: modeller den som en ekstra faktor — du vil vite om den selv har en effekt, og om den samspiller (interagerer) med hovedfaktoren (jf. kap. 2.3). Er tilleggsvariabelen en egenskap som ikke kan manipuleres (kjønn, alder), er den en kvasi-UV.
Begge er akseptable med god begrunnelse — valget avhenger av om tilleggsvariabelen er en forstyrrelse du vil fjerne, eller et fenomen du vil studere.
Fem studieteknikk-grupper (n = 20 hver) sammenlignes på eksamensskår. Forskerne oppdager at gruppene også skiller seg i gjennomsnittlig søvnmengde, og søvn påvirker skår.
a) Hvilken test er riktig for grunnsammenligningen, og hvorfor ikke mange t-tester?
b) Hva bør de gjøre for å ta hensyn til søvn, og hva heter det?
b) Siden søvn henger sammen med både gruppetilhørighet (UV) og skår (AV), er den en kovariat. Forskerne bør bruke en ANCOVA — en ANOVA som kontrollerer bort søvnmengden før gruppene sammenlignes. Da isolerer de effekten av selve studieteknikken fra søvnens innflytelse.
Tolkning i ord: ANCOVA «justerer» alle grupper til samme søvnnivå, slik at en eventuell gjenværende forskjell i skår kan tilskrives teknikken, ikke søvnen. (Alternativt kunne søvn modelleres som egen faktor i en toveis ANOVA — men her er søvn en forstyrrelse de vil fjerne, ikke studere, så ANCOVA passer best.)
Tre undervisningsmetoder sammenlignes på matteprøveskår. Elevenes sosioøkonomiske status (SES) varierer mellom klassene og påvirker skåren.
a) Hvilken grunntest passer for de tre gruppene, og hva er begrunnelsen?
b) Forskerne vil kontrollere for SES. Hva heter grepet, og hva er vilkårene for at det gir mening?
c) Kunne SES i stedet behandles som en egen faktor? Hva ville det kalles, og når er det å foretrekke?
Løkke 3 — Beslutningstreet og bedre kausal kontroll (~17 min)
— naturlig pausepunkt —
Spør deg gjennom disse leddene:
1. Hvor mange grupper/betingelser?
- Nøyaktig to uavhengige grupper → uparet t-test (tohalet, ev. begrunnet enhalet).
- Tre eller flere grupper, én UV → enveis mellomgruppe-ANOVA (holder familywise error nede).
2. Er det en tilleggsvariabel jeg vil håndtere?
- Vil kontrollere den bort (forstyrrelse) → legg til som kovariat → ANCOVA.
- Vil studere den selv (og et mulig samspill) → legg til som ekstra faktor → toveis ANOVA (er den ikke-manipulerbar, er den en kvasi-UV).
Alltid: begrunn valget i prosa. Testvalget uten begrunnelse er feil #7 — begrunnelsen er poenget.
Figuren under viser beslutningstreet som ja/nei-porter nedover: hvert «nei» grener til sitt testvalg.
- Longitudinelle design (måle over tid) — hjelper med retningsproblemet (hva kom først).
- Multippel regresjon med kontrollvariabler — statistisk kontroll for tredjevariabler (bro til kap. 5.3).
- Gruppesammenligninger / kvasieksperiment — sammenligne naturlige grupper.
- RCT (randomisert kontrollert forsøk) — gullstandarden, men med etisk forbehold når manipulasjon ikke er forsvarlig.
En A-besvarelse velger og begrunner ut fra caset, i stedet for å ramse alle (feil #8 — oppramsing uten begrunnelse).
For hvert scenario: hvilken test, og hva er begrunnelsen (én setning)?
a) To grupper (ny app vs. gammel app) sammenlignes på læringsutbytte.
b) Fire treningsprogrammer sammenlignes på kondisjon.
c) Fire treningsprogrammer sammenlignes på kondisjon, men forskerne vil kontrollere bort deltakernes utgangsform (målt før studien).
Å tro ANOVA må regnes ut. Nei — ANOVA-regning kreves aldri på eksamen. Testvalget er en drøfting; talleillustrasjonen (antall par) er bare illustrasjon.
Å blande ANCOVA og toveis ANOVA. ANCOVA kontrollerer bort en tilleggsvariabel (forstyrrelse); toveis ANOVA modellerer den som egen faktor (fenomen du vil studere). Samme variabel, ulikt grep — begrunn ut fra forskningsspørsmålet.
Feil #8 — oppramsing uten begrunnelse. Å liste alle testene/metodene uten å velge og begrunne for det konkrete caset gir C-tak. Case-tilpasning er A-kravet.
Begrepsbank — testvalg
Flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget over gjelder kjernestoffet.
Hver t-test har 5 % Type I-risiko. Mange tester på samme data blåser opp den samlede (familywise) risikoen — ti tester gir rundt 40 %. ANOVA holder den samlede feilraten på α. Dette er kjernebegrunnelsen (feil #7).
Med grupper er antallet par : 3→3, 4→6, 5→10. Antallet vokser raskt — derfor eksploderer den samlede feilraten. En liten illustrasjon, ikke et regnestykke for eksamen.
Samme tilleggsvariabel, ulikt grep. ANCOVA: kontroller den bort som kovariat (forstyrrelse). Toveis ANOVA: modeller den som egen faktor (fenomen med mulig interaksjon). Valget avhenger av om du vil fjerne eller studere variabelen.
En kovariat må korrelere med AV og helst være målt før manipulasjonen. Da kan ANCOVA kontrollere den bort, redusere støy og fjerne en systematisk skjevhet mellom gruppene.
Behandler du en ikke-manipulerbar egenskap (kjønn, alder) som en ekstra faktor i en toveis ANOVA, er den en kvasi-UV. Da studerer du dens effekt og samspill, i stedet for å kontrollere den bort (kobling til kap. 2.3).
Sensor honorerer hvorfor mer enn hvilken. «Jeg brukte ANOVA» uten familywise-begrunnelsen gir lite; å velge test og forklare valget for det konkrete caset er A-kravet.
Testvalgsoppgaven krever aldri at du regner ut en ANOVA eller ANCOVA. Den er en begrunnet drøfting av hvilken test som passer og hvorfor — ikke et regnestykke.
Når et ekte eksperiment er umulig, kan man nærme seg årsak via longitudinelle design (retning), multippel regresjon med kontrollvariabler (tredjevariabler), gruppesammenligninger, eller RCT med etisk forbehold. Velg og begrunn (V2024).
t-testen for to grupper er tohalet med mindre en retningshypotese er begrunnet på forhånd (kobling til kap. 4.1). Å velge enhalet uten begrunnelse er feil #11.
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Innholdet er læringsstoff, ikke helse- eller medisinske råd. Les mer.