7.2 Åpen vitenskap, kunnskapsoppsummering og restbegrepsbanken

HARKing, pre-registrering og p-hacking — det nye programfestede stoffet — pluss review vs. meta-analyse, fagfellevurdering og restbegrepene (kappa, Likert, takeffekt, konfidensintervall, Bayes) som er billige å ha dekket.

50 min

3 oppgaver

Åpen vitenskapkunnskapsoppsummeringrestbegrepsbanken

Din fremgang i kapitlet

0 / 3 oppgaver

Kapitlets plass i kurset

Bygger på

4.1H0, H1 og nullhypotesetestingens trinn 7.1Forskningsetikk

Brukes videre i

7.PPrøver til del 7: Etikk, åpen vitenskap og kunnskapsoppsummering 8.2Sjanger — hypotesetestingsoppgaven 8.5Sjanger — kvalitativ- og prosessoppgaven

To ting bor i dette kapitlet: det nyeste stoffet på eksamen, og det billigste.

- Åpen vitenskap (HARKing, pre-registrering, p-hacking) er helt nytt og programfestet — introdusert i V2025. Sensorveiledningen ga eksplisitt trekk for å antyde at det er greit å endre hypotesen etter at man har sett dataene, uten åpenhet. Prioritet: kunne (stigende).
- Review vs. meta-analyse er spurt i 3 sett (V2012, V2016 og tilbake i V2025). Et rent nabobegrep-par sensor liker å teste.
- Restbegrepsbanken (kappa, Likert, sensitivitet/takeffekt, konfidensintervall, fagfellevurdering, Bayes) er kjenne-nivå — sjelden hovedstoff, men billig flervalgs- og deloppgavedekning. Prioritet: kjenne.
- Sjangrene her er hypotesetestingsoppgaven med en åpen-vitenskap-hale (i boka T2) og den brede prosessoppgaven (T8) — se kap. 0.1.
- Fellen: åpen vitenskap som honnørord uten mekanismene, og å blande review med meta-analyse. Beslektet med feilkode #16 (fagbegrepene mangler — oppslagsnummer i feilregisteret, samlet i kap. 8.6 i eksamenstreningen, Del 8).

Mål: at du kan diagnostisere HARKing, forklare hvordan pre-registrering forebygger det, kontrastere review og meta-analyse, og ha restbegrepene klare til flervalg.

Tidsbruk: ~50 minutter, delt i to løkker med pausepunkt. Anslaget gjelder kjernestoffet (åpen vitenskap + review/meta); restbegrepsbanken nederst er repetisjon.

Forkunnskaper. Åpen vitenskap-delen hviler på hypotesetestingens logikk fra Del 4 — særlig at hypotesen skal formuleres før dataene og at en p-verdi tolkes mot et forhåndsvalgt signifikansnivå. Del 4 bygges parallelt; er du usikker på «gitt at H0 er sann»-premisset og hva en p-verdi er, les hypotesetestingskapitlet først (Del 4, hypotesetesting og testvalg). Kappa-minieksemplet bygger på interrater-reliabilitet fra kap. 1.3, og konfidensintervall-setningen på standardfeil fra deskriptiv-/slutningsdelen (Del 3, slutningslogikk). Etikkforankringen deles med kap. 7.1.

Symbol- og formelliste

Løkke 1 — Åpen vitenskap: HARKing, pre-registrering og p-hacking (~25 min)

Tenk deg at du gjetter på et kortspill etter at kortet er snudd, og så sier: «Jeg visste det!» Alle skjønner at det ikke teller — du så svaret først. Nøyaktig det samme problemet rammer forskning når hypotesen tilpasses dataene i etterkant. Dette er kjernen i åpen vitenskap, det nyeste programfestede stoffet på PSY1010-eksamen (V2025), og logikken henger direkte på hypotesetestingen fra Del 4: en p-verdi og en test forutsetter at hypotesen kom før dataene.

📝Oppgave 1

(Lett innstegsoppgave.) En forsker hadde ingen hypotese på forhånd, kjørte 20 tester, fant én signifikant, og skrev så rapporten som om nettopp den hypotesen var planlagt fra start. Hva heter dette, kort?

Definisjonsboksene i denne løkka er kjernestoff og flashcard-stoff — les dem, men vit at de også dukker opp som repetisjonskort. Åpen vitenskap er stigende eksamensstoff, så disse begrepene er verdt å ha presise.

HARKing

Hypothesizing After the Results are Known — å formulere hypotesen etter at dataene er analysert, og presentere den som om den var satt opp på forhånd. Hvorfor det er galt: hypotesetestingen (Del 4) forutsetter at hypotesen kom før dataene — en p-verdi tolkes «gitt at H0 er sann», og det premisset brytes når hypotesen er skreddersydd til nettopp de tallene man fikk. Kontrast: et eksplorativt funn er helt lov — men da må det merkes som eksplorativt, ikke maskeres som en forhåndshypotese.

Pre-registrering

At forskeren låser hypotese, design og analyseplan offentlig FØR data samles inn (f.eks. i et tidsstemplet register). Botemiddelet mot HARKing: fordi planen er tidsstemplet, kan hypotesen ikke i ettertid utgis for å ha vært der hele tiden. Skiller tydelig konfirmerende analyser (planlagt på forhånd) fra eksplorative (funn man snublet over — lov, men skal merkes).

p-hacking

Å prøve seg fram til et signifikant resultat — kjøre mange tester, dele opp utvalget, legge til/fjerne variabler eller stoppe innsamlingen når p tilfeldigvis er under 0,05 — og bare rapportere det som «traff». Problemet: med nok forsøk vil noe bli signifikant ved ren flaks, så p-verdien mister mening. Kontrast til HARKing: p-hacking er å jakte på et funn; HARKing er å dikte hypotesen rundt funnet i etterkant. De opptrer ofte sammen.

Publikasjonsskjevhet

At signifikante funn publiseres oftere enn ikke-signifikante («null-funn»). Konsekvens: den publiserte litteraturen overdriver hvor sterke og sikre effekter er, fordi de negative resultatene forblir i skuffen. Sammen med p-hacking gir dette et systematisk for optimistisk bilde av et felt.

✏️Eksempel: diagnostiser HARKing og vis riktig håndtering

En forsker undersøker om en app bedrer søvn. Hovedanalysen viser ingen effekt, men hun oppdager at appen ser ut til å virke bare for studenter under 25. Hun vurderer å skrive rapporten som om «effekt hos unge» var hypotesen hele tiden, siden det gir en signifikant p-verdi. Diagnostiser og vis riktig håndtering.

Diagnose: Dette er HARKing. Hypotesen «effekt hos unge» ble til etter at hun så undergruppe-funnet, men skal presenteres som en forhåndshypotese. Å plukke nettopp den ene undergruppen av flere som ble signifikant, er dessuten p-hacking — med nok undergrupper blir noe signifikant ved flaks. V2025-trekket er å framstille etterkant-endringen som uproblematisk uten åpenhet.

Riktig håndtering:
1. Rapporter ærlig: hovedanalysen (planlagt, konfirmerende) viste ingen effekt. Det er hovedfunnet.
2. Merk undergruppe-funnet som eksplorativt: «I en eksplorativ analyse så vi en mulig effekt hos deltakere under 25.» Eksplorative funn er lov — de er ofte kilden til nye hypoteser — men de skal merkes, ikke maskeres.
3. Pre-registrer en replikasjon: lås hypotesen «effekt hos unge» offentlig og test den på nye data. Da blir den konfirmerende, og p-verdien får igjen mening.

Prosatolkning: Poenget er ikke at forskeren gjorde noe galt ved å oppdage mønsteret — utforskning er en dyd. Det gale er å skjule at funnet kom i etterkant. Åpenhet om eksplorativt vs. konfirmerende er hele forskjellen. Et A-svar navngir HARKing/p-hacking og viser den åpne løsningen; et svar som antyder at etterkant-endring uten åpenhet er greit, får trekk.

📝Oppgave 2

En forsker sier: «Jeg testet ikke bare det jeg trodde på forhånd — jeg kjørte flere analyser og rapporterte den som ble signifikant, det er jo effektivt.»

a) Hvilke to problemer beskriver forskeren?

b) Hvordan forebygger pre-registrering dem?

Løkke 2 — Review, meta-analyse og fagfellevurdering (~15 min)

— naturlig pausepunkt —

Én studie er sjelden nok. Hvordan oppsummerer man hva et helt felt har funnet? To svar, som sensor liker å teste mot hverandre: en oversiktsartikkel (review) som tolker litteraturen kvalitativt, og en meta-analyse som kombinerer resultatene statistisk til ett samlet estimat. De besvarer samme spørsmål med ulik metode — og gir ofte samme svar.

Matrisen under gjør skillet tydelig: review oppsummerer med ord, meta-analysen med tall.

Oversiktsartikkel (review)

En kvalitativ oppsummering av forskningen på et felt: forfatteren leser, veier og tolker studiene og trekker en samlet konklusjon i ord. En systematisk review har eksplisitte, forhåndsbestemte kriterier for søk og seleksjon (hvilke studier tas med). Kontrast til meta-analyse: review tolker, meta-analyse regner .

Meta-analyse

En statistisk kombinasjon av resultatene fra mange studier til ett samlet effektestimat, der større/mer presise studier gjerne veier tyngre. Gir et tallfestet svar på «hvor stor er effekten samlet?». Kontrast: der en review oppsummerer i ord, kombinerer meta-analysen i tall — men begge er avhengige av kvaliteten på studiene som puttes inn.

✏️Eksempel: review vs. meta-analyse — likheter, forskjeller og fallgruver

En student skal forklare forskjellen på en oversiktsartikkel og en meta-analyse, og hvilke problemer begge deler. Skriv et fagforankret svar.

Felles mål: begge oppsummerer et forskningsfelt i stedet for å samle nye data — de svarer på «hva vet vi samlet?».

Forskjellen: en review tolker studiene kvalitativt og konkluderer i ord; en meta-analyse kombinerer resultatene statistisk til ett samlet effektestimat. En systematisk review og en meta-analyse deler kravet om systematisk, forhåndsdefinert søk og seleksjon.

Felles fallgruver:
- Kvalitetsvurdering: dårlige studier inn gir dårlig oppsummering ut («garbage in, garbage out»).
- Epler og pærer: å slå sammen studier som egentlig måler litt ulike ting.
- Publikasjonsskjevhet: hvis bare signifikante studier er publisert, blir oppsummeringen for optimistisk (kobling til løkke 1).
- Manglende rapportering / seleksjons- og forskerbias: hvilke studier som inkluderes kan farge konklusjonen.
- Overvekting av svake studier: hvis vektingen ikke tar høyde for kvalitet.

Prosatolkning: De to metodene gir ofte samme svar — men når de spriker, er det gjerne fordi meta-analysen tvinger fram tall der reviewen kunne skjule usikkerhet i ord (eller omvendt: en review fanger nyanser en ren tallkombinasjon mister). Et A-svar navngir begge metodene, kontrasterer kvalitativt/statistisk, og nevner minst ett delt problem.

📝Oppgave 3

Et forskningsmiljø vil oppsummere all forskning på om en bestemt terapi virker.

a) Forklar forskjellen på å gjøre dette som en review og som en meta-analyse.

b) Nevn to problemer som rammer begge, og forklar hvorfor.

Fagfellevurdering (peer review)

At uavhengige eksperter på feltet vurderer et manuskript før publisering — sjekker metode, analyse og konklusjoner og anbefaler antatt/revisjon/avvist. En kvalitetskontroll, men ikke feilfri: den fanger ikke all svindel eller p-hacking, og kan selv ha bias. Perifert stoff, men et fast kjenne-begrep (H2010-klyngen).

Restbegrepsbanken

Flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget gjelder kjernestoffet (åpen vitenskap + review/meta). Denne banken samler kjenne-nivå-begreper som er billige å ha dekket til flervalg og småledd, men som sjelden er hovedstoff: Cohens kappa, Likert-skala og spørreskjemakonstruksjon, sensitivitet og tak-/gulveffekt, konfidensintervall og Bayes. Ett minieksempel (kappa) er regnet ut; resten er verbalt. Les banken minst én gang før eksamen, men ikke la den stjele tid fra kjernestoffet.

✏️Minieksempel: regn og tolk Cohens kappa

To forskere klassifiserer uavhengig 50 intervjuutdrag som «bekymring til stede» eller «ikke». De er enige på 45 av 50. Forventet enighet ved ren tilfeldighet er $P_c = 0{,}60$ . Regn ut Cohens kappa med $\displaystyle K = \frac{P_o - P_c}{1 - P_c}$ og tolk.

Steg 1 — observert enighet $P_o$ :

P_o = \frac{45}{50} = 0{,}90.

Intuisjon: rå enighet er 90 % — ser høyt ut, men noe er flaks.

Steg 2 — forventet tilfeldig enighet: oppgitt, $P_c = 0{,}60$ .

Steg 3 — sett inn:
$K = \frac{0{,}90 - 0{,}60}{1 - 0{,}60} = \frac{0{,}30}{0{,}40} = 0{,}75.$

Prosatolkning (obligatorisk): $K = 0{,}75$ betyr at forskerne er enige langt utover det tilfeldigheten alene skulle tilsi — av det «rommet» som var igjen etter at vi trakk fra flaks-enigheten, dekker de 75 %. Interrater-reliabiliteten er altså god. Merk at rå enighet (90 %) overdriver samstemtheten fordi «ikke bekymring» er vanlig og noe enighet ville kommet av flaks; kappa (0,75) gir det ærligere bildet. Formelen oppgis alltid — du skal tolke, ikke pugge.

Cohens kappa (kjenne)

K = (P_o - P_c)/(1 - P_c)

Likert-skala

En vurderingsskala der deltakeren angir grad av enighet på trinn med ankerpunkter (f.eks. 1 = helt uenig \dots 5 = helt enig). Et enkelt Likert-ledd er strengt tatt ordinalt; en sumskår over flere ledd behandles etter konvensjon som intervall (kobling til målenivå, kap. 1.2).

Spørreskjemakonstruksjon

Gode ledd er entydige, unngår doble spørsmål ('double-barreled'), ledende formuleringer og negasjoner som forvirrer. Ankerpunktene skal være balanserte. Målet er at leddene måler begrepet presist og likt for alle.

Sensitivitet (måleinstrument)

En AVs evne til å fange opp forskjeller — et sensitivt mål skiller mellom deltakere som faktisk er ulike. Lav sensitivitet gjør at reelle effekter drukner. Ikke å forveksle med sensitivitet i diagnostisk testing.

Takeffekt

Når mange deltakere skårer nær maksimum på et mål, slik at forskjeller på toppen ikke fanges — testen er for lett. Kalles range effects sammen med gulveffekt. Truer sensitiviteten.

Gulveffekt

Speilbildet av takeffekt: mange skårer nær minimum fordi oppgaven er for vanskelig, så forskjeller i bunnen skjules. Også en range-effekt som svekker målets sensitivitet.

Konfidensintervall

\pm 1{,}96 \cdot \text{SE}

Bayesiansk tilnærming (kjenne)

En alternativ statistikk-logikk der man oppdaterer sannsynligheter for hypoteser i lys av data (i stedet for å teste mot en fast H0 med p-verdier). Nevnt i pensum, aldri krevd regnet — vit at den finnes og kontrasterer p-verdi-logikken.

Review ↔ meta-analyse

Begge oppsummerer et felt. Review tolker kvalitativt (i ord); meta-analyse kombinerer statistisk (ett effektestimat). Felles fallgruver: publikasjonsskjevhet, kvalitet, epler-og-pærer.

HARKing ↔ pre-registrering

HARKing = hypotese laget etter at data er sett, utgitt for å ha vært der før. Pre-registrering = låse hypotese/analyseplan offentlig før data — botemiddelet. Eksplorative funn er lov, men skal merkes.

p-hacking ↔ publikasjonsskjevhet

p-hacking = prøve seg fram til signifikans (mange tester, bare rapportere den som traff). Publikasjonsskjevhet = signifikante funn publiseres oftere. Sammen gir de et for optimistisk litteraturbilde.

Konfirmerende ↔ eksplorativ analyse

Konfirmerende = planlagt (og gjerne pre-registrert) på forhånd; p-verdien beholder mening. Eksplorativ = utforskende funn i etterkant — lov, men må merkes som eksplorativt, ikke maskeres som forhåndshypotese.

Fagfellevurdering (peer review)

Uavhengige eksperter vurderer et manuskript før publisering (metode, analyse, konklusjon). Kvalitetskontroll, men ikke feilfri — fanger ikke all p-hacking/svindel og kan ha egen bias.

Range effects

Fellesnavn på tak- og gulveffekt: når skårene klumper seg nær maks eller min, skjules reelle forskjeller og målets sensitivitet svekkes.

HARKing = hypotese etter resultatet

Å formulere hypotesen etter at data er sett og utgi den for å ha vært satt på forhånd. Bryter testlogikkens 'hypotese før data'-premiss. Kontrast: eksplorativt funn (lov, men merkes).

p-hacking = jakte på signifikans

Å prøve seg fram (mange tester, dele utvalget, stoppe når p<0,05) og bare rapportere det som traff. Kontrast: HARKing dikter hypotesen rundt funnet; p-hacking jakter på funnet. De opptrer ofte sammen.

Pre-registrering = plan låst før data

Hypotese, design og analyseplan låses offentlig og tidsstemplet før datainnsamling. Motmiddel mot HARKing; skiller konfirmerende fra eksplorativt.

Review = kvalitativ oppsummering

Tolker og veier litteraturen i ord; systematisk review har forhåndsdefinerte søk-/seleksjonskriterier. Kontrast: meta-analyse regner i tall.

Meta-analyse = statistisk kombinasjon

Slår sammen studiers resultater til ett effektestimat, presise studier veier tyngre. Kontrast: review tolker i ord. Felles fallgruve: publikasjonsskjevhet.

Publikasjonsskjevhet = null-funn i skuffen

Signifikante funn publiseres oftere enn null-funn, så publisert litteratur overdriver effekter. Rammer både review og meta-analyse.

Kappa vs. rå enighet (

P_o

)

P_o

Typiske feil

V2025-trekket — etterkant-endring uten åpenhet framstilt som greit. Å antyde at det er uproblematisk å endre hypotesen etter at man har sett dataene (uten å merke det som eksplorativt) gir eksplisitt trekk. Riktig: rapporter hovedanalysen ærlig, merk etterkant-funn som eksplorativt, pre-registrer en replikasjon.

Å blande review og meta-analyse. Et klassisk nabobegrep-par: review tolker kvalitativt, meta-analyse kombinerer statistisk. Bland dem, og du bommer på et lettpoeng.

Åpen vitenskap som honnørord uten mekanismene (nær feilkode #16). «Forskning bør være åpen og ærlig» gir null uten begrepene HARKing, pre-registrering, p-hacking, publikasjonsskjevhet. Navngi mekanismen.

Feilkode-gloss: «feil #16» er et oppslagsnummer i bokas feilregister (moralprat/honnørord uten fagbegrep — samlet i kap. 8.6 i eksamenstreningen, Del 8).

Pensumkart og repetisjon

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Innholdet er læringsstoff, ikke helse- eller medisinske råd. Les mer.