1.7 Kritisk vurdering av forskning

Å lese mellom linjene i forskning

Å lese en vitenskapelig artikkel er ikke det samme som å lese en nyhetssak. Artiklene er tette, tekniske og følger faste konvensjoner, og å lese dem kritisk -- altså vurdere kvaliteten på metode, resultater og konklusjoner -- er en av de mest verdifulle ferdighetene du kan utvikle.

Kritisk vurdering betyr ikke å lete etter feil for feilens skyld. Det betyr å stille gode spørsmål: Er metoden egnet? Støtter resultatene konklusjonene? Kan funnene generaliseres? Hva er begrensningene?

Det hjelper at de fleste artikler følger samme oppskrift, kalt IMRaD. Introduction forteller hva problemet er, hva vi vet, og hva forskningsspørsmålet er. Methods beskriver hvordan studien ble gjort, så detaljert at andre kan replikere den. Results presenterer funnene objektivt -- med tall, tabeller og statistikk -- uten tolkning. Den lille a-en står for «and», og Discussion tolker resultatene, vurderer styrker og svakheter og foreslår videre forskning. De fleste artikler har også et abstrakt først og en referanseliste til slutt. En effektiv lesestrategi er å starte med abstraktet, så figurene, deretter introduksjon, diskusjon, og til slutt metode og resultater i detalj.

Evidenshierarkiet og metaanalyser

Ikke all forskning veier like tungt. Evidenshierarkiet -- ofte tegnet som en pyramide -- rangerer forskningstyper etter hvor sterk evidens de gir. Nederst står ekspertuttalelser og klinisk erfaring: enkeltmeninger uten systematisk forskning bak. Over kommer kasuistikker (enkelttilfeller), så kasusserier uten kontrollgruppe, deretter kasus-kontroll-studier som kan vise assosiasjoner, og kohortstudier som følger grupper over tid. Nest øverst troner randomiserte kontrollerte studier (RCT) -- gullstandarden for enkeltstudier, med randomisering, kontrollgruppe og blinding. På toppen finner vi systematiske oversikter og metaanalyser.

Hvorfor er disse to øverst? En systematisk oversikt identifiserer, vurderer og oppsummerer all tilgjengelig forskning om et spørsmål, gjennom et grundig søk og forhåndsdefinerte kriterier. En metaanalyse går et skritt videre og bruker statistiske metoder for å kombinere resultatene fra mange studier til ett samlet estimat. Ved å slå sammen data øker den statistiske styrken og kan avdekke effekter som er for små til å sees i enkeltstudier. Et viktig verktøy her er forest plot, som viser hver studie som en prikk med konfidensintervall, og det samlede estimatet som en diamant nederst.

Men metaanalyser er ikke ufeilbarlige. Prinsippet «garbage in, garbage out» gjelder -- er de inkluderte studiene dårlige, blir resultatet upålitelig. Publikasjonsskjevhet kan gjøre at negative studier mangler, og studier kan være for ulike (heterogene) til å slås sammen meningsfullt.

Overfortolkning og pseudovitenskap

Diskusjonsseksjonen er ofte den mest avslørende delen. Her bør du være ekstra våken. Gode forskere innrømmer begrensninger -- en studie som hevder å ha ingen begrensninger, fortjener skepsis. Du bør også vurdere generaliserbarhet: en studie på 50 kvinnelige psykologistudenter ved ett norsk universitet over fire uker kan ikke uten videre overføres til «mennesker» generelt. Pass spesielt på overfortolkning -- når forfatterne påstår kausalitet fra en korrelasjonsstudie, generaliserer utover utvalget, eller blåser opp små effekter. Tenk på en studie som finner at blodtrykket falt fra 145 til 138 mmHg ($p = 0{,}03$): det er statistisk signifikant, men 7 mmHg er ikke nødvendigvis «stor klinisk effekt». Statistisk signifikans er ikke det samme som klinisk betydning, og uten konfidensintervall, effektstørrelse og kontrollgruppe er påstanden svakt begrunnet. Sjekk også alltid om forfatterne oppgir interessekonflikter -- industrifinansiert forskning rapporterer oftere positive resultater.

En av de viktigste ferdighetene fra hele faget er å skille vitenskap fra pseudovitenskap -- påstander som later som de er vitenskapelige, men ikke følger vitenskapens metoder. Kjennetegnene er mange. Pseudovitenskap er ofte ikke falsifiserbar: påstandene kan ikke motbevises. Den driver kirsebærplukking og fremhever bare støttende bevis. Den bygger på anekdotisk bevis («det virket for meg»), appell til autoritet og konspirasjonstenkning når motbevis dukker opp. Den unngår fagfellevurdering, og den endrer seg sjelden basert på ny kunnskap. Eksempler er homøopati, astrologi, krystallhealing og flat jord-teori.

Men kritisk tenkning betyr ikke å avvise all forskning og bli kynisk. Vitenskap har begrensninger -- studier kan ha feil, og forskere er mennesker. Forskjellen er at det vitenskapelige systemet har en innebygd selvkorrigerende mekanisme: feil oppdages over tid gjennom replikasjon, fagfellevurdering og åpen diskusjon. Pseudovitenskap mangler nettopp denne mekanismen. Kritisk tenkning er å kreve evidens, vurdere kvaliteten på den, og være villig til å endre mening når bedre evidens foreligger.

Oppsummering

Vi har sett at IMRaD (Introduction, Methods, Results and Discussion) er standardstrukturen for vitenskapelige artikler, og at en effektiv leser starter med abstraktet og figurene før detaljene. Evidenshierarkiet rangerer forskning fra ekspertuttalelser nederst til systematiske oversikter og metaanalyser øverst, med RCT-er som nest sterkest. Metaanalyser kombinerer mange studier statistisk, men er bare så gode som studiene de bygger på.

Når du vurderer en studie, må du se etter generaliserbarhet, overfortolkning og interessekonflikter, og huske at statistisk signifikans ikke er det samme som klinisk betydning. Til slutt kjennetegnes pseudovitenskap av ikke-falsifiserbare påstander, anekdoter og kirsebårplukking -- mens ekte vitenskap er selvkorrigerende. Kritisk tenkning er å kreve evidens, veie den, og være åpen for å skifte mening.