4.3 Kvantitative data og feiltolkning

En forklaring på et funn som peker på hvordan undersøkelsen ble gjort: hvordan spørsmålet var formulert, hvem som svarte og hvem som ikke gjorde det, hvilke svaralternativer som fantes, eller hvilket statistisk mål som ble brukt.

Helleviks analyse av feiltolkede intervjudata ⚠ er bygget rundt nettopp dette: et oppsiktsvekkende funn kunne forklares ved måten spørsmålene var stilt og tolket på, og ikke ved et holdningsmønster i befolkningen. Poenget pensum trekker ut, er ikke saken funnet handlet om, men grepet: før du forklarer et mønster, må du sjekke om mønsteret er ditt eget verk.

Distinksjonen mot substansiell forklaring: en metodeforklaring sier at funnet er et trekk ved målingen. En substansiell forklaring sier at det er et trekk ved verden. Begge kan være riktige, og oppgaven er å avgjøre hvilken som holder.

Hvor det brukes på eksamen: dette er den mest overførbare enkeltinnsikten i metodedelen. Møter du et tall i en anvendelsesoppgave, er første spørsmål alltid hvordan tallet ble til.

En forklaring som peker på forhold i verden: at folk faktisk mener det de svarer, at gruppene faktisk er forskjellige, at ordningen faktisk virket.

En substansiell forklaring er den interessante forklaringen — det er den vi som regel er ute etter. Men den kan bare gjøres gjeldende når metodeforklaringene er prøvd og forkastet.

Distinksjonen mot metodeforklaring: rekkefølgen er poenget. Metodeforklaringene skal utelukkes først, ikke fordi de er mer sannsynlige, men fordi de er billigere å sjekke og fordi et funn som skyldes målingen, ikke kan bære noen konklusjon om verden.

Presisering om grensetilfellene: skillet er ikke alltid skarpt. Hvordan folk svarer på et spørsmål, kan i seg selv være et funn om verden — at en formulering utløser sterke reaksjoner, forteller noe. Da er poenget å si eksplisitt hva funnet er et funn om.

Å gjøre en holdning målbar krever at den oversettes til ett eller flere konkrete spørsmål med faste svaralternativer. Oversettelsen er stedet der de fleste feilene oppstår.

En holdning er sjelden ett standpunkt. «Innstilling til kommunens pengebruk» kan romme både en oppfatning om nivået, en oppfatning om prioriteringen og en oppfatning om hvem som bestemmer — og et enkelt spørsmål tvinger de tre sammen til ett svar.

Distinksjonen mot måling av atferd: hvor mange ganger noen har levert avfall på gjenbruksstasjonen, kan telles og kontrolleres. Hva de mener om avfallsgebyret, finnes bare som svar på et spørsmål — og svaret er formet av spørsmålet.

Hvor det brukes: dette er begrunnelsen for at holdningsmålinger krever flere spørsmål om samme sak. Spriker svarene, er det i seg selv en opplysning.

Kravet om at spørsmålet skal måle det du tror det måler. Tre forhold avgjør: at ordene forstås likt av alle, at spørsmålet ikke inneholder et argument, og at det bare spør om én ting av gangen.

Det siste er lett å overse. «Bør kommunen bruke mer på skole og mindre på kultur?» er to spørsmål i ett, og den som er enig i det ene og uenig i det andre, kan ikke svare.

Distinksjonen mot et vanskelig spørsmål: et spørsmål kan være krevende å svare på uten å være dårlig formulert. Problemet oppstår når formuleringen systematisk trekker svarene i én retning — da er skjevheten innebygd og forsvinner ikke med flere deltakere.

Hvor det brukes på eksamen: når du skal vurdere en tallpåstand, er dette det første stedet å se. Spør alltid: hva sto det egentlig i spørsmålet?

Et spørsmål som inneholder eller antyder svaret, enten gjennom et ladet ord, gjennom en begrunnelse som følger med, eller gjennom en påstand som tas for gitt.

Den mest lumske formen er den som tar noe for gitt: «Hva synes du om at kommunen sløser med kulturmidlene?» tvinger den som svarer til å godta premisset for i det hele tatt å kunne svare.

Distinksjonen mot et retningsbestemt spørsmål: noen spørsmål må stille en påstand for å kunne måle enighet. Løsningen er da en balansert skala i begge retninger, og gjerne at halvparten av utvalget får påstanden snudd.

Merk hva som ikke hjelper: å legge til «etter din mening». Formuleringen gjør ikke et ledende spørsmål nøytralt — den flytter bare ansvaret over på den som svarer.

Alternativene bestemmer hva som kan svares. Tre valg har systematiske virkninger: om skalaen har et midtpunkt, om det finnes et «vet ikke», og hvor mange trinn skalaen har.

Uten «vet ikke» tvinges de uten mening til å velge noe, og støyen ser ut som et standpunkt. Med et midtpunkt vil mange plassere seg der for å slippe å ta stilling. Ingen av valgene er nøytrale, og derfor skal de være dokumentert.

Distinksjonen mot spørsmålsformuleringen: spørsmålet bestemmer hva det spørres om, alternativene bestemmer hva som kan svares. Et nøytralt spørsmål med skjeve alternativer gir like skjeve tall.

Hvor det brukes: dette er en av de mest konkrete tingene du kan peke på i en anvendelsesoppgave om en tallpåstand — og den er lett å begrunne.

At svaret på et spørsmål påvirkes av hva som ble spurt om rett før. Har man nettopp svart på fem spørsmål om kommunens økonomi, svarer man annerledes på et spørsmål om kulturbudsjettet enn om det kom først.

Virkningen er systematisk og ofte ganske stor, og den er umulig å fjerne helt — spørsmålene må komme i en eller annen rekkefølge. Den kan derimot kontrolleres, ved at rekkefølgen varieres mellom deltakerne.

Distinksjonen mot ledende spørsmål: her er hvert enkelt spørsmål nøytralt formulert. Det er sammenstillingen som gjør jobben, og derfor holder det ikke å lese spørsmålene ett for ett.

Hvor det brukes: dette er argumentet for at hele spørreskjemaet, og ikke bare det enkelte spørsmålet, skal være tilgjengelig når et funn skal vurderes.

At deltakerne svarer det de tror er akseptabelt, snarere enn det de faktisk mener eller gjør. Virkningen er sterkest på spørsmål der ett svar er tydelig mer respektabelt enn det andre.

Dette er ikke uærlighet. Det er en normal sosial reaksjon på å bli spurt av et annet menneske, og den er sterkere i intervju enn i et anonymt skjema — noe som i seg selv er et argument for å velge innsamlingsmåte etter tema.

Distinksjonen mot bevisst feilinformasjon: sosialt ønskelige svar er systematiske og forutsigbare, og de kan derfor motvirkes: ved anonymitet, ved nøytral formulering, og ved å spørre om konkret atferd i stedet for om holdning.

Hvor det brukes: dette forklarer hvorfor selvrapportert atferd — trening, resirkulering, lesing — jevnt over overrapporteres, og hvorfor slike tall bør sammenholdes med registerdata der de finnes.

At den som stiller spørsmålene, påvirker svarene: gjennom tonefall, gjennom hvordan uklare svar føres, og gjennom hvem intervjueren er i den svarendes øyne.

Virkningen er størst der intervjueren må tolke et fritt formulert svar og plassere det i en kategori. Da er kategoriseringen en tolkning, og tolkninger varierer mellom personer.

Distinksjonen mot sosialt ønskelige svar: sosialt ønskelige svar oppstår hos den som svarer, intervjuereffekten hos den som spør. Begge fører til systematisk skjevhet, men de motvirkes på ulike måter — det siste med opplæring, faste instrukser og kontroll av kategoriseringen.

Hvor det brukes på eksamen: dette er en konkret feilkilde å nevne når en undersøkelse er gjennomført med intervjuere, og den skiller seg fra de mer opplagte innvendingene om utvalg.

Hvem som er med i undersøkelsen, avgjør hva tallene gjelder for. Skjevhet oppstår når utvalget systematisk skiller seg fra gruppen det skal si noe om.

Tre kilder er de vanligste: rekrutteringen når ikke alle, noen velger seg selv inn fordi de har sterke meninger, og noen faller fra underveis. Alle tre peker som regel i en bestemt retning, og de kan ikke rettes opp med flere deltakere.

Distinksjonen mot tilfeldig usikkerhet: tilfeldig usikkerhet blir mindre når utvalget vokser og kan beregnes. Skjevhet blir ikke mindre — den blir bare mer presist målt.

Hvor det brukes: når noen viser til en undersøkelse med «over ti tusen svar», er dette svaret. Antallet sier ingenting om skjevheten.

De som var trukket ut, men ikke svarte. Frafallet er sjelden tilfeldig: det er systematisk skjevt etter alder, språk, interesse for temaet og tilgang til den kanalen undersøkelsen bruker.

Derfor er svarprosenten en av de viktigste opplysningene om en undersøkelse — og derfor er det et varselsignal når den ikke oppgis.

Distinksjonen mot et lite utvalg: et lite, men riktig trukket utvalg med høy svarprosent er langt mer å stole på enn et stort utvalg der to av ti svarte. Det første har stor tilfeldig usikkerhet, det andre har ukjent skjevhet.

Merk: frafall kan delvis korrigeres ved vekting, dersom man vet hvem som mangler. Men vektingen forutsetter at de som svarte innenfor hver gruppe, ligner dem som ikke svarte — og det er nettopp det man ikke vet.

Valget av hvordan tallene sammenfattes: andeler, gjennomsnitt, median, endring i prosent eller i prosentpoeng. Valget er ikke nøytralt, og to riktige mål på samme materiale kan gi motsatte inntrykk.

Et eksempel: en gruppe der de fleste har lav inntekt og noen få har svært høy, får et gjennomsnitt som ingen i gruppen har. Medianen forteller da mer om hvordan folk faktisk har det, mens gjennomsnittet forteller mer om den samlede summen.

Distinksjonen mot regnefeil: dette handler ikke om feil utregning. Begge målene er korrekte; spørsmålet er hvilket av dem som svarer på spørsmålet som ble stilt.

Hvor det brukes: dette er den siste av Helleviks fire kontrollpunkter, og det er også det som er lettest å overse, siden tallet ser ferdig ut.

Et prosenttall er alltid regnet av noe. Endres grunnlaget, endres tallet — uten at ett eneste svar er forandret.

At 68 prosent av de spurte mener noe, er ikke det samme som at 68 prosent av dem som ble kontaktet mener det, og heller ikke det samme som at 68 prosent av innbyggerne gjør det. De tre kan avvike sterkt fra hverandre.

Distinksjonen mot avrunding og presisjon: dette er ikke et spørsmål om desimaler. Det er et spørsmål om hvem tallet gjelder for, og det er den vanligste enkeltfeilen i lesning av tall.

Huskeregelen som er verdt å ta med i en besvarelse: spør alltid hva prosenten er regnet av, og hvem som falt utenfor det grunnlaget.

De to svarer på ulike spørsmål. Gjennomsnittet forteller om den samlede mengden fordelt på alle, og påvirkes sterkt av noen få svært høye eller lave verdier. Medianen forteller hva den typiske enheten har, og bryr seg ikke om hvor ekstreme ytterpunktene er.

Distinksjonen som avgjør hvilket mål som er riktig: spør du hvor mye det finnes i alt, er gjennomsnittet riktig. Spør du hvordan folk flest har det, er medianen riktig. Å oppgi gjennomsnittet i en skjevt fordelt gruppe og kalle det typisk, er ikke en regnefeil, men en feillesning.

Hvor det brukes på eksamen: dette er det klareste konkrete eksempelet på at valget av statistisk mål ikke er nøytralt, og det er lett å skrive kort og presist.

Går en andel fra 4 til 6 prosent, er endringen 2 prosentpoeng og samtidig en økning på 50 prosent. Begge tallene er riktige, og de gir helt ulike inntrykk.

Det er derfor endringsmål skal oppgis i begge former når størrelsen på utgangspunktet er liten. En stor prosentvis endring fra et lite utgangspunkt er som regel et svakt grunnlag for en påstand om at noe har endret seg dramatisk.

Distinksjonen mot statistisk usikkerhet: en endring på 2 prosentpoeng i et lite utvalg kan i tillegg ligge innenfor usikkerheten, og da er den ingen endring i det hele tatt. De to innvendingene er selvstendige og bør holdes fra hverandre.

Hvor det brukes: dette er et konkret grep i enhver anvendelsesoppgave med tall i seg, og det er raskt å skrive.

Anslaget fra et tilfeldig trukket utvalg treffer ikke den sanne verdien i gruppen nøyaktig. Usikkerheten kan beregnes, og den blir mindre når utvalget vokser.

Dette er den ene formen for feil som faktisk lar seg redusere med flere deltakere — og det er grunnen til at usikkerhet ofte forveksles med skjevhet, som ikke lar seg redusere på den måten.

Distinksjonen mot skjevhet: usikkerheten sier hvor presist anslaget er, skjevheten sier om det peker feil vei. En undersøkelse kan være svært presis og likevel systematisk gal.

Hvor det brukes på eksamen: når en forskjell mellom to grupper er liten, er første spørsmål om den er større enn usikkerheten. Små forskjeller i små undergrupper er den vanligste kilden til overtolkede funn.

En etterhåndskorrigering der svarene fra underrepresenterte grupper teller mer, slik at utvalget lignes på gruppen det skal si noe om.

Vekting hjelper når man vet hvem som mangler — for eksempel at unge menn er underrepresentert — og når man har opplysninger om gruppen fra et register.

Forutsetningen som ofte glemmes: vektingen antar at de unge mennene som faktisk svarte, ligner de unge mennene som ikke svarte. Er det nettopp de mest uinteresserte som mangler, er antakelsen gal, og vektingen gjør da skjevheten mer usynlig i stedet for mindre.

Distinksjonen mot å øke utvalget: vekting korrigerer sammensetningen, ikke størrelsen. Den er derfor et svar på skjevhet og ikke på usikkerhet — og den løser bare den delen av skjevheten som lar seg observere.

At de opplysningene som trengs for å vurdere et funn, faktisk følger med: spørsmålsformuleringene, svaralternativene, hvordan utvalget ble trukket, svarprosenten, og hvilke mål som er brukt.

Uten disse opplysningene kan ingen av kontrollene i dette kapitlet gjennomføres — og da er tallet ikke etterprøvbart, uansett hvor stort utvalget er.

Distinksjonen mot åpne data: dokumentasjon gjelder framgangsmåten. Å gi andre tilgang til selve datamaterialet er et beslektet, men strengere krav, og det hører inn under den interne forskningsetikken i kap. 5.1.

Hvor det brukes på eksamen: når du blir bedt om å vurdere en tallpåstand og opplysningene mangler, er nettopp det mangelen — og å si det er et bedre svar enn å gjette på hva som kan ha gått galt.

En sammenheng mellom to forhold som forsvinner når man tar hensyn til et tredje forhold som påvirker begge. Sammenhengen er reell i tallene, men den er ikke en årsakssammenheng.

Begrepet varsles her fordi mange tilsynelatende funn i et tallmateriale er av denne typen, og fordi det er broen til kravene i kap. 4.4.

Distinksjonen mot en svak sammenheng: en spuriøs sammenheng kan være meget sterk. Styrken sier ingenting om den er årsaksmessig — og det er nøyaktig derfor feil #13, å behandle samvariasjon som årsak, er så vanlig.

Hvor det brukes: dette er innvendingen som alltid er relevant mot en tallpåstand om at det ene fører til det andre, og den bør formuleres konkret: hvilket tredje forhold kunne påvirket begge?

Spørsmålet om hva som kom først. At to forhold henger sammen, sier ingenting om hvilket av dem som eventuelt påvirker det andre.

I et materiale samlet inn på ett tidspunkt er retningen som regel ikke avgjort av dataene i det hele tatt — den er avgjort av forskerens teori. Det skal i så fall stå.

Distinksjonen mot spuriøsitet: ved spuriøsitet finnes det en tredje faktor bak begge. Ved feil årsaksretning finnes det en sammenheng mellom nettopp de to, men den går motsatt vei av det som påstås. De to er ulike innvendinger og skal ikke slås sammen.

Hvor det brukes: dette er det andre av de tre kravene i kap. 4.4, og det er der det utfoldes.

Et mønster i tallene som er skapt av undersøkelsen selv, og som ikke svarer til noe i verden.

Begrepet er nyttig og farlig på samme tid. Det er nyttig fordi det gir et presist navn på det Hellevik ⚠ viser: at et funn kan være en egenskap ved instrumentet. Det er farlig fordi det kan brukes til å avvise ethvert resultat man ikke liker.

Kravet som skiller kritikk fra bortforklaring: en påstand om metodeartefakt skal peke på et konkret forhold ved målingen og si hvilken vei det trekker. «Undersøkelsen har svakheter» er ikke en påstand om metodeartefakt. «Halvparten falt fra, og frafallet er størst blant dem som ikke bruker tjenesten, så andelen fornøyde er trolig overvurdert» er det.

Hvor det brukes på eksamen: dette er kapitlets drøftingsakse, og den er behandlet i avsnittet under.

Kravene til en god måling og kravene til en god årsaksslutning er to sider av samme sak: begge handler om hva et resultat kan bære.

Helleviks krav gjelder om tallet i det hele tatt er et tall om det man tror. Tuftes krav — samvariasjon, årsaksretning og kontroll for tredje variabel — gjelder om en sammenheng mellom to slike tall kan leses som årsak. Faller det første, er det andre uten gjenstand.

Distinksjonen mellom de to nivåene: en perfekt gjennomført måling kan fortsatt gi en spuriøs sammenheng, og en dårlig måling kan ikke reddes av aldri så mye statistisk kontroll. Kravene er altså ikke en rangordning, men to porter etter hverandre.

Hvor det brukes på eksamen: V2021, fra det forrige regimet med to essayvalg per termin, honorerer uttrykkelig den kandidaten som ser og kommenterer dette overlappet. Å koble pensumdeler sammen er et av de åtte forholdene veiledningene belønner.