1.2 Sosiologisk metode — design, survey og felteksperiment

Den samlede planen for en undersøkelse: hvilket spørsmål som stilles, hvilke enheter som studeres, hvilke data som samles inn, hvordan, og hvordan de skal analyseres.

Designet bestemmer hva som kan konkluderes. En undersøkelse som måler to grupper på ett tidspunkt, kan si at de er forskjellige. Den kan ikke si hva forskjellen skyldes, med mindre designet er laget for å utelukke alternativene. Det er derfor spørsmålet «hvilket design?» alltid kommer før spørsmålet «hva fant de?».

Distinksjonen mot metode: metoden er teknikken som brukes til å samle inn data — intervju, spørreskjema, observasjon, registeruttrekk. Designet er hele arkitekturen rundt. To studier kan bruke samme metode og ha helt ulike design.

Fremgangsmåter som gir data i tallform, med mange enheter, slik at fordelinger og sammenhenger kan måles og generaliseres til en større gruppe.

Styrken er bredde og etterprøvbarhet: du kan si hvor utbredt noe er, hvordan det fordeler seg mellom grupper, og hvor sikkert anslaget er. Svakheten er at kategoriene må være bestemt på forhånd — undersøkelsen kan bare finne det den er laget for å måle.

Distinksjonen mot nabobegrepet: kvantitativ metode svarer typisk på «hvor mange, hvor mye, hvor ofte og hvordan fordelt». Kvalitativ metode svarer på «hva betyr det, hvordan oppleves det, hvordan henger det sammen for dem det gjelder».

Fremgangsmåter som gir data i tekstform, med få enheter studert i dybden: intervjuer, observasjon, analyse av dokumenter.

Styrken er mening og kontekst: du får tilgang til hvordan folk selv forstår situasjonen sin, og du kan oppdage forhold du ikke hadde tenkt på da du laget undersøkelsen. Svakheten er at du ikke kan si hvor utbredt det du fant er.

Presiseringen som må stå: ingen av de to er «bedre». De svarer på forskjellige spørsmål, og valget mellom dem følger av spørsmålet, ikke av smak. En besvarelse som rangerer dem, har misforstått hva et design er.

Å belyse samme spørsmål med flere design, slik at svakhetene ved det ene dekkes av styrkene ved det andre.

Et felteksperiment kan vise at ellers like søknader behandles ulikt, men ikke hvorfor. Intervjuer med rekrutterere kan gi tilgang til begrunnelser, men ikke fastslå at forskjellsbehandling faktisk skjer. Sammen sier de mer enn hver for seg.

Distinksjonen som gir uttelling: triangulering er ikke å samle inn mer av det samme. Det er å velge design som har forskjellige svakheter. To store spørreundersøkelser om samme tema er ikke triangulering; de deler alle de samme begrensningene.

Å oversette et abstrakt begrep til noe som faktisk kan måles eller observeres.

«Sosial klasse» kan ikke måles direkte. Den må gjøres om til noe konkret: yrke, inntekt, utdanningsnivå, eller en kombinasjon. Valget er ikke nøytralt — det avgjør hva undersøkelsen kan finne.

Hvorfor dette er et av de mest brukbare begrepene du har: når to studier gir ulike svar på samme spørsmål, er ulik operasjonalisering en av de vanligste årsakene. Å spørre «hvordan er dette målt?» er derfor et fullgodt kritisk sluttgrep, og det er tilgjengelig i nesten enhver drøfting.

En standardisert spørreundersøkelse der de samme spørsmålene stilles til mange respondenter, slik at svarene kan telles og sammenlignes.

Styrken er rekkevidde: med et godt utvalg kan resultatene generaliseres til hele befolkningen, og de kan gjentas over tid slik at endring kan måles. Surveyen er derfor det eneste redskapet som kan si hva en befolkning mener, tror eller oppgir å ha erfart.

Distinksjonen som avgjør hva svaret betyr: en survey måler hva folk svarer. Det er ikke det samme som hva de gjør, og heller ikke alltid det samme som hva de mener. Avstanden mellom de tre er selv et sosiologisk tema.

Et utvalg som er trukket slik at det speiler den befolkningen konklusjonene skal gjelde for, med hensyn til de egenskapene som betyr noe for spørsmålet.

Representativiteten er det som gjør generalisering mulig. Uten den gjelder resultatene bare dem som faktisk svarte.

Distinksjonen mot et stort utvalg: størrelse er ikke det samme som representativitet. En undersøkelse med svært mange svar kan være systematisk skjev hvis de som svarte, skiller seg fra dem som ikke gjorde det. Frafallet er derfor ofte viktigere enn antallet — og de som lar være å svare, er sjelden tilfeldig fordelt.

At data består av respondentens egen beretning om egne holdninger, erfaringer eller handlinger.

Selvrapportering er ikke en svakhet i seg selv — for holdninger og opplevelser er det den eneste tilgjengelige kilden. Problemet oppstår når selvrapporterte data brukes som mål på noe annet enn det de er: på faktisk atferd, eller på hva som faktisk skjedde i en situasjon.

To systematiske skjevheter det er verdt å kunne ved navn. Folk svarer det de tror er sosialt akseptabelt, særlig på ømtålige spørsmål. Og folk husker og tolker fortiden i lys av hvordan det gikk. Begge deler trekker svarene i én bestemt retning, ikke tilfeldig.

Distinksjonen som gir uttelling i diskrimineringsdrøftinger: opplevd forskjellsbehandling, målt i survey, og innkallingsgapet, målt i felteksperiment, er to forskjellige størrelser. De kan avvike fra hverandre uten at noen av dem er gale.

En egenskap som varierer mellom enhetene i en undersøkelse — alder, utdanning, inntekt, holdning.

Den avhengige variabelen er det du vil forklare: utfallet. Den uavhengige er det du tror forklarer det. I en studie av innkallingsrate er innkalling den avhengige variabelen og navnet på søkeren den uavhengige.

Distinksjonen som forebygger en klassisk flervalgsfelle: hvilken variabel som er avhengig, følger av spørsmålet, ikke av variabelen selv. Utdanning er avhengig variabel i en studie av hvem som tar høyere utdanning, og uavhengig variabel i en studie av hvem som får jobb.

Et eksperiment gjennomført i en virkelig sosial situasjon i stedet for i et laboratorium, der forskeren kontrollerer én betingelse og observerer hva som skjer.

Det avgjørende er kontrollen, ikke stedet. Fordi forskeren selv bestemmer hva som varieres, kan forskjellen i utfall tilskrives det som ble variert — og bare det.

Distinksjonen mot en observasjonsstudie: i en observasjonsstudie registrerer forskeren det som skjer uansett. Da kan hun finne at to grupper har ulike utfall, men ikke utelukke at gruppene også skiller seg på andre måter. I et felteksperiment er den muligheten stengt ved konstruksjon.

Den formen felteksperimentet tar i arbeidsmarkedsforskningen: par av fiktive jobbsøknader sendes til reelle stillingsutlysninger. Søknadene er utformet så like som mulig i utdanning, erfaring, språk og oppsett, og bare én egenskap varieres — typisk om navnet signaliserer majoritets- eller minoritetsbakgrunn.

Utfallet som måles, er om søkeren blir innkalt til intervju. Fordi alt annet er likt, kan en systematisk forskjell i innkalling ikke skyldes kvalifikasjoner, formuleringer eller flaks.

Distinksjonen mot survey-målt diskriminering: korrespondansetesten måler arbeidsgiverens handling, ikke søkerens opplevelse. Det er derfor de to metodene kan gi ulike tall om samme fenomen, som du så i eksempel 2.

Merk hva navnet betyr: «korrespondanse» viser til brevvekslingen, altså at søknad og svar er datamaterialet. Det har ingenting med samsvar eller korrelasjon å gjøre.

Prinsippet som gjør eksperimentet til et eksperiment: at alt holdes likt bortsett fra den ene tingen som skal undersøkes.

Det er dette som gjør det mulig å si noe om årsak. Hvis to søknader er identiske bortsett fra navnet, og den ene innkalles systematisk sjeldnere, finnes det ingen annen egenskap forskjellen kan skyldes — for det finnes ingen annen forskjell.

Distinksjonen som må skrives ut i enhver metodedrøfting: kontrollert variasjon gir kausalt belegg for at noe virker. Den sier ingenting om hvorfor det virker, for motivet er ikke en av de tingene som ble variert.

Forskjellen i andelen som innkalles til intervju, mellom to ellers like søknader der bare én egenskap er variert.

Funnet: i norske korrespondansetester er innkallingsraten systematisk lavere for søknader med minoritetsnavn enn for ellers identiske søknader med majoritetsnavn.

Hva funnet betyr. Det er kausalt belegg for at forskjellsbehandling skjer ved første sortering av søknader. Det er sterkere enn en korrelasjon: det er ikke bare slik at de to gruppene har ulike utfall, men slik at den ene egenskapen i seg selv endrer utfallet.

Hva funnet ikke betyr. Det sier ingenting om hvor stor del av de samlede forskjellene i arbeidsmarkedet som skyldes diskriminering, for det måler bare det aller første trinnet i en lang prosess. Denne distinksjonen — mellom «diskriminering skjer» og «diskriminering forklarer utfallene» — er den viktigste i hele kap. 2.3.

At de enhetene som havner i en undersøkelse, ikke er tilfeldig valgt fra den gruppen konklusjonen skal gjelde for.

Seleksjon oppstår når noe utenfor undersøkelsen sorterer hvem som blir med. Selvseleksjon oppstår når enhetene sorterer seg selv: de som melder seg til en nettundersøkelse, eller de som i det hele tatt søker på en bestemt type stilling.

Hvorfor dette er felteksperimentets blindsone. Korrespondansetesten måler bare de stillingene noen faktisk søker på. Hvis erfaring med avslag gjør at noen slutter å søke i visse bransjer, forsvinner nettopp de tilfellene ut av datamaterialet — og virkningen kan bli undervurdert. Å påpeke dette er et kritisk sluttgrep av den typen sensorveiledningene beskriver som kjennetegn på de sterkeste besvarelsene.

At to størrelser varierer sammen: der den ene er høy, er den andre systematisk høyere eller lavere.

En korrelasjon er en observasjon om et mønster. Den sier ingenting i seg selv om hvorfor mønsteret finnes.

Distinksjonen mot nabobegrepet: korrelasjonen kan bety at det ene forårsaker det andre, at det andre forårsaker det ene, at en tredje faktor forårsaker begge, eller at sammenhengen er tilfeldig. Fire muligheter, og observasjonen alene skiller ikke mellom dem.

At en endring i den ene størrelsen faktisk frembringer en endring i den andre.

For å hevde kausalitet kreves som regel tre ting: at de to henger sammen, at årsaken kommer før virkningen, og at andre forklaringer er utelukket. Det tredje kravet er det vanskelige, og det er nettopp det eksperimentelle design er laget for å innfri.

Distinksjonen i praksis: at søknader med minoritetsnavn innkalles sjeldnere, er en korrelasjon hvis vi bare observerte virkelige søknader — for søkerne kunne også ha skilt seg på andre måter. Det blir kausalt når søknadene er konstruert like og bare navnet er variert. Det er designet som gjør forskjellen, ikke funnets styrke.

En korrelasjon som skyldes at begge størrelsene henger sammen med en tredje, og som forsvinner når den tredje tas hensyn til.

Salget av iskrem og antallet drukningsulykker følger hverandre gjennom året. Ingen av dem forårsaker den andre; begge følger temperaturen.

Hvorfor dette hører hjemme i et sosiologiemne: de fleste interessante sosiale sammenhenger har kandidater til å være den tredje faktoren. At barn av foreldre med høy utdanning gjør det bedre på skolen, kan skyldes ressurser, forventninger, bosted, skolevalg eller alt sammen. Å nevne muligheten uten å si hvilken tredje faktor du mener, er tomgang. Å navngi den er analyse.

Spørsmålet et kausalt design egentlig prøver å svare på: hva ville skjedd med den samme enheten hvis den ene betingelsen hadde vært en annen?

Ingen kan observere begge utfallene for samme person. Derfor konstrueres en sammenligning: to enheter som er like på alt annet enn den ene betingelsen. Da fungerer den ene som svar på hva som ville skjedd med den andre.

Hvorfor korrespondansetesten er så ren: de to søknadene er ikke bare like — de er laget like. Sammenligningsgrunnlaget er konstruert i stedet for funnet, og det er derfor designet slipper unna spørsmålet om hva de to ellers kunne ha skilt seg på.

Om du faktisk måler det du sier du måler.

Et spørreskjema som måler hvor mange bøker folk oppgir å ha i hjemmet, og som brukes som mål på kulturell kapital, er valid i den grad boksamlingen faktisk fanger det begrepet. Er den bare et mål på inntekt, er validiteten lav — uansett hvor nøyaktig tellingen er.

Distinksjonen mot nabobegrepet: validitet handler om treffsikkerhet mot begrepet. Et instrument kan måle svært presist og likevel måle noe annet enn det du var ute etter.

Om målingen er pålitelig i den forstand at den gir samme resultat når den gjentas under like forhold.

Lav reliabilitet betyr at målingen inneholder tilfeldig støy: to forskere som koder det samme intervjuet, får ulike resultater, eller den samme respondenten svarer forskjellig fra uke til uke uten at noe har endret seg.

Distinksjonen skrevet ut, med en huskeregel: en badevekt som alltid viser tre kilo for mye, er reliabel men ikke valid. En vekt som viser tilfeldige tall rundt den riktige verdien, er verken. Reliabilitet er en forutsetning for validitet, men den er ikke nok.

Å slutte fra det som er funnet i undersøkelsen, til den større gruppen konklusjonen skal gjelde for.

Generalisering krever at utvalget står i et kjent forhold til den gruppen. I kvantitative studier sikres det gjennom trekkingen. I kvalitative studier generaliseres det som regel ikke til en befolkning i det hele tatt, men til begreper og mekanismer: studien viser at en bestemt prosess finnes og hvordan den virker, ikke hvor utbredt den er.

Distinksjonen som gir uttelling: kritikken «dette kan ikke generaliseres» er ofte upresis. Spørsmålet er alltid til hva. Et felteksperiment i noen få bransjer generaliserer ikke uten videre til hele arbeidsmarkedet, men det generaliserer godt til påstanden om at forskjellsbehandling ved sortering forekommer.

Data som allerede er samlet inn av offentlige myndigheter til andre formål — skattedata, utdanningsregistre, folkeregisteret, arbeidstakerregisteret — og som forskere kan koble sammen på tvers.

Fordelene er store: ingen frafall, ingen selvrapportering, lange tidsserier og full dekning. Norge og de andre nordiske landene har derfor et fortrinn i forskning på ulikhet, mobilitet og livsløp.

Begrensningene er like tydelige. Registrene inneholder det myndighetene hadde bruk for å registrere — inntekt, yrke, utdanning, bosted — og ingenting om holdninger, opplevelser, motiver eller relasjoner. Å studere et fenomen med registerdata betyr å studere de sidene ved det som lot seg registrere.

Skillet avgjør hva som må begrunnes. Undersøker du hele populasjonen — som i registerdata — trenger du ikke argumentere for representativitet i det hele tatt, for det finnes ingen enheter utenfor. Undersøker du et utvalg, er trekkingen selve grunnlaget for at funnet betyr noe ut over dem som deltok.

Distinksjonen som forebygger en vanlig feil: populasjonen defineres av spørsmålet, ikke av dataene. Har du data om sysselsatte i én bransje, er populasjonen din den bransjen — også om du skulle ønske den var hele arbeidsmarkedet.

En samtale med få, utvalgte informanter, der forskeren følger opp det som kommer frem i stedet for å holde seg til faste svaralternativer.

Formålet er ikke å telle, men å få tak i hvordan informanten forstår og begrunner. Utvalget velges derfor for variasjon og relevans, ikke for representativitet — man leter etter dem som kan belyse spørsmålet.

Distinksjonen mot en survey med åpne svarfelt: i intervjuet kan forskeren spørre videre, og det er nettopp oppfølgingen som gir tilgang til begrunnelsene. En survey med åpne felt gir korte svar uten mulighet til å grave.

At forskeren over tid oppholder seg i den sammenhengen som studeres, deltar i det som skjer, og fører systematiske notater.

Styrken er tilgang til det folk gjør, ikke bare det de sier at de gjør — og avstanden mellom de to er ofte selve funnet. Svakheten er at forskerens tilstedeværelse kan endre situasjonen, og at det tar lang tid å studere få enheter.

Distinksjonen mot felteksperimentet: begge foregår i virkelige situasjoner, men i observasjonsstudien varierer forskeren ingenting. Hun registrerer det som skjer uansett. Derfor gir den rike beskrivelser, men ikke kausalt belegg.

Å sammenligne to eller flere enheter — land, regioner, sektorer, tidsperioder — for å finne ut hva som varierer med hva.

Komparasjonen gjør det synlig hva som er særegent og hva som er allment. At et fenomen finnes i Norge, sier lite alene. At det finnes i Norge, men ikke i et land med annen institusjonell innretning, peker på institusjonen som mulig forklaring.

Hvorfor dette er verdt å ha med som sluttgrep: å spørre «hvordan ser dette ut i et land med en annen ordning?» er en av de mest tilgjengelige måtene å gjøre et selvstendig grep på i en drøfting, og komparative perspektiver er eksplisitt beskrevet i sensorveiledningene som et kjennetegn på de sterkeste besvarelsene.

De hensynene som må veies når en studie samler data om mennesker som ikke har samtykket, eller som ikke vet at de studeres.

Korrespondansetesten er et tydelig tilfelle. Arbeidsgivere behandler søknader de tror er ekte, uten å vite at de deltar i en studie, og de bruker tid på det. Uten skjult design ville metoden vært verdiløs — den som visste at han ble målt, ville sortert annerledes.

Avveiningen slik forskningen selv fremstiller den: ulempen for den enkelte arbeidsgiver er liten og kortvarig, mens kunnskapen ikke kan skaffes på annen måte. Etiske komiteer vurderer nettopp den avveiningen. Å nevne den er ikke et avsporende sidespor i en besvarelse — det viser at du forstår hva designet krever av virkeligheten det studerer.