1.2 Overførbarhet, validitet, reliabilitet og refleksivitet

Fangen problematiserer «generalisering» som et kvantitativt begrep og setter overførbarhet i stedet: kvalitative funn kan belyse lignende fenomener når man identifiserer hva som kjennetegner det studerte, og deretter finner paralleller til andre situasjoner med de samme kjennetegnene.

Overføringen går altså gjennom likhet i betingelser, ikke gjennom et regnestykke. Det gjør den til en vurdering, ikke en beregning — og det er nettopp derfor beskrivelsen av det studerte er så viktig.

Distinksjonen mot statistisk generalisering: statistisk generalisering hviler på trekkemåten og gir en beregnet usikkerhet om en befolkning. Overførbarhet hviler på beskrivelsen og gir en vurdering av et annet, konkret tilfelle. Det er ikke en svakere versjon av det samme.

Slik formuleres det på eksamen: «Funnene kan være overførbare til arbeidsplasser med lignende turnusordning og bemanning. Om de er det, avhenger av hvor godt jeg har fått fram hva som kjennetegner akkurat dette stedet.»

Å slutte fra det konkrete tilfellet til et begrep eller en mekanisme, i stedet for til en befolkning. Det er ikke funnene som reiser videre, men forståelsen av hvordan noe virker.

Eksempel på formen: en studie av åtte matbud kan ikke si hvor mange bud som opplever tidspress. Men den kan utvikle et begrep om hvordan tidspress skyves nedover i en kjede der alle ledd har fleksibilitet unntatt det siste — og det begrepet kan andre bruke til å undersøke helt andre bransjer.

Distinksjonen mot overførbarhet: de to henger tett sammen. Nyansen er at overførbarhet gjelder funnene og vurderes opp mot en konkret annen situasjon, mens analytisk generalisering gjelder begrepene som utvikles underveis.

Hvorfor det er nyttig på eksamen: dette er formuleringen som lar deg si at studien betyr noe utover de åtte, uten å komme i nærheten av strykfeilen.

Å slutte fra et tilfeldig trukket utvalg til en befolkning ved hjelp av sannsynlighetsregning. Fordi trekkemåten er kjent, kan usikkerheten i slutningen beregnes.

Dette er kontrastbegrepet i kapitlet, og det står her fordi du må kunne det for å si presist hva overførbarhet ikke er.

Distinksjonen som avgjør kortsvaret: grunnlaget. Statistisk generalisering hviler på hvordan enhetene ble valgt. Overførbarhet hviler på hvor godt de er beskrevet. Å øke antallet informanter fra åtte til femti gir deg ikke statistisk generalisering — det gir deg bare femti intervjuer.

Språkregelen som følger: ordet «generalisering» skal aldri stå ukvalifisert om et kvalitativt funn. Skriv overførbarhet, eller skriv analytisk generalisering. Dette er den enkleste enkeltregelen i hele emnet, og den koster deg ingenting.

Selve mekanismen i overførbarhet, slik Fangen beskriver den, har to trinn.

Trinn 1: identifiser hva som kjennetegner det studerte. Ikke bare hva som skjedde, men under hvilke betingelser: bemanningen, tidspresset, at de ansatte var midlertidige, at ledelsen satt et annet sted.

Trinn 2: let etter paralleller. Hvilke andre situasjoner har de samme kjennetegnene? Det er der funnene kan si noe.

Distinksjonen mot å gjette: overføringen er ikke et løst håp om at «dette gjelder nok andre steder også». Den er en avgrenset påstand med angitte betingelser, og den kan derfor motsies av noen som kjenner et sted som ligner, men der det ikke stemmer.

Slik ser det ut i praksis: «Det som kjennetegner denne arbeidsplassen, er at oppgavene er tidsstyrte og at de ansatte er midlertidig ansatt. Funnene mine er derfor mest relevante for andre arbeidsplasser med disse to trekkene — og trolig mindre relevante der de ansatte er fast ansatte.»

Det området funnene dine kan sies å gjelde for: hvilke situasjoner, hvilke typer deltakere, hvilke betingelser. Å angi det er ikke å svekke studien — det er å gjøre påstanden presis.

Veiledningene beskriver nettopp dette som et kjennetegn ved toppbesvarelser: kandidaten sier noe om gyldighetsområde og overførbarhet, i stedet for å la leseren gjette.

Distinksjonen mot en unnskyldning: «utvalget mitt er dessverre lite» er en unnskyldning, og den bruker attpåtil et kvantitativt kvalitetskrav. «Funnene gjelder for personer i denne typen midlertidige stillinger, og jeg kan ikke si noe om fast ansatte» er en presisering.

Formen som fungerer: to setninger. Én om hva funnene kan brukes til, og én om hva de ikke kan brukes til. Den siste er den som viser at du har forstått forskjellen på de to logikkene.

Hvem avgjør om funnene kan overføres til en ny situasjon? Dette er et ekte drøftingsspørsmål i faget, og Fangen tar det opp uten å avslutte det.

Posisjon 1: forskeren. Hun kjenner materialet best, vet hvilke betingelser som gjaldt, og har ansvar for ikke å overselge funnene. Overlates vurderingen til leseren, risikerer man at funnene brukes på situasjoner de åpenbart ikke passer.

Posisjon 2: leseren. Bare den som kjenner den nye situasjonen, kan vite om den ligner nok. Forskeren har aldri sett den arbeidsplassen leseren tenker på. Forskerens oppgave er derfor å levere beskrivelsen som gjør vurderingen mulig, ikke å foreta den.

Hvordan du bruker det: dette er drøftingsstoff, ikke en fasit. En god besvarelse skriver ut begge posisjonene og lander med en begrunnelse — for eksempel at ansvaret er delt, siden forskeren skylder leseren en tilstrekkelig beskrivelse, mens den endelige vurderingen bare kan gjøres av den som kjenner begge tilfellene.

En tykk beskrivelse gjengir handlingen sammen med den konteksten som gjør den forståelig. Uttrykket kommer fra Geertz og er formidlet inn i emnet gjennom Fangen.

I dette kapitlet får det en bestemt funksjon: det er beskrivelsen som bærer overførbarheten. Uten den kan leseren ikke vurdere om hennes egen situasjon ligner, og da faller hele mekanismen.

Distinksjonen mot detaljrikdom: en tykk beskrivelse er ikke en lang beskrivelse. Den skiller seg ut ved at den tar med de forholdene som gjør handlingen tolkbar — hvem som var til stede, hva som gikk forut, hva som stod på spill. Detaljer som ikke gjør den jobben, gjør beskrivelsen lang, ikke tykk.

Konsekvens for besvarelsen: når du beskriver analysestrategien i et design, hører det med en setning om at materialet skal beskrives fyldig nok til at gyldighetsområdet kan vurderes.

Kvalitative funn formuleres som foreløpige svar: dette er mønsteret materialet peker mot, under disse betingelsene, med disse forbeholdene.

Formen er ikke usikkerhet av høflighet. Den er presis: en påstand som angir sine egne betingelser, er sterkere enn en påstand som later som om den gjelder overalt, fordi den kan prøves.

Distinksjonen mot «det kommer an på»: et forbehold skal si hva det kommer an på. «Funnene gjelder trolig ikke der de ansatte er fast ansatte» er et forbehold. «Dette kan variere» er en tom setning.

Hvor det brukes: dette er den sjuende og siste designkomponenten — forventede funn med forbehold. Den blir ofte hoppet over når tiden er knapp, og det er synd, fordi den er billig å skrive og direkte etterspurt.

Om studien faktisk undersøker det den sier den undersøker, og om tolkningene har dekning i materialet.

Uten tall å kontrollere mot, hviler validiteten på tre ting: at spørsmålet, dataene og analysen henger sammen; at hver tolkning kan knyttes til konkrete steder i materialet; og at forskeren aktivt har lett etter noe som taler imot.

Distinksjonen mot måleinstrumentets validitet: i et kvantitativt opplegg kan validiteten prøves ved å sammenligne instrumentet med andre mål. Her finnes ingen slik ytre prøve, og validiteten må derfor bygges inn i arbeidsmåten underveis.

Fangen deler den i varianter — blant annet kommunikativ og pragmatisk validitet — og de er verdt å kunne til kortsvar. Poenget med typologien er at «gyldig» kan bety flere ting, og at det er nyttig å si hvilken gyldighet du snakker om.

Gyldighet som prøves gjennom dialog: tolkningene legges fram og diskuteres — med deltakerne selv, med fagfeller, eller i den ferdige teksten der leseren kan følge resonnementet og se om det holder.

Den praktiske konsekvensen er at argumentasjonen må være tilgjengelig. En tolkning som bare presenteres som konklusjon, kan ikke prøves kommunikativt; en tolkning som vises fram med belegg, kan det.

Distinksjonen mot at deltakerne skal godkjenne funnene: å legge tolkninger fram for deltakerne kan være nyttig, men enighet er ikke et krav. Forskeren kan se noe deltakerne ikke ser, og deltakerne kan ha grunner til å avvise en tolkning som likevel er treffende. Dialogen prøver tolkningen, den avgjør den ikke.

Til kortsvar: definer den som gyldighet prøvd gjennom dialog og gjennomsiktig argumentasjon, og nevn at Fangen skiller mellom flere validitetsformer.

Gyldighet som prøves gjennom konsekvenser: om forståelsen studien gir, faktisk lar seg bruke — om den gjør det mulig å handle klokere, gjenkjenne noe, eller forutse hva som vil skje i lignende situasjoner.

Et eksempel på formen: hvis en analyse av hvordan tidspress håndteres i en butikk gjør det mulig for en ny leder å forstå hvorfor vaktbytter alltid strander, har analysen bestått en pragmatisk prøve.

Distinksjonen mot nytteverdi i dagligtale: dette er ikke et krav om at forskning skal være anvendbar. Det er en prøve på om tolkningen treffer noe virkelig — at den virker, er et tegn på at den er riktig, ikke en erstatning for at den er det.

Distinksjonen mot kommunikativ validitet: den kommunikative prøves i samtale om tolkningen, den pragmatiske i møte med virkeligheten tolkningen handler om.

I kvantitativ forskning betyr reliabilitet at målingen er stabil: samme instrument gir samme resultat ved gjentakelse. Overført til kvalitativ forskning blir dette problematisk, fordi instrumentet er forskeren selv, og fordi designet endres underveis.

Det finnes to posisjoner, og begge er faglig respektable.

Posisjon 1: begrepet bør beholdes, i omformet betydning. Reliabilitet kan bety at fremgangsmåten er konsistent og dokumentert — at kodingen er gjort etter samme prinsipper hele veien, at feltnotatene er skrevet etter en fast rutine, og at andre kan følge hvordan du gikk fram.

Posisjon 2: begrepet bør erstattes. Kravet om stabil gjentakelse forutsetter standardisering, og standardisering er nettopp det kvalitative design gir avkall på. Det som skal erstatte det, er transparens.

Distinksjonen mot slurv: ingen av posisjonene sier at fremgangsmåten kan være tilfeldig. Uenigheten gjelder hva kravet skal hete, ikke om det finnes.

At andre kan kontrollere om slutningene holder. Dette er en grunnmekanisme i all forskning, og spørsmålet er hvordan den kan realiseres når undersøkelsen ikke kan gjentas nøyaktig.

Svaret i kvalitativ forskning er ikke gjentakelse, men innsyn: leseren skal kunne se hva som ble gjort, hvilke data slutningene bygger på, og hvilke valg som ble tatt underveis. Kontrollen flyttes fra å gjøre det samme om igjen til å granske grunnlaget.

Distinksjonen mot repeterbarhet: repeterbarhet betyr at samme prosedyre gir samme resultat. Etterprøvbarhet betyr at slutningen kan vurderes av andre. Det første er et sterkere krav, og kvalitativ forskning oppfyller det ikke.

Er innsyn en fullgod erstatning? Det er en reell faglig uenighet, og en av de beste drøftingsaksene i dette kapitlet. Begge sider har et poeng: innsyn gir kontroll med resonnementet, men ikke med datainnsamlingen.

Å aktivt lete etter tilfeller som taler mot det du tror du har funnet — både når du setter sammen utvalget, og når du analyserer materialet. Weiss fremhever det som et holdbarhetsgrep: et mønster som overlever et ærlig forsøk på å finne unntak, står sterkere enn et mønster ingen har prøvd å motsi.

I utvalget betyr det å ta inn noen du forventer skal være annerledes. I analysen betyr det å lese materialet på jakt etter det som ikke passer, og deretter gjøre noe med det: enten justere påstanden, eller forklare hvorfor unntaket er et unntak.

Distinksjonen mot å nevne at det fantes unntak: poenget er ikke å innrømme at ikke alle sa det samme. Poenget er at unntaket gjør analysen bedre — det avgrenser påstanden og viser under hvilke betingelser mønsteret gjelder.

Hvorfor det er en A-markør: å kunne forklare hvorfor man leter etter negative tilfeller, ikke bare at man gjør det, er et av de eksplisitte skillene mellom toppnivået og C i veiledningene.

Grue formulerer et krav som gjelder uansett analysetradisjon: en analyse må kunne prøves mot materialet. Den skal ikke bare være en mulig lesning, men en lesning som lar seg forsvare når noen går tilbake til dataene og ser etter.

Dette er strengere enn det høres ut som. Det betyr at hver påstand i analysen skal kunne knyttes til et sted i materialet, og at en leser som er uenig, skal kunne finne fram til det stedet og vurdere det selv.

Distinksjonen mot at tolkninger er subjektive: at flere tolkninger er mulige, betyr ikke at alle er like gode. Noen har dekning i materialet, andre har det ikke, og det er nettopp det prøven skal avgjøre.

Merk: koblingen til Grue er utgave- og pensumavhengig — han hører til det diskursanalytiske stoffet. Kravet selv er derimot allment og brukes i hele faget.

Det enkleste og mest oversette kvalitetskravet: at det du spør om, det du samler inn og det du gjør med materialet, faktisk hører sammen.

Brudd på det ser slik ut: problemstillingen gjelder praksis, men materialet består bare av intervjuer om holdninger. Eller analysestrategien er beskrevet som tematisk koding, mens analysen i praksis er en gjenfortelling av hver informant etter tur.

Distinksjonen mot et dårlig valg: dette er ikke et spørsmål om metoden er god, men om delene passer sammen. En utmerket intervjustudie kan mangle samsvar hvis spørsmålet krevde observasjon.

Hvorfor det står i dette kapitlet: samsvar er en forutsetning for validitet. Er det brudd her, undersøker studien noe annet enn den sier den undersøker — uansett hvor godt håndverket ellers er. Manglende samsvar mellom beskrevet analysemetode og faktisk analyse er feil nummer 12 i registeret.

At forskerens tilstedeværelse påvirker det som studeres: folk oppfører seg litt annerledes når noen ser på, og de forteller noe annet til én person enn til en annen.

Effekten kan ikke fjernes i kvalitativ forskning, og forsøk på å fjerne den skaper som regel nye problemer — skjult observasjon løser påvirkningen ved å innføre et etisk dilemma i stedet.

Distinksjonen mot en feilkilde: i et kvantitativt opplegg er dette noe som skal minimeres gjennom standardisering. Her er den en betingelse som skal gjøres rede for og brukes analytisk. At en informant snakker annerledes til deg enn til kollegene sine, er i seg selv informasjon om hva som kan sies til hvem.

Konsekvens for besvarelsen: når du beskriver din egen rolle i et design, hør med en setning om hvem du fremstår som i feltet, og hva det trolig gjør med det du får høre.

At forskeren tenker over sin egen rolle i kunnskapsproduksjonen: hvem hun fremstod som i feltet, hvilke forventninger hun kom med, hva hun derfor så og hva hun kan ha oversett.

Refleksivitet er ikke selvopptatthet, og det er ikke en beklagelse. Det er en analyse av instrumentet — og siden instrumentet er forskeren selv, hører den analysen med i metodedelen.

Distinksjonen mot subjektivitet: subjektivitet er at noe farges av den som gjør det. Refleksivitet er å gjøre den fargingen synlig og analyserbar. Den første er en betingelse, den andre et grep.

Konkret ser det slik ut: «Jeg er selv i samme aldersgruppe som informantene og har hatt lignende jobb. Det gjorde at flere refererte til felles erfaringer uten å utdype dem, og jeg måtte bevisst be om forklaringer på ting jeg trodde jeg allerede visste.»

At fremgangsmåten er lagt fram slik at leseren kan følge den: hva som ble gjort, i hvilken rekkefølge, med hvilke valg og hvilke endringer underveis.

Transparens er kvalitativ forsknings svar på at undersøkelsen ikke kan gjentas nøyaktig. Kontrollen flyttes fra gjentakelse til innsyn.

Distinksjonen mot refleksivitet: transparens handler om hva du gjorde, refleksivitet om hvem du var mens du gjorde det. En besvarelse kan være transparent uten å være refleksiv, og en refleksiv beskrivelse uten opplysninger om fremgangsmåten hjelper ingen.

Minstekravet, som du kan lære utenat: tid, sted, varighet, antall informanter og relasjonen din til dem. Er de fem på plass, har du dekket det veiledningene etterlyser.

De konkrete opplysningene som gjør materialet vurderbart. Fem punkter dekker det meste:

(1) når datainnsamlingen fant sted, og over hvor lang periode
(2) hvor den fant sted, beskrevet så presist som anonymiseringen tillater
(3) hvor lenge hvert intervju eller hver observasjonsøkt varte
(4) hvor mange informanter eller situasjoner, og hvordan de ble rekruttert
(5) hvilken relasjon forskeren hadde til deltakerne

Distinksjonen mot pynt: disse opplysningene er ikke formalia. Uten dem kan leseren verken vurdere overførbarheten eller se hvilke skjevheter som kan ligge i materialet. En rekrutteringsvei gjennom én organisasjon gir et annet utvalg enn oppslag på et offentlig sted, og det er noe leseren har krav på å vite.

Å utelate dem er feil nummer 13, og det er den billigste feilen i hele registeret å unngå.

Den plassen forskeren har i feltet — alder, kjønn, bakgrunn, hvem hun kom inn gjennom — og de antakelsene hun bringer med seg inn i undersøkelsen.

Posisjonen bestemmer hvem som snakker med deg, hva de sier, og hva de tar for gitt at du forstår. Forforståelsen bestemmer hva du legger merke til.

Distinksjonen mot fordommer: forforståelse er ikke noe man skal kvitte seg med. Uten den ville ingenting fremstå som interessant. Kravet er at den gjøres eksplisitt, slik at leseren kan se hvor tolkningene kommer fra — og slik at du selv kan prøve om materialet motsier dem.

Hvor det slår ut i praksis: en portvakt gir deg tilgang til dem hun kjenner. Det er en posisjonseffekt, og den skal nevnes både i datainnsamlingsplanen og når gyldighetsområdet vurderes.

At hver påstand i analysen kan knyttes til et konkret sted i dataene: et sitat, et feltnotat, en passasje i et dokument.

Dette er den praktiske siden av kravet om at analysen skal stå sin prøve. En påstand uten belegg er en tolkning leseren må ta på tro, og den kan verken prøves eller motsies.

Distinksjonen mot å sitere mye: belegg er ikke det samme som mange sitater. Et sitat som står alene uten at det sies hva det belegger, er illustrasjon. Et belegg er en kobling: dette er påstanden, og dette er stedet den hviler på.

Distinksjonen mot gjenfortelling: å gjengi hva informantene sa, i tur og orden, er ikke analyse med belegg — det er referat. Ren deskripsjon uten analytisk retning er feil nummer 5 i registeret, og den utfoldes i kap. 7.1.

Selve grepet, i to setninger: én om hva funnene kan brukes til, og én om hva de ikke kan brukes til.

Grepet hører hjemme to steder. I en designoppgave står det i den siste komponenten, sammen med forventede funn: «Jeg venter å finne X, men studien vil ikke kunne si noe om hvor utbredt det er.» I en vedleggsanalyse står det til slutt: «Analysen gjelder disse informantene, og mønsteret bør prøves mot materiale fra andre sammenhenger.»

Distinksjonen mot en standardfrase: setningene skal være spesifikke for din studie. «Funnene kan ikke generaliseres» er en tom formel — og attpåtil upresis. «Studien sier ingenting om bud som ikke er med i felleskapet på nett, og det er trolig de som opplever vilkårene annerledes» er en påstand med innhold.

Hvorfor det lønner seg: det er blant de trekkene veiledningene selv nevner på toppnivået, og det tar tjue sekunder å skrive.

I en designoppgave skal kvalitetskriteriene ikke stå som en egen teoriseksjon, men være innbakt i valgene.

Konkret: utvalget begrunnes strategisk og med et ord om hva det ikke kan brukes til; analysestrategien nevner at det skal letes etter tilfeller som taler imot; datainnsamlingsplanen inneholder de opplysningene som gjør studien transparent; og forventede funn formuleres tentativt med angitt gyldighetsområde.

Distinksjonen mot en teoriseksjon om validitet: et avsnitt som gjør rede for validitetsbegrepet uten at det får konsekvenser for planen, er avstand mellom empiri og teori — feil nummer 6 i registeret. Begrepet skal brukes, ikke presenteres.

Slik ser den innbakte varianten ut: «Jeg tar med to informanter som har sluttet etter kort tid, nettopp fordi jeg venter at de vil beskrive presset annerledes — hvis de ikke gjør det, må påstanden min justeres.»

Et skille som avgjør hvordan begrensningsavsnittet ditt leses.

Unnskyldningen beklager seg over noe som ikke er en mangel: at utvalget er lite, at funnene ikke er representative, at studien «bare» er kvalitativ. Den signaliserer at kandidaten måler sitt eget arbeid med feil målestokk.

Den faglige selvkritikken peker på noe som faktisk kunne påvirket resultatet: at rekrutteringsveien ga en bestemt type informanter, at forskerens posisjon gjorde et tema vanskelig å ta opp, at et funn hviler på få uttalelser.

Distinksjonen i én test: kunne kritikken vært rettet med et annet valg innenfor samme metodetradisjon? Da er den faglig. Krever den at studien hadde vært et helt annet slags opplegg? Da er den en unnskyldning.

Hvorfor det er verdt en egen oppføring: en velskrevet besvarelse kan miste et helt karaktertrinn på det siste avsnittet, fordi det avslører at forfatteren ikke har forstått skillet mellom logikkene.