5.3 Bayes' setning

Den positive testen som ikke betydde det du tror

En frisk person deltar i en screeningundersøkelse for en sjelden sykdom. Testen er imponerende: den fanger opp 99 % av de syke. Så kommer brevet — testen var positiv. Hvor bekymret bør personen være? De fleste vil gjette «99 % sikkert syk». Det riktige svaret, skal vi se, er rundt 2 %.

Hvordan kan det stemme? Svaret ligger i Bayes' setning, en av de mest innflytelsesrike formlene i hele sannsynlighetsteorien. Den lar oss «snu» betingede sannsynligheter: testen forteller oss $P(\text{positiv}|\text{syk})$, men det vi egentlig lurer på er det omvendte, $P(\text{syk}|\text{positiv})$. Disse to er ofte dramatisk forskjellige — og å blande dem sammen har ført til feildiagnoser, justismord og dårlige beslutninger.

Tankegangen er like nyttig utenfor medisinen: Et produkt er defekt — hvilken maskin lagde det mest sannsynlig? En e-post inneholder ordet «gratis» — er det spam? Felles for alle eksemplene er at vi starter med en forhåndsantakelse (prior), mottar ny informasjon, og oppdaterer til en etterantakelse (posterior). I dette kapittelet utleder vi setningen, løser testgåten, sporer opp den defekte komponenten i en fabrikk, og ser hvordan vi kan oppdatere sannsynligheter gang på gang etter hvert som bevisene hoper seg opp.

Å snu betingingen — selve setningen

Utledningen er overraskende kort, og den bygger bare på det du allerede kan. Definisjonen av betinget sannsynlighet sier at $\displaystyle P(A|B) = \frac{P(A \cap B)}{P(B)}$. Samtidig vet vi fra produktregelen at $P(A \cap B) = P(B|A) \cdot P(A)$. Setter vi det inn, får vi Bayes' setning:

$$P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}$$

Hvert ledd har fått eget navn i den bayesianske tradisjonen. $P(A)$ er prioren — det vi trodde om $A$ før vi fikk informasjonen. $P(B|A)$ er likelihooden — hvor sannsynlig observasjonen $B$ er dersom $A$ er sann. $P(B)$ er marginalen — den totale sannsynligheten for å observere $B$ uansett. Og resultatet $P(A|B)$ er posterioren — den oppdaterte sannsynligheten.

Nevneren $P(B)$ regner vi som regel ut med totalsetningen fra forrige kapittel, og da får setningen sin mest brukte form:

$$P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B|A) \cdot P(A) + P(B|\overline{A}) \cdot P(\overline{A})}$$

Les den gjerne slik: telleren er «veien til $B$ gjennom $A$», nevneren er «alle veier til $B$». Posterioren er rett og slett andelen av $B$-tilfellene som skyldes $A$. Med det verktøyet i hånden kan vi vende tilbake til screeningbrevet.

Diagnosen — når 99 % presisjon gir 2 % sikkerhet

Nå løser vi gåten fra innledningen, og først trenger vi presist språk. For en diagnostisk test definerer vi sensitivitet som $P(+|\text{syk})$ — andelen syke som tester positivt, spesifisitet som $P(-|\text{frisk})$ — andelen friske som tester negativt, og prevalens som $P(\text{syk})$ — andelen av befolkningen som har sykdommen. Det vi vil finne, kalles positiv prediktiv verdi: $P(\text{syk}|+)$.

Testen vår har sensitivitet 99 % og spesifisitet 95 %, og sykdommen rammer 0,1 % av befolkningen. Merk at 5 % av de friske tester falskt positivt: $P(+|\overline{S}) = 1 - 0{,}95 = 0{,}05$. Totalsetningen gir sannsynligheten for en positiv test:

$$P(+) = 0{,}99 \cdot 0{,}001 + 0{,}05 \cdot 0{,}999 = 0{,}00099 + 0{,}04995 = 0{,}05094$$

Og Bayes' setning gir svaret:

$$P(S|+) = \frac{0{,}99 \cdot 0{,}001}{0{,}05094} \approx 0{,}019 \approx 1{,}9\,\%$$

Bare rundt 2 %! Intuisjonen blir tydeligere med konkrete antall. Se for deg 100 000 testede: omtrent 100 er syke, og 99 av dem tester positivt. Men blant de 99 900 friske tester rundt 4995 positivt. Av drøyt 5000 positive svar er altså bare 99 ekte — de falske positive fra den enorme friske gruppen drukner de sanne.

Å overse dette kalles base rate fallacy — grunnsatsfeilen: vi glemmer hvor sjelden tilstanden er i utgangspunktet. Derfor er hovedregelen i screeningprogrammer at en positiv test ved sjeldne tilstander må bekreftes med tilleggstester før noen får en diagnose.

Jakten på den defekte komponenten

Bayes' setning er like hjemme på fabrikkgulvet som på legekontoret. En elektronikkfabrikk har tre maskiner: maskin A står for 50 % av produksjonen med 2 % defekte, maskin B for 30 % med 3 % defekte, og maskin C for 20 % med 4 % defekte. Kvalitetskontrollen plukker opp en defekt komponent. Hvilken maskin er den mest sannsynlige synderen? Magefølelsen peker kanskje på C — den har jo høyest defektrate. La oss regne.

Først totalsetningen, nå med tre tilfeller i partisjonen:

$$P(D) = 0{,}02 \cdot 0{,}50 + 0{,}03 \cdot 0{,}30 + 0{,}04 \cdot 0{,}20 = 0{,}01 + 0{,}009 + 0{,}008 = 0{,}027$$

Så Bayes for hver maskin — telleren er maskinens «bidrag» til defektene, nevneren totalen:

$$P(M_A|D) = \frac{0{,}01}{0{,}027} \approx 37{,}0\,\% \qquad P(M_B|D) = \frac{0{,}009}{0{,}027} \approx 33{,}3\,\% \qquad P(M_C|D) = \frac{0{,}008}{0{,}027} \approx 29{,}6\,\%$$

Overraskelsen er komplett: maskin A er mest sannsynlig kilde, til tross for at den har lavest defektrate. Forklaringen er volumet — A produserer halvparten av alt, så selv en lav feilprosent gir mange defekte enheter i absolutte tall. Igjen er det prioren (markedsandelen i produksjonen) som magefølelsen glemmer.

Legg også merke til kontrollen: $37{,}0 + 33{,}3 + 29{,}6 \approx 100\,\%$. Posteriorene over en hel partisjon skal alltid summere til 1 — et nyttig sjekkpunkt i enhver Bayes-beregning.

Sekvensiell oppdatering — når bevisene hoper seg opp

Det kanskje vakreste ved Bayes' setning er at den kan brukes om og om igjen: dagens posterior blir morgendagens prior. Slik bygger en etterforsker, en forsker eller et spamfilter gradvis opp sikkerhet etter hvert som nye observasjoner kommer inn.

Se på et rendyrket eksempel. En eske er enten av type R (3 røde og 1 blå kule) eller type B (1 rød og 3 blå), med 50 % sjanse for hver. Du trekker en kule med tilbakelegging — den er rød. Likelihoodene er $\displaystyle P(\text{rød}|R) = \frac{3}{4}$ og $\displaystyle P(\text{rød}|B) = \frac{1}{4}$, så $\displaystyle P(\text{rød}) = \frac{3}{4} \cdot 0{,}5 + \frac{1}{4} \cdot 0{,}5 = \frac{1}{2}$, og Bayes gir

$$P(R|\text{1 rød}) = \frac{\frac{3}{4} \cdot 0{,}5}{0{,}5} = \frac{3}{4} = 75\,\%$$

Så trekker du igjen — rød en gang til. Nå er $0{,}75$ den nye prioren. Totalsetningen gir $\displaystyle P(\text{rød}) = \frac{3}{4} \cdot 0{,}75 + \frac{1}{4} \cdot 0{,}25 = \frac{10}{16} = \frac{5}{8}$, og

$$P(R|\text{2 røde}) = \frac{\frac{3}{4} \cdot 0{,}75}{\frac{5}{8}} = \frac{9}{10} = 90\,\%$$

Fra 50 til 75 til 90 prosent: hver observasjon flytter troen vår, men aldri helt til 100 — det skal alltid være rom for at vi tar feil.

Akkurat denne mekanismen driver moderne teknologi og forskning. Spamfilteret starter med en prior for «spam», og hvert ord i e-posten («gratis!», «vinn!») oppdaterer sannsynligheten. I rettssaker diskuterer sakkyndige hvordan DNA-bevis bør oppdatere skyldsannsynligheten. Og i maskinlæring bærer hele familier av metoder navnet bayesiansk inferens, med naive Bayes-klassifisereren som enkleste slektning. Prinsippet er alltid det samme: prior, likelihood, posterior — og om igjen.

Oppsummering: kunsten å skifte mening riktig

Screeningbrevet fra innledningen mistet mye av sin skrekk: en positiv test for en sjelden sykdom betydde bare rundt 2 % sannsynlighet for å være syk. Nøkkelen var Bayes' setning,

$$P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}$$

som snur betingingen — fra det testen kan fortelle oss, $P(+|\text{syk})$, til det vi faktisk lurer på, $P(\text{syk}|+)$. Nevneren $P(B)$ henter vi fra totalsetningen, og leddene har egne navn: prior ($P(A)$), likelihood ($P(B|A)$) og posterior ($P(A|B)$).

I medisinen lærte vi begrepene sensitivitet, spesifisitet, prevalens og positiv prediktiv verdi — og fellen base rate fallacy: ved lav prevalens drukner de sanne positive i falske positive fra den store friske gruppen. Et godt mottiltak er å regne med konkrete antall, for eksempel per 100 000 personer, og huske at sjeldne tilstander krever bekreftende tester.

På fabrikken viste Bayes at maskinen med lavest defektrate likevel var den mest sannsynlige kilden til en defekt del, fordi den produserte mest — prioren teller like mye som likelihooden. Og kontrollen er alltid at posteriorene over en partisjon summerer til 1.

Til slutt så vi at setningen kan kjøres i sløyfe: sekvensiell oppdatering lot sannsynligheten for eske-typen klatre fra 50 via 75 til 90 prosent etter to røde kuler. Det er samme maskineri som driver spamfiltre, bevisvurdering i retten og bayesiansk maskinlæring: start med det du tror, møt virkeligheten, og oppdater — gang på gang.