1.3 Betinget sannsynlighet, total sannsynlighet og Bayes

$$P(A \mid B) = \frac{P(A \cap B)}{P(B)}, \qquad P(B) > 0.$$

Intuisjon: vi krymper utfallsrommet til bare det som er forenlig med $B$. Da spør vi hvor stor andel av $B$ som også er $A$. Nevneren $P(B)$ er den nye «helheten», telleren $P(A \cap B)$ den delen som også er $A$.

$$P(A \cap B) = P(A \mid B)\,P(B) = P(B \mid A)\,P(A).$$

Nyttig når oppgaven gir deg betingede sannsynligheter og du skal finne sannsynligheten for at begge hendelsene inntreffer — for eksempel to trekk fra en urne uten tilbakelegging.

$$P(A \mid B) = P(A).$$

Dette er ekvivalent med produktregelen $P(A \cap B) = P(A)P(B)$ fra kap. 1.1. At $B$ skjedde gir da ingen informasjon om $A$. Er $P(A \mid B) \ne P(A)$, er hendelsene avhengige.

$$P(A \mid B) + P(A^c \mid B) = 1.$$

Advarsel: dette gjelder når vi varierer den første hendelsen. Det gjelder ikke å bytte hva vi betinger på: $P(A \mid B) + P(A \mid B^c)$ er som regel ikke 1. Å blande disse er en vanlig felle.

En partisjon av utfallsrommet er en oppdeling i hendelser $B_1, B_2, \ldots, B_k$ som er disjunkte (utelukker hverandre) og dekker alt ($B_1 \cup \cdots \cup B_k = S$). Nøyaktig én av dem inntreffer alltid.

Eksempel: «komponenten kom fra leverandør 1», «... fra leverandør 2», «... fra leverandør 3». En partisjon er scenarioene vi summerer over i loven om total sannsynlighet.

$$P(A) = \sum_{i=1}^{k} P(A \mid B_i)\,P(B_i).$$

Intuisjon: $A$ kan skje via scenario $B_1$, eller $B_2$, ..., og disse veiene utelukker hverandre. For hver vei ganger vi «sannsynligheten for veien» ($P(B_i)$) med «sannsynligheten for $A$ langs den veien» ($P(A \mid B_i)$), og summerer. Dette er nevneren i Bayes' formel.

Et tre der første forgrening er partisjonen ($B_i$, med grenene merket $P(B_i)$) og andre forgrening er $A$ / $A^c$ (grenene merket $P(A \mid B_i)$). Sannsynligheten for en hel gren er produktet langs den; total sannsynlighet er summen av alle grener som ender i $A$. Et oversiktlig regnehjelpemiddel som hindrer at du glemmer et scenario.

Alternativ til treet: en tabell med partisjonen ($B_i$) langs én akse og $A$ / $A^c$ langs den andre. Fyll cellene med $P(A \cap B_i) = P(A \mid B_i)P(B_i)$. Radsum og kolonnesum gir marginalene, og betingede sannsynligheter leses av som celle delt på passende sum. Særlig ryddig for diagnostiske testoppgaver med to scenarioer.

$$P(B_j \mid A) = \frac{P(A \mid B_j)\,P(B_j)}{\sum_{i=1}^{k} P(A \mid B_i)\,P(B_i)}.$$

Intuisjon: telleren er «veien gjennom $B_j$ som ender i $A$»; nevneren er alle veier som ender i $A$ (loven om total sannsynlighet). Vi spør: av all sannsynlighetsmasse for $A$, hvor stor andel gikk gjennom $B_j$? Dette er verktøyet for å oppdatere tro etter en observasjon.

$$\text{sensitivitet} = P(T \mid S),$$

der $T$ = «positiv test» og $S$ = «tilstanden til stede». En sensitivitet på 0,82 betyr at testen fanger 82 % av de syke; de resterende 18 % er falske negative.

$$\text{spesifisitet} = P(T^c \mid S^c).$$

En spesifisitet på 0,96 betyr at 96 % av de friske får korrekt negativ test; de resterende 4 % er falske positive, altså $P(T \mid S^c) = 1 - \text{spesifisitet}$.

En positiv test hos noen som ikke har tilstanden: hendelsen $T \cap S^c$. Den falske positive raten er $P(T \mid S^c) = 1 - \text{spesifisitet}$. Falske positive er hovedgrunnen til at en positiv test kan bety lite når tilstanden er sjelden — de mange friske gir mange falske alarmer.

En negativ test hos noen som faktisk har tilstanden: hendelsen $T^c \cap S$. Den falske negative raten er $P(T^c \mid S) = 1 - \text{sensitivitet}$. Falske negative er farlige i screening fordi syke feilaktig får beskjed om at alt er bra.

Andelen i populasjonen som faktisk har tilstanden før testing — sannsynligheten $P(S)$, også kalt basisraten. Prevalensen er den avgjørende, ofte oversette, størrelsen i Bayes-regnestykket: er den lav, blir den positive prediktive verdien lav selv med en god test.

$$\text{PPV} = P(S \mid T) = \frac{P(T \mid S)\,P(S)}{P(T \mid S)P(S) + P(T \mid S^c)P(S^c)}.$$

Dette er Bayes' formel anvendt på diagnostikk. Merk at PPV ikke er det samme som sensitiviteten $P(T \mid S)$ — å forveksle dem er prosecutor's fallacy.

$$\text{NPV} = P(S^c \mid T^c) = \frac{P(T^c \mid S^c)P(S^c)}{P(T^c \mid S^c)P(S^c) + P(T^c \mid S)P(S)}.$$

Ved lav prevalens er NPV typisk svært høy (en negativ test er nesten alltid korrekt), mens PPV kan være overraskende lav.

Å forveksle $P(A \mid B)$ med $P(B \mid A)$ — å tro at «sannsynligheten for testutslag gitt sykdom» er det samme som «sannsynligheten for sykdom gitt testutslag». De to er koblet av Bayes, men er som regel svært forskjellige. Navnet kommer fra rettssaker: «sannsynligheten for dette DNA-treffet hos en uskyldig er 1 av en million» betyr ikke at det er 1 av en million sjanse for at den tiltalte er uskyldig.

$$\frac{P(S \mid T)}{P(S^c \mid T)} = \frac{P(S)}{P(S^c)} \cdot \frac{P(T \mid S)}{P(T \mid S^c)}.$$

Praktisk fordi nevneren (total sannsynlighet) faller bort. Likelihood-forholdet $P(T\mid S)/P(T\mid S^c)$ måler hvor mye et positivt utslag «trekker» i retning sykdom.

Den kognitive fellen der man ignorerer prevalensen (basisraten) og bare ser på hvor treffsikker testen er. Det er derfor mange feilaktig tror en positiv test på en sjelden sykdom nesten sikkert betyr sykdom. Botemiddelet er å alltid ta $P(S)$ med i Bayes-regnestykket — basisraten styrer resultatet når tilstanden er sjelden.