8.2 Betinget forventning, prediksjon og MSE-minimering

$$\text{MSE}(\theta)=E[(\theta-X)^2]$$

MSE står for «mean squared error» (gjennomsnittlig kvadratisk feil). Vi kvadrerer avviket $\theta-X$ slik at positive og negative bom ikke utligner hverandre, og slik at store bom straffes hardere enn små. Målet er å velge den $\theta$ som gjør MSE minst mulig.

$$E[(\theta-X)^2]=(\theta-\mu)^2+\text{Var}(X),\qquad \mu=E(X)$$

Siden $\text{Var}(X)$ ikke avhenger av $\theta$, minimeres uttrykket ved å nulle ut $(\theta-\mu)^2$, altså ved $\theta=\mu=E(X)$. Minimumsverdien er da $E[(\mu-X)^2]=\text{Var}(X)$ — forventningen kan aldri gjette bedre enn variansen tillater.

$$\theta=E(X)\ \text{minimerer}\ E[(\theta-X)^2],\quad \text{med minsteverdi}\ \text{Var}(X).$$

Merk at «best» her betyr minst forventet kvadratisk avvik. Straffer vi i stedet med absoluttverdi $E|\theta-X|$, blir det beste gjettet medianen, ikke forventningen. Valget av tapsfunksjon avgjør hvilket sentralmål som er optimalt.

$$g(x)=E(Y\mid X=x)\ \text{minimerer}\ E[(Y-g(X))^2].$$

Begrunnelsen er den samme dekomponeringen som i løkke 1, men anvendt betinget: for hver fast $x$ er $E(Y\mid X=x)$ den konstanten som minimerer $E[(Y-\theta)^2\mid X=x]$. Å velge dette gjettet for hver $x$ minimerer også helheten. $E(Y\mid X=x)$ kalles regresjonsfunksjonen.

$$E(Y\mid X=x)=\int_{-\infty}^{\infty} y\,f_{Y\mid X=x}(y)\,dy,\qquad f_{Y\mid X=x}(y)=\frac{f(x,y)}{f_X(x)}.$$

For en binormal slipper vi integralet: den betingede fordelingen er kjent å være normal, så vi leser bare av forventningen $\displaystyle \mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)$ direkte.

$$E(Y\mid X=x_0)=\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x_0-\mu_1).$$

Usikkerheten rundt denne prediksjonen er den betingede variansen $\sigma_2^2(1-\rho^2)$, som er mindre enn den marginale $\sigma_2^2$ (så lenge $\rho\ne 0$). I den standardiserte binormalen er beste prediksjon rett og slett $E(Y\mid X=x_0)=\rho x_0$. Dette er nettopp regresjonsmodellen som estimeres fra data i kap. 8.3.

Å måle bommen med kvadratet av avviket, $(\theta-X)^2$. Kvadreringen gjør at store bom straffes uforholdsmessig hardt og at positive og negative avvik ikke utligner hverandre. Med kvadratisk tap er det optimale punktestimatet forventningen; med absoluttverditap er det medianen.

Funksjonen $x\mapsto E(Y\mid X=x)$ som gir beste prediksjon av $Y$ for hver verdi av $X$. For binormale data er den lineær, $\displaystyle \mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)$; for andre fordelinger kan den være krum.

Bytter vi kvadratisk tap med absoluttverditap $E|\theta-X|$, blir det optimale konstante gjettet medianen, ikke forventningen. Dette viser at «beste prediksjon» avhenger av hvordan bommen straffes; STK1100 bruker gjennomgående kvadratisk tap.

Andelen av variansen i $Y$ som fjernes ved å kjenne $X$: prediksjonsfeilen faller fra $\sigma_2^2$ (uten data) til $\sigma_2^2(1-\rho^2)$ (med data), en reduksjon på $\rho^2$. Ved $\rho=0$ hjelper $X$ ingenting; ved $\rho=\pm 1$ bestemmes $Y$ eksakt.

Er $X$ og $Y$ uavhengige (for binormale: $\rho=0$), er $E(Y\mid X=x)=E(Y)=\mu_2$ for alle $x$: beste gjett er marginalforventningen uansett hva $X$ ble. Observasjonen av $X$ tilfører da ingen informasjon om $Y$.

Når $\mu_1=\mu_2=0$ og $\sigma_1=\sigma_2=1$ forenkles beste prediksjon til $E(Y\mid X=x_0)=\rho x_0$, og prediksjonsfeilen til $1-\rho^2$. Den enkleste formen å regne og argumentere i — mange oppgaver standardiserer derfor først.

«Beste prediksjon» er alltid relativt til en tapsfunksjon. I STK1100 menes minst forventet kvadratisk feil; da er svaret forventningen (konstant) eller den betingede forventningen (med data). Skift av tapsfunksjon ville gitt et annet optimalt gjett.