8.2 Inferens og prediksjon i regresjon — og residualplottet sensor alltid spør om

$$T=\frac{\hat{\beta}-\beta_0}{S/\sqrt{S_{xx}}}=\frac{\hat{\beta}-\beta_0}{\text{SE}(\hat{\beta})}\ \sim\ t_{n-2}\quad\text{under }H_0.$$

Frihetsgraden er $n-2$ — samme antall som i variansestimatet $s^2$, fordi to parametre ($\hat{\alpha},\hat{\beta}$) er estimert. Bruk $t_{n-1}$ her, og du mister poeng. Forkastingsregelen er den vanlige: ved tosidig test på nivå $\alpha$ forkaster vi $H_0$ hvis $|T|>t_{n-2,\alpha/2}$ (øvre haleareal $\alpha/2$). En testobservator er bare tallet vi regner ut for å måle hvor langt estimatet ligger fra $H_0$-verdien, målt i antall standardfeil.

$$\hat{\beta}\ \pm\ t_{n-2,\alpha/2}\cdot\frac{s}{\sqrt{S_{xx}}}.$$

Et $95\,\%$-intervall bruker $t_{n-2,0{,}025}$. Ligger $0$ utenfor intervallet, forkaster vi $H_0:\beta=0$ på $5\,\%$-nivå — test og intervall gir samme konklusjon. Intervallet blir smalt når standardfeilen er liten, altså når $s$ er liten (lite støy) og $S_{xx}$ stor (godt spredte $x$-verdier).

$$\hat{y}_0=\hat{\alpha}+\hat{\beta}x_0.$$

Men vi kan spørre om to forskjellige ting, og de har forskjellige intervaller:

1. Konfidensintervall (KI) for forventningen $E(Y_0)=\alpha+\beta x_0$ — «hvor ligger den gjennomsnittlige responsen ved $x_0$?». Usikkerheten kommer bare fra at $\hat{\alpha},\hat{\beta}$ er estimert:
$$\hat{y}_0\ \pm\ t_{n-2,\alpha/2}\cdot s\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x})^2}{S_{xx}}}.$$

2. Prediksjonsintervall (PI) for en NY observasjon $Y_0$ — «hvor ligger neste enkeltmåling ved $x_0$?». Nå kommer det i tillegg et helt nytt feilledd $\varepsilon_0$ med varians $\sigma^2$, og det gir et ekstra $1$-tall under rottegnet:
$$\hat{y}_0\ \pm\ t_{n-2,\alpha/2}\cdot s\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x})^2}{S_{xx}}}.$$

Hele forskjellen er $1$-tallet (variansen til den nye målingens eget feilledd). PI er derfor alltid bredere enn KI ved samme $x_0$. Spør oppgaven om «en ny/framtidig måling», bruk PI; spør den om «forventet/gjennomsnittlig respons», bruk KI. Frihetsgraden er $n-2$ i begge.

Leddet $\dfrac{(x_0-\bar{x})^2}{S_{xx}}$ er null når $x_0=\bar{x}$ og vokser jo lengre $x_0$ ligger fra $\bar{x}$. Derfor er begge intervallene smalest midt i dataene (ved $\bar{x}$) og vider seg ut mot kantene — som et sammentrykt timeglass rundt linja. Intuitivt: en liten feil i helningen $\hat{\beta}$ vipper linja rundt tyngdepunktet $(\bar{x},\bar{y})$, så jo lengre ut du er, desto mer flytter prediksjonen seg.

Ekstrapolering er å predikere for en $x_0$ utenfor dataområdet. Da er $(x_0-\bar{x})^2$ stor (bredt intervall), og — verre — vi har ingen data som bekrefter at den rette linja fortsatt gjelder der ute. Ekstrapolering skal alltid flagges eksplisitt som usikker; det er et fast poeng i tolkningsdelen (sjanger M).

Modellen hviler på tre antagelser (kap. 8.1): uavhengige feil, konstant varians og normalfordelte feil. Vi sjekker dem grafisk ved å plotte residualene $e_i=y_i-\hat{y}_i$ — og mønsteret forteller hvilken antagelse som eventuelt svikter:

- Residual mot $x$ (eller mot prediksjon $\hat{y}_i$): skal se ut som en strukturløs sky rundt null. Da er alt bra.
- Traktform (spredningen vokser eller krymper systematisk): konstant varians brytes (heteroskedastisitet). Feilene er større for noen $x$-verdier enn andre.
- Bueform (residualene er systematisk positive i midten og negative i endene, eller omvendt): et krumningsledd mangler — sammenhengen er ikke rett, en $x^2$-term eller en transformasjon trengs.
- Q-Q-plott av residualene (residualene mot normalkvantiler): skal ligge på en rett linje. Systematisk krumning eller tunge haler bryter normalitetsantagelsen.

Regelen sensor vil se: aldri «residualene ser fine ut» uten begrunnelse — pek på mønsteret (eller fraværet av mønster) og koble det til en konkret antagelse.

Mange sammenhenger som ser ikke-lineære ut, kan skrives som lineære i parametrene og løses med det vanlige LS-apparatet. Det avgjørende er ikke at $x$ inngår lineært, men at $\alpha$ og $\beta$ gjør det:

- Ln-lineær modell: $\ln Y=\alpha+\beta x+\varepsilon$. Vi kjører regresjon med $z_i=\ln y_i$ som respons. Da gjelder alt fra dette kapitlet for $z$-skalaen.
- Polynomledd: $Y=\alpha+\beta x+\gamma x^2+\varepsilon$ — legg til $x^2$ som en ekstra «forklaringsvariabel» (fikser bueform, jf. løkke 3).
- Periodiske ledd: $Y=\alpha+\beta\cos(x)+\varepsilon$ — bruk $\cos(x)$ som forklaringsvariabel.

Tilbaketransformasjon i ln-modellen (viktig!): regn KI/PI på $z=\ln y$-skalaen først, og transformer så endepunktene tilbake med $\exp$. Fordi $\exp$ er monotont voksende, bevares rekkefølgen: er $[L,U]$ et $95\,\%$-intervall for $\ln Y_0$, er $[e^{L},\ e^{U}]$ et $95\,\%$-intervall for $Y_0$. Glem aldri å transformere tilbake — svaret skal være i den opprinnelige enheten.

Testobservator $T=\dfrac{\hat{\beta}-\beta_0}{s/\sqrt{S_{xx}}}=\dfrac{\hat{\beta}-\beta_0}{\text{SE}(\hat{\beta})}\sim t_{n-2}$ under $H_0:\beta=\beta_0$. Frihetsgrad $n-2$ (som i $s^2$). Tosidig forkasting: $|T|>t_{n-2,\alpha/2}$.

Å teste $H_0:\beta=0$ er å spørre «har $x$ forklaringskraft for $Y$?». Forkastes $H_0$, er sammenhengen statistisk sikker. Aksepteres den, er det ingen påvist lineær effekt av $x$.

Punktprediksjonen ved $x_0$ er $\hat{y}_0=\hat{\alpha}+\hat{\beta}x_0$ — verdien på den estimerte linja. Den er felles startpunkt for både KI og PI.

Eneste forskjell er $1$-tallet under rottegnet: PI har det, KI ikke. PI er derfor alltid bredere. «Forventet respons» $\to$ KI; «ny/framtidig måling» $\to$ PI.

Leddet $(x_0-\bar{x})^2/S_{xx}$ er null ved $x_0=\bar{x}$ og vokser utover. Derfor er både KI og PI smalest midt i dataene og vider seg mot kantene — som et timeglass rundt linja.

Prediksjon for $x_0$ utenfor dataområdet. Da er intervallet bredt og linjeformen ubekreftet der ute. Skal alltid flagges eksplisitt som usikker.

Plott av residualene $e_i=y_i-\hat{y}_i$ mot $x$ eller mot prediksjon $\hat{y}_i$. Brukes til å sjekke modellantagelsene grafisk. Sunt bilde: strukturløs sky rundt null.

Systematisk voksende (eller krympende) spredning i residualene bryter antagelsen om konstant varians. Tiltak: variansstabiliserende transformasjon ($\ln Y$, $\sqrt{Y}$) eller vektet regresjon.

Residualer systematisk positive i midten og negative i endene (eller omvendt) betyr at en rett linje er feil middelverdistruktur. Legg til $x^2$-ledd eller transformer.

Residualer mot normalkvantiler; skal ligge på en rett linje. Krumning eller tunge haler bryter normalitetsantagelsen, som test og intervaller hviler på.

Modeller som $\alpha+\beta x+\gamma x^2$ eller $\alpha+\beta\cos(x)$ er lineære i parametrene $\alpha,\beta,\gamma$ og løses med vanlig LS ved å bruke $x^2$, $\cos(x)$ osv. som ekstra forklaringsvariabler.