8.3 Enkel lineær regresjon (nykommer, elementær)

$$Y_i=\beta_0+\beta_1 x_i+\varepsilon_i,\qquad i=1,\dots,n$$

Her er $x_i$ faste (kjente, ikke-stokastiske), $\beta_0$ (skjæringspunkt) og $\beta_1$ (stigningstall) ukjente parametre, og $\varepsilon_i$ er uavhengige tilfeldige feil med $E(\varepsilon_i)=0$ og $\text{Var}(\varepsilon_i)=\sigma^2$ (samme varians for alle — homoskedastisitet). Da er $E(Y_i)=\beta_0+\beta_1 x_i$ og $\text{Var}(Y_i)=\sigma^2$. Merk: det er $Y_i$ som er stokastisk, ikke $x_i$.

$$\hat\beta_1=\frac{\sum_{i}(x_i-\bar x)(Y_i-\bar Y)}{\sum_i (x_i-\bar x)^2},\qquad \hat\beta_0=\bar Y-\hat\beta_1\bar x$$

Telleren er en «kovarians» mellom $x$ og $Y$ i dataene, nevneren er spredningen i $x$-verdiene $S_{xx}=\sum(x_i-\bar x)^2$. Stor bokstav markerer at $\hat\beta_1$ er en estimator (stokastisk via $Y_i$-ene); setter vi inn tallverdier, får vi et estimat. En vanlig felle er å snu teller og nevner — nevneren inneholder bare $x$-ene.

$$\hat\gamma_1=\frac{\sum_i x_i Y_i}{\sum_i x_i^2}$$

Merk at både teller og nevner nå bruker rå $x_i$ og $Y_i$ (ikke avvik fra gjennomsnittet), fordi linjen er tvunget gjennom origo. Nevneren er $\sum x_i^2$.

$$E(\hat\gamma_1)=\frac{\sum x_i E(Y_i)}{\sum x_i^2}=\frac{\sum x_i(\gamma_1 x_i)}{\sum x_i^2}=\gamma_1\quad(\text{forventningsrett}),$$
$$\text{Var}(\hat\gamma_1)=\frac{\sum x_i^2\,\text{Var}(Y_i)}{\left(\sum x_i^2\right)^2}=\frac{\sigma^2}{\sum x_i^2}.$$

Vi bruker at $x_i$ er faste og $\varepsilon_i$ uavhengige (så ingen kovariansledd). Estimatoren er forventningsrett når origo-modellen er riktig.

$$E(\hat\beta_1)=\beta_1\quad(\text{forventningsrett}),\qquad \text{Var}(\hat\beta_1)=\frac{\sigma^2}{\sum(x_i-\bar x)^2}=\frac{\sigma^2}{S_{xx}}.$$

Variansen er liten når $x$-verdiene er godt spredt (stor $S_{xx}$): jo mer du varierer forklaringsvariabelen, desto mer presist estimeres stigningstallet. Standardfeilen er $\widehat{\text{SE}}(\hat\beta_1)=\sqrt{\sigma^2/S_{xx}}$.

$$\hat\theta\pm z_{\alpha/2}\cdot\widehat{\text{SE}}(\hat\theta).$$

For $95\ \%$ er $z_{0{,}025}=1{,}96$. Modellvalg via intervallet: legg et KI rundt skjæringspunktet $\hat\beta_0$. Inneholder intervallet $0$, er det forenlig med at det sanne skjæringspunktet er null — da kan origo-modellen forsvares. Ligger $0$ utenfor, bør konstantleddet beholdes. (Merk: dette er et informativt intervallargument, ikke en hypotesetest — STK1100 stopper ved konfidensintervallet.)

$$\text{Var}(\hat\gamma_1)=\frac{\sigma^2}{\sum x_i^2}\ \le\ \frac{\sigma^2}{\sum(x_i-\bar x)^2}=\text{Var}(\hat\beta_1),$$

siden $\sum x_i^2=\sum(x_i-\bar x)^2+n\bar x^2\ge\sum(x_i-\bar x)^2$. Ulikheten er streng når $\bar x\ne 0$ og likhet når $\bar x=0$. Den enklere modellen foretrekkes når vi har god grunn til å tro at linjen går gjennom origo (da er den forventningsrett og har lavere varians); er vi usikre, koster den mulig skjevhet. Dette er avveiningen mellom presisjon og korrekthet.

Å velge linjen som minimerer summen av kvadrerte loddrette avvik $\sum(Y_i-\beta_0-\beta_1 x_i)^2$. Man deriverer med hensyn på hver parameter, setter lik null (normallikningene) og løser. Samme kvadratiske tap som i beste prediksjon (kap. 8.2).

En estimator $\hat\theta$ er forventningsrett (forventningstro) når $E(\hat\theta)=\theta$: den treffer i snitt riktig. Både $\hat\beta_1$ og $\hat\beta_0$ er forventningsrette under regresjonsmodellen; $\hat\gamma_1$ er det bare når det sanne skjæringspunktet er null.

Antakelsen $\text{Var}(\varepsilon_i)=\sigma^2$ for alle $i$ — feilene har samme varians uansett $x$. Dette er nettopp egenskapen den betingede variansen $\sigma_2^2(1-\rho^2)$ i binormalen har (kap. 8.1), noe som knytter regresjon til binormalmodellen.

Legg et KI rundt $\hat\beta_0$: inneholder det $0$, er origo-modellen forenlig med data og kan forsvares (spesielt om faglig begrunnet); ligger $0$ utenfor, beholdes konstantleddet. Et informativt intervallargument, ikke en hypotesetest.

Nøkkelen bak at $\text{Var}(\hat\gamma_1)\le\text{Var}(\hat\beta_1)$: siden $n\bar x^2\ge 0$ er $\sum x_i^2\ge S_{xx}$. Ulikheten mellom variansene er streng når $\bar x\ne 0$ og blir likhet når $\bar x=0$.

I regresjonsmodellen er $x_i$ kjente, ikke-stokastiske tall (kontrollerte nivåer). Derfor behandles de som konstanter i all forventnings- og variansregning, og usikkerheten kommer utelukkende fra de tilfeldige feilene $\varepsilon_i$.

For binormale data er den betingede forventningen $\displaystyle E(Y\mid X=x)=\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)$ nettopp en lineær regresjonsmodell (kap. 8.1). Regresjonens $\beta_1$ svarer til $\rho\sigma_2/\sigma_1$, og feilvariansen $\sigma^2$ til den betingede variansen $\sigma_2^2(1-\rho^2)$.