8.1 Modellen og minste kvadraters metode

$$Y_i = \alpha + \beta x_i + \varepsilon_i, \qquad i=1,\ldots,n.$$

Her er $\alpha$ konstantleddet (skjæringspunktet), $\beta$ stigningstallet (helningen), og $x_i$ er faste, kjente tall — vi behandler dem ikke som stokastiske. Det er $Y_i$ som er stokastisk, gjennom feilleddet. Modellen hviler på tre feilantagelser om $\varepsilon_i$, og du skal oppgi dem der de brukes:

1. Uavhengighet: feilene $\varepsilon_1,\ldots,\varepsilon_n$ er uavhengige (den ene målingens støy sier ingenting om den neste).
2. Konstant varians (homoskedastisitet): $\text{Var}(\varepsilon_i)=\sigma^2$, samme spredning for alle $x_i$.
3. Normalitet: $\varepsilon_i \sim N(0,\sigma^2)$, forventning 0 og normalfordelt.

Samlet: $\varepsilon_i$ er uavhengige $N(0,\sigma^2)$. Da er $E(Y_i)=\alpha+\beta x_i$ og $\text{Var}(Y_i)=\sigma^2$, og $Y_i \sim N(\alpha+\beta x_i,\ \sigma^2)$.

En vanlig og viktig presisering: i enkel lineær regresjon regnes $x_i$-verdiene som faste, kjente tall (temperaturene vi valgte, dosene vi satte), ikke som utfall av en stokastisk variabel. All tilfeldighet ligger i feilleddet $\varepsilon_i$, og dermed i $Y_i$. Derfor er $\bar{x}$ og $\sum(x_i-\bar{x})^2$ konstanter når vi regner forventning og varians — de kan trekkes utenfor $E(\cdot)$ og $\text{Var}(\cdot)$ som tall. Å behandle $x_i$ som stokastisk er en klassisk feil som ødelegger variansutledningen.

$$Q(a,b)=\sum_{i=1}^n \big(y_i - a - b x_i\big)^2.$$

Vi kvadrerer (ikke bare summerer avvikene) slik at positive og negative avvik ikke opphever hverandre, og slik at store avvik straffes ekstra. Estimatene $\hat{\alpha},\hat{\beta}$ er de verdiene av $a,b$ som minimerer $Q$ — de finner vi ved å derivere $Q$ mhp. begge og sette lik 0.

$$\frac{\partial Q}{\partial a}=-2\sum(y_i-a-bx_i)=0, \qquad \frac{\partial Q}{\partial b}=-2\sum x_i(y_i-a-bx_i)=0.$$

Fra den første får vi $\sum y_i = na + b\sum x_i$, altså $\hat{\alpha}=\bar{y}-\hat{\beta}\bar{x}$ (linja går gjennom tyngdepunktet $(\bar{x},\bar{y})$). Setter vi det inn i den andre og rydder, kommer stigningstallet ut som forholdet mellom den sentrerte kryssum og den sentrerte kvadratsum i $x$:

$$\hat{\beta}=\frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}=\frac{S_{xy}}{S_{xx}}, \qquad \hat{\alpha}=\bar{y}-\hat{\beta}\bar{x}.$$

På eksamen er $S_{xx}=\sum(x_i-\bar{x})^2$ og $S_{xy}=\sum(x_i-\bar{x})(y_i-\bar{y})$ som regel oppgitt — da er jobben å sette inn riktig: teller er kryss-summen $S_{xy}$, nevner er $x$-kvadratsummen $S_{xx}$. Aldri omvendt.

$$S_{xx}=\sum(x_i-\bar{x})^2, \quad S_{xy}=\sum(x_i-\bar{x})(y_i-\bar{y}), \quad S_{yy}=\sum(y_i-\bar{y})^2.$$

Regnesnarveiene (nyttige når du bare har råsummene): $S_{xx}=\sum x_i^2-n\bar{x}^2$, $S_{xy}=\sum x_iy_i-n\bar{x}\bar{y}$, $S_{yy}=\sum y_i^2-n\bar{y}^2$. Fra disse får du alt: $\hat{\beta}=S_{xy}/S_{xx}$, og senere $\text{SSE}=S_{yy}-\hat{\beta}S_{xy}$.

Likelihooden er produktet av normaltetthetene:
$$L(\alpha,\beta,\sigma^2)=\prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\left(-\frac{(y_i-\alpha-\beta x_i)^2}{2\sigma^2}\right).$$

Log-likelihooden:
$$l(\alpha,\beta,\sigma^2)=-\frac{n}{2}\ln(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^n (y_i-\alpha-\beta x_i)^2.$$

Poenget: de eneste leddene som avhenger av $\alpha$ og $\beta$, er kvadratsummen $\sum(y_i-\alpha-\beta x_i)^2$, og den står med minustegn foran. Å maksimere $l$ over $\alpha,\beta$ er derfor nøyaktig det samme som å minimere kvadratsummen — altså LS. Konklusjonen: $\hat{\alpha}_{\text{ML}}=\hat{\alpha}_{\text{LS}}$ og $\hat{\beta}_{\text{ML}}=\hat{\beta}_{\text{LS}}$. (For $\sigma^2$ gir ML derimot divisor $n$; den forventningsrette varianten deler på $n-2$ — se løkke 4.)

Forventningsrett: med $E(Y_i)=\alpha+\beta x_i$ og litt algebra ($\sum c_i=0$, $\sum c_i x_i=1$):
$$E(\hat{\beta})=\sum c_i E(Y_i)=\alpha\sum c_i+\beta\sum c_i x_i=\beta.$$

Variansen: fordi $x_i$ er faste er $c_i$ konstanter, og med $\text{Var}(Y_i)=\sigma^2$ (konstant varians!) og uavhengighet:
$$\text{Var}(\hat{\beta})=\sum c_i^2\,\sigma^2=\frac{\sum(x_i-\bar{x})^2}{S_{xx}^2}\,\sigma^2=\frac{\sigma^2}{S_{xx}}.$$

Merk hvor antagelsene kommer inn: uavhengighet og konstant varians trengs for variansformelen, og at $x_i$ er faste gjør $c_i$ til konstanter. Variansen $\sigma^2/S_{xx}$ blir liten når $x$-verdiene er godt spredt (stor $S_{xx}$) — spre målepunktene, så blir helningen presis.

$$\text{SSE}=\sum_{i=1}^n (y_i-\hat{y}_i)^2=\sum(y_i-\hat{\alpha}-\hat{\beta}x_i)^2,$$

og regnesnarveien fra summene er $\text{SSE}=S_{yy}-\hat{\beta}S_{xy}$. Den forventningsrette estimatoren for $\sigma^2$ er

$$s^2=\frac{\text{SSE}}{n-2}.$$

Hvorfor $n-2$? Vi har brukt opp to frihetsgrader på å estimere to parametre ($\hat{\alpha}$ og $\hat{\beta}$) før vi måler residualene. Akkurat som empirisk varians deler på $n-1$ etter å ha estimert én parameter ($\bar{x}$), deler regresjonen på $n-2$. Med denne divisoren blir $E(s^2)=\sigma^2$. $n-1$ her er feil — en av de vanligste sensortrekkene i regresjonsoppgaven.

Gitt de sentrerte summene: stigningstall $\hat{\beta}=\dfrac{S_{xy}}{S_{xx}}$ (kryss-sum over $x$-kvadratsum), konstantledd $\hat{\alpha}=\bar{y}-\hat{\beta}\bar{x}$ (linja gjennom $(\bar{x},\bar{y})$). Arbeidsformen på eksamen: sett de oppgitte $S_{xx},S_{xy},\bar{x},\bar{y}$ rett inn. Teller = $S_{xy}$, nevner = $S_{xx}$, aldri omvendt.

Under normalfeil er $\displaystyle l(\alpha,\beta,\sigma^2)=-\frac{n}{2}\ln(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum(y_i-\alpha-\beta x_i)^2$. Bare kvadratsummen avhenger av $\alpha,\beta$, og den står med minustegn — så maksimere $l$ = minimere kvadratsummen = LS. Derfor $\hat{\alpha}_{\text{ML}}=\hat{\alpha}_{\text{LS}}$, $\hat{\beta}_{\text{ML}}=\hat{\beta}_{\text{LS}}$. (For $\sigma^2$ deler ML på $n$.)

Total variasjon deles i forklart og ikke-forklart: SST $=S_{yy}=\sum(y_i-\bar{y})^2$ (total), SSR $=\hat{\beta}S_{xy}$ (forklart av regresjonen), SSE $=\sum(y_i-\hat{y}_i)^2$ (residual, ikke-forklart), med $\text{SST}=\text{SSR}+\text{SSE}$. Derfor snarveien $\text{SSE}=S_{yy}-\hat{\beta}S_{xy}$.

Empirisk varians deler på $n-1$ (én estimert parameter, $\bar{x}$). Regresjon deler på $n-2$, fordi to parametre ($\hat{\alpha},\hat{\beta}$) er estimert før residualene. Samme frihetsgrad $n-2$ går igjen i t-testen og prediksjonen i kap. 8.2. (Unntak: origo-modellen i kap. 8.3 har $n-1$.)

Den predikerte verdien er $\hat{y}_i=\hat{\alpha}+\hat{\beta}x_i$ (punktet på linja). Residualet er avviket $e_i=y_i-\hat{y}_i$ (loddrett fra punkt til linje). LS minimerer $\sum e_i^2$. Residualene brukes til å sjekke feilantagelsene grafisk (kap. 8.2) og til å regne SSE.

I enkel lineær regresjon er $x_i$ faste, kjente tall (valgte nivåer), mens $Y_i$ er stokastisk gjennom feilleddet: $Y_i\sim N(\alpha+\beta x_i,\sigma^2)$. Konsekvens: $\bar{x}$, $S_{xx}$ og vektene $c_i$ er konstanter i forventnings- og variansregningen.

Fra $\partial Q/\partial a=0$ og $\partial Q/\partial b=0$: $\sum(y_i-a-bx_i)=0$ og $\sum x_i(y_i-a-bx_i)=0$. Løsningen er $\hat{\beta}=S_{xy}/S_{xx}$ og $\hat{\alpha}=\bar{y}-\hat{\beta}\bar{x}$. Den første sier at residualene summerer til null; linja går gjennom tyngdepunktet $(\bar{x},\bar{y})$.

Har du bare råsummene: $S_{xx}=\sum x_i^2-n\bar{x}^2$, $S_{xy}=\sum x_iy_i-n\bar{x}\bar{y}$, $S_{yy}=\sum y_i^2-n\bar{y}^2$. Fra disse får du $\hat{\beta},\hat{\alpha}$ og SSE uten å regne hver residual for seg.

En estimator $\hat{\theta}$ er forventningsrett for $\theta$ hvis $E(\hat{\theta})=\theta$ — den treffer riktig i gjennomsnitt over gjentatte forsøk, uten systematisk skjevhet. Både $\hat{\alpha}$, $\hat{\beta}$ og $s^2$ (med divisor $n-2$) er forventningsrette i regresjonsmodellen.

Den tilpassede linja er $\hat{y}=\hat{\alpha}+\hat{\beta}x$. Den brukes til å predikere respons ved en gitt $x$ (kap. 8.2) og går alltid gjennom tyngdepunktet $(\bar{x},\bar{y})$. Ved $x=\bar{x}$ er $\hat{y}=\bar{y}$ — en rask kontroll av regningen.