8.3 NTNU-varianten: regresjon uten konstantledd og tre estimatorer for β

$$Y_i=\beta x_i+\varepsilon_i,\qquad \varepsilon_i\ \text{uavhengige}\ N(0,\sigma^2),\quad x_i\ \text{faste}.$$

De samme tre feilantagelsene som før gjelder (uavhengighet, konstant varians, normalitet), og $x_i$ er fortsatt faste. Forskjellen er bare at linja er tvunget gjennom $(0,0)$. Når er det riktig? Bare når du har en faglig grunn til at $E(Y)=0$ ved $x=0$ — f.eks. proporsjonalitet (strømforbruk $\propto$ produksjonsvolum). Uten en slik grunn skal du beholde konstantleddet, ellers presser du modellen inn i en form dataene ikke støtter.

$$Q(\beta)=\sum_{i=1}^n\big(Y_i-\beta x_i\big)^2.$$

Deriver mhp. $\beta$ og sett lik null:
$$Q'(\beta)=\sum 2(Y_i-\beta x_i)(-x_i)=-2\sum x_i(Y_i-\beta x_i)=0.$$

Løs for $\beta$: $\sum x_iY_i=\beta\sum x_i^2$, altså
$$\hat{\beta}=\frac{\sum x_iY_i}{\sum x_i^2}.$$

Merk formen: råsummer $\sum x_iY_i$ og $\sum x_i^2$ (ikke sentrerte summer $S_{xy},S_{xx}$ — vi trekker ikke fra $\bar{x},\bar{y}$, fordi vi ikke estimerer noe konstantledd). Dette er kandidat $\hat{\beta}_1$ i sammenligningen som følger.

$$\hat{\beta}_1=\frac{\sum x_iY_i}{\sum x_i^2}\ (\text{LS}),\qquad \hat{\beta}_2=\frac{1}{n}\sum_{i=1}^n\frac{Y_i}{x_i},\qquad \hat{\beta}_3=\frac{\bar{Y}}{\bar{x}}.$$

Tanken bak hver: $\hat{\beta}_1$ er minste kvadraters løsning. $\hat{\beta}_2$ regner en helning $Y_i/x_i$ for hvert punkt og tar gjennomsnittet av helningene. $\hat{\beta}_3$ tar forholdet mellom snittene (helningen fra origo til tyngdepunktet). Alle tre er lineærkombinasjoner $\sum c_iY_i$ av observasjonene — nettopp derfor kan vi bruke regnereglene fra kap. 3.2 til å finne forventning og varians for hver.

$$E(\hat{\beta}_1)=\frac{\sum x_iE(Y_i)}{\sum x_i^2}=\frac{\sum x_i(\beta x_i)}{\sum x_i^2}=\frac{\beta\sum x_i^2}{\sum x_i^2}=\beta.$$

$$E(\hat{\beta}_2)=\frac{1}{n}\sum\frac{E(Y_i)}{x_i}=\frac{1}{n}\sum\frac{\beta x_i}{x_i}=\frac{1}{n}\sum\beta=\beta.$$

$$E(\hat{\beta}_3)=\frac{E(\bar{Y})}{\bar{x}}=\frac{\frac{1}{n}\sum\beta x_i}{\bar{x}}=\frac{\beta\bar{x}}{\bar{x}}=\beta.$$

Alle tre treffer $\beta$ i gjennomsnitt — de er forventningsrette. Forventningsretthet alene skiller dem altså ikke; det er variansen som avgjør hvem vi bør bruke (se avsnittet om variansene).

$$\text{Var}(\hat{\beta}_1)=\frac{\sigma^2}{\sum x_i^2},\qquad \text{Var}(\hat{\beta}_2)=\frac{\sigma^2}{n^2}\sum\frac{1}{x_i^2},\qquad \text{Var}(\hat{\beta}_3)=\frac{\sigma^2}{n\bar{x}^2}.$$

Utledning av $\hat{\beta}_1$: vektene er $c_i=x_i/\sum x_j^2$, så $\sum c_i^2=\sum x_i^2/(\sum x_j^2)^2=1/\sum x_i^2$. For $\hat{\beta}_2$: $\displaystyle c_i=\frac{1}{nx_i}$, så $\displaystyle \sum c_i^2=\frac{1}{n^2}\sum\frac{1}{x_i^2}$. For $\hat{\beta}_3$: $\displaystyle \bar{Y}=\frac{1}{n}\sum Y_i$ delt på konstanten $\bar{x}$ gir $\displaystyle c_i=\frac{1}{n\bar{x}}$, så $\displaystyle \sum c_i^2=n\cdot\frac{1}{n^2\bar{x}^2}=\frac{1}{n\bar{x}^2}$.

LS vinner: $\text{Var}(\hat{\beta}_1)$ er minst blant de tre for alle datasett (med minst to ulike $x_i$). Det følger av Cauchy–Schwarz-ulikheten (som gir $\displaystyle n^2\le\sum x_i^2\sum\frac{1}{x_i^2}$, altså $\text{Var}(\hat{\beta}_1)\le\text{Var}(\hat{\beta}_2)$) — og mer generelt av at LS er den beste forventningsrette lineære estimatoren (minst varians). Konklusjon: velg $\hat{\beta}_1$.

$$s^2=\frac{\text{SSE}}{n-1},\qquad \text{SSE}=\sum(Y_i-\hat{\beta}_1x_i)^2,$$

og
$$T=\frac{\hat{\beta}_1-\beta_0}{s/\sqrt{\sum x_i^2}}\sim t_{n-1}\quad\text{under }H_0:\beta=\beta_0.$$

Konfidensintervall: $\hat{\beta}_1\pm t_{n-1,\alpha/2}\cdot\dfrac{s}{\sqrt{\sum x_i^2}}$. Merk kontrasten til den vanlige modellen: med konstantledd deles det på $n-2$ (to parametre); i origo-modellen på $n-1$ (én parameter). Standardfeilen bruker $\sqrt{\sum x_i^2}$ (råsummen), ikke $\sqrt{S_{xx}}$.

Minimering av $\sum(Y_i-\beta x_i)^2$ gir $\hat{\beta}_1=\dfrac{\sum x_iY_i}{\sum x_i^2}$. Merk: råsummer, ikke sentrerte $S_{xy},S_{xx}$.

Bare når teorien gir $E(Y)=0$ ved $x=0$ (proporsjonalitet). Uten faglig grunn: behold konstantleddet, ellers presses modellen inn i en form dataene ikke støtter.

Med $E(Y_i)=\beta x_i$ og linearitet gir hver kandidat $E(\hat{\beta}_k)=\beta$. Forventningsretthet skiller dem ikke — variansen avgjør.

Fra kap. 5.1: (1) sjekk forventningsretthet for alle; (2) blant de forventningsrette, velg minst varians. Her er alle forventningsrette, så steg 2 (varians) avgjør: $\hat{\beta}_1$.

Origo-modellen estimerer bare $\beta$ (intet konstantledd), så bare én frihetsgrad tapes: $s^2=\text{SSE}/(n-1)$ og $t_{n-1}$. Modellen med konstantledd har $n-2$. Den vanligste fella her.