0.2 STK1100-broen: hva forutsettes (kompakt repetisjon)

Tyngdepunktet i fordelingen til en stokastisk variabel $X$ — «gjennomsnittsverdien i det lange løp». For en kontinuerlig variabel er $E(X)=\int x f(x)\,dx$, for en diskret $E(X)=\sum_x x\,p(x)$. Alle standardfordelingenes forventninger står i formelsamlingen. (STK1100 kap. 1.2, → stk1100-1-2.)

Et mål på spredning: $\text{Var}(X)=E[(X-E(X))^2]=E(X^2)-\big(E(X)\big)^2$. Kvadratroten er standardavviket $\sigma$. I inferens er variansen til en estimator det sentrale — den forteller hvor presis estimatoren er. (STK1100 kap. 1.2, → stk1100-1-2.)

Måler hvordan to variable samvarierer: $\text{Cov}(X,Y)=E[(X-E X)(Y-E Y)]$. Er den positiv, følges de gjerne ad; er den null, er de ukorrelerte (og uavhengige variable har alltid $\text{Cov}=0$). Kovariansen er nøkkelleddet i variansen til en sum.

Forventning er en lineær operasjon — den fordeler seg over summer og konstanter uansett avhengighet: $E(aX+bY)=aE(X)+bE(Y)$. Dette gjelder alltid, også når $X$ og $Y$ er avhengige, og er ofte det første grepet når du finner $E(\hat{\theta})$.

Leddet $2ab\,\text{Cov}(X,Y)$ i variansregelen. Er $X$ og $Y$ uavhengige (eller bare ukorrelerte), er $\text{Cov}(X,Y)=0$ og leddet faller bort, slik at $\text{Var}(aX+bY)=a^2\text{Var}(X)+b^2\text{Var}(Y)$. En klassisk tabbe er å bruke denne forenklede formen når variablene faktisk er avhengige.

For $n$ uavhengige, identisk fordelte variable med varians $\sigma^2$ er $\text{Var}(\bar X)=\sigma^2/n$. Variansen krymper med $n$ — mer data gir mer presist gjennomsnitt. Dette er byggeklossen bak standardfeilen $\sigma/\sqrt n$ i nesten hvert konfidensintervall.

At observasjonene $X_1,\dots,X_n$ er uavhengige (den ene sier ingenting om den andre) og identisk fordelt (samme fordeling og parameter). Dette er standardantakelsen bak nesten all inferens i emnet — den lar oss skrive $L(\theta)=\prod f(x_i;\theta)$ og bruke $\text{Var}(\bar X)=\sigma^2/n$.

Den symmetriske «klokkekurven» med forventning $\mu$ og varians $\sigma^2$ (andre argument er alltid variansen, aldri standardavviket). Standardnormalen $Z\sim N(0,1)$ har fordelingsfunksjon $\Phi$, og $Z=(X-\mu)/\sigma$ standardiserer enhver normalvariabel. Grunnfordelingen bak t-, χ²- og F-fordelingene. (STK1100 kap. 2.1, → stk1100-2-1.)

Modell for ventetider, med tetthet $f(x)=\lambda e^{-\lambda x}$ for $x>0$ (rate $\lambda$), $E(X)=1/\lambda$ og $\text{Var}(X)=1/\lambda^2$. Den er et spesialtilfelle av gammafordelingen (formparameter $1$) og dukker opp som «eksotisk» modell i estimeringsoppgaver. (STK1100 kap. 2.1, → stk1100-2-1.)

Teller antall hendelser i et fast intervall, med punktsannsynlighet $p(x)=e^{-\lambda}\lambda^x/x!$ for $x=0,1,2,\dots$ Den har den karakteristiske egenskapen $E(X)=\text{Var}(X)=\lambda$. En gjenganger i estimeringsoppgaver, ofte der moment- og ML-estimator sammenfaller ($\hat\lambda=\bar X$). (STK1100 kap. 2.1, → stk1100-2-1.)

Antall suksesser i $n$ uavhengige forsøk med suksessannsynlighet $p$: $p(x)=\binom{n}{x}p^x(1-p)^{n-x}$, $E(X)=np$, $\text{Var}(X)=np(1-p)$. Grunnlaget for andelsestimatoren $\hat p=X/n$ og andelstesten senere i boka. (STK1100 kap. 2.1, → stk1100-2-1.)

En fleksibel fordeling for positive størrelser, med formparameter $\alpha$ og skalaparameter $\beta$, tetthet $f(x)\propto x^{\alpha-1}e^{-x/\beta}$ for $x>0$. Forventning $E(X)=\alpha\beta$ og varians $\text{Var}(X)=\alpha\beta^2$. En sum av $n$ uavhengige eksponensialvariable er gamma. (STK1100 kap. 2.2, → stk1100-2-2.)

Fordelingen til en sum av $n$ uavhengige kvadrerte standardnormaler, med $n$ frihetsgrader, $E(\chi^2_n)=n$ og $\text{Var}(\chi^2_n)=2n$. Den er ryggraden i inferens om varianser og i t-fordelingens konstruksjon. (STK1100 kap. 2.2, → stk1100-2-2.)

Kjikvadratfordelingen er et spesialtilfelle av gamma: $\chi^2_n=\text{gamma}(\alpha=n/2,\ \beta=2)$. Sjekk med formlene: $E=\alpha\beta=(n/2)\cdot 2=n$ og $\text{Var}=\alpha\beta^2=(n/2)\cdot 4=2n$ — akkurat kjikvadratens verdier. Denne koblingen er råstoffet bak eksakte pivotaler som $2X/\theta\sim\chi^2$ (kap. 2.5).

Summen av uavhengige gammavariable med felles skalaparameter $\beta$ er igjen gamma, med formparameteren lik summen av formparametrene. Spesielt: en sum av $n$ uavhengige eksponensialvariable (rate $\lambda$) er $\text{gamma}(n,\ 1/\lambda)$. Dette er nettopp det som gjør $2\sum X_i/\theta$ kjikvadratfordelt i eksakte pivoter.

Fordelingen til $Z/\sqrt{V/\nu}$ der $Z\sim N(0,1)$ og $V\sim\chi^2_\nu$ er uavhengige — «normalfordeling med tyngre haler». Den oppstår når du erstatter et ukjent $\sigma$ med estimatet $S$, og er derfor grunnen til at konfidensintervall for en forventning bruker $t$ (ikke $z$) med $n-1$ frihetsgrader. Kvantilene står i formelsamlingen.

Et alternativ til tetthetsmetoden: finn fordelingsfunksjonen til $V=h(X)$ direkte via $G(v)=P(V\le v)=P\big(h(X)\le v\big)$, uttrykk hendelsen i $X$, og deriver til slutt for å få tettheten. Nyttig når transformasjonen ikke er monoton, eller når du er ute etter en sannsynlighet snarere enn en tetthet.

Logaritmen av likelihooden, $\ell(\theta)=\log L(\theta)=\sum_{i=1}^n \log f(x_i;\theta)$. Vi jobber alltid med $\ell$ i stedet for $L$ fordi logaritmen gjør produktet om til en sum, som er langt lettere å derivere — og maksimum ligger på samme sted siden $\log$ er strengt voksende.

Den deriverte av log-likelihooden: $s(\theta)=\ell'(\theta)=\dfrac{d}{d\theta}\log L(\theta)$. ML-estimatoren finnes ved å løse likelihoodlikningen $s(\theta)=0$ (og bekrefte at det er et maksimum) — men selve løsningen gjøres i kap. 1.2. Scorefunksjonen er også byggeklossen bak Fisher-informasjonen.

Momentmetoden setter det teoretiske første momentet lik det empiriske: $E(X)=\bar X$, og løser for parameteren. Der $E(X)=g(\theta)$ gir dette et eksplisitt uttrykk for $\hat\theta$. Den er ofte enklere enn ML og faller for enkelte fordelinger (Poisson, normal) sammen med ML-estimatoren.

ML-kjeden $L\to\ell\to s(\theta)\to\text{løs}\to\text{forventningsretthet}\to\text{varians}\to\text{KI}$ er den felles kjernen STK1100 og STK1110 deler. STK1110 forlenger den i to retninger: nedover mot testing (utled nivå, P-verdi, styrke) og utover mot regresjon (minste kvadrater = ML under normalfeil, matriseform, diagnostikk). Det er derfor dette oppsettet må sitte.