1.2 Momentmetoden og maximum likelihood — den faste kjeden

Det $k$-te teoretiske momentet er forventningen $E(X^k)$ — en funksjon av den ukjente parameteren. Det første momentet er $E(X)$, det andre $E(X^2)$. Disse leser du ut av fordelingen (ofte rett fra formelsamlingen).

Det $k$-te empiriske momentet er gjennomsnittet $\displaystyle \frac1n\sum_{i=1}^n X_i^k$ regnet ut av dataene. Det første empiriske momentet er $\bar X$, det andre $\displaystyle \frac1n\sum X_i^2$.

$$E(X)=\bar X \quad\Rightarrow\quad \text{løs for parameteren}.$$

Har fordelingen to parametre, bruker du de to første momentene ($E(X)=\bar X$ og $\displaystyle E(X^2)=\frac1n\sum X_i^2$).

$$L(\theta)=\prod_{i=1}^n f(x_i;\theta).$$

Produktet kommer av at observasjonene er uavhengige. $L(\theta)$ måler hvor godt hver parameterverdi «forklarer» dataene — vi leter etter toppen.

$$\ell(\theta)=\log L(\theta)=\sum_{i=1}^n \log f(x_i;\theta).$$

Logaritmen gjør produktet om til en sum, som er langt lettere å derivere, og flytter ikke toppunktet (logaritmen er strengt voksende). Ta alltid logaritmen først — å derivere $L$ direkte drukner deg i produktregelen.

$$s(\theta)=\ell'(\theta)=\frac{d}{d\theta}\log L(\theta).$$

Toppen av $\ell$ ligger der scoren er null. Scoren er også byggesteinen for Fisher-informasjonen i kap. 1.3.

$$s(\hat\theta)=\ell'(\hat\theta)=0.$$

Løsningen er kandidaten til ML-estimatoren. Merk: dette gir bare et stasjonærpunkt — du må bekrefte at det er et maksimum (neste definisjon).

$$\ell''(\hat\theta)<0.$$

Er $\ell''(\hat\theta)<0$, buer $\ell$ nedover i punktet — det er et toppunkt, ikke et bunnpunkt eller vendepunkt. Dette trinnet glemmes oftest og straffes hardt (sensorkrav §4.2/§5.3).

Når det første momentet er en funksjon $E(X)=g(\theta)$ (ikke bare $\theta$ selv), løses momentligningen $g(\hat\theta)=\bar X$ ved å invertere $g$: $\hat\theta=g^{-1}(\bar X)$. For Rayleigh er $E(X)=\theta\sqrt{\pi/2}$, så $\hat\theta=\bar X\sqrt{2/\pi}$; for Weibull $E(X)=\beta\,\Gamma(1+1/\alpha)$.

$$\hat\psi=g(\hat\theta).$$

Du setter ML-estimatoren rett inn i funksjonen — ingen ny derivasjon. Eksempel: ML for $\lambda$ i Poisson er $\bar X$, så ML for $\psi=e^{-\lambda}=P(X=0)$ er $e^{-\bar X}$.

Samme uttrykk $f(x;\theta)$, men to synsvinkler: som tetthet varierer $x$ med $\theta$ fast; som likelihood varierer $\theta$ med dataene $x$ fast. ML ser på funksjonen som likelihood.

At likelihooden er et produkt $\prod f(x_i;\theta)$ følger direkte av at observasjonene er uavhengige (simultantetthet = produkt av marginale). Uten uavhengighet gjelder ikke produktformen.

Logaritmen gjør produkt til sum og potenser til faktorer, og den er strengt voksende — derfor har $\ell(\theta)$ og $L(\theta)$ samme maksimumspunkt. Nesten all ML-regning gjøres på $\ell$.

Ledd i $\ell(\theta)$ som ikke inneholder $\theta$ (for eksempel $-\log(\prod x_i!)$ i Poisson eller $\sum\log x_i$ i Rayleigh) forsvinner ved derivasjon og påvirker ikke estimatoren. De kan droppes tidlig.

For $N(\mu,\sigma^2)$ er $\hat\mu=\bar X$ og $\displaystyle \hat\sigma^2=\frac1n\sum(X_i-\bar X)^2$ (divisor $n$, altså skjev). Viser at ML ikke garanterer forventningsretthet.

For uniform på $[0,\theta]$ er $L(\theta)=\theta^{-n}$ avtakende, så scoren blir aldri null; ML-estimatoren er randverdien $\hat\theta=\max_i X_i$. Minner om å sjekke definisjonsområdet.

Fordelingens forventning uttrykt ved parameteren — grunnlaget for momentmetoden med én parameter. Ofte oppgitt i formelsamlingen for hver standardfordeling.

Med to ukjente løses de to første momentligningene simultant: $E(X)=\bar X$ og $\displaystyle E(X^2)=\frac1n\sum X_i^2$. Gir for eksempel $\hat\mu=\bar X$ og $\displaystyle \hat\sigma^2=\frac1n\sum(X_i-\bar X)^2$ i normalmodellen.

For Poisson, Bernoulli og eksponential gir de to metodene identisk estimator ($\bar X$ eller $1/\bar X$). Det er ikke en generell regel — sjekk hver modell.

Vilkår (glatt tetthet, parameter i det indre, felles støtte) som sikrer at ML-estimatoren finnes via score = 0 og har pen asymptotikk. Brytes de (som i uniformmodellen), ligger maksimum på randen. (Prioritet: kjenne til.)

Under regularitetsbetingelser er ML-estimatoren konsistent: $\hat\theta_{ML}\xrightarrow{P}\theta$ når $n\to\infty$. En hovedgrunn til at ML er standardvalget. (Prioritet: kjenne til — bygger på kap. 1.1.)

I store utvalg er $\displaystyle \hat\theta_{ML}\approx N\!\left(\theta,\frac{1}{nI(\theta)}\right)$, der $I(\theta)$ er Fisher-informasjonen. Dette er grunnlaget for Wald-konfidensintervallet i kap. 1.3. (Prioritet: kjenne til her.)

Momentestimatoren er enkel, men ofte mindre effisient (større varians) enn ML, og kan gi estimater utenfor gyldig område. ML foretrekkes når begge finnes.

En funksjon av data og parameter som settes lik null for å definere estimatoren. Scoren $s(\theta)$ er ML-metodens estimeringsfunksjon; momentmetodens er $E(X)-\bar X$.

Den negative andrederiverte $-\ell''(\hat\theta)$. At den er positiv er nettopp maksimumsbekreftelsen ($\ell''<0$). Forventningen av $-\ell''$ er Fisher-informasjonen (kap. 1.3).

En parameterverdi der scoren er null, $s(\theta)=0$. Kan være maksimum, minimum eller vendepunkt — derfor kreves andrederiverttesten for å bekrefte at det er et maksimum.

Er $\ell(\theta)$ konkav (buer nedover overalt, $\ell''<0$ for alle $\theta$), har likelihoodligningen høyst én løsning, og den er automatisk det globale maksimumet. Gjelder Poisson, eksponential og flere.

Når likelihoodligningen ikke har lukket løsning (for eksempel Weibulls formparameter), løses $s(\hat\theta)=0$ numerisk fra en startverdi. På STK1110-eksamen holder de seg til modeller med lukket løsning. (Prioritet: kjenne til.)