4.1 Momentgenererende funksjoner

$$M_X(t) = E\!\left(e^{tX}\right) = \begin{cases} \sum_x e^{tx} p(x), & X \text{ diskret} \\[2pt] \int_{-\infty}^{\infty} e^{tx} f(x)\,dx, & X \text{ kontinuerlig} \end{cases}$$

Den kalles momentgenererende fordi momentene $E(X), E(X^2), \ldots$ kan «genereres» ved å derivere den. Alltid $M_X(0) = E(e^0) = 1$ — en rask kontroll på at du ikke har regnet feil.

$$E(X) = M'(0), \qquad E(X^2) = M''(0), \qquad \text{Var}(X) = M''(0) - \big[M'(0)\big]^2.$$

Mer generelt er $r$-te moment $E(X^r) = M^{(r)}(0)$. Du slipper altså å regne to integraler for $E(X)$ og $E(X^2)$ — én MGF og to derivasjoner holder.

$$M_X(t) = (1 - \beta t)^{-\alpha}, \qquad t < \frac{1}{\beta}.$$

Konvergenskravet $t < 1/\beta$ hører alltid med — uten det er MGF-en udefinert (integralet divergerer). Spesialtilfeller: eksponensial (forventningsform, $\alpha = 1$) har $M(t) = (1 - \mu t)^{-1}$ for $t < 1/\mu$; kjikvadrat $\chi^2_n = \text{gamma}(n/2, 2)$ har $M(t) = (1 - 2t)^{-n/2}$ for $t < 1/2$.

$$M_X(t) = e^{\lambda(e^t - 1)}.$$

Utledningen bruker eksponensialrekken: $\displaystyle \sum_{x=0}^\infty e^{tx}\frac{\lambda^x e^{-\lambda}}{x!} = e^{-\lambda}\sum_x \frac{(\lambda e^t)^x}{x!} = e^{-\lambda}e^{\lambda e^t}$. Derfra $E(X) = M'(0) = \lambda$ og $\text{Var}(X) = \lambda$ (begge lik $\lambda$ — et kjennetegn ved Poisson).

$$M_X(t) = e^{\mu t + \sigma^2 t^2/2}.$$

Deriverer du: $E(X) = M'(0) = \mu$ og $\text{Var}(X) = M''(0) - \mu^2 = (\sigma^2 + \mu^2) - \mu^2 = \sigma^2$. Formen er nyttig fordi en lineærkombinasjon av uavhengige normale igjen får en MGF av samme type — summen er normal.

$$M_X(t) = \frac{p\,e^t}{1 - (1-p)e^t}.$$

Den kommer fra en geometrisk rekke: $\sum_{x=1}^\infty e^{tx}(1-p)^{x-1}p = p e^t \sum_{k=0}^\infty [(1-p)e^t]^k$, som konvergerer når $(1-p)e^t < 1$. Herfra $E(X) = 1/p$ og $\text{Var}(X) = (1-p)/p^2$.

$$R(t) = \ln M_X(t), \qquad E(X) = R'(0), \qquad \text{Var}(X) = R''(0).$$

At $R''(0)$ blir variansen (ikke andre moment) er det som gjør snarveien nyttig: for MGF-er på formen $e^{(\cdot)}$ eller $(\cdot)^{-\alpha}$ forsvinner produkt- og kvotientregelen når du først tar logaritmen. Kontroll: alltid $R(0) = \ln M(0) = \ln 1 = 0$.

$$M_{X_1 + \cdots + X_n}(t) = \prod_{i=1}^n M_{X_i}(t).$$

Grunnen: $E\!\left(e^{t\sum X_i}\right) = E\!\left(\prod_i e^{tX_i}\right) = \prod_i E(e^{tX_i})$, der siste likhet krever uavhengighet. Merk: MGF-ene multipliseres, ikke adderes — den vanligste feilen på dette temaet.

$$M_X(t) = M_Y(t) \text{ nær } t = 0 \;\Rightarrow\; X \text{ og } Y \text{ har samme fordeling}.$$

Derfor holder det å regne ut MGF-en til en sum og kjenne den igjen i katalogen: kjenner du igjen $(1-\beta t)^{-\alpha}$, er summen gamma$(\alpha, \beta)$. Sensor vil se at du nevner entydigheten — den er begrunnelsen for identifikasjonen.

En MGF er bare definert for de $t$ der $E(e^{tX})$ er endelig. For gamma$(\alpha,\beta)$: $t < 1/\beta$; for kjikvadrat $\chi^2_n$: $t < 1/2$; for geometrisk: $t < -\ln(1-p)$. Poisson og normal har MGF for alle $t$. Kravet skal alltid oppgis ved utledning.

Siden $\chi^2_n = \text{gamma}(n/2, 2)$, er $M(t) = (1 - 2t)^{-n/2}$ for $t < 1/2$. Summen av uavhengige $\chi^2$-er blir $\chi^2$ med lagt-sammen frihetsgrader, fordi eksponentene $-n_i/2$ adderes i produktet.

Enhver MGF oppfyller $M_X(0) = E(e^0) = E(1) = 1$. Får du noe annet når du setter $t = 0$, har du regnet feil. Tilsvarende: $R(0) = \ln M(0) = 0$ for den kumulantgenererende funksjonen.

Uavhengige $X_i \sim \text{Poisson}(\lambda_i)$ gir $\sum X_i \sim \text{Poisson}(\sum \lambda_i)$. Bevist ved at produktet av MGF-ene $e^{\lambda_i(e^t-1)}$ blir $e^{(\sum\lambda_i)(e^t-1)}$.

Uavhengige eksponensiale med felles forventning $\mu$ (gamma$(1,\mu)$) summerer til gamma$(n,\mu)$ — Erlang. MGF-beviset: $[(1-\mu t)^{-1}]^n = (1-\mu t)^{-n}$.

For uavhengige eksponensiale med forventning $\mu$ er $\bar X = \tfrac1n\sum X_i \sim \text{gamma}(n, \mu/n)$: $M_{\bar X}(t) = M_S(t/n) = (1 - \tfrac\mu n t)^{-n}$. Da $E(\bar X) = \mu$, $\text{Var}(\bar X) = \mu^2/n$.

For $Y = aX + b$ er $M_Y(t) = e^{bt}M_X(at)$, fordi $E(e^{t(aX+b)}) = e^{bt}E(e^{(at)X})$. Spesielt $M_{\bar X}(t) = M_S(t/n)$ for gjennomsnittet $\bar X = S/n$.

MGF-katalogen (gamma, Poisson, normal, geometrisk) står i formelsamlingen — tren gjenkjenningen. Men utledningen av en gitt MGF (med konvergenskrav) og identifikasjonen av en sum må gjøres aktivt; det er der poengene sitter.

MGF-en gir alle momentene: $E(X^r) = M^{(r)}(0)$. Deriver $r$ ganger og sett $t = 0$. Nyttig når en oppgave ber om $E(X^3)$ eller skjevhet — du slipper $r$ separate integraler.

Produktregelen $M_{\sum X_i} = \prod M_{X_i}$ hviler på $E(\prod e^{tX_i}) = \prod E(e^{tX_i})$, som bare gjelder når variablene er uavhengige. Uten uavhengighet må du håndtere kovariansleddene direkte (kap. 1.2).

MGF-en regnes som en sum $\sum_x e^{tx}p(x)$ for diskrete variable og et integral $\int e^{tx}f(x)\,dx$ for kontinuerlige — begge er $E[g(X)]$-regelen med $g(x) = e^{tx}$.

At $E(X) = \text{Var}(X) = \lambda$ er unikt for Poisson blant standardfordelingene. MGF-utledningen bekrefter det: $M'(0) = \lambda$ og $M''(0) - \lambda^2 = \lambda$.

Fordi normal-MGF-en $e^{\mu t + \sigma^2 t^2/2}$ ganges til en MGF av samme form, er enhver lineærkombinasjon av uavhengige normale igjen normal: $aX + bY \sim N(a\mu_X + b\mu_Y,\ a^2\sigma_X^2 + b^2\sigma_Y^2)$.

Ikke alle fordelinger har MGF (noen tunge haler gir divergerende $E(e^{tX})$ for alle $t \ne 0$). Der en oppgave oppgir eller ber om MGF-en, finnes den — men konvergensintervallet må angis.

Der MGF-ene multipliseres for en sum, adderes de kumulantgenererende: $R_{\sum X_i}(t) = \sum_i R_{X_i}(t)$. Derfor adderes forventninger ($R'(0)$) og varianser ($R''(0)$) for uavhengige ledd.

Slik identifiserer du en sum: 1) skriv hver $M_{X_i}(t)$; 2) multipliser; 3) forenkle eksponentene; 4) kjenn igjen resultatet i katalogen; 5) konkluder med entydigheten. Fem trinn, samme hver gang.