3.6 Numerisk derivasjon med digitale verktøy

Derivasjon uten formel

En treningsklokke logger posisjonen din hvert sekund. En værstasjon registrerer temperaturen hvert minutt. En ingeniør får måleserier fra en sensor i en bro. Alle tre vil vite det samme: hvor fort endrer dette seg? -- altså den deriverte. Men her er problemet: ingen av dem har noe funksjonsuttrykk. Det finnes ingen $f(x) = x^3 + \sin x$ å derivere med reglene fra kapittel 2 og 3 -- bare en tabell med tall.

Og selv når formelen finnes, kan den være så uhåndterlig at symbolsk derivasjon er upraktisk. Hva gjør vi da?

Vi går tilbake til kilden. Derivasjonens definisjon var grenseverdien av differansekvotienten:

$$f'(a) = \lim_{h \to 0} \frac{f(a+h) - f(a)}{h}$$

Grenseverdien krever formelen -- men kvotienten gjør ikke. Ideen i numerisk derivasjon er frekk i all sin enkelhet: dropp grenseovergangen, og bruk differansekvotienten med en liten, men endelig $h$. Med $h = 0{,}001$ får du ikke den deriverte eksakt, men du får en tilnærming -- og spørsmålene blir straks praktiske: Hvilken differanseformel gir best tilnærming? Hvor liten bør $h$ være? Og kan den bli for liten?

Svaret på det siste er et overraskende ja, og historien om hvorfor -- kappløpet mellom metodefeil og avrundingsfeil -- er kapittelets mest lærerike poeng. Underveis setter vi opp beregningene i regneark, og lar CAS-verktøy gjøre både symbolsk og numerisk derivasjon for oss.

Tre måter å spørre naboene på

Du står i punktet $a$ og vil anslå stigningen der. Med steglengde $h > 0$ har du tre naturlige muligheter, alt etter hvilke naboverdier du bruker.

Framoverdifferansen ser fremover: $\displaystyle f'(a) \approx \frac{f(a+h) - f(a)}{h}$. Bakoverdifferansen ser bakover: $\displaystyle f'(a) \approx \frac{f(a) - f(a-h)}{h}$. Og sentraldifferansen ser begge veier og hopper over punktet selv:

$$f'(a) \approx \frac{f(a+h) - f(a-h)}{2h}$$

Geometrisk er alle tre sekantstigninger -- forskjellen er hvor sekanten festes. Framover- og bakoverdifferansen lener seg til hver sin side av $a$, mens sentraldifferansen spenner symmetrisk over punktet, og symmetrien viser seg å være gull verdt.

La oss måle dem mot en fasit. Ta $f(x) = x^3$ i $a = 2$, der vi vet at $f'(2) = 12$ eksakt. Med $h = 0{,}1$ er $f(2) = 8$, $f(2{,}1) = 9{,}261$ og $f(1{,}9) = 6{,}859$. Framoverdifferansen gir $\displaystyle \frac{9{,}261 - 8}{0{,}1} = 12{,}61$ -- feil på $0{,}61$. Bakoverdifferansen gir $\displaystyle \frac{8 - 6{,}859}{0{,}1} = 11{,}41$ -- feil på $0{,}59$. Men sentraldifferansen:

$$\frac{9{,}261 - 6{,}859}{0{,}2} = 12{,}01$$

Feil på bare $0{,}01$ -- seksti ganger bedre enn de ensidige, med nøyaktig samme datamengde! Intuisjonen: framoverdifferansen overdriver stigningen der grafen krummer oppover, bakoverdifferansen underdriver den, og i den symmetriske sentraldifferansen kansellerer de to skjevhetene hverandre nesten perfekt. Når du har verdier på begge sider av punktet, er sentraldifferansen derfor standardvalget.

Feilens anatomi -- og fellen ved liten $h$

Talleksempelet antydet et mønster, og mønsteret er en presis lov. Feilen i framover- og bakoverdifferansen er av størrelsesorden $O(h)$ -- proporsjonal med $h$ -- mens sentraldifferansens feil er $O(h^2)$, proporsjonal med $h^2$. Konsekvensen merkes hver gang du forfiner: halverer du $h$, halveres feilen i de ensidige formlene, men sentraldifferansens feil deles på fire. Sentraldifferansen konvergerer altså mye raskere mot den eksakte verdien, og det er denne kvadratiske gevinsten symmetrien kjøper oss.

Da skulle man tro strategien var opplagt: velg $h$ mikroskopisk, så blir feilen mikroskopisk. Men her venter kapittelets felle. Datamaskinen regner med endelig presisjon -- omtrent 16 gjeldende siffer i vanlig dobbeltpresisjon. Når $h$ blir bitteliten, er $f(a + h)$ og $f(a)$ nesten like tall, og i subtraksjonen utsletter de felles sifrene hverandre. Du sitter igjen med

$$\frac{f(a+h) - f(a)}{h} \approx \frac{\text{nesten like tall}}{\text{lite tall}}$$

-- en differanse der bare de usikre sifrene overlever, blåst opp av divisjonen med den lille $h$-en. Dette kalles avrundingsfeil, og den vokser når $h$ krymper.

To krefter drar altså i hver sin retning: metodefeilen vil ha liten $h$, avrundingsfeilen vil ha stor. Et sted imellom ligger en optimal steglengde. Tommelregelen, med maskinpresisjonen $\varepsilon \approx 10^{-16}$: bruk $h \approx \sqrt{\varepsilon} \approx 10^{-8}$ for framover- og bakoverdifferanse, og $h \approx \varepsilon^{1/3}$ for sentraldifferansen. «Mindre er bedre» gjelder altså bare til et visst punkt -- numerikkens første leveregel.

Verktøyene: regneark og CAS

Teorien er på plass -- nå til verkstedet. I et regneark settes numerisk derivasjon opp på minutter. Legg $x$-verdiene $a - h$, $a$ og $a + h$ i kolonne A, funksjonsverdiene i kolonne B (for $f(x) = x^3$ skriver du =A2^3 og kopierer nedover), og sentraldifferansen i kolonne C: =(B4-B2)/(A4-A2) -- differansen mellom verdiene over og under, delt på $x$-avstanden $2h$. Vil du eksperimentere, lar du $h$ stå i en egen celle (f.eks. =A3-0.001) og ser tilnærmingen endre seg når du justerer den. Regnearkets styrke er nettopp måledata: har du en tabell fra en sensor, deriverer du hele serien med én formel kopiert nedover.

CAS-verktøy (Computer Algebra System) hever ambisjonen: de kan derivere symbolsk -- finne selve uttrykket for $f'(x)$ -- i tillegg til numerisk. I GeoGebra CAS gir Derivative[x^3 + sin(x)] svaret 3x^2 + cos(x), eksakt og gyldig for alle $x$, mens NDerivative[x^3 + sin(x), 2] gir en numerisk verdi av $f'(2)$. I Python gjør SymPy det samme: diff(f, x) for det symbolske uttrykket, etterfulgt av .subs(x, 2).evalf() for tallverdien i punktet.

Når velger du hva? Analytisk derivasjon (for hånd eller med CAS) når du har funksjonsuttrykket og trenger eksakte svar -- den gir full informasjon om $f'(x)$ overalt. Numerisk når du bare har tabelldata, når uttrykket er for innfløkt til at symbolsk derivasjon er praktisk, eller når du raskt trenger ett tall i ett punkt. Og i praksis kombineres de gjerne: CAS finner det analytiske uttrykket, som så evalueres numerisk akkurat der du trenger det. Verktøyene konkurrerer ikke -- de deler arbeidet.

Fortellingen i et nøtteskall

Treningsklokka, værstasjonen og brosensoren fikk svaret sitt: den deriverte kan tilnærmes uten formel, med differansekvotienter der grenseovergangen $h \to 0$ er byttet ut med en liten, endelig $h$.

Tre formler sto til rådighet. Framoverdifferansen $\displaystyle \frac{f(a+h) - f(a)}{h}$ og bakoverdifferansen $\displaystyle \frac{f(a) - f(a-h)}{h}$ ser hver sin vei og har feil av orden $O(h)$. Sentraldifferansen $\displaystyle \frac{f(a+h) - f(a-h)}{2h}$ spenner symmetrisk over punktet, lar skjevhetene kansellere og oppnår $O(h^2)$ -- testen på $f(x) = x^3$ i $a = 2$ ga feil $0{,}01$ mot de ensidiges $0{,}6$. Halverer du $h$, kvarteres sentraldifferansens feil.

Men «mindre $h$ er bedre» har en grense: når $f(a+h)$ og $f(a)$ blir nesten like, utsletter subtraksjonen de gjeldende sifrene, og avrundingsfeilen vokser. Mellom metodefeil og avrundingsfeil ligger den optimale steglengden -- tommelregelen sier $h \approx \sqrt{\varepsilon}$ for ensidige og $h \approx \varepsilon^{1/3}$ for sentral, med maskinpresisjon $\varepsilon \approx 10^{-16}$.

Verktøyene deler arbeidet: regnearket deriverer måleserier med én kopiert formel, og CAS behersker begge verdener -- Derivative gir det eksakte uttrykket, NDerivative (eller SymPys diff + evalf) tallverdien. Analytisk når du har uttrykk og trenger eksakthet; numerisk når du har tabeller eller hastverk.

Dermed er kapittel 3 fullført: grenseverdien ga den deriverte mening, og tallene ga den hender å arbeide med.