Tilbake
6.4
Alle fag for Høyskole

6.4 Minste kvadraters metode og normallikningene

Minste kvadraters løsning av et overbestemt system via normallikningene AᵀA x̂=Aᵀb, koblingen til ortogonal projeksjon, og anvendelsen: tilpasse en rett linje eller kurve til datapunkter.

55 min
11 oppgaver
Minste kvadraters metodenormallikningene
Din fremgang i kapitlet
0 / 11 oppgaver
Kapitlets plass i kurset
Forkunnskaper — dette bygger kapitlet på:

- kap. 6.3 — ortogonal projeksjon: minste kvadrater er projeksjon ned på kolonnerommet.
- kap. 2.2 — matriseprodukt, transponert og invers matrise, som du trenger for å løse normallikningene.
- kap. 3.3 — lineær uavhengighet og kolonnerom, som bærer entydighetsbetingelsen.

Sist du var her (nøkkelformler):
proj⁡Wy=∑i⟨y,vi⟩⟨vi,vi⟩vi,avstand=∥y−proj⁡Wy∥.\operatorname{proj}_W\mathbf y=\sum_i\frac{\langle\mathbf y,\mathbf v_i\rangle}{\langle\mathbf v_i,\mathbf v_i\rangle}\mathbf v_i,\qquad \text{avstand}=\|\mathbf y-\operatorname{proj}_W\mathbf y\|.
Den beste tilnærmingen til y\mathbf y i et underrom WW er projeksjonen proj⁡Wy\operatorname{proj}_W\mathbf y (beste tilnærmingssetning) — det er nettopp dette minste kvadrater utnytter.

Løkke 1 — Normallikningene (~20 min)

Ofte har vi flere likninger enn ukjente: mer data enn parametre. Da har Ax=bA\mathbf x=\mathbf b vanligvis ingen løsning — ingen x\mathbf x treffer alle likningene samtidig. I stedet leter vi etter den x^\hat{\mathbf x} som gjør feilen ∥b−Ax∥\|\mathbf b-A\mathbf x\| minst mulig. Det er dette som er «minste kvadrater»: vi minimerer summen av de kvadrerte avvikene.

Nøkkelidéen: AxA\mathbf x løper gjennom hele kolonnerommet Col⁡A\operatorname{Col}A når x\mathbf x varierer. Den vektoren i Col⁡A\operatorname{Col}A som ligger nærmest b\mathbf b, er projeksjonen proj⁡Col⁡Ab\operatorname{proj}_{\operatorname{Col}A}\mathbf b. Så vi skal finne x^\hat{\mathbf x} med Ax^=proj⁡Col⁡AbA\hat{\mathbf x}=\operatorname{proj}_{\operatorname{Col}A}\mathbf b — og det gir en overraskende enkel likning.

Overbestemt likningssystem
Et likningssystem Ax=bA\mathbf x=\mathbf b med flere likninger enn ukjente kalles overbestemt. I symboler er AA da m×nm\times n med m>nm>n:

Ax=b,m>n.A\mathbf x=\mathbf b,\qquad m>n.

Slike systemer har som regel ingen eksakt løsning — det finnes ingen x\mathbf x som treffer alle radene samtidig. I stedet ser vi etter den x\mathbf x som gjør venstresiden AxA\mathbf x nærmest høyresiden b\mathbf b.

Minste kvadraters problem
Å finne den vektoren x^\hat{\mathbf x} som gjør avstanden mellom AxA\mathbf x og b\mathbf b minst mulig — altså minimerer normen av feilen:

∥b−Ax^∥=min⁡x∥b−Ax∥.\|\mathbf b-A\hat{\mathbf x}\|=\min_{\mathbf x}\|\mathbf b-A\mathbf x\|.

Navnet «minste kvadrater» kommer av at ∥b−Ax∥2\|\mathbf b-A\mathbf x\|^2 er en sum av kvadrerte avvik; å minimere normen er det samme som å minimere denne summen.

Minste kvadraters løsning
En minste kvadraters løsning av Ax=bA\mathbf x=\mathbf b er en hvilken som helst x^\hat{\mathbf x} som løser minste kvadraters problemet. Den kjennetegnes ved at Ax^A\hat{\mathbf x} er den vektoren i Col⁡A\operatorname{Col}A som ligger nærmest b\mathbf b:

Ax^=proj⁡Col⁡Ab.A\hat{\mathbf x}=\operatorname{proj}_{\operatorname{Col}A}\mathbf b.

Normallikningene
Kravet om at feilen b−Ax^\mathbf b-A\hat{\mathbf x} står vinkelrett på kolonnerommet gir et lite, kvadratisk likningssystem — normallikningene:

ATA x^=ATb.A^{T}A\,\hat{\mathbf x}=A^{T}\mathbf b.

Dette er hovedverktøyet: enhver løsning x^\hat{\mathbf x} av normallikningene er en minste kvadraters løsning av Ax=bA\mathbf x=\mathbf b, og omvendt. Navngi dem alltid i besvarelsen.

Hvorfor akkurat normallikningene?

Feilvektoren b−Ax^\mathbf b-A\hat{\mathbf x} skal stå ortogonalt på Col⁡A\operatorname{Col}A — det er nettopp det som kjennetegner projeksjonen. At en vektor står ortogonalt på hele kolonnerommet betyr at den ligger i (Col⁡A)⊥=Nul⁡AT(\operatorname{Col}A)^{\perp}=\operatorname{Nul}A^{T} (kap. 6.3). Altså:

AT(b−Ax^)=0.A^{T}(\mathbf b-A\hat{\mathbf x})=\mathbf 0.
> Intuisjon: hver rad i ATA^{T} er en kolonne i AA; at produktet er null betyr at feilen er ortogonal på hver kolonne — altså på hele Col⁡A\operatorname{Col}A.

Ganger vi ut, får vi ATb−ATAx^=0A^{T}\mathbf b-A^{T}A\hat{\mathbf x}=\mathbf 0, som nettopp er normallikningene ATAx^=ATbA^{T}A\hat{\mathbf x}=A^{T}\mathbf b.
> Intuisjon: vi har byttet et uløselig m×nm\times n-system mot et løsbart n×nn\times n-system. Prisen er at vi løser det «på nærmeste hold», ikke eksakt.

Gram-matrisen ATAA^{T}A
Matrisen ATAA^{T}A på venstresiden av normallikningene er alltid kvadratisk (n×nn\times n) og symmetrisk:

(ATA)T=AT(AT)T=ATA.(A^{T}A)^{T}=A^{T}(A^{T})^{T}=A^{T}A.

Element (i,j)(i,j) er prikkproduktet av kolonne ii og kolonne jj i AA. Den er liten og grei å regne med selv når AA har mange rader.

✏️Minste kvadraters løsning av et overbestemt system
Finn minste kvadraters løsningen av Ax=bA\mathbf x=\mathbf b, og regn ut minste-kvadraters-feilen, der
A=[101111],b=[124].A=\begin{bmatrix}1&0\\1&1\\1&1\end{bmatrix},\qquad \mathbf b=\begin{bmatrix}1\\2\\4\end{bmatrix}.
Sett opp normallikningene ATAx^=ATbA^{T}A\hat{\mathbf x}=A^{T}\mathbf b.

ATA=[111011][101111]=[3222],ATb=[111011][124]=[76].A^{T}A=\begin{bmatrix}1&1&1\\0&1&1\end{bmatrix}\begin{bmatrix}1&0\\1&1\\1&1\end{bmatrix}=\begin{bmatrix}3&2\\2&2\end{bmatrix},\qquad A^{T}\mathbf b=\begin{bmatrix}1&1&1\\0&1&1\end{bmatrix}\begin{bmatrix}1\\2\\4\end{bmatrix}=\begin{bmatrix}7\\6\end{bmatrix}.

Normallikningene er da
[3222]x^=[76].\begin{bmatrix}3&2\\2&2\end{bmatrix}\hat{\mathbf x}=\begin{bmatrix}7\\6\end{bmatrix}.
Trekker vi rad 2 fra rad 1: x1=1x_1=1. Innsatt i rad 2: 2⋅1+2x2=6⇒x2=22\cdot1+2x_2=6\Rightarrow x_2=2. Altså
x^=[12].\hat{\mathbf x}=\begin{bmatrix}1\\2\end{bmatrix}.
Feilen: Ax^=(1,3,3)A\hat{\mathbf x}=(1,3,3), så b−Ax^=(0,−1,1)\mathbf b-A\hat{\mathbf x}=(0,-1,1), og
∥b−Ax^∥=02+(−1)2+12=2.\|\mathbf b-A\hat{\mathbf x}\|=\sqrt{0^2+(-1)^2+1^2}=\sqrt2.
Sluttsvar: x^=(1,2)\hat{\mathbf x}=(1,2) med minste-kvadraters-feil 2\sqrt2.

📝Oppgave 1

(Innstegsoppgave — sjanger I.) La A=[111213]A=\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix} og b=[213]\mathbf b=\begin{bmatrix}2\\1\\3\end{bmatrix}. Sett opp og løs normallikningene ATAx^=ATbA^{T}A\hat{\mathbf x}=A^{T}\mathbf b.

📝Oppgave 2
Sjanger I

Finn minste kvadraters løsningen av Ax=bA\mathbf x=\mathbf b med A=[111−110]A=\begin{bmatrix}1&1\\1&-1\\1&0\end{bmatrix}, b=[010]\mathbf b=\begin{bmatrix}0\\1\\0\end{bmatrix}.

Løkke 2 — Kurvetilpasning (~20 min)

Den vanligste innpakningen av sjangeren er å tilpasse en kurve til datapunkter. Vi har målepunkter (x1,y1),…,(xm,ym)(x_1,y_1),\dots,(x_m,y_m) og ønsker den rette linja — eller parabelen — som passer best. Trikset er å skrive «best passer» som et minste kvadraters problem Ax=bA\mathbf x=\mathbf b og så bruke normallikningene.

Kurvetilpasning som minste kvadrater
Å finne en kurve på formen y=c0f0(x)+⋯+ckfk(x)y=c_0f_0(x)+\dots+c_kf_k(x) som passer best mulig til datapunktene (xi,yi)(x_i,y_i), i den forstand at summen av de kvadrerte avvikene

∑i=1m(yi−(c0f0(xi)+⋯+ckfk(xi)))2\sum_{i=1}^m\big(y_i-(c_0f_0(x_i)+\dots+c_kf_k(x_i))\big)^2

blir minst mulig. Dette er et minste kvadraters problem for de ukjente koeffisientene c0,…,ckc_0,\dots,c_k.

Designmatrisen
Matrisen AA vi bygger fra datapunktene, med én rad per punkt og de utregnede funksjonsverdiene fj(xi)f_j(x_i) som kolonner. For en rett linje y=c0+c1xy=c_0+c_1x har raden formen [1xi]\begin{bmatrix}1&x_i\end{bmatrix}:

A=[1x1⋮⋮1xm].A=\begin{bmatrix}1&x_1\\\vdots&\vdots\\1&x_m\end{bmatrix}.

Designmatrisen koder hvordan hvert datapunkt avhenger av de ukjente koeffisientene.

Observasjonsvektoren
Vektoren b\mathbf b av de målte yy-verdiene — én komponent per datapunkt:

b=[y1⋮ym].\mathbf b=\begin{bmatrix}y_1\\\vdots\\y_m\end{bmatrix}.

De ukjente koeffisientene samles i vektoren x=(c0,c1,… )\mathbf x=(c_0,c_1,\dots), og kurvetilpasningen er da minste kvadraters løsningen av Ax=bA\mathbf x=\mathbf b.

Regresjonslinjen y=c0+c1xy=c_0+c_1x

Den rette linja som best tilpasser datapunktene ved minste kvadrater. Koeffisientene (c0,c1)(c_0,c_1) er minste kvadraters løsningen av Ax=bA\mathbf x=\mathbf b med designmatrisen A=[1x1⋮⋮1xm]A=\begin{bmatrix}1&x_1\\\vdots&\vdots\\1&x_m\end{bmatrix} og b=(y1,…,ym)\mathbf b=(y_1,\dots,y_m). Her er c0c_0 skjæringspunktet med yy-aksen og c1c_1 stigningstallet.

✏️Tilpass en rett linje ved minste kvadrater

Finn den rette linja y=c0+c1xy=c_0+c_1x som best tilpasser punktene (0,1),(1,3),(2,3),(3,5)(0,1),(1,3),(2,3),(3,5) ved minste kvadrater.

Bygg designmatrisen og observasjonsvektoren. Hver rad er [1xi]\begin{bmatrix}1&x_i\end{bmatrix}:
A=[10111213],b=[1335],x=[c0c1].A=\begin{bmatrix}1&0\\1&1\\1&2\\1&3\end{bmatrix},\qquad \mathbf b=\begin{bmatrix}1\\3\\3\\5\end{bmatrix},\qquad \mathbf x=\begin{bmatrix}c_0\\c_1\end{bmatrix}.

Normallikningene ATAx^=ATbA^{T}A\hat{\mathbf x}=A^{T}\mathbf b:
ATA=[46614],ATb=[1224].A^{T}A=\begin{bmatrix}4&6\\6&14\end{bmatrix},\qquad A^{T}\mathbf b=\begin{bmatrix}12\\24\end{bmatrix}.
Løs: fra rad 1 er 4c0+6c1=124c_0+6c_1=12, fra rad 2 6c0+14c1=246c_0+14c_1=24. Gang rad 1 med 33 og rad 2 med 22: 12c0+18c1=3612c_0+18c_1=36 og 12c0+28c1=4812c_0+28c_1=48; subtraher: 10c1=12⇒c1=6510c_1=12\Rightarrow c_1=\tfrac{6}{5}. Da 4c0+6⋅65=12⇒c0=654c_0+6\cdot\tfrac65=12\Rightarrow c_0=\tfrac{6}{5}.

Regresjonslinja: y=65+65xy=\tfrac65+\tfrac65x.
Feilen (residual): Ax^=(65,125,185,245)A\hat{\mathbf x}=\left(\tfrac65,\tfrac{12}{5},\tfrac{18}{5},\tfrac{24}{5}\right), så b−Ax^=(−15,35,−35,15)\mathbf b-A\hat{\mathbf x}=\left(-\tfrac15,\tfrac35,-\tfrac35,\tfrac15\right) og ∥b−Ax^∥2=1+9+9+125=45\|\mathbf b-A\hat{\mathbf x}\|^2=\tfrac{1+9+9+1}{25}=\tfrac45. Sluttsvar: y=65+65xy=\tfrac65+\tfrac65x.

📝Oppgave 3
Sjanger I

Finn den rette linja y=c0+c1xy=c_0+c_1x som best tilpasser (1,2),(2,2),(3,3),(4,3)(1,2),(2,2),(3,3),(4,3) ved minste kvadrater.

Polynomregresjon
Samme oppskrift, men med en parabel (eller høyere polynom) i stedet for en linje: y=c0+c1x+c2x2y=c_0+c_1x+c_2x^2. Designmatrisen får da en ekstra kolonne med xi2x_i^2:

A=[1x1x12⋮⋮⋮1xmxm2].A=\begin{bmatrix}1&x_1&x_1^2\\\vdots&\vdots&\vdots\\1&x_m&x_m^2\end{bmatrix}.

Problemet er fremdeles lineært i de ukjente c0,c1,c2c_0,c_1,c_2, så normallikningene ATAx^=ATbA^{T}A\hat{\mathbf x}=A^{T}\mathbf b gjelder uendret.

✏️Tilpass en parabel ved minste kvadrater

Finn parabelen y=c0+c1x+c2x2y=c_0+c_1x+c_2x^2 som best tilpasser (−2,0),(−1,1),(0,2),(1,4),(2,1)(-2,0),(-1,1),(0,2),(1,4),(2,1).

Designmatrise (rad =[ 1 xi xi2 ]=[\,1\ x_i\ x_i^2\,]) og observasjonsvektor:
A=[1−241−11100111124],b=[01241].A=\begin{bmatrix}1&-2&4\\1&-1&1\\1&0&0\\1&1&1\\1&2&4\end{bmatrix},\qquad \mathbf b=\begin{bmatrix}0\\1\\2\\4\\1\end{bmatrix}.

Normallikningene ATAx^=ATbA^{T}A\hat{\mathbf x}=A^{T}\mathbf b:
ATA=[5010010010034],ATb=[859].A^{T}A=\begin{bmatrix}5&0&10\\0&10&0\\10&0&34\end{bmatrix},\qquad A^{T}\mathbf b=\begin{bmatrix}8\\5\\9\end{bmatrix}.
Midterste likning er frittstående: 10c1=5⇒c1=1210c_1=5\Rightarrow c_1=\tfrac12. De to andre: 5c0+10c2=85c_0+10c_2=8 og 10c0+34c2=910c_0+34c_2=9. Gang første med 22: 10c0+20c2=1610c_0+20c_2=16; subtraher fra andre: 14c2=−7⇒c2=−1214c_2=-7\Rightarrow c_2=-\tfrac12. Da 5c0+10⋅(−12)=8⇒c0=1355c_0+10\cdot(-\tfrac12)=8\Rightarrow c_0=\tfrac{13}{5}.

Sluttsvar: y=135+12x−12x2y=\tfrac{13}{5}+\tfrac12x-\tfrac12x^2. (Til kontroll: minste-kvadraters-feilen er ∥b−Ax^∥2=165\|\mathbf b-A\hat{\mathbf x}\|^2=\tfrac{16}{5}.)

📝Oppgave 4
Sjanger I

Finn regresjonslinja y=c0+c1xy=c_0+c_1x for punktene (−1,0),(0,1),(1,2),(2,5)(-1,0),(0,1),(1,2),(2,5).

Løkke 3 — Entydighet, residual og bevis-broen (~15 min)

To spørsmål gjenstår: når er minste kvadraters løsningen entydig, og hvordan måler vi hvor god tilnærmingen er? Begge henger på matrisen ATAA^{T}A.

Residualvektoren
Forskjellen mellom det vi observerte og det modellen gir — feilvektoren

r=b−Ax^.\mathbf r=\mathbf b-A\hat{\mathbf x}.

Denne står per konstruksjon ortogonalt på Col⁡A\operatorname{Col}A. Komponentene er de enkelte avvikene (residualene) i hvert datapunkt.

Minste-kvadraters-feilen
Lengden av residualvektoren — tallet som forteller hvor godt tilnærmingen treffer:

∥b−Ax^∥=(b−Ax^)⋅(b−Ax^).\|\mathbf b-A\hat{\mathbf x}\|=\sqrt{(\mathbf b-A\hat{\mathbf x})\cdot(\mathbf b-A\hat{\mathbf x})}.

Er den 00, hadde systemet en eksakt løsning. Jo mindre den er, desto bedre passer modellen. Husk kvadratrota.

Kobling til ortogonal projeksjon
Minste kvadrater er projeksjon i forkledning: prediksjonen Ax^A\hat{\mathbf x} er nøyaktig projeksjonen av b\mathbf b ned på kolonnerommet,

Ax^=proj⁡Col⁡Ab.A\hat{\mathbf x}=\operatorname{proj}_{\operatorname{Col}A}\mathbf b.

Derfor er Ax^A\hat{\mathbf x} det punktet i Col⁡A\operatorname{Col}A som ligger nærmest b\mathbf b, og residualen b−Ax^\mathbf b-A\hat{\mathbf x} ligger i (Col⁡A)⊥(\operatorname{Col}A)^{\perp}.

📜Entydighet og ATAA^{T}A
Normallikningene ATAx^=ATbA^{T}A\hat{\mathbf x}=A^{T}\mathbf b har entydig løsning hvis og bare hvis kolonnene i AA er lineært uavhengige. I så fall er ATAA^{T}A inverterbar og

x^=(ATA)−1ATb.\hat{\mathbf x}=(A^{T}A)^{-1}A^{T}\mathbf b.

Er kolonnene lineært avhengige (rangdefekt), er ATAA^{T}A singulær og løsningsmengden affin — uendelig mange minste kvadraters løsninger, men alle gir samme prediksjon Ax^A\hat{\mathbf x}.

Entydig minste kvadraters løsning
Minste kvadraters løsningen er entydig nøyaktig når kolonnene i AA er lineært uavhengige. Da er ATAA^{T}A inverterbar, og

x^=(ATA)−1ATb.\hat{\mathbf x}=(A^{T}A)^{-1}A^{T}\mathbf b.

I praksis løser vi likevel normallikningene med eliminasjon i stedet for å regne ut inversen.

Affin løsningsmengde ved rangdefekt
Er kolonnene i AA lineært avhengige, er ATAA^{T}A singulær. Da har normallikningene fortsatt løsning (høyresiden ATbA^{T}\mathbf b ligger alltid i Col⁡(ATA)\operatorname{Col}(A^{T}A)), men uendelig mange — en affin mengde

x^=x^0+w,w∈Nul⁡(ATA)=Nul⁡A.\hat{\mathbf x}=\hat{\mathbf x}_0+\mathbf w,\qquad \mathbf w\in\operatorname{Nul}(A^{T}A)=\operatorname{Nul}A.

Alle disse gir samme prediksjon Ax^=proj⁡Col⁡AbA\hat{\mathbf x}=\operatorname{proj}_{\operatorname{Col}A}\mathbf b.

ATAA^{T}A symmetrisk og positiv semidefinit
For enhver AA er ATAA^{T}A symmetrisk, og den er positiv semidefinit: for alle x\mathbf x er

xT(ATA)x=(Ax)⋅(Ax)=∥Ax∥2≥0.\mathbf x^{T}(A^{T}A)\mathbf x=(A\mathbf x)\cdot(A\mathbf x)=\|A\mathbf x\|^2\ge 0.

Dette er grunnen til at normallikningene alltid har (minst) én løsning.

✏️Rangdefekt: affin løsningsmengde

La A=[112123101134]A=\begin{bmatrix}1&1&2\\1&2&3\\1&0&1\\1&3&4\end{bmatrix} (merk: kolonne 3 == kolonne 1 ++ kolonne 2) og b=(2,3,1,5)\mathbf b=(2,3,1,5). Finn alle minste kvadraters løsninger av Ax=bA\mathbf x=\mathbf b.

Kolonnene er lineært avhengige, så vi venter en affin løsningsmengde. Normallikningene:
ATA=[461061420102030],ATb=[112334].A^{T}A=\begin{bmatrix}4&6&10\\6&14&20\\10&20&30\end{bmatrix},\qquad A^{T}\mathbf b=\begin{bmatrix}11\\23\\34\end{bmatrix}.
Radreduksjon (rad 3 == rad 1 ++ rad 2 gir en nullrad) fører til systemet
x1+x3=45,x2+x3=1310.x_1+x_3=\tfrac45,\qquad x_2+x_3=\tfrac{13}{10}.
Med x3=tx_3=t fri:
x^=[4/513/100]+t[−1−11],t∈R.\hat{\mathbf x}=\begin{bmatrix}4/5\\13/10\\0\end{bmatrix}+t\begin{bmatrix}-1\\-1\\1\end{bmatrix},\qquad t\in\mathbb R.
> Merk: alle disse gir samme prediksjon Ax^=proj⁡Col⁡AbA\hat{\mathbf x}=\operatorname{proj}_{\operatorname{Col}A}\mathbf b. Retningsvektoren (−1,−1,1)(-1,-1,1) er nettopp Nul⁡A\operatorname{Nul}A.

Sluttsvar: den affine mengden over.

📝Oppgave 5

(Bevis-sjanger.) La AA være en m×nm\times n-matrise. a) Vis at ATAA^{T}A er symmetrisk. b) Vis at Nul⁡(ATA)=Nul⁡A\operatorname{Nul}(A^{T}A)=\operatorname{Nul}A, og bruk dette til å forklare at ATAA^{T}A er inverterbar når kolonnene i AA er lineært uavhengige.

Begrepsbank — flere kort til repetisjon

Flashcard-/repetisjonsstoff — hopp trygt over ved førstegangslesing; tidsanslaget over gjelder kjernestoffet. Kortene under samler resultatene fra kapitlet i kompakt form.

Kolonnene i AA lineært uavhengige

Kravet som avgjør entydighet: kolonnene a1,…,an\mathbf a_1,\dots,\mathbf a_n er lineært uavhengige når Ax=0A\mathbf x=\mathbf 0 bare har løsningen x=0\mathbf x=\mathbf 0, dvs. Nul⁡A={0}\operatorname{Nul}A=\{\mathbf 0\}. Nettopp da er ATAA^{T}A inverterbar og minste kvadraters løsningen entydig.

ATAA^{T}A positiv definit

Når kolonnene i AA er lineært uavhengige, er ATAA^{T}A ikke bare positiv semidefinit, men positiv definit: xT(ATA)x=∥Ax∥2>0\mathbf x^{T}(A^{T}A)\mathbf x=\|A\mathbf x\|^2>0 for alle x≠0\mathbf x\ne\mathbf 0. En positiv definit matrise er inverterbar, som sikrer den entydige løsningen.

Kjernelikheten Nul⁡(ATA)=Nul⁡A\operatorname{Nul}(A^{T}A)=\operatorname{Nul}A
For enhver matrise AA har ATAA^{T}A og AA samme nullrom:

Nul⁡(ATA)=Nul⁡A.\operatorname{Nul}(A^{T}A)=\operatorname{Nul}A.

Dette er broen mellom «kolonnene uavhengige» og «ATAA^{T}A inverterbar»: har AA trivielt nullrom, har ATAA^{T}A det også, og en kvadratisk matrise med trivielt nullrom er inverterbar.

(Col⁡A)⊥=Nul⁡AT(\operatorname{Col}A)^{\perp}=\operatorname{Nul}A^{T}
Ortogonalkomplementet til kolonnerommet er nullrommet til den transponerte:

(Col⁡A)⊥=Nul⁡AT.(\operatorname{Col}A)^{\perp}=\operatorname{Nul}A^{T}.

Det er denne likheten som gjør normallikningene til det de er: at residualen står i (Col⁡A)⊥(\operatorname{Col}A)^{\perp} betyr AT(b−Ax^)=0A^{T}(\mathbf b-A\hat{\mathbf x})=\mathbf 0.

Prediksjonsvektoren Ax^A\hat{\mathbf x}

Den tilpassede vektoren Ax^A\hat{\mathbf x} — modellens «beste gjetning» på b\mathbf b. Den er lik projeksjonen proj⁡Col⁡Ab\operatorname{proj}_{\operatorname{Col}A}\mathbf b og er entydig selv om x^\hat{\mathbf x} ikke er det (ved rangdefekt gir alle løsningene samme Ax^A\hat{\mathbf x}).

Beste tilnærmingsegenskapen

Hjørnesteinen fra kap. 6.3, brukt her: blant alle vektorer AxA\mathbf x i Col⁡A\operatorname{Col}A er Ax^=proj⁡Col⁡AbA\hat{\mathbf x}=\operatorname{proj}_{\operatorname{Col}A}\mathbf b den som ligger nærmest b\mathbf b. Derfor minimerer minste kvadraters løsningen ∥b−Ax∥\|\mathbf b-A\mathbf x\|.

Konsistent system og minste kvadrater

Har Ax=bA\mathbf x=\mathbf b faktisk en eksakt løsning (systemet er konsistent), så er den løsningen også minste kvadraters løsning, og feilen er ∥b−Ax^∥=0\|\mathbf b-A\hat{\mathbf x}\|=0. Minste kvadrater generaliserer altså vanlig løsning til det overbestemte tilfellet.

Normalvektoren ATbA^{T}\mathbf b

Høyresiden i normallikningene, ATbA^{T}\mathbf b. Komponent jj er prikkproduktet av kolonne jj i AA med b\mathbf b. For kurvetilpasning er dette summene ∑yi\sum y_i og ∑xiyi\sum x_iy_i (og ∑xi2yi\sum x_i^2y_i for parabel).

Oppgavesett (eksamensnivå, stigende)

Blandet drill av hele sjangeren. Gjør dem uten fasit først; alle svar er eksakte brøker.

📝Oppgave 6
Sjanger I

Finn minste kvadraters løsningen av Ax=bA\mathbf x=\mathbf b med A=[101214]A=\begin{bmatrix}1&0\\1&2\\1&4\end{bmatrix}, b=[002]\mathbf b=\begin{bmatrix}0\\0\\2\end{bmatrix}, og oppgi minste-kvadraters-feilen.

📝Oppgave 7
Sjanger I

Finn den rette linja y=c0+c1xy=c_0+c_1x som best tilpasser (0,2),(1,2),(2,4),(3,5)(0,2),(1,2),(2,4),(3,5).

📝Oppgave 8
Sjanger I

Finn parabelen y=c0+c1x+c2x2y=c_0+c_1x+c_2x^2 som best tilpasser (−1,1),(0,0),(1,1),(2,5)(-1,1),(0,0),(1,1),(2,5) ved minste kvadrater.

📝Oppgave 9

(Kald bank — ingen hint.) La AA ha lineært uavhengige kolonner, og la x^\hat{\mathbf x} være minste kvadraters løsningen av Ax=bA\mathbf x=\mathbf b. Vis at residualen r=b−Ax^\mathbf r=\mathbf b-A\hat{\mathbf x} oppfyller ATr=0A^{T}\mathbf r=\mathbf 0, og forklar geometrisk hva dette betyr.

Repetisjonsoppgaver (fra 6.2–6.3)
Din fremgang
0 / 2 oppgaver
Symbol- og formelliste

Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.

Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Norges teknisk-naturvitenskapelige universitet. Dette er ikke offisielt studiemateriell. Les mer.