5.2 Minste kvadrater: normallikninger, projeksjonssnarvei og affin løsning
Minste kvadraters løsning av Cx=b på to belønnede måter — normallikningene CᵀCx̂=Cᵀb og projeksjonssnarveien p=proj_W b ⇒ Cx=p — pluss det avgjørende poenget: ved rangdefekt er løsningen affin (partikulær + Nul C).
- Fasiten har to belønnede veier: (i) normallikningene (2019, 2020, 2022, 2024), der du leser den lille RREF-en fra vedlegget; eller (ii) projeksjonssnarveien (2018, gjenbrukt 2024).
- Den skarpeste fellen (nr. 5): når ikke har full kolonnerang, er løsningen affin — partikulær , ikke ett entydig svar.
Fasitens grep du skal kopiere: sett opp og , sitér vedleggets RREF av det - eller -systemet, og skriv løsningen — entydig hvis har full kolonnerang, ellers affin. Koblingen gir en gratis kontroll og en vei til projeksjonen.
Sensorregel: begrunn hvilken vei du velger, og si eksplisitt om løsningen er entydig eller affin.
- Kap. 5.1 — ortogonal projeksjon og dekomposisjonen ; minste kvadrater er projeksjon i forkledning
- Kap. 1.2 — og full kolonnerang; den affine løsningen ved rangdefekt er partikulær
- Kap. 1.1 — å lese en liten RREF av normallikningene fra vedlegget er samme teknikk
- Matriseregning og transponering (MAT1110) — grunnleggende matrisemultiplikasjon og transponering
Noen ganger har likningssystemet ingen løsning — ligger ikke i . I stedet for å gi opp spør vi: hvilken gjør så nær som mulig? Det er minste kvadraters problem, og svaret er nettopp projeksjon: skal være der .
Vi jobber i tre løkker: (1) minste kvadraters problem og normallikningene ; (2) projeksjonssnarveien og koblingen ; (3) entydighet vs. affin løsning ved rangdefekt, og datatilpasning. Hver løkke går teori → eksempel → oppgave.
Tidsanslaget (~60 min) gjelder kjernestoffet — begrepsbanken til slutt er repetisjon.
Løkke 1 — Minste kvadraters problem og normallikningene (~24 min)
I ord: vi finner den slik at er den vektoren i som ligger nærmest . Navnet «minste kvadrater» kommer av at er en sum av kvadrater som minimeres. Residualet er .
Hvorfor: er nærmest nettopp når residualet står vinkelrett på (beste tilnærming, kap. 5.1). Å være ortogonal på alle kolonnene i betyr , som omordnet er . Dette er alltid et konsistent (løsbart) system, og det er lite: bare der er antall kolonner i — les RREF-en av det fra vedlegget.
Vedlegget gir
(Første komponent i er ; andre er .)
Løs systemet. Fra vedleggets RREF ser vi at
Kontroll og residual. , så residualet er
Dette står vinkelrett på begge kolonnene i : og ✓ Eksakt svar: .
(Innstegsoppgave — ren gjengivelse.) Skriv opp normallikningene for minste kvadraters problem , og forklar med ett ord hva løsningen gjør.
Finn minste kvadraters løsning av med , . Vedlegget gir .
Løkke 2 — Projeksjonssnarveien og koblingen (~18 min)
Med andre ord: er nettopp projeksjonen av ned på kolonnerommet. Dette gir to veier til samme mål:
- Normallikninger: løs , deretter er .
- Projeksjonssnarvei: finn en ortogonal basis for (Gram–Schmidt), regn direkte, og løs det konsistente systemet .
Begge gir samme , og residualet er restvektoren fra dekomposisjonen. Har du allerede projisert (fra en tidligere deloppgave), er snarveien gratis.
For og fra Eksempel 1: bruk projeksjonssnarveien til å bestemme der , og kontroller mot .
Projeksjon av :
Kontroll: (fra Eksempel 1) . ✓ Koblingen stemmer. Merk at snarveien og normallikningene gir nøyaktig samme punkt i .
For og er (fra Eksempel 1). Bruk koblingen til å finne både projeksjonen og avstanden fra til .
Løkke 3 — Entydighet, affin løsning ved rangdefekt og datatilpasning (~18 min)
Har derimot ikke full kolonnerang (avhengige kolonner, ), er ikke invertibel, og løsningsmengden er affin.
altså én partikulær løsning pluss hele nullrommet til (én fri parameter per avhengig kolonne). Dette er felle nr. 5: å oppgi ett svar som om det var entydig. Merk: selv om ikke er entydig, er det samme for alle løsningene — projeksjonen er alltid entydig.
der tredje kolonne er summen av de to første. Vedlegget gir
Normallikninger. , . Fra vedleggets RREF ser vi pivot i kolonne 1 og 2, fri variabel :
Affin løsningsmengde. Med :
Den partikulære er , og (fordi ). Konklusjon: løsningen er ikke entydig — den er affin. Men er den samme for alle .
For og i Eksempel 3: bestem () og avstanden ved hjelp av én av de affine løsningene. Forklar hvorfor svaret er uavhengig av hvilken løsning du velger.
Normallikningene gir da den «beste» linjen (minst sum av kvadrerte avvik). Så lenge minst to er ulike, har full kolonnerang og linjen er entydig. Eksempel 1 var nettopp en slik linjetilpasning: .
Tilpass en rett linje til punktene ved minste kvadrater. (Dette er fra Eksempel 1.) Skriv ned linjen.
- Løsning behandlet som entydig ved rangdefekt (felle nr. 5). Har ikke full kolonnerang, er løsningen affin = partikulær — sjekk alltid kolonnerangen.
- Feil oppsett av eller . er kvadratisk (, antall kolonner); dobbeltsjekk dimensjonene og de små produktene.
- Glemmer koblingen . Har du , får du projeksjonen gratis ved — og motsatt.
- Radreduserer normallikningene for hånd. Det lille systemet leses av vedlegget; ikke bruk tid på håndregning av store RREF-er.
- Avstand som . Avstanden er (residualets norm), ikke normen av projeksjonen.
- Desimaltilnærming. La , brøker osv. stå eksakt.
Begrepsbank til eksamen
Kjernebegrepene fra kapitlet i eksamensrettet kortform — apparatet bak sjanger C (minste kvadrater).
Begrepsbanken er flashcard-/repetisjonsstoff — den gjentar det du nettopp har lest. Hopp trygt over ved førstegangslesing; tidsanslaget for kapitlet gjelder kjernestoffet.
En som minimerer — gjør nærmest i . Brukes når ikke har eksakt løsning.
Vektoren . Ved en minste kvadraters løsning står den vinkelrett på , og dens norm er avstanden .
Kvadratisk -matrise ( antall kolonner i ). Invertibel nøyaktig når har full kolonnerang; da er .
Høyresiden i normallikningene. Komponent er prikkproduktet av kolonne i med .
For er nettopp projeksjonen av ned i kolonnerommet — samme for alle minste kvadraters løsninger.
Regn direkte (Gram–Schmidt + Fourier), og løs det konsistente . Alternativ til normallikningene.
Normallikninger eller projeksjonssnarvei — begge gir samme . Velg den som utnytter det du allerede har regnet (f.eks. en tidligere projeksjon).
Kolonnene i er lineært uavhengige (). Da er invertibel og løsningen entydig.
Kolonnene i er avhengige (). Da er ikke invertibel og løsningen affin.
Selv når er affin, er det samme for alle løsninger, fordi for .
Betingelsen er selve grunnen til normallikningene — residualet er ortogonalt på hver kolonne.
Normallikningene danner et lite -system; RREF leses av Matlab-utskriften eller RREF-arket, ikke radredusert for hånd.
Samme prinsipp for : legg til en -kolonne i . Fortsatt lineært i -ene, så normallikningene gjelder.
«Minste kvadrater» minimerer — summen av kvadrerte residualer.
Å løse er hele ideen: den beste tilnærmingen i er projeksjonen av .
Sensor vil se hvilken vei du velger og en eksplisitt setning om løsningen er entydig (full kolonnerang) eller affin (rangdefekt).
Uansett er symmetrisk, og . Den er positiv definit (dermed invertibel) nøyaktig når har full kolonnerang.
Flere likninger enn ukjente (flere rader enn kolonner i ) har som regel ingen eksakt løsning — minste kvadrater gir den beste tilnærmingen i stedet.
Ved rangdefekt oppgir du gjerne den enkleste partikulære løsningen (frie variabler ) og legger til . Alle valg gir samme .
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.
Skolesaga er en uavhengig læringsressurs og er ikke tilknyttet eller godkjent av Universitetet i Oslo. Dette er ikke offisielt studiemateriell. Les mer.