4.6 Generativ AI og store språkmodeller

Generativ AI og store språkmodellar

I 2022 endra ChatGPT forholdet til kunstig intelligens hos millionar av menneske — over natta. For første gong kunne kven som helst føre ein naturleg samtale med ei maskin som tilsynelatande «forstod» språk, kunne skrive essay, omsetje tekst, forklare matematikk og generere kode.

Men korleis fungerer eigentleg desse store språkmodellane? I dette kapittelet skal vi sjå på generativ AI — system som skaper nytt innhald — med særleg fokus på store språkmodellar (LLM-ar) og den revolusjonerande transformerarkitekturen som ligg til grunn.

Språkmodellar — frå n-gram til nevrale nettverk

Ein språkmodell er eit system som har lært sannsynsfordelinga over sekvensar av ord. Gitt ein sekvens ord reknar modellen ut sannsynet for neste ord.

Historisk utvikling:

N-gram-modellar (1990–2010-talet): Rekna ut sannsynet for neste ord basert på dei siste $n-1$ orda. Enkel statistikk, men klarte ikkje å fange langsiktige samanhengar. «Kongen av Noreg er» → «monark» fungerer, men modellen forstår ikkje kontekst på tvers av setningar.

Word2Vec og word embeddings (2013): Representerte ord som vektorar i eit fleirdimensjonalt rom, der ord med liknande tyding hamna nær kvarandre. «Konge – mann + kvinne ≈ dronning» viste at modellen fanga semantiske relasjonar.

Recurrent Neural Networks (RNN/LSTM, 2015–2017): Prosesserte tekst sekvensielt, ord for ord, med eit internt «minne». Betre enn n-gram, men sleit med lange tekstar fordi informasjon gjekk tapt over mange steg.

Transformer-arkitekturen (2017–): Revolusjonerte feltet ved å prosessere alle ord i ein sekvens parallelt i staden for sekvensielt, og ved å bruke merksemdsmekanismar for å forstå kva for ord som er viktige for kvarandre — uansett avstand i teksten.

Korleis blir ein LLM trena?

Store språkmodellar blir i hovudsak trena i tre fasar:

Fase 1 — Forhåndstrening (pre-training):
Modellen blir trena på enorme mengder tekst frå internett — bøker, artiklar, nettsider, kode — ofte billionar av tokens. Oppgåva er enkel men kraftig: prediker neste token. Gitt «Hovudstaden i Noreg er», skal modellen lære at «Oslo» er det mest sannsynlege neste tokenet. Gjennom billionar av slike prediksjonar lærer modellen grammatikk, fakta, resonnering og verdsforståing. Denne fasen krev enorme ressursar — tusenvis av GPU-ar i veker til månader.

Fase 2 — Finjustering (fine-tuning) og instruksjonstuning:
Forhåndstreningsmodellen er god til å predikere tekst, men dårleg til å følgje instruksjonar. I denne fasen blir han trena vidare på døme av spørsmål-svar-par, dialogar og instruksjonar, slik at han lærer å oppføre seg som ein hjelpsam assistent.

Fase 3 — RLHF (Reinforcement Learning from Human Feedback):
Menneske rangerer svara til modellen (betre/dårlegare), og denne tilbakemeldinga blir brukt til å trene ein lønsmodell. Deretter blir forsterkingslæring brukt til å justere språkmodellen slik at han genererer svar menneske føretrekkjer — meir nyttige, ærlege og trygge.

Dei resulterande modellane har gjerne 10–1000+ milliardar parametrar (vekter) og representerer enorme mengder komprimert kunnskap.

Bruksområde for generativ AI

Generativ AI har eksplodert i bruksområde:

Tekstgenerering og assistentar: Chatbotar som ChatGPT, Claude og Gemini blir brukte til kundeservice, skrivestøtte, programmering, utdanning og forsking. Bedrifter integrerer LLM-ar i produkta sine for automatisert oppsummering, omsetjing og analyse.

Biletgenerering: Diffusjonsmodellar som DALL-E, Midjourney og Stable Diffusion lagar fotorealistiske bilete og kunst frå tekstskildringar. Desse fungerer ved å starte med tilfeldig støy og gradvis «diffundere» biletet til det matchar skildringa — styrt av eit nevralt nettverk som har lært samanhengen mellom tekst og bilete.

Kodegenerering: GitHub Copilot og liknande verktøy genererer programkode frå naturleg språk. Utviklarar skildrar kva dei vil oppnå, og modellen føreslår kode — noko som kan doble produktiviteten for rutineoppgåver.

Vitskap og forsking: AlphaFold (DeepMind) føresåg 3D-strukturen til nesten alle kjende protein — eit gjennombrot som ville teke forskarar tiår med tradisjonelle metodar. AI blir også brukt til å designe nye legemiddel, materiale og kjemiske sambindingar.

Kreative område: AI-generert musikk, filmeffektar, stemmekloning og videogenerering utfordrar tradisjonelle kreative bransjar og reiser spørsmål om opphavsrett og autentisitet.

Avgrensingar og utfordringar

Generativ AI har også betydelege avgrensingar:

Hallusinasjonar: LLM-ar kan generere tekst som høyrest overtydande ut, men som er faktisk feil. Dei «hallusinerer» fordi dei predikerer statistisk sannsynlege ord-sekvensar — ikkje fordi dei «veit» kva som er sant. Ein modell kan t.d. oppgi fiktive kjelder eller feil datoar med stor sjølvtillit.

Bias og rettferd: Modellar arvar fordommar frå treningsdataa. Viss treningsdata inneheld kjønns-, rase- eller kulturbias, vil modellen reprodusere og potensielt forsterke desse skeivskapane.

Svart boks-problemet: Store modellar med hundrevis av milliardar parametrar er vanskelege å tolke. Vi kan ikkje enkelt forklare kvifor ein modell gav eit bestemt svar, noko som er problematisk i kritiske bruksområde (medisin, jus, finans).

Energi og miljø: Trening av store modellar krev enorme mengder energi. Trening av GPT-3 (175 milliardar parametrar) forbrukte anslagsvis like mykje energi som 120 norske hushaldningar brukar i eit heilt år. Modellane blir stadig større, noko som reiser spørsmål om berekraft.

Deepfakes og desinformasjon: Generativ AI gjer det enkelt å lage realistiske falske bilete, videoar og stemmer. Dette kan brukast til svindel, politisk manipulasjon og identitetstjuveri — og det blir stadig vanskelegare å skilje ekte frå falskt innhald.

Prompt engineering og RAG

Når vi brukar ein LLM, kommuniserer vi gjennom prompts — tekstinstruksjonar som fortel modellen kva vi ønskjer. Kvaliteten på prompten har enorm innverknad på kvaliteten av svaret.

Prompt engineering er kunsten å formulere effektive instruksjonar til AI-modellar:

- Spesifisitet: «Forklar fotosyntese for ein 10-åring i tre punkt» gir betre svar enn «Kva er fotosyntese?»
- Rolletilordning: «Du er ein erfaren lege. Forklar…» kan gi meir presise svar for medisinske spørsmål.
- Few-shot-døme: Gi modellen nokre døme på ønskt input/output-format, og han tilpassar seg.
- Kjedeleg resonnering (chain-of-thought): Be modellen «tenkje steg for steg» for å forbetre logisk resonnering.

RAG — Retrieval-Augmented Generation er ein teknikk som motverkar hallusinasjonar:

1. Spørsmålet til brukaren blir brukt til å søkje i ein kunnskapsdatabase (t.d. dokumenta til bedrifta, vitskaplege artiklar).
2. Relevante dokument blir henta og lagde til prompten som kontekst.
3. LLM-en genererer svaret basert på den henta konteksten — ikkje berre dei trena parametrane sine.

RAG gir modellen tilgang til oppdatert og verifiserbar informasjon, og svaret kan sporast tilbake til kjeldene. Dette er spesielt viktig i bedriftssamanheng der nøyaktigheit og sporbarheit er kritisk.

Oppsummering

- Generativ AI skaper nytt innhald (tekst, bilete, kode, lyd, video) basert på statistiske mønster lærte frå treningsdata.
- Store språkmodellar (LLM-ar) predikerer neste token i ein sekvens og genererer tekst autoregressivt — eitt token om gongen. Dei blir trena i tre fasar: forhåndstrening, instruksjonstuning og RLHF.
- Transformerarkitekturen brukar sjølvmerksemd (self-attention) til å fange relasjonar mellom alle tokens parallelt, og er grunnlaget for alle moderne LLM-ar.
- Bruksområda spenner frå chatbotar og kodegenerering til biletgenerering og vitskaplege gjennombrot (AlphaFold).
- Sentrale avgrensingar inkluderer hallusinasjonar, bias, svart boks-problemet, energiforbruk og deepfakes.
- Prompt engineering og RAG er teknikkar for å forbetre kvaliteten og nøyaktigheita av AI-genererte svar.