4.6 Generativ AI og store språkmodeller

Generativ AI og store språkmodeller

I 2022 endret ChatGPT millioner av menneskers forhold til kunstig intelligens — over natten. For første gang kunne hvem som helst føre en naturlig samtale med en maskin som tilsynelatende «forsto» språk, kunne skrive essays, oversette tekst, forklare matematikk og generere kode.

Men hvordan fungerer egentlig disse store språkmodellene? I dette kapittelet skal vi se på generativ AI — systemer som skaper nytt innhold — med særlig fokus på store språkmodeller (LLM-er) og den revolusjonerende transformerarkitekturen som ligger til grunn.

Språkmodeller — fra n-gram til nevrale nettverk

En språkmodell er et system som har lært sannsynlighetsfordelingen over sekvenser av ord. Gitt en sekvens ord beregner modellen sannsynligheten for neste ord.

Historisk utvikling:

N-gram-modeller (1990–2010-tallet): Beregnet sannsynligheten for neste ord basert på de siste $n-1$ ordene. Enkel statistikk, men klarte ikke å fange langsiktige sammenhenger. «Kongen av Norge er» → «monark» fungerer, men modellen forstår ikke kontekst på tvers av setninger.

Word2Vec og word embeddings (2013): Representerte ord som vektorer i et flerdimensjonalt rom, der ord med lignende betydning havnet nærme hverandre. «Konge – mann + kvinne ≈ dronning» viste at modellen fanget semantiske relasjoner.

Recurrent Neural Networks (RNN/LSTM, 2015–2017): Prosesserte tekst sekvensielt, ord for ord, med en intern «hukommelse». Bedre enn n-gram, men slet med lange tekster fordi informasjon gikk tapt over mange steg.

Transformer-arkitekturen (2017–): Revolusjonerte feltet ved å prosessere alle ord i en sekvens parallelt i stedet for sekvensielt, og ved å bruke oppmerksomhetsmekanismer for å forstå hvilke ord som er viktige for hverandre — uansett avstand i teksten.

Hvordan trenes en LLM?

Store språkmodeller trenes i hovedsak i tre faser:

Fase 1 — Forhåndstrening (pre-training):
Modellen trenes på enorme mengder tekst fra internett — bøker, artikler, nettsider, kode — ofte billioner av tokens. Oppgaven er enkel men kraftig: prediker neste token. Gitt «Hovedstaden i Norge er», skal modellen lære at «Oslo» er det mest sannsynlige neste tokenet. Gjennom billioner av slike prediksjoner lærer modellen grammatikk, fakta, resonnering og verdensforståelse. Denne fasen krever enorme ressurser — tusenvis av GPU-er i uker til måneder.

Fase 2 — Finjustering (fine-tuning) og instruksjonstuning:
Forhåndstreningsmodellen er god til å predikere tekst, men dårlig til å følge instruksjoner. I denne fasen trenes den videre på eksempler av spørsmål-svar-par, dialoger og instruksjoner, slik at den lærer å oppføre seg som en hjelpsom assistent.

Fase 3 — RLHF (Reinforcement Learning from Human Feedback):
Mennesker rangerer modellens svar (bedre/dårligere), og denne tilbakemeldingen brukes til å trene en belønningsmodell. Deretter brukes forsterkningslæring til å justere språkmodellen slik at den genererer svar mennesker foretrekker — mer nyttige, ærlige og sikre.

De resulterende modellene har gjerne 10–1000+ milliarder parametre (vekter) og representerer enorme mengder komprimert kunnskap.

Anvendelser av generativ AI

Generativ AI har eksplodert i bruksområder:

Tekstgenerering og assistenter: Chatboter som ChatGPT, Claude og Gemini brukes til kundeservice, skrivestøtte, programmering, utdanning og forskning. Bedrifter integrerer LLM-er i produktene sine for automatisert oppsummering, oversettelse og analyse.

Bildegenerering: Diffusjonsmodeller som DALL-E, Midjourney og Stable Diffusion lager fotorealistiske bilder og kunst fra tekstbeskrivelser. Disse fungerer ved å starte med tilfeldig støy og gradvis «diffundere» bildet til det matcher beskrivelsen — styrt av et nevralt nettverk som har lært sammenhengen mellom tekst og bilder.

Kodegenerering: GitHub Copilot og lignende verktøy genererer programkode fra naturlig språk. Utviklere beskriver hva de vil oppnå, og modellen foreslår kode — noe som kan doble produktiviteten for rutineoppgaver.

Vitenskap og forskning: AlphaFold (DeepMind) forutsa 3D-strukturen til nesten alle kjente proteiner — et gjennombrudd som ville tatt forskere årtier med tradisjonelle metoder. AI brukes også til å designe nye legemidler, materialer og kjemiske forbindelser.

Kreative områder: AI-generert musikk, filmeffekter, stemmekloning og videogenerering utfordrer tradisjonelle kreative bransjer og reiser spørsmål om opphavsrett og autentisitet.

Begrensninger og utfordringer

Generativ AI har også betydelige begrensninger:

Hallusinasjoner: LLM-er kan generere tekst som høres overbevisende ut, men som er faktisk feil. De «hallusinerer» fordi de predikerer statistisk sannsynlige ord-sekvenser — ikke fordi de «vet» hva som er sant. En modell kan f.eks. oppgi fiktive kilder eller feil datoer med stor selvtillit.

Bias og rettferdighet: Modeller arver fordommer fra treningsdataene. Hvis treningsdata inneholder kjønns-, rase- eller kulturbias, vil modellen reprodusere og potensielt forsterke disse skjevhetene.

Svart boks-problemet: Store modeller med hundrevis av milliarder parametre er vanskelige å tolke. Vi kan ikke enkelt forklare hvorfor en modell ga et bestemt svar, noe som er problematisk i kritiske anvendelser (medisin, jus, finans).

Energi og miljø: Trening av store modeller krever enorme mengder energi. Trening av GPT-3 (175 milliarder parametre) forbrukte anslagsvis like mye energi som 120 norske husholdninger bruker i et helt år. Modellene blir stadig større, noe som reiser spørsmål om bærekraft.

Deepfakes og desinformasjon: Generativ AI gjør det enkelt å lage realistiske falske bilder, videoer og stemmer. Dette kan brukes til svindel, politisk manipulasjon og identitetstyveri — og det blir stadig vanskeligere å skille ekte fra falsk innhold.

Prompt engineering og RAG

Når vi bruker en LLM, kommuniserer vi gjennom prompts — tekstinstruksjoner som forteller modellen hva vi ønsker. Kvaliteten på prompten har enorm innvirkning på kvaliteten av svaret.

Prompt engineering er kunsten å formulere effektive instruksjoner til AI-modeller:

- Spesifisitet: «Forklar fotosyntese for en 10-åring i tre punkter» gir bedre svar enn «Hva er fotosyntese?»
- Rolletilordning: «Du er en erfaren lege. Forklar…» kan gi mer presise svar for medisinske spørsmål.
- Few-shot-eksempler: Gi modellen noen eksempler på ønsket input/output-format, og den tilpasser seg.
- Kjedelig resonnering (chain-of-thought): Be modellen «tenke steg for steg» for å forbedre logisk resonnering.

RAG — Retrieval-Augmented Generation er en teknikk som motvirker hallusinasjoner:

1. Brukerens spørsmål brukes til å søke i en kunnskapsdatabase (f.eks. bedriftens dokumenter, vitenskapelige artikler).
2. Relevante dokumenter hentes og legges til prompten som kontekst.
3. LLM-en genererer svaret basert på den hentede konteksten — ikke bare sine trente parametre.

RAG gir modellen tilgang til oppdatert og verifiserbar informasjon, og svaret kan spores tilbake til kildene. Dette er spesielt viktig i bedriftssammenheng der nøyaktighet og sporbarhet er kritisk.

Oppsummering

- Generativ AI skaper nytt innhold (tekst, bilder, kode, lyd, video) basert på statistiske mønstre lært fra treningsdata.
- Store språkmodeller (LLM-er) predikerer neste token i en sekvens og genererer tekst autoregressivt — ett token om gangen. De trenes i tre faser: forhåndstrening, instruksjonstuning og RLHF.
- Transformerarkitekturen bruker selvoppmerksomhet (self-attention) til å fange relasjoner mellom alle tokens parallelt, og er grunnlaget for alle moderne LLM-er.
- Anvendelsene spenner fra chatboter og kodegenerering til bildegenerering og vitenskapelige gjennombrudd (AlphaFold).
- Sentrale begrensninger inkluderer hallusinasjoner, bias, svart boks-problemet, energiforbruk og deepfakes.
- Prompt engineering og RAG er teknikker for å forbedre kvaliteten og nøyaktigheten av AI-genererte svar.