4.6 Generativ AI og store språkmodeller

Maskinen som skriver tilbake

Da ChatGPT kom i 2022, endret den over natten millioner av menneskers forhold til kunstig intelligens. For første gang kunne hvem som helst føre en naturlig samtale med en maskin som tilsynelatende forsto språk, skrev essays, oversatte tekst og forklarte matematikk. Men hvordan fungerer det egentlig?

Dette er generativ AI -- systemer som skaper nytt innhold framfor bare å analysere eksisterende. Der diskriminativ AI svarer på «hvilken kategori hører dette til?» (er bildet en katt eller hund?), svarer generativ AI på «hvordan ville nytt innhold som ligner treningsdataene se ut?». Det finnes generative modeller for tekst (GPT, Claude, Gemini), bilder (DALL-E, Midjourney), lyd, video og kode. Felles for alle er at de har lært statistiske mønstre fra enorme datamengder og bruker dem til å lage nytt, plausibelt innhold.

Kjernen i tekstgenerering er språkmodellen -- et system som har lært sannsynlighetsfordelingen over ordsekvenser. Utviklingen gikk fra enkle n-gram-modeller som bare så de siste ordene, via word embeddings (2013) som plasserte ord med lik betydning nær hverandre, til RNN-er som leste tekst ord for ord med en intern hukommelse. Men det store gjennombruddet kom i 2017 med transformeren, som prosesserte alle ord parallelt og brukte oppmerksomhet til å forstå hvilke ord som hører sammen -- uansett avstand.

Transformeren og treningen

Transformeren, presentert i artikkelen «Attention Is All You Need», er grunnlaget for alle moderne språkmodeller. Den har flere nøkkeldeler. Først deles teksten i tokens (ordeler eller ord) som blir til tallvektorer. Siden alle tokens prosesseres parallelt, legges en posisjonsenkoding til som forteller rekkefølgen. Så kommer det mest revolusjonerende: selvoppmerksomhet. For hvert token beregnes hvor mye oppmerksomhet det skal gi alle de andre. I setningen «Katten som satt på matta var sulten» lærer modellen at «sulten» hører til «katten», ikke «matta», selv om ordene er langt fra hverandre. Med multi-head attention fanges ulike typer relasjoner samtidig. Dette gjentas i mange lag -- GPT-4 har trolig over 100 -- der hvert lag bygger rikere representasjoner.

Hvordan trenes en slik modell? I tre faser. Forhåndstrening lar modellen lære av billioner av tokens fra internett, med én enkel, men kraftig oppgave: prediker neste token. Gitt «Hovedstaden i Norge er», skal den lære at «Oslo» er mest sannsynlig. Gjennom billioner av slike gjetninger lærer den grammatikk, fakta og resonnering -- en fase som krever tusenvis av GPU-er i uker. Deretter kommer instruksjonstuning, der modellen trenes på spørsmål-svar-par så den lærer å følge instruksjoner og oppføre seg som en hjelpsom assistent. Til slutt kommer RLHF (Reinforcement Learning from Human Feedback), der mennesker rangerer svar, og modellen justeres til å gi svar folk foretrekker.

Når modellen så svarer på «Hva er fotosyntese?», skjer det ord for ord: den tokeniserer spørsmålet, prosesserer det gjennom transformerlagene, beregner en sannsynlighetsfordeling over neste token, velger det mest sannsynlige, legger det til, og gjentar -- autoregressivt -- til svaret er ferdig. Modellen «forstår» ikke i menneskelig forstand; den har lært ekstremt sofistikerte statistiske mønstre.

Kraft, begrensninger og smartere bruk

Generativ AI har eksplodert i bruksområder. Chatboter brukes til skrivestøtte, programmering og forskning. Bildemodeller som DALL-E starter med ren støy og «diffunderer» den gradvis til et bilde som matcher en beskrivelse. Kodeverktøy som GitHub Copilot dobler produktiviteten for rutineoppgaver. Og i vitenskapen var AlphaFold et gjennombrudd -- den forutsa 3D-strukturen til nesten alle kjente proteiner, noe som ville tatt forskere årtier med tradisjonelle metoder.

Men teknologien har alvorlige begrensninger. Hallusinasjoner er kanskje den viktigste: modellen kan generere tekst som høres overbevisende ut, men er faktisk feil -- den «hallusinerer» fordi den forutsier sannsynlige ordsekvenser, ikke sanne fakta. Den kan oppgi oppdiktede kilder med stor selvtillit. Bias arves fra treningsdataene og kan forsterke skjevheter. Svart boks-problemet gjør det vanskelig å forklare hvorfor en modell ga et bestemt svar -- problematisk i medisin og jus. Energi er en bekymring: trening av GPT-3 forbrukte anslagsvis like mye energi som 120 norske husholdninger bruker på et helt år. Og deepfakes gjør det enkelt å lage falske bilder, videoer og stemmer.

Heldigvis finnes teknikker for smartere bruk. Prompt engineering er kunsten å formulere effektive instruksjoner -- vær spesifikk («forklar fotosyntese for en 10-åring i tre punkter»), tildel en rolle, gi eksempler, eller be modellen «tenke steg for steg». Og RAG (Retrieval-Augmented Generation) motvirker hallusinasjoner direkte: brukerens spørsmål brukes til å søke i en kunnskapsdatabase, relevante dokumenter hentes og legges til prompten, og modellen baserer svaret på denne verifiserbare konteksten -- ikke bare sine trente parametre. Da kan svaret spores tilbake til kildene, noe som er avgjørende der nøyaktighet teller.

Oppsummering

Vi har sett at generativ AI skaper nytt innhold basert på statistiske mønstre fra treningsdata, og at store språkmodeller genererer tekst autoregressivt -- ett token om gangen -- etter tre treningsfaser: forhåndstrening, instruksjonstuning og RLHF. Transformerarkitekturen bruker selvoppmerksomhet til å fange relasjoner mellom alle tokens parallelt, og er grunnlaget for alle moderne LLM-er.

Anvendelsene spenner fra chatboter og kodegenerering til vitenskapelige gjennombrudd som AlphaFold. Men begrensningene er reelle: hallusinasjoner, bias, svart boks-problemet, høyt energiforbruk og deepfakes. Teknikker som prompt engineering og RAG forbedrer kvaliteten og nøyaktigheten -- RAG ved å gi modellen tilgang til verifiserbar, sporbar informasjon.