9.1 Multimodale tekster — Teori og analyse
Avansert teori om semiotikk, affordans og visuell grammatikk.
Multimodale tekster — Teori og analyse
Du lever i en verden der rene tekster nesten ikke finnes lenger. Tenk etter: Når åpnet du sist en bok som bare inneholdt svart tekst på hvit bakgrunn, uten bilder, uten farger, uten noen form for grafisk design? Selv denne læreboken du leser nå, bruker overskrifter i ulike størrelser, farget bakgrunn på definisjoner, ikoner ved siden av oppgaver og en bestemt layout som hjelper deg å navigere i innholdet.
Vi kommuniserer med hverandre gjennom et komplekst samspill av uttrykksmåter hele tiden. Når du sender en melding til en venn, bruker du ikke bare ord — du velger emojier, GIF-er, sticker, bilder, kanskje en stemmebeskjed eller en video. Hvert valg du tar, endrer meningen. Et «ok» med punktum kommuniserer noe helt annet enn et «ok» med utropstegn og en tommel opp. Det er multimodalitet i praksis.
I dette kapittelet skal du gå dypere inn i teorien bak multimodale tekster. Du har kanskje allerede lært om modaliteter og samspill mellom dem. Nå skal du lære det teoretiske rammeverket som forskere bruker for å analysere sammensatte tekster systematisk. Du skal forstå begreper som semiotiske ressurser, affordans, visuell grammatikk og intersemiotiske relasjoner — og du skal bruke dem til å gjennomføre egne analyser.
I dette kapittelet skal du lære å:
- Forstå multimodalitet som teoretisk rammeverk
- Bruke begreper som semiotisk ressurs, affordans og koherens
- Gjennomføre en systematisk multimodal analyse av ulike tekster
- Forstå visuell grammatikk og hvordan bilder skaper mening
En semiotisk ressurs er ethvert middel vi bruker for å kommunisere mening. Det kan være:
- Verbaltekst: Ord, setninger, tekststykker — det skriftlige språket
- Bilde: Fotografier, illustrasjoner, diagrammer, logoer, ikoner
- Lyd: Tale, musikk, lydeffekter, stillhet
- Bevegelse: Video, animasjon, gester, kroppsspråk
- Farge: Fargevalg som skaper stemning, identitet og assosiasjoner
- Typografi: Skrifttype, skriftstørrelse, fet/kursiv, linjeavstand
- Layout: Plasseringen av elementer på en side eller et skjermbilde
- Materialitet: Papirkvalitet, skjermoppløsning, fysisk form
En modalitet er en overordnet kategori av semiotiske ressurser. For eksempel er «visuell modalitet» en kategori som rommer både bilder, farger, typografi og layout.
Viktig: Semiotiske ressurser er ikke nøytrale. Hvert valg kommuniserer noe. Å velge fonten Comic Sans i stedet for Times New Roman er ikke bare et estetisk valg — det endrer hvordan mottakeren oppfatter avsenderens seriøsitet og troverdighet.
Tenk deg forsiden av VG en vanlig nyhetsdag. Identifiser alle semiotiske ressursene som brukes.
1. Verbaltekst: Overskrifter i ulike størrelser, ingresser, bildetekster, VG-logoen
2. Bilde: Hovedbilde (ofte stort og dramatisk), mindre bilder til andre saker, portrettbilder
3. Farge: Rød bakgrunn på logoen (VGs kjennemerke), røde og gule stikktitler for å fange oppmerksomhet, fargeforskjeller som skiller saker fra hverandre
4. Typografi: Stor, fet font på hovedoverskriften signaliserer viktighet. Mindre font på mindre saker viser hierarki. VGs karakteristiske skrifttype skaper gjenkjennelighet.
5. Layout: Hovedsaken dominerer forsiden (størst bilde, størst overskrift). Saker er plassert i et hierarki der de viktigste er øverst og størst. Fargeblokker deler inn ulike saker.
6. Ikoner/grafikk: Piler, rammer, «PLUSS»-merking for betalingsinnhold
7. Materialitet (digital): Responsivt design som tilpasser seg skjermstørrelse, klikkbare elementer, animerte overganger
Samspill: Alle ressursene jobber sammen for å skape et hierarki: Hva er viktigst? Hva bør du lese først? Det store bildet og den fete overskriften roper «SE HER!», mens den røde fargen og den stramme layouten signaliserer at dette er en seriøs (men også dramatiserende) nyhetskilde.
Hva betyr begrepet «semiotisk ressurs» i analysen av multimodale tekster?
Affordans — hva kan hver modalitet?
Et sentralt begrep i multimodal teori er affordans. Affordans handler om hva en bestemt modalitet egner seg til og hva den ikke kan gjøre. Hver modalitet har sine styrker og begrensninger.
Eksempler på affordans
Verbaltekst har høy affordans for:
- Abstrakte begreper og argumentasjon
- Presise beskrivelser og nyanser
- Tidsrekkefølge og logiske sammenhenger
- Indre tanker og følelser
Verbaltekst har lav affordans for:
- Romlige relasjoner (hvordan ting ser ut i forhold til hverandre)
- Umiddelbar emosjonell påvirkning
- Samtidighet (å vise flere ting som skjer på én gang)
Bilde har høy affordans for:
- Romlige relasjoner og utseende
- Umiddelbar emosjonell virkning
- Å vise flere elementer samtidig
- Å skape stemning gjennom farger og komposisjon
Bilde har lav affordans for:
- Abstrakte begreper (vanskelig å «vise» demokrati eller kjærlighet direkte)
- Tidsforløp (et stillbilde fanger bare ett øyeblikk)
- Logisk argumentasjon
Lyd/musikk har høy affordans for:
- Emosjonell påvirkning (musikk kan endre stemningen på et sekund)
- Å skape atmosfære og stemning
- Tidsmessig utvikling (musikk utfolder seg over tid)
Lyd/musikk har lav affordans for:
- Presise beskrivelser av utseende
- Logisk argumentasjon
- Romlige relasjoner
Hvorfor affordans er viktig
Forståelsen av affordans forklarer hvorfor vi bruker sammensatte tekster. Ingen enkelt modalitet kan gjøre alt. Tekst er god til å argumentere, men dårlig til å vise. Bilder er gode til å vise, men dårlige til å argumentere. Musikk er god til å berøre, men dårlig til å forklare. Derfor kombinerer vi dem — for å utnytte styrkene til hver modalitet.
Når du analyserer en multimodal tekst, er et godt spørsmål: Hvorfor valgte avsenderen akkurat denne modaliteten til akkurat denne delen av budskapet? Svaret handler ofte om affordans.
Begrepet stammer fra den australske forskeren Gunther Kress, en av grunnleggerne av multimodal teori. Han argumenterer for at valget av modalitet aldri er tilfeldig: Avsenderen velger den modaliteten som best kan uttrykke det de vil si.
Eksempler:
- En lege bruker et røntgenbilde (visuell modalitet) for å vise bruddet i beinet ditt — fordi tekst alene ikke kan formidle den romlige informasjonen like presist.
- En dikter bruker ord for å beskrive en følelse av sorg — fordi et bilde ikke kan fange de indre tankene og nyansene like godt.
- En filmskaper bruker musikk for å skape spenning — fordi lyd påvirker følelsene mer umiddelbart enn tekst.
Konsekvens for analyse: Når du analyserer en multimodal tekst, bør du vurdere: Hva bidrar denne modaliteten med som de andre ikke kan? Hva ville gått tapt hvis vi fjernet den?
Vurder affordansen til ulike modaliteter i disse situasjonene. Hvilken modalitet egner seg best, og hvorfor?
Du skal forklare hvordan en vulkan fungerer til en 10-åring.
Du skal overbevise noen om at klimaendringene er ekte.
Du skal formidle følelsen av å stå alene på en tom strand ved solnedgang.
Visuell grammatikk — slik «leser» du bilder
De australske forskerne Gunther Kress og Theo van Leeuwen utviklet et system for å analysere bilder, kalt visuell grammatikk. Akkurat som verbalspråket har grammatikk (subjekt, verbal, objekt), har bilder et system for hvordan de skaper mening.
Tre hoveddimensjoner
1. Representasjon — hva viser bildet?
- Narrative bilder: Viser en handling eller prosess. Noen gjør noe. Det er bevegelse, retning, interaksjon.
- Eksempel: Et bilde av en sprinter som krysser mållinjen — vi ser handling og retning.
- Konseptuelle bilder: Viser noe statisk — en tilstand, en klassifisering, en struktur.
- Eksempel: Et organisasjonskart som viser hvem som er sjef for hvem — ingen handling, bare struktur.
2. Interaksjon — forholdet mellom bildet og betrakteren
- Kontakt: Ser personen på bildet rett inn i kameraet? I så fall skaper bildet en krav-relasjon (bildet «krever» noe av deg — oppmerksomhet, empati, handling). Hvis personen ser bort, er det et tilbud — bildet tilbyr seg til din betraktning uten å kreve noe.
- Avstand: Nærbilder skaper intimitet og følelsesmessig nærhet. Halvtotale bilder skaper sosial distanse. Totale bilder skaper upersonlig distanse.
- Vinkel: Frontalt perspektiv skaper likhet og identifikasjon. Skrå vinkel skaper distanse. Fugleperspektiv gir betrakteren makt. Froskeperspektiv gir det avbildede objektet makt.
3. Komposisjon — hvordan er bildet organisert?
- Informasjonsverdi: I vestlige kulturer er venstre side «kjent» (given) og høyre side «nytt» (new). Toppen er «ideell» og bunnen er «reell».
- Framtredenhet (salience): Det som er størst, skarpest, mest fargerikt eller mest sentralt, tiltrekker seg mest oppmerksomhet.
- Innramming: Linjer, fargeblokker og tomrom kan koble elementer sammen (tilhørighet) eller skille dem fra hverandre (adskillelse).
Hvordan bruke visuell grammatikk
Visuell grammatikk er ikke et rigid system der alt alltid betyr det samme. Det er et analyseverktøy som gir deg et fagspråk for å beskrive det du ser. I stedet for å si «bildet er fint», kan du si: «Nærbildet med direkte blikk-kontakt skaper en krav-relasjon som gjør at vi føler empati med personen.»
1. Representasjon: Hva viser bildet?
- Narrativ (handling, prosess) eller konseptuell (tilstand, struktur)
2. Interaksjon: Hvordan forholder bildet seg til betrakteren?
- Kontakt: Krav (blikk mot kamera) vs. tilbud (blikk bort)
- Avstand: Nærbilde (intimt) → halvtotalt (sosialt) → totalt (upersonlig)
- Vinkel: Frontal (likhet), skrå (distanse), ovenfra (betrakterens makt), nedenfra (det avbildedes makt)
3. Komposisjon: Hvordan er bildet organisert?
- Informasjonsverdi: Venstre = kjent, høyre = nytt, topp = ideell, bunn = reell
- Framtredenhet: Det mest iøynefallende elementet tiltrekker oppmerksomheten først
- Innramming: Linjer og tomrom kobler sammen eller skiller fra hverandre
Systemet gir deg fagspråk for å analysere bilder presist, i stedet for å basere analysen bare på personlig smak.
Et reklamebilde viser en person i nærbilde som ser rett inn i kameraet med et alvorlig ansiktsuttrykk. Under bildet står teksten: «Hvert tredje barn opplever mobbing. Gjør noe.» Ifølge visuell grammatikk — hva slags relasjon skaper blikk-kontakten mellom bildet og betrakteren?
Koherens og intersemiotiske relasjoner
Når vi analyserer multimodale tekster, handler det ikke bare om å identifisere de enkelte modalitetene. Det viktigste er å forstå koherensen — den indre sammenhengen — og de intersemiotiske relasjonene — hvordan modalitetene forholder seg til hverandre.
Koherens — henger teksten sammen?
En multimodal tekst har koherens når alle modalitetene jobber sammen mot et felles formål. Elementene passer visuelt, tematisk og logisk sammen. God koherens gjør at teksten føles som en helhet, selv om den bruker mange ulike uttrykksmåter.
Eksempel på god koherens: En nettside for en barnevernorganisasjon bruker dempede, varme farger, bilder av barn i trygge situasjoner, rolig og empatisk språk, og en oversiktlig layout. Alle modalitetene kommuniserer det samme: trygghet, omsorg, tillit.
Eksempel på dårlig koherens: Den samme nettsiden bruker neonfarger, harde kanter, en aggressiv font og bilder av luksusbiler. Innholdet handler om barnevern, men designet kommuniserer noe helt annet. Modalitetene motarbeider hverandre, og teksten mister troverdighet.
Intersemiotiske relasjoner
Intersemiotiske relasjoner beskriver hvordan modalitetene forholder seg til hverandre. De viktigste typene er:
Utdyping (elaboration): En modalitet gjentar eller utdyper det en annen allerede uttrykker. Tekst og bilde sier i bunn og grunn det samme.
- Eksempel: Et bilde av en oversvømt by med overskriften «Flomkatastrofe rammer Sørøst-Asia». Bildet og teksten forsterker hverandre.
Utvidelse (extension): En modalitet tilfører ny informasjon som den andre ikke har. Sammen gir de et mer komplett bilde.
- Eksempel: Et bilde av en smilende politiker med teksten «Statsministeren avviser all kritikk». Bildet viser utseende og ansiktsuttrykk, teksten gir kontekst og innhold — begge er nødvendige.
Forsterkning (enhancement): En modalitet forsterker den andre ved å tilføre tid, sted, årsak eller betingelse.
- Eksempel: En bildetekst som sier «Oslo sentrum, 14. mars 2025» under et fotografi — teksten forsterker bildet med tid og sted.
Kontrast: Modalitetene sier noe forskjellig eller motstridende — bevisst brukt for å skape ironi, humor, uro eller kritisk refleksjon.
- Eksempel: Et bilde av en brennende regnskog med reklameteksten «Vi elsker naturen» — kontrasten avslører hykleri.
Systematisk multimodal analyse
Når du skal gjennomføre en multimodal analyse, følg disse stegene:
1. Kontekst: Hvem er avsenderen? Hvem er målgruppen? Hva er formålet? Hvor publiseres teksten?
2. Identifiser modalitetene: Hvilke semiotiske ressurser brukes? Beskriv dem enkeltvis.
3. Analyser affordans: Hva bidrar hver modalitet med? Hva kan den gjøre som andre modaliteter ikke kan?
4. Analyser samspillet: Hvilke intersemiotiske relasjoner finnes? Utdyping, utvidelse, forsterkning eller kontrast?
5. Vurder koherens: Henger alle modalitetene sammen? Jobber de mot et felles formål, eller er det spenninger?
6. Tolk og vurder: Hva er den samlede effekten? Hvordan påvirker teksten mottakeren? Er den effektiv? Er den etisk?
Bestem hvilken type intersemiotisk relasjon som beskrives i hvert eksempel.
En nyhetsartikkel om en fotballkamp har et bilde av spilleren som scorer, med overskriften «Haaland scorer igjen!»
Et fotografi av en gammel kvinne som sitter ved et vindu, med bildeteksten «Martha, 92, venter fortsatt på å få plass på sykehjem.»
En reklame for cruiseferie viser krystallklart hav og hvite strender, mens det med liten skrift nederst står: «CO₂-utslipp per passasjer: 820 kg per uke.»
Gjennomfør en systematisk multimodal analyse av denne tenkte Instagram-posten fra en kjendis:
Bilde: Et nærbilde av kjendisen som holder opp et glass med en grønn smoothie. Bakgrunnen er et hvitt, minimalistisk kjøkken med planter. Kjendisen har på seg treningstøy og smiler mot kameraet.
Tekst (caption): «Ny dag, ny meg! Denne smoothien gir meg energi for hele dagen. Bruk kode KJENDIS20 for 20 % rabatt. #ad #samarbeid #sunnliv»
Tagger/hashtags: #ad, #samarbeid, #sunnliv, #smoothie, #morgenrutine
Avsender: En kjendis (influencer) med stor følgerskare. Formål: Reklame for et smoothie-produkt, kamuflerert som personlig anbefaling. Målgruppe: Unge følgere som ser opp til kjendisen. Plattform: Instagram (bildedrevet, personlig).
2. Semiotiske ressurser:
- Bilde: Nærbilde, blikk-kontakt, smilende ansikt, hvitt kjøkken, grønn smoothie, treningstøy, planter
- Verbaltekst: Personlig, entusiastisk språk, rabattkode, hashtags
- Farge: Grønt (smoothie, planter = helse, natur) + hvitt (renhet, enkelhet)
- Layout: Instagram-format — bilde dominerer, tekst under
3. Affordans:
Bildet har høy affordans for å vise livsstil visuelt — kjøkkenet, klærne og smoothien kommuniserer «sunt og vellykket liv» umiddelbart. Verbalteksten har affordans for å gi produktinformasjon og rabattkode. Hashtags har affordans for å kategorisere og øke synligheten.
4. Intersemiotiske relasjoner:
- Bilde og tekst står i utdyping: Begge formidler «sunt, energisk liv»
- Teksten utvider bildet med informasjon bildet ikke kan gi: produktnavn, rabattkode, at det er reklame
- Hashtag «#ad» og «#samarbeid» står i kontrast til den personlige tonen — de avslører at det personlige er betalt
5. Koherens:
Teksten har god visuell og tematisk koherens — alt peker i retning av «sunt og vellykket liv». Men det finnes en spenning mellom den personlige, autentiske tonen og det faktum at det er reklame. Hashtaggene #ad og #samarbeid bryter den personlige illusjonen — men de er plassert diskret blant andre hashtags.
6. Tolkning og kritisk vurdering:
Posten bruker det som kalles «native advertising» — reklame som ser ut som vanlig innhold. Krav-relasjonen (blikk-kontakt i nærbildet) skaper illusjonen av en personlig anbefaling. Fargene grønt og hvitt assosieres med helse og renhet. Men en kritisk leser ser at hele oppsettet er nøye planlagt for å selge et produkt — og at «#ad» er det eneste som avslører at dette ikke er en ekte, personlig opplevelse.
En nettside for et advokatfirma bruker Comic Sans som skrifttype, neonrosa bakgrunn og emojier i overskriftene. Hva er problemet med denne designløsningen?
Velg en multimodal tekst du møter i hverdagen — det kan være en reklame, en nettside, en forsideside, et Instagram-innlegg, en YouTube-thumbnail eller en plakat.
Gjennomfør en systematisk multimodal analyse (250–350 ord) der du følger alle seks stegene:
1. Kontekst: Hvem er avsenderen? Målgruppen? Formålet?
2. Identifiser modalitetene: Hvilke semiotiske ressurser brukes?
3. Analyser affordans: Hva bidrar hver modalitet med?
4. Analyser samspillet: Hvilke intersemiotiske relasjoner finnes? (utdyping, utvidelse, forsterkning, kontrast)
5. Vurder koherens: Henger alle modalitetene sammen?
6. Tolk og vurder: Hva er effekten? Er teksten effektiv? Er den etisk?
Oppsummering
Nøkkelbegreper
- Semiotikk: Læren om tegn og hvordan vi skaper og tolker mening
- Semiotisk ressurs: Ethvert middel for å kommunisere mening — tekst, bilde, lyd, farge, typografi, layout
- Modalitet: En overordnet kategori av semiotiske ressurser (visuell, auditiv, verbal, spatial)
- Affordans: Hva en modalitet egner seg til å uttrykke — dens muligheter og begrensninger
- Visuell grammatikk: System for å analysere bilder (representasjon, interaksjon, komposisjon)
- Krav vs. tilbud: Blikk-kontakt skaper krav-relasjon, blikk bort skaper tilbuds-relasjon
- Intersemiotiske relasjoner: Utdyping, utvidelse, forsterkning, kontrast
- Koherens: Den indre sammenhengen i en tekst — at alle modaliteter jobber mot samme formål
Viktige sammenhenger
- Ingen enkelt modalitet kan gjøre alt — derfor kombinerer vi dem i multimodale tekster
- Affordans forklarer HVORFOR avsenderen velger bestemte modaliteter for bestemte deler av budskapet
- Koherens er avgjørende for troverdighet — når designet motarbeider innholdet, mister teksten kraft
- En systematisk analyse bruker fagbegreper og følger en klar metode, i stedet for å basere seg på personlig smak
Samleoppgave: Sammenlign to versjoner av samme nyhet.
Finn en nyhetssak som er publisert både som nettartikkel (for eksempel på NRK eller VG) og som Instagram-post (eller TikTok/Snapchat-versjon).
Skriv en sammenlignende multimodal analyse (300–400 ord) der du:
a) Beskriver hvilke semiotiske ressurser som brukes i hver versjon
b) Analyserer affordansen: Hva kan nettartikkelen gjøre som Instagram-posten ikke kan, og omvendt?
c) Vurderer intersemiotiske relasjoner i begge versjoner
d) Diskuterer hvilken versjon som er mest effektiv for ulike målgrupper
e) Reflekterer over om noen av versjonene er mer etisk problematiske enn den andre
Samleoppgave: Design en multimodal tekst med bevisste valg.
Du skal lage en plakat for et skolearrangement (temakveld, konsert, idrettsdag, eller lignende). Plakaten skal bruke minst fire ulike semiotiske ressurser.
Lever to ting:
1. Selve plakaten (som bilde, tegning eller digitalt design)
2. En analytisk refleksjon (200–250 ord) der du:
a) Identifiserer hvilke semiotiske ressurser du brukte
b) Forklarer affordansen til hver ressurs — hvorfor valgte du akkurat disse?
c) Beskriver de intersemiotiske relasjonene — hvordan jobber ressursene sammen?
d) Vurderer koherensen — henger alt sammen? Kommuniserer plakaten det du ønsker?
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.