9.1 Multimodale tekster — Teori og analyse
Avansert teori om semiotikk, affordans og visuell grammatikk.
Multimodale tekstar — Teori og analyse
Du lever i ei verd der reine tekstar nesten ikkje finst lenger. Tenk etter: Når opna du sist ei bok som berre inneheldt svart tekst på kvit bakgrunn, utan bilde, utan fargar, utan noka form for grafisk design? Sjølv denne læreboka du les no, bruker overskrifter i ulike storleikar, farga bakgrunn på definisjonar, ikon ved sida av oppgåver og ein bestemt layout som hjelper deg å navigere i innhaldet.
Vi kommuniserer med kvarandre gjennom eit komplekst samspel av uttrykksmåtar heile tida. Når du sender ei melding til ein venn, bruker du ikkje berre ord — du vel emojiar, GIF-ar, sticker, bilde, kanskje ein stemmebeskjed eller ein video. Kvart val du tek, endrar meininga. Eit «ok» med punktum kommuniserer noko heilt anna enn eit «ok» med utropsteikn og ein tommel opp. Det er multimodalitet i praksis.
I dette kapittelet skal du gå djupare inn i teorien bak multimodale tekstar. Du har kanskje alt lært om modalitetar og samspel mellom dei. No skal du lære det teoretiske rammeverket som forskarar bruker for å analysere samansette tekstar systematisk. Du skal forstå omgrep som semiotiske ressursar, affordans, visuell grammatikk og intersemiotiske relasjonar — og du skal bruke dei til å gjennomføre eigne analysar.
I dette kapittelet skal du lære å:
- Forstå multimodalitet som teoretisk rammeverk
- Bruke omgrep som semiotisk ressurs, affordans og koherens
- Gjennomføre ein systematisk multimodal analyse av ulike tekstar
- Forstå visuell grammatikk og korleis bilde skaper meining
Ein semiotisk ressurs er ethvert middel vi bruker for å kommunisere meining. Det kan vere:
- Verbaltekst: Ord, setningar, tekststykke — det skriftlege språket
- Bilde: Fotografi, illustrasjonar, diagram, logoar, ikon
- Lyd: Tale, musikk, lydeffektar, togn
- Rørsle: Video, animasjon, gestar, kroppsspråk
- Farge: Fargeval som skaper stemning, identitet og assosiasjonar
- Typografi: Skrifttype, skriftstorleik, feit/kursiv, linjeavstand
- Layout: Plasseringa av element på ei side eller eit skjermbilde
- Materialitet: Papirkvalitet, skjermoppløysing, fysisk form
Ein modalitet er ein overordna kategori av semiotiske ressursar. Til dømes er «visuell modalitet» ein kategori som rommar både bilde, fargar, typografi og layout.
Viktig: Semiotiske ressursar er ikkje nøytrale. Kvart val kommuniserer noko. Å velje fonten Comic Sans i staden for Times New Roman er ikkje berre eit estetisk val — det endrar korleis mottakaren oppfattar seriøsiteten og truverdet til avsendaren.
Tenk deg forsida av VG ein vanleg nyheitsdag. Identifiser alle dei semiotiske ressursane som blir brukte.
1. Verbaltekst: Overskrifter i ulike storleikar, ingressar, bildetekstar, VG-logoen
2. Bilde: Hovudbilde (ofte stort og dramatisk), mindre bilde til andre saker, portrettbilde
3. Farge: Raud bakgrunn på logoen (kjennemerket til VG), raude og gule stikktitlar for å fange merksemd, fargeskilnader som skil saker frå kvarandre
4. Typografi: Stor, feit font på hovudoverskrifta signaliserer kor viktig ho er. Mindre font på mindre saker viser hierarki. Den karakteristiske skrifttypen til VG skaper attkjenning.
5. Layout: Hovudsaka dominerer forsida (størst bilde, størst overskrift). Saker er plasserte i eit hierarki der dei viktigaste er øvst og størst. Fargeblokker deler inn ulike saker.
6. Ikon/grafikk: Piler, rammer, «PLUSS»-merking for betalingsinnhald
7. Materialitet (digital): Responsivt design som tilpassar seg skjermstorleik, klikkbare element, animerte overgangar
Samspel: Alle ressursane jobbar saman for å skape eit hierarki: Kva er viktigast? Kva bør du lese først? Det store bildet og den feite overskrifta ropar «SJÅ HER!», medan den raude fargen og den stramme layouten signaliserer at dette er ei seriøs (men òg dramatiserande) nyheitskjelde.
Kva tyder omgrepet «semiotisk ressurs» i analysen av multimodale tekstar?
Affordans — kva kan kvar modalitet?
Eit sentralt omgrep i multimodal teori er affordans. Affordans handlar om kva ein bestemt modalitet eignar seg til og kva han ikkje kan gjere. Kvar modalitet har sine styrkar og avgrensingar.
Døme på affordans
Verbaltekst har høg affordans for:
- Abstrakte omgrep og argumentasjon
- Presise skildringar og nyansar
- Tidsrekkjefølgje og logiske samanhengar
- Indre tankar og kjensler
Verbaltekst har låg affordans for:
- Romlege relasjonar (korleis ting ser ut i høve til kvarandre)
- Umiddelbar emosjonell påverknad
- Samtidigheit (å vise fleire ting som skjer på éin gong)
Bilde har høg affordans for:
- Romlege relasjonar og utsjånad
- Umiddelbar emosjonell verknad
- Å vise fleire element samstundes
- Å skape stemning gjennom fargar og komposisjon
Bilde har låg affordans for:
- Abstrakte omgrep (vanskeleg å «vise» demokrati eller kjærleik direkte)
- Tidsforløp (eit stillbilde fangar berre eitt augeblikk)
- Logisk argumentasjon
Lyd/musikk har høg affordans for:
- Emosjonell påverknad (musikk kan endre stemninga på eit sekund)
- Å skape atmosfære og stemning
- Tidsmessig utvikling (musikk utfaldar seg over tid)
Lyd/musikk har låg affordans for:
- Presise skildringar av utsjånad
- Logisk argumentasjon
- Romlege relasjonar
Kvifor affordans er viktig
Forståinga av affordans forklarar kvifor vi bruker samansette tekstar. Ingen enkelt modalitet kan gjere alt. Tekst er god til å argumentere, men dårleg til å vise. Bilde er gode til å vise, men dårlege til å argumentere. Musikk er god til å røre, men dårleg til å forklare. Difor kombinerer vi dei — for å utnytte styrkane til kvar modalitet.
Når du analyserer ein multimodal tekst, er eit godt spørsmål: Kvifor valde avsendaren akkurat denne modaliteten til akkurat denne delen av bodskapen? Svaret handlar ofte om affordans.
Omgrepet stammar frå den australske forskaren Gunther Kress, ein av grunnleggjarane av multimodal teori. Han argumenterer for at valet av modalitet aldri er tilfeldig: Avsendaren vel den modaliteten som best kan uttrykkje det dei vil seie.
Døme:
- Ein lege bruker eit røntgenbilde (visuell modalitet) for å vise bruddet i beinet ditt — fordi tekst åleine ikkje kan formidle den romlege informasjonen like presist.
- Ein diktar bruker ord for å skildre ei kjensle av sorg — fordi eit bilde ikkje kan fange dei indre tankane og nyansane like godt.
- Ein filmskapar bruker musikk for å skape spenning — fordi lyd påverkar kjenslene meir umiddelbart enn tekst.
Konsekvens for analyse: Når du analyserer ein multimodal tekst, bør du vurdere: Kva bidreg denne modaliteten med som dei andre ikkje kan? Kva ville gått tapt dersom vi fjerna han?
Vurder affordansen til ulike modalitetar i desse situasjonane. Kva modalitet eignar seg best, og kvifor?
Du skal forklare korleis ein vulkan fungerer til ein 10-åring.
Du skal overtyde nokon om at klimaendringane er ekte.
Du skal formidle kjensla av å stå åleine på ei tom strand ved solnedgang.
Visuell grammatikk — slik «les» du bilde
Dei australske forskarane Gunther Kress og Theo van Leeuwen utvikla eit system for å analysere bilde, kalla visuell grammatikk. Akkurat som verbalspråket har grammatikk (subjekt, verbal, objekt), har bilde eit system for korleis dei skaper meining.
Tre hovuddimensjonar
1. Representasjon — kva viser bildet?
- Narrative bilde: Viser ei handling eller prosess. Nokon gjer noko. Det er rørsle, retning, interaksjon.
- Døme: Eit bilde av ein sprintar som kryssar mållinja — vi ser handling og retning.
- Konseptuelle bilde: Viser noko statisk — ein tilstand, ei klassifisering, ein struktur.
- Døme: Eit organisasjonskart som viser kven som er sjef for kven — inga handling, berre struktur.
2. Interaksjon — tilhøvet mellom bildet og betraktaren
- Kontakt: Ser personen på bildet rett inn i kameraet? I så fall skaper bildet ein krav-relasjon (bildet «krev» noko av deg — merksemd, empati, handling). Dersom personen ser bort, er det eit tilbod — bildet tilbyr seg til di betrakting utan å krevje noko.
- Avstand: Nærbilde skaper intimitet og kjenslemessig nærleik. Halvtotale bilde skaper sosial distanse. Totale bilde skaper upersonleg distanse.
- Vinkel: Frontalt perspektiv skaper likskap og identifikasjon. Skrå vinkel skaper distanse. Fugleperspektiv gir betraktaren makt. Froskeperspektiv gir det avbilda objektet makt.
3. Komposisjon — korleis er bildet organisert?
- Informasjonsverdi: I vestlege kulturar er venstre side «kjend» (given) og høgre side «nytt» (new). Toppen er «ideell» og botnen er «reell».
- Framtreding (salience): Det som er størst, skarpast, mest fargerikt eller mest sentralt, trekkjer til seg mest merksemd.
- Innramming: Linjer, fargeblokker og tomrom kan kople element saman (tilhøyrsle) eller skilje dei frå kvarandre (åtskiljing).
Korleis bruke visuell grammatikk
Visuell grammatikk er ikkje eit rigid system der alt alltid tyder det same. Det er eit analyseverktøy som gir deg eit fagspråk for å skildre det du ser. I staden for å seie «bildet er fint», kan du seie: «Nærbildet med direkte blikk-kontakt skaper ein krav-relasjon som gjer at vi føler empati med personen.»
1. Representasjon: Kva viser bildet?
- Narrativ (handling, prosess) eller konseptuell (tilstand, struktur)
2. Interaksjon: Korleis forheld bildet seg til betraktaren?
- Kontakt: Krav (blikk mot kamera) vs. tilbod (blikk bort)
- Avstand: Nærbilde (intimt) → halvtotalt (sosialt) → totalt (upersonleg)
- Vinkel: Frontal (likskap), skrå (distanse), ovanfrå (makta til betraktaren), nedanfrå (makta til det avbilda)
3. Komposisjon: Korleis er bildet organisert?
- Informasjonsverdi: Venstre = kjend, høgre = nytt, topp = ideell, botn = reell
- Framtreding: Det mest iaugefallande elementet trekkjer til seg merksemda først
- Innramming: Linjer og tomrom koplar saman eller skil frå kvarandre
Systemet gir deg fagspråk for å analysere bilde presist, i staden for å basere analysen berre på personleg smak.
Eit reklamebilde viser ein person i nærbilde som ser rett inn i kameraet med eit alvorleg andletsuttrykk. Under bildet står teksten: «Hvert tredje barn opplever mobbing. Gjør noe.» Ifølgje visuell grammatikk — kva slags relasjon skaper blikk-kontakten mellom bildet og betraktaren?
Koherens og intersemiotiske relasjonar
Når vi analyserer multimodale tekstar, handlar det ikkje berre om å identifisere dei enkelte modalitetane. Det viktigaste er å forstå koherensen — den indre samanhengen — og dei intersemiotiske relasjonane — korleis modalitetane forheld seg til kvarandre.
Koherens — heng teksten saman?
Ein multimodal tekst har koherens når alle modalitetane jobbar saman mot eit felles føremål. Elementa passar visuelt, tematisk og logisk saman. God koherens gjer at teksten kjennest som ein heilskap, sjølv om han bruker mange ulike uttrykksmåtar.
Døme på god koherens: Ei nettside for ein barnevernsorganisasjon bruker dempa, varme fargar, bilde av barn i trygge situasjonar, roleg og empatisk språk, og ein oversiktleg layout. Alle modalitetane kommuniserer det same: tryggleik, omsorg, tillit.
Døme på dårleg koherens: Den same nettsida bruker neonfargar, harde kantar, ein aggressiv font og bilde av luksusbilar. Innhaldet handlar om barnevern, men designet kommuniserer noko heilt anna. Modalitetane motarbeider kvarandre, og teksten mistar truverd.
Intersemiotiske relasjonar
Intersemiotiske relasjonar skildrar korleis modalitetane forheld seg til kvarandre. Dei viktigaste typane er:
Utdjuping (elaboration): Ein modalitet gjentek eller utdjupar det ein annan alt uttrykkjer. Tekst og bilde seier i botnen og grunnen det same.
- Døme: Eit bilde av ein oversvømt by med overskrifta «Flomkatastrofe rammer Sørøst-Asia». Bildet og teksten forsterkar kvarandre.
Utviding (extension): Ein modalitet tilfører ny informasjon som den andre ikkje har. Saman gir dei eit meir komplett bilde.
- Døme: Eit bilde av ein smilande politikar med teksten «Statsministeren avviser all kritikk». Bildet viser utsjånad og andletsuttrykk, teksten gir kontekst og innhald — begge er nødvendige.
Forsterking (enhancement): Ein modalitet forsterkar den andre ved å tilføre tid, stad, årsak eller vilkår.
- Døme: Ein bildetekst som seier «Oslo sentrum, 14. mars 2025» under eit fotografi — teksten forsterkar bildet med tid og stad.
Kontrast: Modalitetane seier noko ulikt eller motstridande — medvite brukt for å skape ironi, humor, uro eller kritisk refleksjon.
- Døme: Eit bilde av ein brennande regnskog med reklameteksten «Vi elsker naturen» — kontrasten avslører hykleri.
Systematisk multimodal analyse
Når du skal gjennomføre ein multimodal analyse, følg desse stega:
1. Kontekst: Kven er avsendaren? Kven er målgruppa? Kva er føremålet? Kvar blir teksten publisert?
2. Identifiser modalitetane: Kva semiotiske ressursar blir brukte? Skildre dei enkeltvis.
3. Analyser affordans: Kva bidreg kvar modalitet med? Kva kan han gjere som andre modalitetar ikkje kan?
4. Analyser samspelet: Kva intersemiotiske relasjonar finst? Utdjuping, utviding, forsterking eller kontrast?
5. Vurder koherens: Heng alle modalitetane saman? Jobbar dei mot eit felles føremål, eller er det spenningar?
6. Tolk og vurder: Kva er den samla effekten? Korleis påverkar teksten mottakaren? Er han effektiv? Er han etisk?
Bestem kva type intersemiotisk relasjon som blir skildra i kvart døme.
Ein nyheitsartikkel om ein fotballkamp har eit bilde av spelaren som scorar, med overskrifta «Haaland scorer igjen!»
Eit fotografi av ei gammal kvinne som sit ved eit vindauge, med bildeteksten «Martha, 92, venter fortsatt på å få plass på sykehjem.»
Ein reklame for cruiseferie viser krystallklart hav og kvite strender, medan det med liten skrift nedst står: «CO₂-utslipp per passasjer: 820 kg per uke.»
Gjennomfør ein systematisk multimodal analyse av denne tenkte Instagram-posten frå ein kjendis:
Bilde: Eit nærbilde av kjendisen som held opp eit glas med ein grøn smoothie. Bakgrunnen er eit kvitt, minimalistisk kjøkken med planter. Kjendisen har på seg treningstøy og smiler mot kameraet.
Tekst (caption): «Ny dag, ny meg! Denne smoothien gir meg energi for hele dagen. Bruk kode KJENDIS20 for 20 % rabatt. #ad #samarbeid #sunnliv»
Taggar/hashtags: #ad, #samarbeid, #sunnliv, #smoothie, #morgenrutine
Avsendar: Ein kjendis (influencer) med stor følgjarskare. Føremål: Reklame for eit smoothie-produkt, kamuflert som personleg tilråding. Målgruppe: Unge følgjarar som ser opp til kjendisen. Plattform: Instagram (bildedriven, personleg).
2. Semiotiske ressursar:
- Bilde: Nærbilde, blikk-kontakt, smilande andlet, kvitt kjøkken, grøn smoothie, treningstøy, planter
- Verbaltekst: Personleg, entusiastisk språk, rabattkode, hashtags
- Farge: Grønt (smoothie, planter = helse, natur) + kvitt (reinleik, enkelheit)
- Layout: Instagram-format — bilde dominerer, tekst under
3. Affordans:
Bildet har høg affordans for å vise livsstil visuelt — kjøkkenet, kleda og smoothien kommuniserer «sunt og vellykka liv» umiddelbart. Verbalteksten har affordans for å gi produktinformasjon og rabattkode. Hashtags har affordans for å kategorisere og auke synlegheita.
4. Intersemiotiske relasjonar:
- Bilde og tekst står i utdjuping: Begge formidlar «sunt, energisk liv»
- Teksten utvider bildet med informasjon bildet ikkje kan gi: produktnamn, rabattkode, at det er reklame
- Hashtag «#ad» og «#samarbeid» står i kontrast til den personlege tonen — dei avslører at det personlege er betalt
5. Koherens:
Teksten har god visuell og tematisk koherens — alt peikar i retning av «sunt og vellykka liv». Men det finst ei spenning mellom den personlege, autentiske tonen og det faktum at det er reklame. Hashtaggane #ad og #samarbeid bryt den personlege illusjonen — men dei er plasserte diskret blant andre hashtags.
6. Tolking og kritisk vurdering:
Posten bruker det som blir kalla «native advertising» — reklame som ser ut som vanleg innhald. Krav-relasjonen (blikk-kontakt i nærbildet) skaper illusjonen av ei personleg tilråding. Fargane grønt og kvitt blir assosierte med helse og reinleik. Men ein kritisk lesar ser at heile oppsettet er nøye planlagt for å selje eit produkt — og at «#ad» er det einaste som avslører at dette ikkje er ei ekte, personleg oppleving.
Ei nettside for eit advokatfirma bruker Comic Sans som skrifttype, neonrosa bakgrunn og emojiar i overskriftene. Kva er problemet med denne designløysinga?
Vel ein multimodal tekst du møter i kvardagen — det kan vere ein reklame, ei nettside, ei forside, eit Instagram-innlegg, ein YouTube-thumbnail eller ein plakat.
Gjennomfør ein systematisk multimodal analyse (250–350 ord) der du følgjer alle dei seks stega:
1. Kontekst: Kven er avsendaren? Målgruppa? Føremålet?
2. Identifiser modalitetane: Kva semiotiske ressursar blir brukte?
3. Analyser affordans: Kva bidreg kvar modalitet med?
4. Analyser samspelet: Kva intersemiotiske relasjonar finst? (utdjuping, utviding, forsterking, kontrast)
5. Vurder koherens: Heng alle modalitetane saman?
6. Tolk og vurder: Kva er effekten? Er teksten effektiv? Er han etisk?
Oppsummering
Nøkkelomgrep
- Semiotikk: Læra om teikn og korleis vi skaper og tolkar meining
- Semiotisk ressurs: Ethvert middel for å kommunisere meining — tekst, bilde, lyd, farge, typografi, layout
- Modalitet: Ein overordna kategori av semiotiske ressursar (visuell, auditiv, verbal, spatial)
- Affordans: Kva ein modalitet eignar seg til å uttrykkje — moglegheitene og avgrensingane han har
- Visuell grammatikk: System for å analysere bilde (representasjon, interaksjon, komposisjon)
- Krav vs. tilbod: Blikk-kontakt skaper krav-relasjon, blikk bort skaper tilbods-relasjon
- Intersemiotiske relasjonar: Utdjuping, utviding, forsterking, kontrast
- Koherens: Den indre samanhengen i ein tekst — at alle modalitetar jobbar mot same føremål
Viktige samanhengar
- Ingen enkelt modalitet kan gjere alt — difor kombinerer vi dei i multimodale tekstar
- Affordans forklarar KVIFOR avsendaren vel bestemte modalitetar for bestemte delar av bodskapen
- Koherens er avgjerande for truverd — når designet motarbeider innhaldet, mistar teksten kraft
- Ein systematisk analyse bruker fagomgrep og følgjer ein klar metode, i staden for å basere seg på personleg smak
Samleoppgåve: Samanlikn to versjonar av same nyheit.
Finn ei nyheitssak som er publisert både som nettartikkel (til dømes på NRK eller VG) og som Instagram-post (eller TikTok/Snapchat-versjon).
Skriv ein samanliknande multimodal analyse (300–400 ord) der du:
a) Skildrar kva semiotiske ressursar som blir brukte i kvar versjon
b) Analyserer affordansen: Kva kan nettartikkelen gjere som Instagram-posten ikkje kan, og omvendt?
c) Vurderer intersemiotiske relasjonar i begge versjonar
d) Diskuterer kva versjon som er mest effektiv for ulike målgrupper
e) Reflekterer over om nokon av versjonane er meir etisk problematiske enn den andre
Samleoppgåve: Design ein multimodal tekst med medvitne val.
Du skal lage ein plakat for eit skulearrangement (temakveld, konsert, idrettsdag, eller liknande). Plakaten skal bruke minst fire ulike semiotiske ressursar.
Lever to ting:
1. Sjølve plakaten (som bilde, teikning eller digitalt design)
2. Ein analytisk refleksjon (200–250 ord) der du:
a) Identifiserer kva semiotiske ressursar du brukte
b) Forklarar affordansen til kvar ressurs — kvifor valde du akkurat desse?
c) Skildrar dei intersemiotiske relasjonane — korleis jobbar ressursane saman?
d) Vurderer koherensen — heng alt saman? Kommuniserer plakaten det du ønskjer?
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.