Samspillet mellom tekst, bilde, lyd og bevegelse.
Multimodal analyse
Moderne medietekstar er sjeldan reine tekstbaserte eller reine visuelle uttrykk. Ein nyheitsartikkel på nett kombinerer skriftleg tekst, bilete, videoklipp, grafikk og interaktive element. Ein Instagram-post sameinar bilete, tekst, emojiar, hashtagar og kanskje musikk. Ein dokumentarfilm flettar saman tale, musikk, naturlydar, bilete og grafiske element.
Slike tekstar som bruker fleire modalitetar – altså fleire uttrykksmåtar – blir kalla multimodale tekstar. Og det er nettopp samspelet mellom modalitetane som skaper den heilskaplege meininga. Eit bilete betyr noko anna når det blir følgt av ei dramatisk overskrift enn når det står åleine.
Multimodal analyse er ein metode for å undersøkje korleis ulike modalitetar samverkar for å skape meining i samansette medietekstar. Fagfeltet byggjer særleg på arbeida til Gunther Kress og Theo van Leeuwen, som har utvikla eit systematisk rammeverk for multimodal analyse.
- Verbalspråk (skrift): Ord, setningar, typografi, layout
- Visuell modalitet: Bilete, fotografi, illustrasjonar, fargar, komposisjon
- Auditiv modalitet: Tale, musikk, lydeffektar, stillheit
- Rørsle/kinetisk modalitet: Film, animasjon, gestikk, dans
- Romleg modalitet: Layout, plassering, avstand, 3D-rom
Multimodalitet betyr at ein tekst bruker fleire modalitetar samtidig for å skape meining.
Multimodal tekst: Ein tekst der meining blir skapt gjennom samspel mellom to eller fleire modalitetar. Nesten alle moderne medietekstar er multimodale.
Semiotisk ressurs: Eitkvart middel som blir brukt til å kommunisere meining – skrift, bilete, farge, typografi, lyd, gestar osv.
Modalitetar i samspel:
| Modalitet | Element | Funksjon |
|---|---|---|
| Skrift | Stor, raud overskrift: «ALARMEN GÅR» | Skaper dramatikk og hastverk |
| Bilete | Foto av oversvømt landsby | Gjer abstrakt trussel konkret og emosjonell |
| Farge | Raudt på overskrift | Signaliserer fare og viktigheit |
| Typografi | Stor, feit skrift | Markerer toppnyheit, fangar merksemd |
| Layout | Plassert øvst, stort format | Prioritet – dette er dagens viktigaste sak |
| Video (ikon) | Avspelingsknapp på biletet | Inviterer til ytterlegare fordjuping |
Samspel: Kvar modalitet bidreg med sin del av meininga. Overskrifta åleine er dramatisk, men det er biletet av den oversvømde landsbyen som gjer abstraksjonen «klimaendringar» til ein konkret, emosjonell realitet. Fargen raudt forsterkar faresignalet. Samspelet mellom modalitetane skaper ein heilskap som er meir enn summen av delane.
Kva meiner ein med ein «multimodal tekst»?
Kress og van Leeuwen skildrar ulike måtar modalitetar kan forhalde seg til kvarandre på:
Utdjuping (elaboration):
Den eine modaliteten utdjupar eller presiserer den andre. Teksten under eit bilete forklarer kva vi ser.
- Døme: «Statsminister Jonas Gahr Støre under pressekonferansen i dag» (teksten presiserer kven personen på biletet er)
Utviding (extension):
Den eine modaliteten legg til ny informasjon som den andre ikkje inneheld.
- Døme: Eit nyheitsinnslag der talen til reporteren gjev fakta og tal, medan bileta viser konsekvensar som ikkje blir nemnde i teksten
Forsterking (enhancement):
Den eine modaliteten forsterkar eller understrekar bodskapen i den andre.
- Døme: Dramatisk musikk i ein dokumentar som forsterkar den alvorlege stemninga i bileta
Kontrast/motsetnad:
Modalitetane kan stå i motsetnad til kvarandre, noko som skaper ironi, humor eller ambivalens.
- Døme: Eit gledesstrålande bilete med ei overskrift som avslører at personen er avslørt for svindel
Bilete: Influenceren sit ved eit pent dekt frukostbord med sunn mat.
Tekst: «God morgon, verda! Startar dagen med favorittfrukosten min. Livet er godt.»
Emojiar: Solskin, hjarte, avokado
Hashtagar: #godmorgen #sunnfrokost #livetsgodt #annonse
Multimodal analyse:
| Relasjon | Analyse |
|---|---|
| Bilete + tekst | Utdjuping: Teksten stadfestar det biletet viser (frukost, god start på dagen) |
| Bilete + emojiar | Forsterking: Emojiane forsterkar den positive stemninga i biletet |
| Bilete + #annonse | Kontrast: Hashtagen avslører at det «spontane» biletet er betalt reklame – dette skaper ei spenning mellom autentisitet og kommersiell hensikt |
| Tekst + hashtagar | Utviding: Hashtagane legg til ein sosial/søkbar dimensjon som teksten åleine ikkje har |
Konklusjon: Den multimodale analysen avdekkjer spenninga mellom autentisitet og reklame som er sentral i influencerkultur. Samspelet mellom modalitetane konstruerer ein illusjon av spontanitet som hashtagen #annonse delvis avslører.
Når dramatisk musikk i ein dokumentarfilm forsterkar alvoret i bileta, er dette eit døme på kva funksjonell relasjon mellom modalitetane?
- Modalitet er ein uttrykksmåte: skrift, bilete, lyd, rørsle, rom
- Multimodale tekstar skaper meining gjennom samspel mellom fleire modalitetar
- Nesten alle moderne medietekstar er multimodale
- Kress og van Leeuwen har utvikla eit systematisk rammeverk for multimodal analyse
- Modalitetar kan forhalde seg til kvarandre gjennom utdjuping, utviding, forsterking eller kontrast
- Det er samspelet mellom modalitetane som skaper heilskapen – han er meir enn summen av delane
- Multimodal analyse avslører korleis medietekstar bruker fleire uttrykksmåtar strategisk for å skape ønskt effekt
Vel ei forside frå ei norsk nettavis (t.d. VG, Dagbladet, NRK). Gjennomfør ein multimodal analyse der du identifiserer alle modalitetar som er i bruk, og analyser samspelet mellom dei. Bruk omgrepa utdjuping, utviding, forsterking og kontrast.
Analyser eit TV-reklameinnslag multimodalt. Skildr korleis tale, musikk, bilete, tekst og fargar samverkar for å skape ein bestemt bodskap og ei bestemt stemning. Kva modalitet er mest framtredande, og kvifor trur du han er vald som dominant?
Lag to versjonar av ein nyheitspresentasjon om same hending, der du medvite manipulerer samspelet mellom bilete og tekst. I den eine versjonen skal modalitetane forsterke kvarandre, i den andre skal dei stå i kontrast. Forklar verknaden av dei to versjonane.
Drøft korleis utviklinga av digitale media har endra moglegheitene for multimodal kommunikasjon. Samanlikn ei papiravis med ei nettavis, og analyser kva modalitetar som er tilgjengelege i kvar, og kva dette betyr for meiningsskapinga.
Dette kapitlet er skrevet av Anthropics toppmodeller (Claude Opus og Claude Fable) og er foreløpig ikke manuelt gjennomgått — kvalitetskontrollen gjøres av uavhengige KI-agenter, og innmeldte feil rettes fortløpende. Funnet en feil? Meld fra, så retter vi den. Les mer om hvordan innholdet lages.