9.1 Multimodale tekster — Teori og analyse

Mer enn bare ord

Åpne telefonen din. Se på en hvilken som helst app. Hva ser du? Farger, ikoner, tekst i ulike størrelser, bilder, kanskje en video som spiller automatisk. Nå lukk øynene og tenk: Hva om alt dette bare var ren tekst? Ingen farger, ingen bilder, ingen design. Bare svarte bokstaver på hvit bakgrunn. Ville du forstått det like godt? Ville du brukt appen like mye?

Svaret er nei. Vi lever i en verden der ren tekst nesten ikke eksisterer lenger. Nesten alt vi møter, fra nettsider til lærebøker, fra reklame til nyhetsartikler, bruker flere uttrykksmåter samtidig. Tekst, bilder, farger, typografi, layout, lyd, video, animasjon. Alle disse elementene jobber sammen for å skape mening. En tekst som kombinerer flere slike uttrykksmåter, kalles en multimodal tekst.

Begrepet semiotikk er nøkkelen til å forstå hvordan dette fungerer. Semiotikk er læren om tegn og hvordan de skaper mening. Alt kan være et tegn: et ord, et bilde, en farge, en lyd, en gest. Et rødt trafikklys betyr «stopp» ikke fordi det er noe iboende «stopp-aktig» ved fargen rød, men fordi vi som samfunn har blitt enige om den betydningen.

I dette kapittelet skal du lære å analysere multimodale tekster systematisk. Du skal forstå begrepene semiotisk ressurs, affordans og visuell grammatikk, og du skal kunne bruke dem til å forklare hvordan tekster skaper mening.

Semiotiske ressurser — Byggesteinene i mening

En semiotisk ressurs er ethvert middel som brukes til å kommunisere mening. Tekst er en semiotisk ressurs. Det samme er bilder, farger, typografi, layout, lyd og gester. Når du lager en PowerPoint-presentasjon, bruker du flere semiotiske ressurser samtidig: teksten på slidene, bildene du velger, fargene i designet, skrifttypene, og kanskje lyden av stemmen din når du presenterer.

Hvert av disse elementene har sin egen affordans, det vil si sine egne muligheter og begrensninger for hva det kan uttrykke. Tekst er for eksempel veldig god til å formidle abstrakte ideer, argumenter og nyanser. Men tekst er dårlig til å vise hvordan noe ser ut. Et bilde derimot kan vise et ansiktsuttrykk på et øyeblikk, noe som ville krevd mange ord å beskrive. Men bildet kan ikke si «på den andre siden» eller «imidlertid». Hver modalitet har sin styrke.

Visuell grammatikk er et begrep utviklet av forskerne Gunther Kress og Theo van Leeuwen. Det beskriver et system for hvordan bilder skaper mening gjennom komposisjon, farge, vinkler og avstand. Akkurat som skriftlig grammatikk har regler for hvordan ord settes sammen til setninger, har visuell grammatikk regler for hvordan visuelle elementer organiseres for å kommunisere.

Et eksempel: I vestlig kultur leser vi fra venstre mot høyre. Derfor plasseres det kjente og gitte gjerne til venstre i en komposisjon, mens det nye og viktige plasseres til høyre. Det som er plassert øverst, forbindes ofte med det ideelle, mens det nederst forbindes med det reelle og konkrete. Og sentrale elementer oppfattes som viktigere enn elementer i periferien.

Når du analyserer en multimodal tekst, spør deg selv: Hvilke semiotiske ressurser er brukt? Hva er affordansen til hver av dem? Og hvordan spiller de sammen for å skape en helhetlig mening?

Å analysere en multimodal tekst — Steg for steg

Nå vet du hva semiotiske ressurser, affordans og visuell grammatikk er. Men hvordan bruker du dette i praksis? Her er en enkel fremgangsmåte du kan følge.

Start med å kartlegge modalitetene. Hvilke uttrykksmåter er brukt? Tekst, bilde, farge, typografi, layout, lyd, video? List opp alle du finner.

Deretter undersøker du hva hver modalitet bidrar med. Hva sier teksten? Hva viser bildene? Hvilken stemning skaper fargene? Hvilke assosiasjoner gir typografien? Husk at hver modalitet har sin affordans.

Så ser du på samspillet mellom modalitetene. Forskere bruker begrepet intersemiotisk relasjon for å beskrive hvordan ulike modaliteter forholder seg til hverandre. Noen ganger utfyller de hverandre: teksten forklarer det bildet viser. Andre ganger forsterker de hverandre: en dramatisk overskrift kombinert med et dramatisk bilde dobler effekten. Og noen ganger kan de motsi hverandre, for eksempel når en reklame viser glade mennesker mens den lille teksten nederst advarer om alvorlige bivirkninger.

Til slutt vurderer du helheten. Hva er hovedbudskapet i teksten? Hvem er målgruppen? Hva er formålet? Og fungerer teksten godt? Er det koherens, altså indre sammenheng, mellom de ulike elementene? Eller spriker det?

Denne fremgangsmåten fungerer på alt fra forsiden av en nettavis til en musikkvideos esteistikk. Jo mer du øver, jo bedre blir du til å se de bevisste valgene som ligger bak tilsynelatende tilfeldige tekster.

Oppsummering: Se det usynlige

Multimodale tekster kombinerer flere uttrykksmåter (modaliteter) for å skape mening. De er overalt i vår digitale hverdag.

Semiotikk er læren om tegn og meningsskaping. Semiotiske ressurser er alle midlene vi bruker for å kommunisere.

Affordans beskriver hva en modalitet er god til og hva den ikke kan gjøre.

Visuell grammatikk er et system for å analysere hvordan bilder skaper mening gjennom plassering, farge, vinkel og komposisjon.

Intersemiotiske relasjoner beskriver samspillet mellom ulike modaliteter. De kan utfylle, forsterke eller motsi hverandre.

Koherens er den indre sammenhengen i en tekst, der alle elementer støtter helheten.

Nøkkelbegreper: Multimodalitet, semiotikk, semiotisk ressurs, affordans, visuell grammatikk, intersemiotisk relasjon, koherens.