1.3 Multimodal analyse

Når bilde, tekst og lyd snakker sammen

Åpne en nyhetsartikkel på nett. Sjansen er stor for at du ikke bare ser tekst. Det er et bilde på toppen, kanskje et videoklipp, litt grafikk, noen lenker. Scroller du videre til Instagram, møter du et bilde med tekst, emojier, hashtagger og kanskje en musikksnutt. En dokumentarfilm fletter sammen tale, musikk, naturlyder, bilder og grafikk. Nesten ingen moderne medietekst er ren tekst eller rent bilde.

Tekster som bruker flere modaliteter – altså flere uttrykksmåter på en gang – kaller vi multimodale tekster. Og det avgjørende poenget er dette: meningen ligger ikke i hver enkelt del, men i samspillet mellom dem. Et bilde av en gråtende person betyr noe helt annet under overskriften «Sorgen etter ulykken» enn under «Tårer av glede etter gullet». Konteksten fra den ene modaliteten forandrer den andre.

Multimodal analyse er metoden for å undersøke hvordan modalitetene samvirker for å skape mening. Fagfeltet bygger særlig på Gunther Kress og Theo van Leeuwen, som har laget et systematisk rammeverk for å analysere sammensatte tekster.

Modalitetene vi har å spille på

En modalitet er rett og slett en uttrykksmåte, en ressurs vi bruker til å skape mening. De viktigste i medietekster er noen få, men kraftfulle. Vi har verbalspråket, altså skriften – ord, setninger, typografi og layout. Vi har den visuelle modaliteten med bilder, fotografier, illustrasjoner, farger og komposisjon. Vi har den auditive modaliteten med tale, musikk, lydeffekter og til og med stillhet. Vi har bevegelse, den kinetiske modaliteten, som film, animasjon og gestikk. Og vi har den romlige modaliteten – hvordan ting plasseres, avstander, layout og rom. Når en tekst tar i bruk to eller flere av disse for å skape mening, er den multimodal, og hvert middel vi bruker kalles en semiotisk ressurs.

La oss se det i praksis på en nettavisforside med en toppnyhet om en klimarapport. Skriften gir oss en stor, rød overskrift: «ALARMEN GÅR» – det skaper dramatikk og hastverk. Bildet viser en oversvømt landsby, og gjør den abstrakte trusselen «klimaendringer» til noe konkret og følbart. Fargen rødt signaliserer fare. Typografien, stor og fet, roper at dette er dagens viktigste sak. Layouten plasserer alt øverst, i stort format, som et signal om prioritet. En liten avspillingsknapp på bildet inviterer deg dypere inn. Ingen av disse elementene gjør jobben alene. Overskriften er dramatisk, men det er bildet som gjør klimakrisen virkelig, og fargen som forsterker faren. Helheten blir mer enn summen av delene.

Hvordan modalitetene forholder seg til hverandre

Kress og van Leeuwen peker på at modaliteter kan møtes på flere måter, og det er nyttig å kunne navnene på dem. Ved utdyping presiserer den ene modaliteten den andre: bildeteksten «Statsministeren under dagens pressekonferanse» forteller deg hvem personen på bildet er. Ved utvidelse legger den ene modaliteten til informasjon den andre ikke har – som et nyhetsinnslag der reporterens tale gir tall og fakta, mens bildene viser konsekvenser som aldri nevnes høyt. Ved forsterkning understreker den ene modaliteten budskapet i den andre – tenk på dramatisk musikk i en dokumentar som intensiverer alvoret i bildene. Og ved kontrast står modalitetene i motsetning til hverandre, noe som kan skape ironi eller ubehag – et gledesstrålende bilde med en overskrift som avslører at personen er tatt for svindel.

La oss bruke disse begrepene på en helt vanlig influencer-post. Bildet viser influenceren ved et pent dekket frokostbord. Teksten lyder: «God morgen, verden! Starter dagen med favorittfrokosten min. Livet er godt.» Det er noen emojier – sol, hjerte, avokado – og hashtaggene #godmorgen, #sunnfrokost, #livetsgodt og #annonse. Her ser vi flere relasjoner på en gang. Tekst og bilde står i utdyping, for teksten bekrefter det bildet viser. Emojiene står i forsterkning til bildet, for de pumper opp den positive stemningen. Hashtaggene utgjør en utvidelse, en søkbar og sosial dimensjon teksten alene ikke har. Men det mest interessante er #annonse, som skaper en kontrast: den avslører at det «spontane» øyeblikket faktisk er betalt reklame. Nettopp denne spenningen mellom autentisitet og kommersiell hensikt er hjertet i hele influenserkulturen – og det er den multimodale analysen som får den fram i lyset.

Oppsummering

Vi har sett at en modalitet er en uttrykksmåte – skrift, bilde, lyd, bevegelse eller rom – og at multimodale tekster skaper mening gjennom samspillet mellom flere av dem. Nesten alle moderne medietekster er multimodale, og Kress og van Leeuwen har gitt oss et rammeverk for å analysere dem.

Modalitetene kan møtes gjennom utdyping (den ene presiserer den andre), utvidelse (den ene legger til ny informasjon), forsterkning (den ene understreker den andre) og kontrast (de står i motsetning). Det viktigste å ta med seg er at meningen alltid ligger i samspillet, ikke i enkeltelementene – helheten er mer enn summen av delene. Med disse begrepene kan du avsløre hvordan en nettavisforside dramatiserer, eller hvordan en influencer-post balanserer mellom autentisitet og reklame.