Algemeen letterkundig lexicon

multimodaliteit

Etym: Lat. multi- = veel; modaliteit < Fr. modalité = wijze van zijn < Lat. modus = maat, grens, wijze.

Multimodaliteit verwijst naar het feit dat betekenissen en hun representatie en communicatie afhangen van verschillende tekensystemen, bronnen en kanalen. Dit idee krijgt vanaf de late jaren 1990 veel aandacht in de taalkunde, waar men meer en meer benadrukt dat talige boodschappen in de sociale werkelijkheid niet met ‘taal’ alleen werken, maar ook met allerlei ‘andere’ betekenismiddelen: bijv. illustraties en lay-out in geschreven communicatie, of lichaamstaal bij mondelinge communicatie. In audiovisuele en digitale omgevingen is multimodaliteit bij uitstek sterk aanwezig. Het concept staat centraal in de sociale semiotiek.

Een voorbeeld: educatieve communicatie in de klas gebeurt typisch door een combinatie en integratie van tekstuele, visuele en auditieve signalen. Denken we maar aan de gesproken woorden van de leraar, de tekst en de plaatjes in een handboek en in een powerpointpresentatie. Maar het gaat ook verder. Een handboek bevat naast tekst ook diagrammen, foto’s, emoticons, enz. Bovendien hebben die foto’s eigen semiotische middelen zoals perspectief, kleur en compositie. Hetzelfde geldt voor de lichaamstaal van leerkracht en leerlingen, die eveneens deel uitmaakt van de educatieve communicatie: die bestaat uit elementen zoals voorkomen, gelaatsuitdrukking, blik, gebaren, beweging, enz. Elk van deze diverse bronnen levert zijn eigen bijdrage tot het creëren en overdragen van betekenis.

Voor de letterkunde maakt men vaak een strak onderscheid tussen enerzijds mondelinge (orale literatuur) en anderzijds geschreven of gedrukte literatuur, wat ons kan doen vergeten dat multimodaliteit een kenmerk is van alle literaire communicatie. Dat ligt voor de hand bij visueel-verbale genres als het embleem (emblema), het prentenboek en de graphic novel, bij muzikaal-literaire genres als het lied of het hoorspel, bij performatieve praktijken als voordracht en Gesamtkunstwerk. Maar ook ‘traditionele’ gedrukte literaire teksten, die op het eerste gezicht slechts op een enkel medium lijken te berusten, hebben een multimodale dimensie: bijv. het gecombineerde belang van bladspiegel en klank bij poëzie. Zeker in de studie van de jeugdliteratuur is het concept multimodaliteit niet weg te denken.

Zie ook gebarenpoëzie en intermedialiteit.

Lit: G. Kress & Th. van Leeuwen, Reading images (1991) • R. Page (red.), New perspectives on narrative and multimodality (2009) • A. Gibbons, Multimodality, cognition, and experimental literature (2012) • C. Jewitt, J. Bezemer & K. O’Halloran, Introducing multimodality (2016) • L. Vandelanotte & B. Dancygier (red.), Multimodal artefacts and the texture of viewpoint, themanummer van Journal of pragmatics (2017) • C. Jewitt (red.), The Routledge handbook of multimodal analysis (2017) • N. Nørgaard, Multimodal stylistics of the novel. More than words (2018).

Muiderkring

multiversum