Multimodale input & cognitie: Een experimentele studie naar het effect van tekst bij het simultaantolken 01/07/2022 - 31/12/2023

Abstract

Simultaantolken (Simultaneous Interpreting, SI) is mondelinge vertaling in realtime van een mondelinge toespraak van een spreker door een tolk, die gewoonlijk werkt vanuit een geluiddichte cabine in een vergaderzaal. SI vereist een complexe informatieverwerking, aangezien de tolk verschillende taken tegelijk moet uitvoeren (d.w.z. luisteren, verstaan en produceren van spraak). Tolken krijgen vaak vooraf een schriftelijke versie van de door de spreker te houden toespraak, een extra informatiebron die kan worden gebruikt bij de taakvoorbereiding, maar ook tijdens de toespraak. Deze laatste praktijk wordt "SI with text" of "SIMTEXT" genoemd. Hierbij is sprake van multimodale cognitieve verwerking, aangezien de tolk nu informatie ontvangt via verschillende kanalen, gelijktijdig auditief en visueel. Hoewel de beschikbaarheid van de tekst intuïtief een nuttige ondersteuning lijkt voor het volbrengen van de tolktaak, hebben eerdere experimenten met SIMTEXT aangetoond dat multimodale input de cognitieve informatieverwerking complexer maakt en als zodanig het potentiële faciliterende effect kan ondermijnen. Het bewijsmateriaal dat deze hypothese ondersteunt is echter niet overtuigend, aangezien slechts weinig studies zich met deze kwestie hebben beziggehouden en de toegepaste methodologie vaak onvoldoende ecologisch valide is als gevolg van artificiële experimentele omstandigheden, het gebruik van minder nauwkeurige instrumenten, subjectieve metingen of de exclusieve focus op slechts één inputvariabele. Wij stellen daarom voor om het effect van multimodale input op de cognitieve verwerking in SIMTEXT te onderzoeken door experimenten op te zetten met professionele simultaantolken die een SI- en een SIMTEXT-taak zullen uitvoeren in omstandigheden die dicht bij de werkelijkheid staan, d.w.z. in een tolkcabine en voorzien van eye-tracking brillen. Door het manipuleren van een combinatie van inputvariabelen met betrekking tot inhoud, vorm en uitvoering van de mondelinge toespraken in beide experimentele condities (SI en SIMTEXT), zal het faciliterende effect van tekst in SI worden onderzocht. De studie heeft een mixed-method design. Enerzijds worden kwantitatieve gegevens verzameld door middel van een mobiele eye tracking bril om het effect te meten van het gebruik van tekst op de cognitieve informatieverwerking en de allocatie van visuele aandacht. Anderzijds worden kwalitatieve gegevens verzameld door middel van retrospectieve online vragenlijsten met betrekking tot de waargenomen cognitieve belasting van de deelnemers. Naast het bestuderen van het effect van het gebruik van tekst op de informatieverwerking, zal ook gekeken worden naar het effect op het tolkproduct in de vorm van opnames van de tolktaken, die aan een kwalitatieve analyse zullen worden onderworpen. Door gebruik te maken van een combinatie van inputvariabelen en complementaire methodes willen we de cognitieve verwerking van multimodale informatiebronnen in SI vanuit een veel breder perspectief onderzoeken dan tot nu toe het geval is geweest in studies over dit onderwerp. Op die manier willen we nieuwe inzichten genereren in het onderzoek naar multimodaliteit en cognitie, die tevens van groot belang zullen zijn voor de praktijk en opleiding van simultaantolken.

Onderzoeker(s)

Onderzoeksgroep(en)

Project type(s)

  • Onderzoeksproject