Multimodalitet och timing: En studie i syntolkning

Projekt: Forskning

Populärvetenskaplig beskrivning

Målet med projektet är att systematiskt undersöka syntolkningsprocessen inom ramen för kognitionsvetenskapliga teorier om visuell perception och uppmärksamhet, multimodalitet, timing, embodied cognition och mental imagery.

Att kunna uppfatta och uppleva visuella scener, bilder, händelser och rörelser på scenen, gester, ansiktsuttryck, scenografi mm är något som seende publiken tar för givet under film- och teaterföreställningar. Synskadade i publiken kan dock missa viktig information som bara är synlig men som inte artikuleras genom språket eller ljud.

Syntolkens uppgift är att framkalla levande mentala bilder hos publiken genom att simultant beskriva visuella scener språkligt för personer utan syn Det innebär att syntolken under tidspress måste välja ut relevant (icke-verbal information) information från den visuella scenen, linearisera den, formulera den språkligt på ett effektivt sätt samt tidsinställa denna bit av informationen så att den passar in till vad som i ögonblicket händer språkligt, dvs. vad som sägs i replikerna och vad som hörs i ljuden. Denna timingen är avgörande för integration av de olika modaliteterna, för betydelseskapande och för den avsedda kommunikativa effekten.
StatusSlutfört
Effective start/end date2014/01/012014/12/31

Participants