Betydelsen av en berättares temporala koordinering av gester och tal för en lyssnare/betraktare

Projekt: Forskning

Populärvetenskaplig beskrivning

The aims of this project are twofold. On one level the project aim is to shed light on the effects of the temporal co-ordination of speech and gestures on an addressee who watches and listens to somebody that tells a story. One another level the aim is to contribute to a more general research platform/infrastructure, for addressing various issues on interaction and communication.

Projektet arbetar på två nivåer. På nivå ett är målet att belysa effekterna av temporal koordinationav tal och gester för den som lyssnar och tittar på någon som berättar något. På nivå två är målet att bidra till en mer generell forskningsinfrastruktur för att adressera olika frågor om interaktion och kommunikation. Nivå ett:
Det är väl etablerat att det finns en tajt semantisk-pragmatisk och temporal länk mellan tal och gest - men är okänt vilken betydelse denna temporala synkronisering har för en lyssnare och betraktare och hur viktigt det är med precis synkronisering. T.ex. Vid vilket förskjutningsintervall skulle temporal mismatch mellan tal och gest påverka förståelsen av en berättelse och hur? Kan sådan temporal mismatch orsaka svårigheter i semantisk integration som skulle kunna identifieras med elektrofysiologiska mätmetoder? Vid vilket förskjutningsintervall kan temporal mismatch påverka en emotionell upplevelse? Finns det skillander mellan grupper av människor vad gäller känsligheten för sådan temporal mismatch? För att addressera dessa och liknande fårgor använder projektet virtual humantekniker - utvecklade för att kunna manipulera parametrar på ett kontrollerat och nyanserat sätt. Våra virtual humans utvecklas på basis av motion capture data av naturligt förekommande tal och gest. Med virtual humans kan vi sedan på ett kontrollerat sätt laborerar med temporal (mis)koordinering av gester i förhållande till tal.
StatusPågående
Effective start/end date2011/01/012019/12/31

Participants