Multimodal prominens: Hur verbala och visuella signaler samverkar för att förmedla små skillnader i informationsstruktur

Projekt: Forskning

Populärvetenskaplig beskrivning

Det här projektet undersöker hur ögonbryns- och huvudrörelser (”visuell prosodi”) samverkar med talmelodi (”verbal prosodi”) för att framhäva olika ord i diskursen. Hur samspelar dessa två typer av signaler i mänsklig kommunikation för att skapa olika nivåer av framhävning? Kan de användas för att markera olika typer av information?

Talmelodi - intonation - har en betydande roll i mänsklig talad kommunikation. En talare kan framhäva olika ord genom att variera talmelodin och på det sättet dra uppmärksamhet åt ny eller särskilt viktig information. Ansiktsgester, såsom ögonbryns- och huvudrörelser, har ofta en funktion liknande intonationens, t ex kan man nicka vid ett viktigt ord för att göra det mer framhävt. Det här projektet undersöker hur verbala och visuella medel samspelar för att förmedla olika nivåer av framhävning, samt hur de används för att markera olika typer av information. Hur påverkas t ex framhävningen av ett ord av hur förutsägbart det är i sammanhanget? Vilka skillnader får man om man talar om en 'domare' i en domstol (förutsägbart i sammanhanget) jämfört med en 'domare' i en mataffär (inte så förutsägbart)?

Vi undersöker två typer av tal som förvärvats från verkliga situationer - nyhetssändningar från svensk tv och spontana dialoger på svenska - genom att analysera ljud, video och rörelseinspelningar. För det senare har visuella markörer fästs på utvalda delar på deltagarnas kroppar, vilket sedan filmats med speciella värmekameror.

Dessutom kommer vi att studera hur lyssnare uppfattar olika kombinationer av verbala och visuella signaler. I dessa lyssnarexperiment kommer vi att använda datoranimerade karaktärer (talande huvuden) som kan inkluderas i olika talteknologiska tillämpningar, till exempel dialogsystem och virtuella handledare.
StatusPågående
Effective start/end date2013/07/012017/12/31

Participants

Related projects

Johan Frid & Marianne Gullberg

2014/01/012018/12/31

Projekt: NätverkNationellt samarbete

Visa alla (1)

Relaterad forskningsoutput

Johan Frid, Gilbert Ambrazaitis, Malin Svensson Lundmark & House, D. 2017 sep 25 Proceedings of the 4th European and 7th Nordic Symposium on Multimodal Communication (MMSYM 2016). Paggio, P. & Navarretta, C. (red.). Linköping University Electronic Press, Linköpings universitet, s. 4-9 6 s. 002. (Linköping Electronic Conference Proceedings)

Forskningsoutput: Kapitel i bok/rapport/Conference proceedingKonferenspaper i proceeding

Gilbert Ambrazaitis & House, D. 2017 Proceedings of The 14th International Conference on Auditory-Visual Speech Processing (AVSP2017). Ouni, S., Davis, C., Jesse, A. & Beskow, J. (red.). KTH, 6 s.

Forskningsoutput: Kapitel i bok/rapport/Conference proceedingKonferenspaper i proceeding

Visa alla (7)

Relaterade aktiviteter

Gilbert Ambrazaitis (föreläsare)
2017 sep 16

Aktivitet: Föredrag eller presentationFöreläsning/debatt/seminarium för allmänheten

Visa alla (5)