The production of prosodic prominence: integrating bodily and articulatory gestures

An essential function of prosody in spoken interaction is to highlight important words and phrases and make them more prominent. In recent years, we have begun to understand prosodic prominence as a multimodal phenomenon, composed of verbal and visual prominence markers. Verbal prominence markers are typically identified as sentence-level pitch accents. Bodily gestures such as hand strokes, head nods and eyebrow movements are often aligned with a pitch accent and function as visual markers of prominence. The prominent word itself is often given stronger articulatory gestural movements resulting in both acoustic prominence (louder and longer) and visual prominence (greater movements of the lips and jaw). This project aims at investigating whether and how these different types of prominence markers interact and possibly influence each other. Three types of speech data will be analysed: read television news, unrestricted spontaneous speech and controlled experimental recordings in which motion capture and electromagnetic articulography will be used for recording movements of the hands, head, the eyebrows, and the articulators (lips, tongue, jaw). The results will be formulated in terms of a model of multimodal speech production, which will have implications for our general understanding of how speech and gestures are planned and coordinated by the speaker. It will also enable better modeling of speech and gestures in such speech applications as robots and avatars.

Interaktion mellan människor är en förutsättning för språkets uppkomst och utveckling. Ur ett socialt, evolutionärt perspektiv, har språk och kommunikation utvecklats som viktiga verktyg för att göra det möjligt för människor att samarbeta och därigenom utnyttja sin miljö och öka överlevnadsmöjligheter. En central del i detta samarbete är att kunna skapa, hantera och manipulera olika föremål tillsammans. När vi kommunicerar är det viktigt att vi kan hålla reda på vad talaren syftar till, vilka föremål man refererar till och vad det är som är viktigaste just vid tillfället. Två viktiga språkliga komponenter som används i samtal är betoningsmönster och gester. Betoningen kan talaren ändra för att peka ut ett ord som extra viktigt och ger det extra prominens. I frasen ”den RÖDA stolen” kan röda få en extra betoning som betyder att det var den röda stolen talaren syftar till och inte den vita. Gester som pekning eller huvudnickning används också flitigt i samtal och kan utgöra starka markörer för att just peka på föremål och visa vad talaren syftar på eller användas samtidigt som man uttalar ett ord för att så att säga peka på ordet. Själva betoningen i denna typ av prominens kallas ofta för fokal accent eller satsaccent och består av en markerad tonal gest synkroniserad med det ordet i meningen som förmedlar den viktiga informationen. Kroppsliga gester såsom handrörelser, huvudnickningar och ögonbrynsrörelser förekommer ofta i samband med en fokal accent och fungerar som visuella markörer för prominens. Själva ordet ges dessutom ofta starkare artikulatoriska rörelser som resulterar i både en starkare akustisk signal (högre och längre) och förstärkning av det visuella (större läpp- och käkrörelser). Detta projekt syftar till att undersöka hur dessa tre typer av gester: tonala gester, kroppsrörelser och artikulatoriska gester kombineras och hur de eventuellt samspelar och påverkar varandra. Tre olika typer av taldata kommer att analyseras både vad gäller akustisk fonetik och visuella gester: upplästa TV nyheter, fria spontana dialoger och kontrollerade experimentella inspelningar där motion capture och elektromagnetisk artikulografi kommer att användas för registrering av rörelser av händer, huvud, ögonbryn, läppar, tungan och käken. Resultaten kommer att bidra till vår förståelse av hur tal och gester planeras och samordnas i hjärnan, och kommer också att möjliggöra bättre modellering av tal och gester i applikationer som animationer och robotar.