Sensory biases in nonverbal communication

The voice conveys a wealth of information about the speaker’s age, dominance, emotional state, etc. Despite great progress in describing how this information is encoded acoustically, a general theory of why particular acoustic features convey particular meanings is still missing. I propose to consider the role of fundamental cognitive mechanisms, namely the effect of cross-modal associations and auditory attention on the meaning of human nonverbal vocalizations such as laughs. Using the voice synthesizer that I have developed, I will perform targeted acoustic manipulations to (1) measure the effect of frequency-related aspects of voice quality on perceived speaker’s size and dominance and (2) test the prediction that intense emotions change the voice in a manner optimal for involuntarily attracting the listeners’ attention. As this project combines cognitive science with bioacoustics, it will greatly benefit from my planned two-year stay with the team led by Prof. Reby in France, which is unique in applying a biological approach to human voice modulation. The remaining year will be spent at Lund University Cognitive Science. The project will provide new evidence about how the voice is used to communicate without words, help to perfect and popularize a novel tool for acoustic research, and contribute towards a deeper understanding of the general principles of vocal communication, with implications for such wide-ranging fields as the evolution of language and social robotics.

Rösten innehåller mer information än vad orden i sig uttrycker: den förmedlar även talarens ålder, dominans, och känslor. Vi vet alltmer om hur denna akustiska kod fungerar. Exempelvis framkallar en ”djup” röstkvalitet bilden av en stor och självsäker person, emedan en hög och ostadig röst ofta förknippas med starka känslor. Men det behövs också ett övergripande teoretiskt perspektiv som förklarar varför vi finner just sådana kopplingar mellan ljud och mening. Som ett steg mot svaret på frågan varför, vill jag utforska hur tolkningen av röster påverkas av grundläggande processer i hjärnan, nämligen benägenheten att uppmärksamma vissa perceptuella drag och associera dem med varandra (sensory biases). Metoden består av att syntetisera och modifiera så kallade icke-verbala vokaliseringar såsom skratt, vilka är mindre kulturberoende och enklare att arbeta med än språket i sig. Projektet består av två delar.
För det första kommer jag att testa hur olika akustiska parametrar associeras med den fysiska storleken: till exempel, verkar man vara större och mer dominant när man skrattar ho-ho-ho istället för hi-hi-hi eller använder en grov, skrovlig röst? Genom att utföra nyanserade akustiska manipulationer kommer jag att bygga på tidigare studier som visat vikten av rösthöjd och struphuvudets position för storleksperception. Hypotesen är att alla förändringar som gör att rösten låter ”lägre” eller ”starkare” på något sätt kommer att förknippas med en större och mer dominant person på grund av cross-modala associationer mellan ljudfrekvens, ljudstyrka och den fysiska storleken. Den andra delen av projektet handlar om en koppling mellan uppmärksamhet och känslostyrka. Några preliminära rön visar att rösten påverkas av stigande känslostyrka på ett sätt som är optimalt för att ofrivilligt dra till sig uppmärksamhet, givet hur hjärnan bearbetar olika slags ljud. Det är exempelvis nästan omöjligt att ignorera ett vilt skrikande barn eller en skällande hund. För att testa denna hypotes kommer jag att syntetisera och modifiera både enkla mekaniska ljud och icke-verbala vokaliseringar för att mäta hur uppmärksammade de blir och hur starka känslor de tycks uttrycka. Båda delarna av projektet kräver att man ska kunna syntetisera icke-verbala vokaliseringar som låter naturligt, men som samtidigt kan modifieras på ett mycket exakt och flexibelt sätt. Det var för precis detta mål som jag har utvecklat och validerat en ny röstsynthesizer under min tid som doktorand på Lunds Universitet. Det är nu möjligt, tack vare detta preliminära arbete, att enkelt testa olika akustiska manipulationer som det förut har varit nästan omöjligt att utföra.
Syftet med projektet är att samla in mer data om hur rösten förmedlar information utöver ord. Även om jag tänker använda främst icke-verbala vokaliseringar såsom skratt, är det välkänt att de har många likheter med prosodiska mönster i språket (t.ex., intonation, röststyrka) samt med djurläten. Dessa rön kommer därför att vara relevanta inte bara för forskarna inom mänsklig icke-verbal kommunikation, utan även för lingvister samt biologer som studerar djurkommunikation. Ett mer ambitiöst syfte är att framlägga grundläggande principer i akustisk kommunikation med utgångspunkt i hur hjärnan bearbetar ljud. Med hjälp av dessa principer kan man då bättre förklara och förutse vilka intonationsmönster och röstkvaliteter som ger uttryck till vissa meningar och känslor. Detta kommer att vara till stor hjälp när man bygger intelligenta digitala agenter som kan förstå och alstra naturliga känslouttryck. En djupare förståelse av grundläggande kopplingar mellan ljud och mening är också av stor vikt för teorier av språkevolution.