Embodied bilingualism (ett Wallenberg Scholar projekt)

De flesta människor talar flera språk och samordnar tal och gester på språkspecifika sätt. Men vi vet mycket lite om de processer som driver multimodalt språkbruk och inlärning. Vi undersöker därför experimentellt hur vuxna hanterar samspelet mellan sina språk - avspeglat t.ex. i brytning - med hjälp av kroppsrörelseinspelning, mått på hjärnaktivitet, och virtuella talare.

De flesta människor talar mer än ett språk och lär sig ofta nya språk i vuxen ålder. Alla samordnar också tal och gester på språkspecifika sätt. Trots att världen därmed är flerspråkig och kommunikation multimodal vet vi mycket lite om de processer som ligger till grund för produktion, förståelse och inlärning av flera språk i ett multimodalt perspektiv och ännu mindre om hur inlärning och bearbetning kan förbättras.

Detta program undersöker experimentellt hur vuxna talare hanterar samspelet mellan nya och befintliga språk, avspeglat t.ex. i brytning. Vi granskar hur samspelet mellan språken påverkar produktion och förståelse av tal och gest, samspelets förändring under inlärning, och gesters roll för lärande. En första del utforskar produktion och etablerar profiler av tal- och gestrepertoarer hos en- och flerspråkiga talare med hjälp av sensorteknik (artikulografi för tal, motion capture för gester). En andra del undersöker om mottagare är känsliga för gestuell brytning i förståelse med elektrofysiologiska mått på hjärnaktivitet. En tredje del fokuserar på inlärning och undervisning och använder sensordata från del ett för att utveckla virtuella talare som kan användas i undervisning.

Projektet bryter ny mark och utmanar enspråkiga, unimodala och statiska teorier om mänskligt språk till förmån för ett flerspråkigt, bimodalt och dynamiskt perspektiv. Det utvecklar nya mått och experimentella verktyg som också kan implementeras i undervisning.