A temporal and pragmatic analysis of gesture-speech association : a corpus-based approach using the novel MultiModal MultiDimensional (M3D) labeling system Une analyse temporelle et pragmatique de l’association geste-parole : une approche basée sur un corpus utilisant le nouveau système d’annotation MultiModal MultiDimensionnel (M3D) En Fr

Résumé En Fr

Human language is essentially multimodal and recent studies within the field of gesture research have shown both the strong temporal relationship between manual co-speech gestures and prosodic prominence, and have given initial evidence of the relevant pragmatic role of gestures. However, studies have tended to focus on the role of prosodic prominence alone as the main attractor for gesture production, and little empirical research has systematically assessed the role of prosodic phrasal structure in the attraction of gesture, or the joint contribution of gestural and prosodic prominence for pragmatic effects, particularly in terms of signaling information structure. Furthermore, no studies have specifically accounted for potential difference between referential and non-referential gestures. A multidimensional analysis of independent aspects of gesture is crucial to allow for a systematic assessment of their different prosodic and pragmatic characteristics. The thesis contains two main objectives. First, it proposes a novel gesture labeling system (i.e., the MultiModal MultiDimensional (M3D) system) according to which the semantic, pragmatic, and prosodic characteristics of gestures should be assessed in a non-mutually exclusive manner. Second, this thesis applies the system to better understand the prosodic and pragmatic characteristics of both referential and non-referential gestures, particularly in terms of how phrasal prosodic structure influences gestural production patterns, and how these two modes of communication interact for pragmatic effect.

Le langage est essentiellement multimodal. En effet, des études récentes ont montré à la fois la forte relation temporelle entre les gestes co-verbaux et la proéminence prosodique et leur pertinence pragmatique. Cependant, ces études ont eu tendance à se concentrer sur le rôle de la proéminence prosodique en tant qu'attracteur principal pour la production de gestes, et peu de recherches empiriques ont évalué d’une manière systématique le rôle de la structure phrastique prosodique, ou la contribution conjointe de la proéminence gestuelle et prosodique pour des effets pragmatiques, en particulier en tant comme marqueurs de la structure informationnelle. En outre, aucune étude n'a pris en compte la différence potentielle entre les gestes référentiels et les gestes non référentiels. Une analyse multidimensionnelle des différents traits du geste est cruciale pour permettre une évaluation systématique de leurs caractéristiques prosodiques et pragmatiques. Cette thèse poursuit un double objectif. Tout d'abord, elle propose une nouvelle approche de l'annotation des gestes co-verbaux qui épouse une vision dimensionnelle, selon laquelle les chercheurs devraient considérer les caractéristiques sémantiques, pragmatiques et prosodiques des gestes d'une manière non mutuellement exclusive. En second lieu, cette thèse vise à mieux comprendre les relations prosodiques et pragmatiques des gestes référentiels et non référentiels, en particulier la façon dont la structure phrastique prosodique influence les modèles de production gestuelle, et comment ces deux modes de communication interagissent pour des raisons pragmatiques.