Multimodalité(s) dans les interactions humaines

Résumé Fr En

Dans notre contribution, nous allons aborder la notion de multimodalité dans les interactions humaines. Dans un premier temps, nous mettrons au jour les différentes définitions du concept de multimodalité actuellement utilisées dans les recherches en sciences du langage. Dans un deuxième temps, nous détaillerons certaines recherches actuelles sur la multimodalité menées au LPL en montrant la variété des cadres théoriques et méthodologiques mobilisés ainsi que des situations d’interaction considérées, allant du face-à-face présentiel aux interactions en ligne, de la conversation entre locuteurs d’une même langue à la communication exolingue. Enfin, dans une dernière partie, nous montrerons que cette variété n’empêche pas la complémentarité, ni des ressources langagières mobilisées par les participants, ni des cadres théoriques et méthodologiques qui en rendent compte. Nous conclurons ce chapitre en proposant quelques pistes de recherche future notamment à partir du phénomène de défaillance interactionnelle. 1. Le concept de multimodalitéLa communication interpersonnelle (Goffman, 1974) est « multimodale » dans son acception la plus large, c’est-à-dire en prenant en compte aussi bien les travaux de recherche menés en sciences du langage sur l’oral (Colletta, 2004), sur la gestuelle (Cosnier et al. 1982, McNeill, 1992), en analyse conversationnelle (Mondada, 2005) que ceux de la sémiotique sociale (Kress & Van Leeuwen, 2001) ou encore de la communication médiée par ordinateur (Develotte et al, 2011) et de l’analyse du discours numérique (Paveau, 2017). Dans cette première partie, nous définissons nos différents ancrages théoriques principaux, l’un n’excluant pas l’autre.1.1. Eclairages linguistiquesLorsque l’on analyse la parole en interaction en tant que phénomène multimodal, on considère en général trois grandes modalités : le verbal, le vocal (dont la prosodie [Voir l’article “La prosodie au Laboratoire Parole et Langage : histoire, recherches actuelles et perspectives” dans ce numéro]) et les éléments posturo-mimo-gestuels (Colletta, 2004). Une linguistique multimodale prend donc en compte les différentes modalités et les analyses en les mettant en relation. Étudier la prosodie ou analyser le geste (ou d’autres aspects kinésiques tels que les postures, les regards et les mimiques faciales) sans le verbal isolerait les modalités et ne permettrait pas de montrer leur articulation (Ferré, 2011).1.2. Éclairage de la sémiotique socialeUne conception de la multimodalité par l’entrée des modalités sensorielles peut être complexifiée si l’on pense qu’une même modalité peut être le canal de plusieurs modes sémiotiques. Ainsi, à travers la modalité visuelle, parfois appelée canal de la vue, il est possible de percevoir plusieurs modes sémiotiques : expressions faciales, gestes et proxémique entre autres. Ainsi, la multimodalité peut être définie comme une caractérisation de l’interaction non seulement en termes de modalités à l’œuvre, mais aussi de modes sémiotiques.Le développement des technologies de l’audio-visuel et du numérique a fait émerger dans les années 1990, une autre vision du concept de multimodalité, ancrée dans le champ de la sémiotique sociale. Les travaux de Kress et van Leeuwen (2001) ont permis de définir de nouveaux contours de cette notion en intégrant les différentes modalités de la communication permise par les différents artefacts utilisés. Ainsi la multimodalité est définie comme le recours massif et conjoint à divers modes d’expression (verbal, visuel, audio, tactile, etc.) dans la communication. 1.3. Eclairages émergents dans la « multimodalité numérique »Le concept de « multimodalité numérique » (Wachs & Weber, 2021) s’ancre dans plusieurs champs de recherches, proches les uns des autres mais présentant chacun des particularités. Le premier, fondateur et précurseur est le champ de la Communication Médiée par Ordinateur (CMO) qui s’est intéressé, dès le début d’Internet (et même du minitel en France) aux échanges en ligne, principalement sous leur forme textuelle (Herring, 1996 ; Anis, 1998). Viennent ensuite deux champs émergents de la linguistique dans la lignée de la CMO : le champ des Interactions Multimodales Par Ecran qui s’est développé notamment autour des interactions par visioconférence (Develotte, Kern & Lamy, 2011, Develotte & Paveau, 2017 ; Guichon & Tellier, 2017) et celui de l’Analyse du Discours Numérique (Paveau, 2017). Enfin, dans le domaine de la didactique des langues, on soulignera le champ de l’Apprentissage des Langues médiatisé par la Technologie (Guichon, 2012) qui étudie l’intégration des technologies dans les situations de communication spécifiquement liées à l’enseignement-apprentissage des langues. 2. Les recherches sur la multimodalité au LPLLes recherches sur la multimodalité au LPL se répartissent dans trois grands cadrages théoriques (celui de la parole multimodale -verbo-vocal et posturo-mimo-gestuel, celui de la sémiotique sociale et enfin celui de la multimodalité numérique) voire parfois dans un rapprochement des trois. Les chercheur.e.s du LPL qui s’intéressent à la question de la multimodalité étudient chacun des contextes différents comme les interactions en face-à-face, les interactions en ligne et les interactions hybrides.2.1. Les interactions en face-à-faceLes interactions en face-à- face peuvent être de différentes nature (e.g. conversation, interaction médecin-patient, réunion de travail…). Dans cette section, nous présenterons certaines recherches qui portent sur la conversation en face-à-face. Nos travaux portent principalement sur la prosodie lors de disfluences (Pallaud et al., 2019) et sur le sourire dans deux phases de la conversation : les transitions thématiques et les phases d’humour (Amoyal et al., 2020). Dans l’étude des interactions en face-à-face, un intérêt est également porté à la communication exolingue (entre participants n’ayant pas la même langue première) (Porquier, 1994). Elles sont particulièrement intéressantes à étudier d’un point de vue multimodal, notamment du point de vue de l’adaptation des modalités pour faciliter l’accès au sens (Tellier et al., 2021). 2.2. Les interactions en ligneAvec la diffusion des ordinateurs et de connexions internet de plus en plus performantes, plusieurs outils de communication médiatisée par ordinateur (CMO) se sont développés et diffusés au fil des années, à partir des premiers échanges de courriel jusqu’à la banalisation récente de la visioconférence et des appels vidéophoniques. Ces nouveaux outils ont, d’une part, fait l’objet d’une projection de la part des interactions de procédés interactionnels provenant des interactions en face-à-face présentiel, tout en faisant émerger des nouveaux phénomènes communicatifs liés à la multimodalité de différentes formes de CMO (que l’on pense par exemple aux émoticônes dans les clavardages). Certaines recherches au LPL se sont ainsi tournées vers l’émergence de techno-genres discursifs et leur caractérisation par exemple en termes d’ethos. D’autres se sont intéressées au potentiel pédagogique pour la didactique des langues, tant sur le versant de l’acquisition de langues secondes que sur celui de la formation de formateurs.2.3. Les interactions hybridesLes interactions hybrides mêlent face-à-face et distanciel et peuvent avoir lieu selon différentes configurations. Une recherche interdisciplinaire et collective à plusieurs laboratoires, dont le LPL (voir fiche corpus Présences numériques), a étudié un séminaire doctoral poly-artefacté (Develotte et al., 2021), c’est-à-dire un séminaire dont une partie des participants est physiquement en présence et l’autre en présence via différents artefacts (une tablette articulée sur un socle, un robot à taille humaine mobile sur roulettes et une plateforme multimodale interactive) et qui présentait, entre autres modules, un espace de visioconférence, un espace de clavardage, une prise de notes collective et un partage de documents. Chaque artefact étant lui-même actionné au travers d’écrans multiples (d’ordinateurs, de tablettes, de smartphones, etc.). Un tel contexte de communication multimodale poly-artéfacté s’avère donc éminemment complexe tant à expérimenter pour les participants, qu’à étudier et retranscrire pour les chercheurs. 3. PerspectivesAu terme de ce chapitre qui met en évidence les grandes directions de recherche effectuée au LPL sur la multimodalité, plusieurs perspectives ont été identifiées. A titre d’exemple, étudier le phénomène de « défaillance interactionnelle » semble particulièrement intéressant notamment pour montrer comment les locuteurs puisent dans leurs ressources multimodales pour surmonter ces défaillances. Des phénomènes différents les uns des autres sont à observer : disfluences, recherches lexicales, incompréhensions et réparations, explications et enfin anticipation de la défaillance à travers un discours didactique multimodal.Une première piste de recherche qui pourrait être explorée est la nature multimodale des disfluences en interaction : observe-t-on seulement une synchronisation de la suspension du geste et de la parole ou existe-t-il des gestes spécifiques liés à la recherche lexicale ? Une perspective de recherche au LPL pourrait être de comparer l’apparition des disfluences dans les discours en L1 vs en langue étrangère pour voir si la maîtrise de la langue affecte la façon dont ce phénomène s’exprime multimodalement. Parmi les perspectives à explorer dans les recherches sur la multimodalité, on peut compter l’étude des alignements conversationnels. Dans le modèle proposé par Pickering et Garrod (2004, 2021), l’alignement est un phénomène psychologique concernant les représentations mentales d’interlocuteurs, phénomène qui se reflète dans l’articulation et souvent dans la reprise de comportements communicatifs. Si l’alignement a initialement été étudié par le phénomène du priming à différents niveaux langagiers (lexique, morphosyntaxe…), récemment on a pu constater un intérêt pour la communication dans sa multimodalité, incluant entre autres les gestes et les mimiques faciales (Cappellini, Holt et Hsu, 2022). En incluant l’étude des mimiques faciales, une étude du sourire des interlocuteurs en phase de réparation orale, pourrait permettre de mettre en exergue l’importance de cette expression faciale dans ce procédé interactionnel. Une piste de recherche serait également d’interroger la place du sourire dans la recherche lexicale. Enfin, il semble que l’on pourrait aussi dans les recherches sur la multimodalité numérique étudier à partir de la complexité du schéma interactionnel de la plateforme YouTube (un discours vidéo auquel répondent des commentaires écrits en asynchronie) comment les vlogueurs anticipent la possible défaillance interactionnelle en recourant à un discours didactique (Moirand, 1993) qui sollicite différents éléments multimodaux.

In our contribution, we will discuss the notion of multimodality in human interactions. First, we will present the different definitions of the concept of multimodality currently used in linguistics. Then, we will focus on some of the current studies on multimodality conducted at the LPL, showing the variety of theoretical and methodological frameworks used as well as the interaction situations considered, ranging from face-to-face to online interactions, from conversations between speakers of the same language to exolingual communication. Finally, in the last part, we will show that despite the variety of approaches, our studies are complementary. We will conclude this chapter by proposing some avenues for future research, particularly based on the phenomenon of interactional failure. 1. The concept of multimodalityInterpersonal communication (Goffman, 1974) is “multimodal” in its broadest sense, if we take into account the research work carried out in linguistics on oral speech (Colletta, 2004), on gestures (Cosnier et al. 1982, McNeill, 1992), in conversational analysis (Mondada, 2005) as well as in social semiotics (Kress & Van Leeuwen, 2001) or in computer-mediated communication (Develotte et al, 2011) and digital discourse analysis (Paveau, 2017). In this first part, we define our main theoretical anchors, one not excluding the other.1.1 Insights from linguistics When we analyze speech in interaction as a multimodal phenomenon, we generally consider three main modalities: the verbal, the vocal (including prosody) and the posturo-mimo-gestural elements (Colletta, 2004). A multimodal linguistic perspective thus takes into account the different modalities and analyses them by putting them in relation. Studying prosody or analysing gesture (or other kinesic aspects such as postures, gazes, and facial mimicry) without the verbal would isolate the modalities and would not show their articulation (Ferré, 2011).1.2 Insights from social semioticsA conception of multimodality through the input of sensory modalities can be complexified if we think that a single modality can be the channel for several semiotic modes. Thus, through the visual modality, it is possible to perceive several semiotic modes: facial expressions, gestures and proxemics among others. Therefore, multimodality can be defined as a characterization of interaction not only in terms of the modalities at work, but also in terms of semiotic modes.In the 1990s, the development of audio-visual and digital technologies led to the emergence of another vision of the concept of multimodality, rooted in the field of social semiotics. The works of Kress and van Leeuwen (2001) have allowed to define new contours of this notion by integrating the different modalities of the communication allowed by the different artifacts. Thus, multimodality is defined as the massive and joint use of various modes of expression (verbal, visual, audio, tactile, etc.) in communication. 1.3 Emerging insights of “digital multimodality”The concept of “digital multimodality” (Wachs & Weber, 2021) is rooted in several fields of research, close to each other but each with its own particularities. The first, founding and precursor field is Computer Mediated Communication (CMC) which has been focused one in online exchanges, mainly in their textual form (Herring, 1996; Anis, 1998), since the beginning of the Internet (and even of the minitel in France). Then come two emerging fields of linguistics in the lineage of CMC: the field of Screen-Based Multimodal Interactions, which has developed in particular around videoconference interactions (Develotte, Kern & Lamy, 2011, Develotte & Paveau, 2017; Guichon & Tellier, 2017) and that of Digital Discourse Analysis (Paveau, 2017). Finally, in the field of language didactics, we will highlight the field of Technology-Enhanced Language Learning (Guichon, 2012) which studies the integration of technologies in communication situations specifically related to language teaching and learning. 2. Research on multimodality at LPLResearch on multimodality at the LPL is divided into three main theoretical frameworks: 1) multimodal speech (verbal, vocal and posturo-mimo-gestural), 2) social semiotics, and finally 3) digital multimodality, and sometimes even a combination of the three. The LPL researchers who are interested in the question of multimodality each study different contexts such as face-to-face interactions, online interactions and hybrid interactions.2.1. Face-to-face interactionsFace-to-face interactions can be of different nature (e.g. conversation, doctor-patient interaction, work meeting…). In this section, we will present some research on face-to-face conversation. Our work focuses on prosody during disfluencies (Pallaud et al., 2019) and on smiling in two phases of conversation: thematic transitions and humor phases (Amoyal et al., 2020). In the study of face-to-face interactions, there is also interest in exolingual communication (between participants who do not have the same first language) (Porquier, 1994). These are particularly interesting to study from a multimodal perspective, especially from the point of view of the adaptation of modalities to facilitate access to meaning (Tellier et al., 2021). 2.2. Online interactionsWith the spread of computers and increasingly powerful Internet connections, several computer-mediated communication (CMC) tools have developed and spread over the years, from the first e-mail exchanges to the recent widespread use of videoconferencing and videophone calls. On the one hand, these new tools have been the object of a projection of interactional processes coming from face-to-face interactions, while on the other hand, new communicative phenomena linked to the multimodality of different forms of CMC have emerged (for example, emoticons in chat rooms). Some research at the LPL has thus turned to the emergence of discursive techno-genres and their characterization, for example in terms of ethos. Others are interested in the pedagogical potential for language didactics, both in terms of second language acquisition and teacher training.2.3. Hybrid interactionsHybrid interactions mix face-to-face and distance learning and can take place in different configurations. An interdisciplinary and collective research between several laboratories, including the LPL (see Présences numériques corpus), studied a poly-artifact doctoral seminar (Develotte et al, 2021), i.e. a seminar where one part of the participants is physically present and the other part is present via different artifacts (a tablet articulated on a base, a human-sized robot mobile on wheels and an interactive multimodal platform) which featured, among other modules, a videoconference space, a chat space, a collective note-taking and a document sharing. Each artifact was itself operated through multiple screens (of computers, tablets, smartphones, etc.). Such a multimodal poly-artifact communication context is therefore eminently complex to use for the participants, as well as to study and transcribe for the researchers. 3. PerspectivesAt the end of this chapter, which highlights the main directions of research carried out at LPL on multimodality, several perspectives are identified. For example, studying the phenomenon of “interactional failure” seems particularly interesting, especially to show how speakers draw on their multimodal resources to overcome these failures. Different phenomena can be observed: disfluencies, lexical searches, misunderstandings and repairs, explanations and finally anticipation of the failure through a multimodal didactic discourse.A first avenue of research that could be explored is the multimodal nature of disfluencies in interaction: is there only a synchronization of the suspension of gesture and speech or are there specific gestures linked to lexical research? A research perspective at LPL could be to compare the occurrence of disfluencies in L1 vs. foreign language speech to see if language proficiency affects how this phenomenon is expressed multimodally. Among the perspectives to be explored in research on multimodality, we can mention the study of conversational alignments. In the model proposed by Pickering and Garrod (2004, 2021), alignment is a psychological phenomenon concerning the mental representations of interlocutors, which is reflected in the articulation and often the repetition of communicative behaviours. While alignment was initially studied through the phenomenon of priming at different language levels (lexicon, morphosyntax, etc.), recently there has been an interest in multimodal communication, including gestures and facial mimicry (Cappellini, Holt and Hsu, 2022). By including the study of facial mimicry, a study of the smiles of interlocutors in the repair phase could highlight the importance of this facial expression in this interactional process. Another avenue of research would be to question the place of the smile in lexical research. Finally, it seems that we could also study the complexity of the interactional scheme of the YouTube platform (a video discourse to which written comments respond in asynchrony) and how vloggers anticipate possible interactional failures by resorting to a didactic discourse (Moirand, 1993) which calls on different multimodal elements.