A multimodal corpus to study videoconference interactions for techno-pedagogical competence in second language acquisition and teacher education

Résumé En Fr

This article aims to describe the construction and annotation of a multimodal and multilingual (French, English, and Mandarin Chinese) corpus for the study of second language acquisition and professional development in language teaching. The corpus was built within a research project whose main objective is to determine which techno-semio-pedagogical competencies are developed informally and which ones require formal training. In this paper, we explain the theoretical framework adopted, characterized by an ecological approach to the interactive environment. We subsequently illustrate the procedures for the collection of audio, video and eye-tracking data. We also provide details of the annotation of raw data to produce a corpus of analysis drawing on different automatic and semi-automatic annotation tools. Finally, we explain how such a corpus enables us to study the development of learners’ multimodal competence and tutors’ techno-pedagogical competence and point to some other possible research questions.

Notre article vise à décrire la constitution et l’annotation d’un corpus multimodal et multilingue (français, anglais et chinois mandarin) pour l’étude de l’acquisition d’une langue seconde et du développement professionnel en enseignement des langues. Le corpus a été construit dans le cadre d’un projet de recherche dont l’objectif principal est de déterminer quelles compétences techno-sémio-pédagogiques peuvent être développées de manière informelle et lesquelles nécessitent une formation formelle. Nous expliquons le cadre théorique adopté, caractérisé par une approche écologique de l’environnement interactif. Nous illustrons ensuite les procédures de collecte de données audio, vidéo et oculométriques. Nous détaillons également l’annotation des données brutes pour produire un corpus d’analyse s’appuyant sur différents outils d’annotation automatiques et semi-automatiques. Enfin, nous expliquons comment un tel corpus nous permet d’étudier le développement de la compétence multimodale des apprenants et de la compétence techno-pédagogique des tuteurs et pointons vers d’autres questions de recherche possibles.