Gender and language identification in Multilingual Models of Speech: exploring the genericity and robustness of speech representations Identification du genre et de la langue dans les modèles multilingues de la parole : exploration de la généricité et de la robustesse des représentations de la parole En Fr

Résumé En Fr

Models such as XLS-R and UniSpeech have proven effective in speech processing across diverse languages, even with limited annotated data, enabling, for instance, the development of transcription systems for some under-documented languages. This work aims to test the hypothesis that these models can build "generic" representations of an audio snippet that do not depend on characteristics that are irrelevant to understanding the message conveyed. Through two sets of experiments, we assess their ability to abstract away from speaker-specific details and distill core informational contents – in an informational/communicational sense to be refined further: all the information contained in the audio signal that contributes evidence on the speaker's communicative intent. The results of our experiments show that pre-trained models of speech such as XLS-R do not necessarily encode information in the same way, depending on the speaker's gender.

Les modèles tels que XLS-R et UniSpeech ont prouvé leur efficacité dans le traitement de la parole en diverses langues, même dans un contexte où les données annotées sont limitées. Ils permettent notamment de développer des systèmes de transcription pour certaines langues rares (peu documentées). Le présent travail vise à tester l'hypothèse selon laquelle ces modèles peuvent construire des représentations « génériques » d'un extrait audio, qui ne dépendent pas de caractéristiques non pertinentes pour la compréhension du message véhiculé. À travers deux séries d'expériences, nous évaluons leur capacité à s'abstraire des détails spécifiques au locuteur et à distiller des contenus informationnels centraux – entendus dans un sens informationnel/communicationnel qui doit être affiné : toutes les informations contenues dans le signal audio qui reflètent l'intention communicative du locuteur. Les résultats de nos expériences montrent que les modèles de parole pré-entraînés tels que XLS-R n'encodent pas nécessairement les informations de la même manière en fonction du sexe du locuteur.