Modélisation auto-supervisée de la parole affective spontanée

Résumé En Fr

Self-supervised pre-trained models using unlabeled data to extract representations have been widely explored in the field of automatic speech processing. This paper explores a new approach of extracting linguistic representations from transcriptions using pre-trained self-supervised models for time-continuous emotion recognition. We examined an alignment method to fit linguistic representations with time. Experimental results show that linguistic self-supervised representations can predict emotions in arousal and valence dimensions and achieve excellent results as acoustic self-supervised representations.

Les modèles auto-supervisés pré-entraîné utilisant des données non étiquetées pour extraire des représentations ont été largement exploré dans le domaine du traitement automatique de la parole. Ce mémoire explore une nouvelle approche consistant à extraire des représentations linguistiques des transcriptions à partir des modèles auto-supervisés pré-entraîné pour la reconnaissance des émotions de la parole spontanée en temps continu. Nous avons examiné une méthode d’alignement pour accorder les représentations linguistiques avec du temps. Les résultats des expérimentations montrent que les représentations auto-supervisées linguistiques peuvent prédire les émotions en dimension arousal et valence aussi bien que les représentations auto-supervisées acoustiques.