On the relation between lexical and prosodic cues of emotion in English: a preliminary corpus-based analysis

Résumé Fr En

De nombreuses études ont montré que la parole émotionnelle est caractérisée par des indices sur plusieurs niveaux linguistiques. Dans cet article, nous analysons la relation entre les indices lexicaux et prosodiques des émotions en anglais dans les enregistrements de livres audios du corpus LibriSpeech. Afin de quantifier les indices lexicaux des émotions, nous avons utilisé les outils d’analyse des sentiments disponibles dans la librairie Python NLTK (notamment Vader et SentiWordNet). En revanche, pour la quantification des indices prosodiques des émotions, nous avons extrait plusieurs paramètres acoustiques indiquant les variations de la fréquence fondamentale, de la qualité de la voix et du rythme. La relation entre indices lexicaux et prosodiques a été ensuite analysée à travers des modèles linéaires à effets mixtes, qui ont révélé des effets faibles mais significatifs. En particulier, seules les variations de F0 sembleraient liées à la valence des phrases et des mots, alors que les variations de F0, du rythme et de la qualité de la voix sembleraient liées au degré de positivité / négativité des phrases et des mots. Cependant, nos modèles n'expliquent qu'une faible part de variance des données. Nous estimons donc que la relation entre les indices lexicaux et prosodiques dans les enregistrements de livres audios existe mais est plutôt faible. Il est possible que cette observation puisse s’appliquer de manière plus générale aux cas de conceptualisation ou description des émotions pour lesquelles le locuteur ne se sent pas directement impliqué. En revanche, il est possible que la relation entre les indices lexicaux et prosodiques s’avère plus étroite dans les cas d’expression des émotions où le locuteur se sentirait plus directement impliqué. De toute manière, nos résultats ne doivent être considérés que comme préliminaires, étant donné les limites d'une analyse entièrement automatique.

Abundant literature has shown that emotional speech is characterized by various cues at different linguistic levels. This contribution investigates the relation between lexical and prosodic cues of emotions in English using audiobook recordings from the LibriSpeech corpus. In order to quantitatively evaluate lexical cues of emotions, we computed sentiment analysis scores from audiobook texts using tools and lexicons provided by the Python-NLTK library (i.e. Vader and SentiWordNet), at word and sentence levels. In order to analyse prosodic cues of emotions with a quantitative approach, we extracted several acoustic parameters indicating variations in pitch, voice quality and rhythm. We explored the relation between lexical and prosodic metrics via linear mixed-effects models and found small but significant effects. In particular, pitch parameters seem to be related to the valence of sentences and words, while pitch, rhythm and voice quality seem to be related with the degree of positivity/negativity of sentences and words. However, our models explain but a small amount of variance in the data. We therefore argue that the relation between lexical and prosodic cues is not extremely tight in audiobook recordings, and we speculate that this claim may extend to cases in which the speaker conceptualises/describes emotions. A tighter relation between lexical and prosodic cues may be reserved for cases in which the speaker expresses emotions and/or feels more directly involved. At any rate, our result should be considered as preliminary, given the limitations of an entirely automatic analysis.