Unveiling Subjectivity in Press Discourse: A Statistical and Qualitative Study of Manually Annotated Articles

Résumé En Fr

This article presents the results of an annotation experiment involving 36 participants tasked with rating the subjectivity of 150 excerpts from Belgian French press articles and with identifying linguistic indicators of subjectivity in the excerpts. We first explore inter-annotator agreement and correlations between the annotation results and the variables associated with the articles, then perform qualitative analysis of a sample of annotated texts. We introduce “textual heat maps”, a convenient method to visualize the results of the token-level annotations. The study reveals that the perception of subjectivity in text varies among readers, but that some tokens are widely considered as indicators of subjectivity. While expected indicators such as sentiment words and expressive punctuation were found to influence interpretations, less established markers such as discourse markers and modal verbs also played a role. The use of the pronoun on was identified as a significant subjectivity indicator, despite its common use to conceal the author’s presence in journalistic writing. These findings offer insights into subjectivity in journalistic discourse and have significant implications for the field of journalism and for the improvement of automated models for subjectivity detection.

Cet article présente les résultats d’une expérience d’annotation impliquant 36 participants chargés d’évaluer la subjectivité de 150 extraits d’articles de presse belges francophones et d’identifier les indicateurs linguistiques de subjectivité dans ces extraits. Nous explorons d’abord l’accord inter-annotateur et les corrélations entre les annotations et les variables associées aux articles, puis nous analysons qualitativement un échantillon de textes. Nous introduisons la « cartographie d’attention textuelle », une méthode pratique pour visualiser au niveau des tokens les résultats des annotations. L’étude révèle que la perception de la subjectivité dans le texte varie d’un lecteur à l’autre, mais que certains tokens sont considérés par beaucoup comme des indicateurs de subjectivité. Des indicateurs attendus, tels que les termes exprimant des sentiments et la ponctuation expressive, ont été identifiés, des marqueurs moins établis tels que les marqueurs de discours et les verbes modaux ont également joué un rôle. L’utilisation du pronom « on » a aussi été identifiée comme un indicateur significatif de la subjectivité, malgré son utilisation courante pour dissimuler la présence de l’auteur dans l’écriture journalistique. Ces résultats offrent des perspectives sur la subjectivité dans le discours journalistique et ont des implications significatives pour le domaine du journalisme et pour l’amélioration des modèles de détection automatique de la subjectivité.