Méthodologie pour la préparation d’une campagne d’annotation manuelle d’expressions référentielles

Résumé 0

Le contexte du travail présenté dans ce chapitre est l’annotation manuelle des expressions référentielles qui apparaissent dans des textes écrits en français, de différentes périodes et de différents genres textuels. Le but est la constitution du corpus du projet ANR DEMOCRAT, dans lequel sont annotées les expressions référentielles et les chaînes de référence. Les genres textuels représentés par le corpus mettent en œuvre à la fois la langue générale et les langues de spécialité qui influent, conjointement, sur les référents et les expressions référentielles, et par voie de conséquence sur la procédure de l’annotation à l’étude. Nous présentons une série d’expérimentations d’annotation réalisées en 2016 et en 2017, au début du projet, faisant intervenir plusieurs méthodes et plusieurs annotateurs. Les retours d’expériences ainsi collectés ont servi à spécifier la procédure d’annotation du projet, et ont conduit à la mise en œuvre du corpus, disponible en ligne depuis juin 2019. Parmi les aspects que nous mettons en avant, se trouvent d’une part la sélection des expressions à annoter, d’autre part l’utilisation – ou non – d’un outil de traitement automatique des langues en tant que pré-annotateur. Nous discutons chacun de ces deux aspects en nous appuyant sur les résultats de sessions d’annotation chronométrées : quantité de texte traitée, calcul de l’accord interannotateurs, impressions et difficultés rencontrées par les annotateurs. Nous soulignons notamment l’aspect « robotique » de certaines facettes de la tâche d’annotation, que nous discutons. Nous concluons avec la rédaction et le test du manuel d’annotation.