Annotation, évaluation et mesure d’accord en linguistique de corpus

Résumé Fr En

La constitution et l’évaluation de ressources annotées ainsi que des systèmes automatiques d’annotation revêtent une importance grandissante en linguistique et en TAL. Pour autant, les méthodes d’évaluation ne sont pas toujours maîtrisées ni utilisées à bon escient, notamment en linguistique où la nature séquentielle des données textuelles nécessite des méthodes spécifiques. Dans cet article, nous analysons tout d’abord les notions de corpus et d’annotation dans leurs multiples formes, puis nous nous focalisons sur les questions d’évaluation qui en résultent. Nous insistons en particulier sur la différence de nature qui existe entre l’évaluation d’un système d’annotation et l’évaluation de ressources multi-annotées manuellement, et nous donnons un aperçu des outils d’évaluation existants et leur usage possible dans chacun de ces deux cas.

The establishment and evaluation of annotated resources as well as automatic annotation systems have growing interest in linguistics and NLP. However, evaluation methods are not always well mastered and used, particularly in linguistics, where the sequential nature of textual data requires specific methods. In this article, we first analyze the notions of corpus and annotation in their multiple forms, then focus on the results of the evaluation questions. In particular, we emphasize the difference in nature between the evaluation of an annotation system and the evaluation of manually multi-annotated resources. We provide an overview of existing evaluation tools and their possible use for each of these two cases.