De l’évaluation et ses ressources en traitement automatique des langues

Résumé Fr En

Le traitement informatique du langage a privilégié depuis trente ans les méthodes d’apprentissage automatique qui ont permis des avancées technologiques opérationnelles dans un nombre croissant d’applications. Celles-ci ont été rendues possibles par la disponibilité de corpus d’apprentissage, par le développement du paradigme d’évaluation (shared tasks) et par la création d’infrastructures d’évaluation de technologie. Mais les corpus doivent être de taille suffisante pour représenter la réalité linguistique et toutes les langues ne disposent pas des ressources appropriées ni des moyens pour les produire. Les expériences ont montré que la taille des données d’apprentissage peut remplacer la complexité algorithmique ou les connaissances expertes, mais a-t-on atteint les limites de ce type d’approche ?

For thirty years, natural language processing has given more and more importance to machine learning, resulting in technological progress for an ever increasing number of applications. These advances have been made possible by the availability of corpora as learning material, the development of the evaluation paradigm (shared tasks) and the creation of infrastructures for technology evaluation. But copora need to be of appropriate size to be representative of the linguistic reality and neither the needed resources nor the means to produce them exist for all languages. Experiments have shown that the size of the learning material can be a substitute for algorithmic complexity or expert knowledge, but have we reached the limit for progress with this kind of approach ?