What Does Neural Machine Translation learn?: A Snapshot from Google Translate & DeepL (September 2021-February 2022)

Résumé En Fr

This paper shows that traditional traductology examples can be used to carry out a longitudinal analysis of Google Translate and DeepL outputs over a five-month time span, enriching the probe technique (Isabelle et al., 2017; Isabelle & Kuhn, 2018). One of the ways of evaluating MT systems' outputs is the integration of Isabelle's Challenge Sets, which aim at probing the systems' function when translating difficult linguistic features. To give an example, proper use of subjunctive mood is considered to be troublesome and systematically tested on several toolkits. Translating the English source text, He will come provided that you come too, the Google translation has the indicative mood venez instead of veniez (Isabelle et al., 2017: 15). Four major categories are constructed based on the divergences between the two languages at morpho-syntactic, lexico-syntactic, syntactic, and lexical levels.

Cet article montre que les exemples traditionnels de la tradition traductologique peuvent être utilisés pour effectuer une analyse longitudinale des traductions proposées par Google Translate et par DeepL sur une période de cinq mois, en enrichissant la technique des jeux de données (Isabelle et al., 2017 ; Isabelle & Kuhn, 2018). L'un des moyens d'évaluer les résultats des systèmes de la Traduction Automatique Neuronale (TAN) est l'intégration des jeux de données tests d’Isabelle et al. , qui visent à sonder le fonctionnement des systèmes de traduction automatique pour la traduction de problèmes de traduction délicats . Pour donner un exemple, l'utilisation correcte du subjonctif est considérée comme problématique et systématiquement testée sur plusieurs systèmes de traduction. En traduisant le texte source anglais "He will come provided that you come too", le système de traduction de Google utilise l’indicatif "venez" au lieu de "veniez" (Isabelle et al., 2017 : 15). Quatre grandes catégories sont mises à contribution pour analyser les divergences entre les deux langues (morpho-syntaxique, lexico-syntaxique, syntaxique et lexical).