Kittajafr-v2baseline-2.0.1

Résumé En Fr

This guide presents KittajaFr-v2. It is a set of free resources and tools frequently used in machine translation, to build a Transformer model to translate from Japanese into French. The corpus contains 2,5M aligned segments. Score BLEU is between 13,5 et 11,5.

Ce guide présente le kit kittajafr-v2baseline. Il s'agit d'un ensemble de ressources et d'outils libres couramment utilisés en traduction automatique, permettant d'entraîner un modèle Transformer de traduction neuronale du japonais vers le français. Le corpus contient 2,5M de segments alignés de qualité variable. La segmentation (sentencePiece) du vocabulaire est fixée à 16K mots pour chaque langue et les embeddings sont de 256. Les scores BLEU se situent vers 13,5 et 11,5 (on dispose aussi des scores chrF). Le kittjafr-v2 fait suite à la version v1, qui permettait de construire un très petit modèle (score BLEU 3 et 7).