On Knowledge Distillation for Direct Speech Translation

Résumé En It

Direct speech translation (ST) has shown to be a complex task requiring knowledge transfer from its sub-tasks: automatic speech recognition (ASR) and machine translation (MT). For MT, one of the most promising techniques to transfer knowledge is knowledge distillation. In this paper, we compare the different solutions to distill knowledge in a sequence-to-sequence task like ST. Moreover, we analyze eventual drawbacks of this approach and how to alleviate them maintaining the benefits in terms of translation quality.

È stato dimostrato che la speech translation (ST) diretta è un’operazione complessa che richiede l’adozione di tecniche di knowledge transfer sia da automatic speech recognition (ASR) che da machine translation (MT). Per quanto riguarda MT, una delle tecniche più promettenti è la knowledge distillation (KD). In questo lavoro, confrontiamo diverse possibili soluzioni di KD per addestrare modelli sequence-to-sequence come quelli di ST. Inoltre, analizziamo eventuali problemi causati da questa tecnica e come attenuarli mantenendo i benefici in termini di qualità della traduzione.