Using BLSTM for interpretation of 2-D languages : Case of handwritten mathematical expressions

Résumé Fr En

Nous proposons une extension de l’utilisation classique des réseaux de type BLSTM pour leur permettre de traiter des données provenant de langages graphiques bidimensionnels tels que les formules mathématiques manuscrites. La solution proposée repose sur un parcours respectant l’ordre temporel des traits. Il en résulte une séquence alternant les étiquettes de symboles et les étiquettes des relations spatiales. Dans le cas des expressions purement linéaires (1-D), nous utilisons l’étiquette « Right » pour permettre la segmentation entre les symboles. Pour une extension au cas des expressions véritablement bidimensionnelles (2-D), nous utilisons autant de nouvelles étiquettes qu’il y a de relations spatiales différentes entre les sous-expressions. Les BLSTM sont appris en utilisant la stratégie CTC que nous avons adaptée pour fournir un étiquetage aligné avec les traits de l’encre. Il en résulte que les réseaux BLSTM permettent de résoudre à la fois la tâche de reconnaissance de symboles et celle de segmentation. Une telle approche est nouvelle dans le domaine de la reconnaissance des expressions mathématiques.

In this work, we study how to extend the capability of BLSTM networks with CTC to process data which are not only text strings but graphical two-dimensional languages such as handwritten mathematical expressions. An online math expression is a sequence of strokes which is later labeled by BLSTM network. Besides normal math symbols, we introduce 6 additional specific labels assigned to each of the different possible spatial relationships that exist between sub-expressions. The output of BLSTM network with CTC is a sequence of labels. Our aim is to build a two-dimensional (2-D) expression from this sequence of labels. CTC technology is a good choice for sequence transcription tasks but does not provide the alignment between the inputs and the target labels. In our case, we need the labels of strokes in the building process. A local CTC is proposed to solve this problem. As a result, BLSTM network is able to perform at the same time the symbol recognition task, the segmentation task and the relationship recognition task, which is a new perspective for the mathematical expression domain.