Représentation des mots manuscrits par graphe pour la recherche par similarité

Résumé Fr En

Dans ce papier, nous proposons une nouvelle approche de la recherche de mots par similarité reposant sur une structure de graphes intégrant des informations sur la topologie, la morphologie locale des mots ainsi que des informations contextuelles du voisinage de chaque point d’intérêt. Chaque mot est représenté par une séquence de graphes associés chacun à un objet connexe. Un graphe est construit sur la base d’un squelette décrit par le contexte de formes : descripteur riche et compact en chaque point sommet. Afin d’être robuste aux distorsions de l’écriture et aux changements de scripteurs, l’appariement entre mots repose sur une distance dynamique et un usage adapté du coût d’édition approximé entre graphes. Les expérimentations sont réalisées sur la base de George Washington et la base de registres de mariages de la cathédrale de Barcelone. L’analyse de performances montre la pertinence de l’approche comparativement aux approches structurelles actuelles.

Effective information retrieval on handwritten document images has always been a challenging task. In this paper, we propose a novel handwritten word-spotting approach based on graph representation. The presented model comprises both topological and morphological signatures of handwriting. Skeleton-based graphs with the Shape Context labeled vertexes are established for connected components. Each word image is represented as a sequence of graphs. In order to be robust to the handwriting variations, an exhaustive merging process based on DTW alignment results introduced in the similarity measure between word images. With respect to the computation complexity, an approximate graph edit distance approach using bipartite matching is employed for graph matching. The experiments on the George Washington dataset and the marriage records from the Barcelona Cathedral dataset demonstrate that the proposed approach outperforms the state-of-the-art structural methods.