Knowledge-driven reverse geo-tagging for annotated images

Résumé Fr En

Actuellement, la géo-localisation d’une image consiste à appliquer des algorithmes probabilistes sur les mots-clés la décrivant pour estimer la position de la scène qu’elle représente. Cependant, de tels algorithmes montrent des limites clairement identifiables. En particulier, l’estimation se fait toujours à l’échelle d’un point, les régions et pays étant réduits à leur barycentre. Dans cet article, nous nous concentrons sur ce problème en explorant une méthode sémantique qui identifie des entités géographique (issues du Linked Open Data) pour localiser une photo (qu’il s’agisse d’un point sur une carte ou un pays). L’avantage d’une telle approche vis-à-vis des méthodes numériques est notamment la possibilité d’étudier la pertinence géographique d’une image.

Currently, Reverse Geo-tagging relies on the keywords describing an image and use probabilistic algorithms to guess the localization of the depicted scene. However, such algorithms still perform poorly and show clear limitations. Notably, the location estimation only occurs at the landmark level; regions or countries are only processed through their centroid.In this paper, we address this particular issue by exploring a semantic approach, which identifies geographical entities among the keywords to localize the picture (being a landmark or a country). We leverage components of the Linked Open Data cloud to find possible entities. The benefits of our approach, as opposed to numerical approaches, include an in-depth study of the “geo-relevance” of an image.