CNN features for Reverse Image Search

Résumé Fr En

Les activations des unités des couches supérieures des réseaux de neurones à convolution (caractéristiques CNN) se sont révélées être de bons descripteurs pour la recherche d’image. Dans ce papier, nous étudions les caractéristiques CNN pour la recherche d’image inversée. Nous évaluons la robustesse de ces caractéristiques contre des modifications courantes. Dans une première partie, nous présentons un benchmark de systèmes de recherche d’image inversée. Pour référence, nous évaluons des méthodes traditionnelles : comme les fonctions de hachage perceptuel. Dans une seconde partie, nous évaluons les caractéristiques CNN. Nous montrons que les caractéristiques CNN sont plus performantes que les fonctions de hachage perceptuel, même dans le cas de réseaux de neurones entrainés sur des tâches de classification non liées. Les caractéristiques CNN sont plus robustes contre les rotations et le rognage. Finalement, nous dressons une liste de couches de différents réseaux de neurones qui sont de bons descripteurs lorsqu’ils sont comparés avec une distance cosinus.

Activations of units within top layers of convolutional neural networks (CNN features) are known to be good descriptors for image retrieval. In this paper, we investigate the use of CNN features for Reverse Image Search. We especially evaluate the robustness of these features against common modifications. In a first part, we present a benchmark to evaluate the retrieval performances of Reverse Image Search systems. To get a baseline, we evaluate well-established methods: Perceptual Hash Functions. In a second part, we further evaluate the retrieval performances of CNN features. We establish that CNN features perform better than Perceptual Hash Functions, even if neural networks are trained on unrelated classification tasks. CNN features are more robust against rotation and cropping. Finally, we give a list of layers from different neural networks that are remarkably good descriptors when used with a cosine distance.