Transformation invariance in pattern recognition - tangent distance and tangent propagation

Résumé En Fr

In pattern recognition, statistical modeling, or regression, the amount of data is the most critical factor affecting the performance. If the amount of data and computational resources are near infinite, many algorithmes will probably converge to the optimal solution. When this is not the case, one has to introduce regularizers and a-priori knowledge to supplement the available data in order to boost the performance. Invariance (or known dependance) with respect to transformation of the input is a frequent occurrence of such an a-priori knowledge. In this chapter, we introduce the concept of tangent vectors, which compactly represent the essence of these transformation invariances, and two classes of algorithms, “Tangent distance” and ‘Tangent propagation”, which make use of these invariances to improve performance.

Dans les domaines de la reconnaissance de forme, de la modélisation statistique, ou de la régression, la quantité de données est le facteur crucial pour les performances. Si les données sont en quantité quasi-illimitée de même que les ressources de calcul, bien des algorithmes convergent généralement vers la solution optimale. Quand les données sont plus limitées, on doit introduire des régularisations et des connaissances a priori pour pallier ce manque et améliorer les performances. Les invariances (ou les dépendances établies) par rapport à des transformations des entrées constituent un cas fréquent de connaissances a priori de ce type. Dans ce chapitre, nous introduisons la notion de vecteurs tangents qui synthétise ces invariances par transformation, et deux classes d'algorithmes, « tangent distance » et « tangent propagation », qui utilisent ces invariances pour améliorer les performances.