Benchmarking of LUCC modelling tools by various validation techniques and error analysis

Résumé En Fr

This study focuses on various validation and error analysis techniques that are based on map comparisons. After a literature review, authors apply these techniques to analyze the accuracy of LUCC models in terms of quantity, pixel by pixel correctness and LUCC components such as persistence and change. In addition, the fidelity of the spatial patterns and the congruency of the simulation maps from different modelling tools are tested. Finally, an error analysis is conducted that focuses on the magnitude of allocation errors and the magnitude of errors in predicted land use / cover classes. In addition, the impact of training dates on Markov chain predicted LUCC is analyzed.Mentioned techniques of validation and error analysis are illustrated by modelling LUCC of a small study area in the Eastern Pyrenees (France), where current LUCC are driven by spontaneous reforestation, decreasing pastureland and minimal anthropogenic disturbance. This very simple data set is used with three different tools (CA-Markov, LCM and Dinamica Ego) that represent commonly used modelling approaches and there methodological characteristics are highlighted. Applied to this specific dataset, contrasting results occur for different software programs that can help users choose an appropriate modelling approach according to specific model objectives.

Cette étude montre plusieurs techniques de validation et d’analyse d’erreurs basées sur la comparaison de cartes. Après une revue de la littérature, les auteurs appliquent ces techniques pour analyser l’exactitude de simulations LUCC en termes de quantité, de comparaison pixel par pixel et de composantes LUCC telles que la persistance et le changement. En outre la fidélité des patrons spatiaux et le degré de congruence des cartes simulées par différents logiciels sont testés. Une analyse des erreurs focalise sur la magnitude des erreurs en termes de localisation et d’écart aux catégories d’occupation et d’usage du sol. Enfin, l’impact des dates d’entraînement sur la quantité des changements prédits par chaînes de Markov est analysé. Ces techniques de validation et d’analyse d’erreur sont illustrées par la modélisation des changements d’occupation et d’usage du sol d’un site d’études de petite taille dans les Pyrénées Orientales (France) où les changements actuels sont régis par la reforestation spontanée, la diminution du pastoralisme et un impact anthropique minimal. Ce jeu de données alimente trois outils de modélisation (CA-Markov, LCM et Dinamica Ego) qui représentent des approches de modélisation couramment utilisées et dont les caractéristiques méthodologiques sont signalées. Pour ce jeu de données spécifique, des résultats contrastants sont observés pour les différents outils. Ceux-ci peuvent aider le modélisateur dans le choix d’un outil de modélisation appropriée en fonction des objectifs de modélisation.