Évaluation d’impact des politiques territoriales : enjeux méthodologiques et solutions à partir de l’expérimentation Paerpa

Résumé Fr En

L’évaluation des expérimentations territoriales représente des enjeux méthodologiques importants lorsque le traitement est hétérogène et l’effet du traitement varie selon les différents contextes territoriaux. L’objectif de cet article est de présenter le contrôle synthétique (CS) comme une méthode d’évaluation pertinente pour évaluer l’impact des politiques territoriales en s’appuyant sur les expérimentations sur le parcours de santé des ainés, dite Paerpa. Lancées en 2014 dans neuf territoires pilotes pour améliorer la prise en charge des personnes âgées, Paerpa est une expérimentation complexe qui combine une série de dispositifs implémentés de façon hétérogène selon les territoires.Nous présentons une spécification originale de la méthode du CS en s’appuyant sur les données du Système national des données de santé (SNDS) de 12 régions françaises de 2010 à 2017, ainsi que les données socio-économiques et l’offre sanitaire et médico-sociale des territoires appréhendés à partir de nombreuses sources de données, à un niveau communal ou départemental. Les analyses exploratoires mettent en évidence un biais de sélection des territoires et suggèrent que les méthodes de régressions en DID peuvent être inappropriées. La méthode du CS permet de faire varier la composition des témoins selon le territoire et l’indicateur de résultat, et d’établir l’impact des dispositifs de façon nuancée. Elle fournit un moyen systématique pour identifier les unités de contrôle et établir les résultats par territoire.Les résultats montrent que globalement, lorsqu’on étudie l’ensemble des territoires, Paerpa a eu un impact significatif sur la diminution de la polymédication et des prescriptions inappropriées, et dans une moindre mesure sur le recours aux urgences entre 2015 et 2017. Les analyses par territoire montrent que cet impact est concentré sur certains territoires les plus dynamiques sur ces problématiques de façon cohérente avec les évaluations qualitatives réalisées dans les territoires.

Evaluating the impact of locally launched interventions represents important methodological challenges when the treatment is heterogeneous and the impact of the treatment can vary according to different local contexts. In this article we present the synthetic control (SC) as a robust method for evaluating the impact of health interventions introduced at the territorial level using the example of experiments “Healthcare pathways of seniors” (Paerpa). Launched in 2014 in nine pilot territories for improving care coordination and quality of life of frail elderly people (75 +), Paerpa is an example of a complex social experiment that provides funding for a number of tools which are implemented heterogeneously from one pilot (territory) to another.We introduced an original specification of the CS method using data from the National Health Data System (NHDS) from 2010 to 2017, for 12 French regions, as well as data on socio-economic contexts, and health and social care supply at a municipal or departmental level from various sources. Exploratory analyses showed a selection bias and suggested that classical regression methods may be inappropriate. The SC method allows for varying the composition of the control groups by territory and by outcome indicator and for estimating the impact of each pilot in a robust manner. It provides a systematic means for identifying control units and gives the possibility to explore the results by territory.Overall the results suggest that, on the average of all pilots, Paerpa had a significant impact on reducing polypharmacy and inappropriate prescriptions, and to a lesser extent emergency visits between 2015 and 2017. But the analyses by territory show that the trends in individual pilots are quite different and that the overall results are drawn by the performance of a few territories. These results are consistent with the results from the qualitative evaluation of the pilots.