Évaluation des politiques publiques : trois illustrations dans le champ culturel

Résumé Fr En

L’évaluation des politiques publiques permet de mesurer l’effectivité de la mise en œuvre d’une mesure et son efficacité, évaluée selon les objectifs définis et justifiant l’intervention publique. Les méthodologies d’évaluation des politiques publiques peuvent être de différentes natures et les sciences économiques disposent d’outils permettant une évaluation d’ordre économétrique. Comparer directement les bénéficiaires et les non-bénéficiaires d’une mesure fournit une évaluation biaisée dans la mesure où ces deux groupes ont en général des caractéristiques différentes. Les méthodes économétriques ont en commun de résoudre ce problème en permettant de raisonner « toutes choses égales par ailleurs », c’est-à-dire d’isoler l’effet de la mesure afin d’en apprécier l’impact propre. Conformément au modèle causal de Rubin, l’évaluation consiste ainsi à comparer la situation que l’on peut observer avec celle que l’on observerait en l’absence d’intervention publique. Cette dernière, appelée situation contrefactuelle, est fondamentalement inobservable et tout l’enjeu des méthodes économétriques est d’en fournir une estimation la plus précise possible. Les trois outils les plus classiques sont présentés ici et illustrés par trois dispositifs d’intervention publique dans le champ de la culture : le label LIR, le dispositif École et cinéma et le crédit d’impôt audiovisuel. Dans le cas du label LIR, il est proposé d’évaluer si le label a permis à certaines librairies d’améliorer leur taux de rentabilité. Le label LIR permet d’exposer théoriquement la méthode des différences de différences ou estimateur en double différences, qui consiste à comparer avant et après la création du label les librairies labellisées et non labellisées pour évaluer son efficacité. Avec le dispositif École et cinéma, l’évaluateur se demande si le programme a permis de développer le goût des enfants pour le cinéma en analysant le taux de fréquentation annuelle des salles obscures des jeunes adultes. École et cinéma permet d’illustrer la méthode des variables instrumentales qui consiste à utiliser une source de variation exogène qui n’a pas d’effet direct sur le nombre d’entrées au cinéma des jeunes adultes mais qui explique la participation au programme de ces jeunes à l’école primaire. Enfin, la méthode de la régression avec discontinuité est proposée pour l’évaluation du crédit d’impôt audiovisuel afin d’analyser l’objectif de localisation française des dépenses de production en mesurant le nombre de jours de tournage sur le sol français des sociétés de production. Cette méthode consiste à profiter de l’existence d’un score de sélection des participants au programme, et de restreindre l’évaluation au voisinage du seuil donnant l’accès au crédit d’impôt afin de mimer une affectation aléatoire des individus dans le programme. Plutôt qu’une évaluation des dispositifs proposés ici à titre illustratif, cette publication vise à exposer des outils encore peu mobilisés pour l’évaluation de politiques culturelles.

The evaluation of public policies enables an assessment to be made of how efficiently a measure has been implemented and how effective it is in itself, evaluated in accordance with defined criteria and justifying public intervention. There is a range of different public policy evaluation methodologies, with economics providing various tools for econometric evaluation. A direct comparison of the beneficiaries and non-beneficiaries of a given measure will give a biased evaluation, as, generally speaking, both groups will have quite different characteristics. Econometric methods all avoid this problem by taking an "all other things being equal" approach, i.e. by isolating the effect of a given measure in order to assess its own specific impact. In accordance with Rubin’s causal model, an evaluation compares an observed situation with that which one might observe in the absence of any public intervention. The latter is referred to as the counterfactual situation; it is fundamentally unobservable, so econometric methods aim to supply as precise an assessment as possible. The three most standard methods are outlined here and are illustrated using three public intervention initiatives from the cultural sphere: the LiR label initative, the Schools & Cinema initiative and the audiovisual tax credit scheme. In the case of the LiR label, it aims to determine whether this labelling scheme has enabled certain bookshops to improve their profitability. The LiR label enables a theoretical exposition of the difference in differences or double differences method, which compares labelled and non-labelled bookshops both before and after creation of the label in order to evaluate its efficacy. For the Schools and Cinema initiative, the assessment looked at whether this scheme had helped develop young people's taste for the cinema by analysing young people's annual cinema attendance rates. School and Cinema provides an illustration of the instrumental variables method which involves taking an exogenous variable which has no direct effect on cinema attendance levels in young adults but which explains the participation of these young people in the programme at primary school level. Finally, regression discontinuity design is used to assess the audiovisual tax credit scheme, analysing the aim of attracting production expenditure to France by measuring the number of days spent filming on French soil by production companies. This method involves using an existing selection rating for scheme participants, restricting the evaluation to those nearest the threshold for tax credit qualification in order to imitate a random selection of the individuals in the programme. Rather than an evaluation of the schemes shown here for illustrative purposes, this publication aims to outline those tools which are still under-used in the evaluation of cultural policy.