Chaque année, le ministère de l’Éducation nationale publie des indicateurs de valeur ajoutée des lycées (IVAL) visant à mesurer l’efficacité des actions éducatives. Conçus comme outils de pilotage fiables, ces IVAL jouent un rôle décisionnel important dans le travail des équipes éducatives. Pourtant, les IVAL sont limités par la non-prise en compte d’une erreur d’échantillonnage qui confond l’action des lycées avec du « bruit » statistique ( i.e., les effets du hasard). Retraçant l’historique de ces indicateurs – depuis leurs origines dans la recherche sur les effets-établissement, jusqu’à leur diffusion en France –, cette étude montre en quoi cette non-prise en compte de l’erreur d’échantillonnage pose un problème de mesure qui contrarie une évaluation fiable de l’action éducative. Pour pallier cette difficulté, des stratégies d’estimation alternatives sont proposées. La pertinence de cette critique est illustrée à travers l’étude de 112 lycées de l’académie de Grenoble et de leur action éducative sur la réussite au baccalauréat.
Each year in France, the Education Ministry publishes value-added indicators of high schools (“ IVAL” in French, or “VAM” in English) that seek to measure the effectiveness of educational practices. Regarded as reliable management tools, these IVALs play an important role in school educators’ decision-making processes. Yet, these IVALs are limited because they do not account for sampling variance, which confounds high school effects with statistical “noise” (i.e., chance effects). Retracing the history of these indicators—from their origins in school effectiveness research, to their dissemination in France—, this study shows why this limitation poses a measurement problem that can alter a reliable evaluation of school effectiveness. To address this issue, alternative estimation strategies are proposed. The relevance of this critique is illustrated in a study of 112 high schools from the academic region of Grenoble and of their effectiveness in facilitating graduation from high school.
Jedes Jahr veröffentlicht das französische Erziehungsministerium die Indikatoren des Mehrwerts der Oberschulen ( Indicateurs de Valeur Ajoutée des Lycées – IVAL), die die Effizienz der Erziehungsaktionen messen sollen. Diese IVAL, die als zuverlässiges Hilfsmittel zur Steuerung gedacht sind, spielen eine wichtige Rolle zu Entscheidungen bei der Arbeit der Erziehungsteams. Die IVAL sind jedoch begrenzt, da sie nicht einen Stichprobenfehler bei dem die Aktion der Oberschulen mit statistischen „Lärm“ verwechselt werden (d.h. die Zufallswirkungen) berücksichtigen. Indem ein chronologischer Überblick dieser Indikatoren nachvollzogen wird – seit ihrem Beginn in der Forschung über die Anstalt-Effekte zu ihrer Verbreitung in Frankreich, zeigt diese Untersuchung worin diese Nichtberücksichtigung der Stichproblemfehler ein Problem zur Messung darstellt, dass die zuverlässige Bewertung der Erziehungsaktion stört. Zur Behebung dieser Schwierigkeit werden alternative Bewertungsstrategien vorgeschlagen. Die Zutrefflichkeit dieser Kritik ist an eine Untersuchung in 112 Oberschulen der Akademie Grenoble sichtbar und anderen Erziehungsaktion bezüglich des Abiturerfolgs.
Cada año el ministerio de Instrucción pública publica indicadores de valor añadido de los institutos de enseñanza secundaria (indicadores de valor añadido de las escuelas secundarias – IVAL) cuya meta es medir la eficacia de las acciones educativas. Elaborados como herramientas fiables de pilotaje, dichos IVAL cumplen una función importante en las decisiones tomadas por los equipos educativos. Sin embargo los IVAL se ven limitados por el hecho de no tomar en cuenta el error de muestreo, lo cual confunde la acción de las escuelas con “ruido” estadístico ( i.e. los efectos de la casualidad). Retratamos el historial de dichos indicadores – desde sus orígenes en la investigación acerca de los efectos-escuela, hasta su difusión en Francia – para mostrar en qué medida el hecho de no tener en cuenta el error de muestreo plantea un problema respecto a la medición que impide una evaluación fiable de la acción educativa. Para compensar esa dificultad, se proponen estrategias alternativas de estimación. La pertinencia de esta crítica se ilustra a través del estudio de 112 escuelas secundarias de la academia de Grenoble y su acción educativa respecto a los resultados en el examen de bachillerato.
