Bewertung der Verzerrung von Punktprognosen über mehrere Zeitreihen hinweg: Maßnahmen und visuelle Werkzeuge Assessing point forecast bias across multiple time series: Measures and visual tools Evaluación del sesgo de pronóstico puntual en múltiples series temporales: Medidas y herramientas visuales Évaluation du biais de prévision ponctuelle sur plusieurs séries chronologiques : Mesures et outils visuels Valutazione del bias delle previsioni puntuali su più serie temporali: misure e strumenti visivi De En Es Fr It

Résumé En Fr

Measuring bias is important as it helps identify flaws in quantitative forecasting methods or judgmental forecasts. It can, therefore, potentially help improve forecasts. Despite this, bias tends to be under-represented in the literature: many studies focus solely on measuring accuracy. Methods for assessing bias in single series are relatively well-known and well-researched, but for datasets containing thousands of observations for multiple series, the methodology for measuring and reporting bias is less obvious. We compare alternative approaches against a number of criteria when rolling-origin point forecasts are available for different forecasting methods and for multiple horizons over multiple series. We focus on relatively simple, yet interpretable and easy-to-implement metrics and visualization tools that are likely to be applicable in practice. To study the statistical properties of alternative measures we use theoretical concepts and simulation experiments based on artificial data with predetermined features. We describe the difference between mean and median bias, describe the connection between metrics for accuracy and bias, provide suitable bias measures depending on the loss function used to optimise forecasts, and suggest which measures for accuracy should be used to accompany bias indicators. We propose several new measures and provide our recommendations on how to evaluate forecast bias across multiple series.

La mesure du biais est importante car elle permet d'identifier les failles des méthodes de prévision quantitative ou des prévisions fondées sur le jugement. Elle peut donc potentiellement contribuer à améliorer les prévisions. Malgré cela, le biais tend à être sous-représenté dans la littérature : de nombreuses études se concentrent uniquement sur la mesure de la précision. Les méthodes d'évaluation du biais dans les séries uniques sont relativement bien connues et bien étudiées, mais pour les ensembles de données contenant des milliers d'observations pour des séries multiples, la méthodologie de mesure et de communication du biais est moins évidente. Nous comparons des approches alternatives par rapport à un certain nombre de critères lorsque des prévisions ponctuelles d'origine glissante sont disponibles pour différentes méthodes de prévision et pour plusieurs horizons sur plusieurs séries. Nous nous concentrons sur des mesures et des outils de visualisation relativement simples, mais interprétables et faciles à mettre en œuvre, qui sont susceptibles d'être applicables dans la pratique. Pour étudier les propriétés statistiques des mesures alternatives, nous utilisons des concepts théoriques et des expériences de simulation basées sur des données artificielles avec des caractéristiques prédéterminées. Nous décrivons la différence entre le biais moyen et le biais médian, nous décrivons le lien entre les mesures de précision et de biais, nous fournissons des mesures de biais appropriées en fonction de la fonction de perte utilisée pour optimiser les prévisions, et nous suggérons quelles mesures de précision devraient être utilisées pour accompagner les indicateurs de biais. Nous proposons plusieurs nouvelles mesures et fournissons nos recommandations sur la manière d'évaluer le biais des prévisions sur plusieurs séries.