Evaluating for organizational knowledge and development: DémoUHA's experience in implementing an institutional quality system using the RUFDATAE approach Évaluer pour la connaissance et le développement de l'organisation : l'expérience de DémoUHA dans la mise en œuvre d'un système institutionnel de qualité avec l'approche RUFDATAE En Fr

Résumé En Fr

Winner of the DémoES call for expressions of interest (Digital Demonstrators in Higher Education, ANR-France,2021, PIA4), the DémoUHA project aims to support the development of the Université de Haute Alsace (UHA) towards an agile, learning organization. The aim is to experiment with all the dimensions of digital transformation on a full-scale and in a new global approach, through the implementation of an establishment strategy and action plan (Kern & Forestier, 2022). To this end, a number of strategic transformation objectives affecting management, service organization and pedagogy have been identified with stakeholders. A formative, participative and collaborative approach to evaluation was essential, enabling us to understand the effects of the transformations and the conditions for their implementation and success. This approach implies strong collaboration between players from different departments and components of the university, including students, and the interaction and networking required to build an evaluation for and by the players (Chelimsky, 1997). On the one hand, the results of the evaluation will produce knowledge that contributes to international research, and on the other, will contribute to the development of the organization by implementing a culture of quality within the institution, with a view to sustainability and longevity. To achieve this, we use the RUFDATAE approach (Reasons, Uses, Foci, Data, Audience, Timescale, Agency, Ethics) developed by Saunders (2000) and extended by (Cook, 2021) to design an evaluation process with stakeholders. The project's characteristics, objectives and values require the adoption of an approach that fosters stakeholder collaboration, integrates into the organization's operations and draws on both internal and external evaluation expertise. We assume that RUFDATAE meets these requirements. In addition, it should make it possible to report on objectives achieved, produce relevant knowledge on the transformation processes undergone, and structure and coordinate the institution's quality efforts. We therefore met with the main strategic managers in individual interviews (n= 6), with open-ended questions designed to capture their representations of the proposed approach, its value and prospects for success. It also aimed to identify, from the players' point of view, the areas (strategy, governance, finance, management and quality of alignment between these areas) in which their institution needed to make the most progress, and the actions envisaged to achieve this. To this end, the self-assessment scales proposed by Ellis and Goodyear (2019) have been translated and adapted. This paper will identify, in a specific context, the conditions for adopting an evaluation approach such as RUFDATAE on an institutional scale. It will discuss its potential contribution to the development of a quality culture. In the context of this contribution, a number of questions will be raised for discussion, namely: under what conditions can an institution adopt an approach such as RUFDATAE? At the adoption stage, what are the potential contributions of such an approach? What obstacles need to be overcome?

Lauréat de l’appel à manifestations d'intérêt DémoES (Démonstrateurs numériques dans l'enseignement supérieur, ANR-France,2021, PIA4), le projet DémoUHA vise à soutenir le développement de l’Université de Haute Alsace (UHA) vers une organisation agile et apprenante. L’objectif est d'expérimenter en vraie grandeur et dans une nouvelle approche globale, toutes les dimensions de la transformation numérique par la mise en œuvre d’une stratégie d’établissement et d’un plan d’actions (Kern & Forestier, 2022). Pour cela, plusieurs objectifs stratégiques de transformation touchant tant la gestion que l’organisation des services et la pédagogie ont été identifiés avec les acteurs. La mise en place d’une évaluation par une approche formative, participative et collaborative permettant de comprendre les effets des transformations et leurs conditions de mise en œuvre et de réussite s’est avérée essentielle. Cette démarche implique une collaboration forte des acteurs de différents services et composantes de l’université y compris les étudiants, des interactions, des mises en relations, qui permettent de construire une évaluation pour et par les acteurs (Chelimsky, 1997). Les résultats de l’évaluation permettront d’une part, de produire des connaissances contribuant à la recherche internationale et d’autre part, contribuer au développement de l’organisation par la mise en œuvre d’une culture de qualité dans l’institution avec une visée durable et pérenne. Pour réaliser cette démarche, nous nous appuyons sur l’approche RUFDATAE (Reasons, Uses, Foci, Data, Audience, Timescale, Agency, Ethics) développée par Saunders (2000) et augmentée par (Cook, 2021) permettant de concevoir avec les acteurs une démarche d’évaluation. Les caractéristiques du projet, ses objectifs et ses valeurs nécessitent l'adoption d'une démarche qui favorise la collaboration des acteurs, s'intègre dans le fonctionnement de l'organisation et s'appuie sur une expertise d'évaluation à la fois interne et externe. Nous faisons l'hypothèse que RUFDATAE répond à ces exigences. De plus, elle devrait permettre de rendre compte des objectifs atteints, produire des connaissances pertinentes sur les processus des transformations vécues et structurer et coordonner les efforts de l'institution en matière de qualité. Nous avons donc rencontré les principaux responsables stratégiques en entretien individuel (n= 6), les questions ouvertes visant à saisir leurs représentations de la démarche proposée, de sa valeur et des perspectives de réussite de celle-ci. Elle visait aussi à repérer du point de vue des acteurs les domaines (stratégie, gouvernance, finance, management et qualité de l’alignement entre ces domaines) pour lesquels leur institution devait le plus progresser et les actions envisagées pour y arriver. A cet effet les échelles d’auto-évaluation proposées par Ellis et Goodyear (2019) ont été traduites et adaptées. La communication permettra d'identifier dans un contexte précis les conditions d’adoption d’une démarche d’évaluation telle que RUFDATAE à l’échelle d’une institution. Elle discutera de ses apports potentiels à l’élaboration d’une culture qualité. Dans le cadre de cette contribution, certaines questions seront soulevées et mises à discussion pour un débat, à savoir : dans quelles conditions une institution peut-elle adopter une démarche telle que RUFDATAE ? Au stade de l’adoption, quels sont les acteurs les apports potentiels d’une telle démarche ? Quels seront les obstacles à soulever ?