Evaluating future physicians in life-threatening emergencies simulated situations : development of a tool and reflections on its contribution in the context of a competency-based medical education approach Évaluer les futurs médecins en situation simulée dans le contexte de l’urgence vitale : développement d’un outil et réflexions sur son apport dans le cadre d’une approche par compétence(s) En Fr

Résumé En Fr

It is critical that competency in emergency medicine is achieved for both students and residents’ training. Our work aimed to develop three assessment tools thanks to a simulation-based assessment (SBA) technique, within three life-threatening situations.We conducted a three-phase prospective study : Phase 1 involved the development and content validation of the scores; phase 2 included an evaluation of their psychometric characteristics and phase 3 involved the usability and acceptability testing among faculty.3 tools were developed after the consultation of 51 experts. After the analyze of 43 videos and 104 in situ simulation sessions, which involved respectively 144 and 314 learners, we found a good reliability with excellent reproducibility and good internal consistency. The usability of the ACAT was positive but the raters discussed the changes introduced by SBA.Three valid and reliable tool was developed to measure performance of both medical students and residents in emergency medicine. The acceptability of SBA is questioned and need to be analyzed in order to implement simulation-based high-stakes assessments.

Les compétences en médecine d’urgence (MU) devraient pouvoir être évaluées chez les étudiants en médecine et les internes avec des outils valides. L’objectif était de développer des outils d’évaluation par la simulation, dans trois situations cliniques. Une recherche en trois phases a été menée: développement du contenu, évaluation du processus de réponse et des propriétés psychométriques, puis évaluation de leur utilisabilité et de leur acceptabilité auprès des enseignants. Trois scores ont été obtenus après consultation de 51 experts. Après analyse de 43 vidéos et de 104 simulations in-situ, impliquant 144 et 314 apprenants, la fiabilité des scores était bonne avec une reproductibilité excellente et une bonne cohérence. Les enseignants estimaient que les scores ACAT étaient utilisables, mais ont discuté les changements induits avec l’évaluation par la simulation. Trois scores d’évaluation valides et fiables ont pu être développés pour mesurer la performance des apprenants en MU. L’acceptabilité de l’évaluation par la simulation est questionnée et devrait être analysée dans l’optique de son déploiement pour des évaluations à enjeu élevé.