EN:

Introduction: Current approaches to health advocate (HA) training leave many physicians feeling ill-equipped to advocate effectively. Likewise, faculty perceive the HA role as challenging to teach, role model, evaluate and assess. Progress on improving HA training is further stalled by debate over the role’s importance and whether it should be considered intrinsic to medical practice. Recent graduates are well-positioned to comment on how these challenges affect HA training and preparation for practice. Therefore, our purpose was to explore the perspectives of new-in-practice physicians who are keen to be effective advocates.

Methods: Ten early-career physicians participated in semi-structured interviews exploring their perceived competence and motivation to engage in health advocacy. Constructivist grounded theory informed the iterative data collection and analysis process.

Results: Participants wished they knew during training how much they would use advocacy in practice. While training imparted adequate patient-level advocacy skills, participants felt underprepared to enact system-level advocacy–which they conceptualized as a wide-range of activities including political advocacy. In turn, participants grappled with lack of preparation, waning motivation, feelings of futility, lack of value for advocacy and need for self-preservation. For these reasons, they questioned whether system-level advocacy should be expected of all physicians.

Conclusions: Although training may adequately prepare physicians for patient-level advocacy, system-level advocacy training remains insufficient. While patient-level advocacy is integral to good care, whether system-level advocacy should be a universal expectation deserves closer consideration. Perhaps system-level health advocacy may be better conceptualized as a specialized role requiring additional training. Regardless, physician advocates’ efforts need to be valued for their contributions.

FR:

Introduction : Les cursus actuels de formation à la promotion de la santé (PS) font que de nombreux médecins se sentent mal outillés pour défendre efficacement les intérêts des patients. De même, le corps enseignant perçoit le rôle de PS comme difficile à enseigner, à incarner et à évaluer. Un débat sur l'importance de ce rôle et sur la question de savoir s'il doit être considéré comme intrinsèque à la pratique médicale ralentit encore les progrès en matière d'amélioration de la formation à la PS. Les praticiens fraîchement diplômés sont bien placés pour commenter la manière dont ces obstacles affectent la formation à la PS et la préparation à la pratique. Notre objectif était donc d'explorer les points de vue de médecins en début de carrière qui souhaitent devenir des défenseurs efficaces des intérêts de leurs patients.

Méthodes : Dix médecins en début de carrière ont participé à des entretiens semi-structurés explorant leur ressenti de leur compétence et de leur motivation vis-à-vis la défense des intérêts des patients. La théorie constructiviste ancrée a guidé le processus itératif de collecte et d'analyse des données.

Résultats : Les participants auraient souhaité savoir pendant leur formation dans quelle mesure ils utiliseraient la défense des intérêts des patients dans leur pratique. Si leur formation leur a permis d'acquérir des compétences suffisantes en matière de défense des intérêts de leurs patients à une échelle individuelle, les participants ne se sont pas sentis suffisamment préparés à défendre les intérêts des patients à l’échelle du système de santé, ce qu'ils ont conceptualisé comme un large éventail d'activités, y compris au niveau politique. Les participants ont été confrontés à un manque de préparation, à une baisse de motivation, à une impression d’inutilité, à une dévaluation de la défense des intérêts des patients et à un besoin de se préserver. Pour ces raisons, ils se sont demandé s'il fallait attendre de tous les médecins qu'ils défendent les intérêts des patients à un niveau systémique.

Conclusions : Bien que la formation puisse préparer adéquatement les médecins à la défense des intérêts de leurs patients à une échelle individuelle, la formation à la défense des intérêts des patients à une échelle systémique reste insuffisante. Si la défense des intérêts du patient individuel fait partie intégrante de la qualité des soins, la question de savoir si la défense des intérêts des patients à une échelle systémique doit être une attente universelle mérite d'être examinée de plus près. Il serait peut-être préférable de conceptualiser la défense des intérêts des patients au niveau du système de santé comme un rôle spécialisé nécessitant une formation supplémentaire. Quoi qu'il en soit, les efforts des médecins en tant que défenseurs des intérêts des patients doivent être appréciés à leur juste valeur.

EN:

Background: Websites that facilitate communication between patients regarding their experiences with individual physicians are now relatively commonplace. Given patient-generated ratings are publicly available, physicians could use these to access rarely available patient feedback. We explored the content of reviews associated with low physician ratings and consider the potential benefits and consequences of relying on this form of freely available data to support individual life-long learning.

Methods: We conducted an exploratory qualitative descriptive study. We collected narrative comments associated with low numerical ratings on one physician-rating website (RateMDs) drawn from one specialty in Canada. Written reviews associated with low numerical ratings (≤2/5) for Canadian otolaryngologists were collected yielding a total of 878 comment sets that were analyzed deductively and iteratively.

Results: We found that patient comments described poor performance in areas that aligned, for the most part, with the CanMEDS roles including Professional, Communicator, and Leader; specifically referring to management of the clinical environment, administrative staff, and trainees.

Conclusion: While not intended for physician feedback, physicians could access patient-to-patient ratings and associated written reviews as a means to identify areas of practice improvement. However, this represents an unintended use of these websites. While speculative, access to patient-to-patient rating websites could negatively impact physician confidence or self-worth – representing a negative consequence of their use. The utilization of these data for potential self-improvement represents an unintended use of patient-to-patient ratings and so may be accompanied by unintended consequences for physicians who use these data as potential feedback, and patients who contribute to physician rating sites.

FR:

Contexte : Les sites Web qui facilitent la communication entre les patients au sujet de leurs expériences avec des médecins en particulier sont désormais relativement courants. Étant donné que les évaluations réalisées par les patients sont accessibles au public, les médecins pourraient les utiliser pour accéder aux commentaires rarement disponibles des patients. Nous avons étudié le contenu des commentaires associés aux mauvaises évaluations des médecins et nous avons examiné les avantages et les conséquences potentiels de l'utilisation de cette forme de données librement accessibles pour soutenir l'apprentissage individuel tout au long de la vie.

Méthodes : Nous avons mené une étude qualitative descriptive exploratoire. Nous avons recueilli des commentaires narratifs associés à des évaluations numériques faibles sur un site Web d'évaluation des médecins (RateMDs) provenant d'une spécialité au Canada. Les commentaires écrits associés à de faibles notes numériques (≤2/5) pour les oto-rhino-laryngologistes canadiens ont été recueillis, ce qui a donné un total de 878 ensembles de commentaires qui ont été analysés de manière analytique et récurrente.

Résultats : Nous avons constaté que les commentaires des patients décrivaient des performances médiocres dans des domaines qui correspondaient, pour la plupart, aux rôles CanMEDS, notamment Professionnel, Communicateur et Leader, en particulier en ce qui concerne la gestion de l'environnement clinique, le personnel administratif et les stagiaires.

Conclusion : Bien qu'il ne s'agisse pas d'un retour d'information, les médecins peuvent accéder aux évaluations des patients et aux critiques écrites qui y sont associées afin d'identifier les domaines dans lesquels ils peuvent améliorer leur pratique. Toutefois, il s'agit là d'une utilisation involontaire de ces sites Web. Bien que spéculatif, l'accès aux sites Web d'évaluation des patients pourrait avoir un impact négatif sur la confiance ou l'estime de soi des médecins, ce qui représenterait une conséquence négative de leur utilisation. L'utilisation de ces données à des fins potentielles d'amélioration personnelle représente une utilisation involontaire des évaluations faites par les patients et peut donc s'accompagner de conséquences involontaires pour les médecins qui utilisent ces données comme retour d'information potentiel et pour les patients qui contribuent aux sites d'évaluation des médecins.

EN:

Background: Multisource feedback (MSF) and 360-degree assessment collate feedback from multiple perspectives for a particular person. Since MSF aligns with programmatic assessment, undergraduate programs could theoretically incorporate this practice. This paper details the creation of an undergraduate medical education (UGME) MSF and its initial pilot.

Methods: The Medical Council of Canada (MCC) collaborated with researchers from four Canadian UGME programs to adapt an existing tool, MCC 360. They adjusted MSF components for clerkship and piloted the revised version at one Canadian medical school. Student participants completed a post-evaluation survey. Researchers chose the Norcini et al. framework to inform the tool adaptation and evaluation.

Results: The new MCC 360 UGME incorporated MSF from three rater groups (patients, self, and a mixed group of supervisors, residents, hospital staff and/or peers) and compiled it into an individualized report. An independent facilitator reviewed and discussed the report with the student. Students indicated that the MCC 360 UGME had a major to moderate impact on their learning. They appreciated receiving patient feedback and working with facilitators to identify areas of improvement. Although students found completing the MSF requirements to be burdensome, they found it to be acceptable to provide educational benefits.

Conclusion: Implementing MSF in Canadian UGME would allow clerkship students to access feedback from patients and others in the workplace. It would also socialize students to MSF early in their careers.

FR:

Contexte : La rétroaction multisource (MSF) et l’évaluation à 360 degrés recueillent des commentaires provenant de plusieurs perspectives à l’intention d’une même personne. Étant donné que la MSF s’aligne avec l’évaluation programmatique, les programmes de formation médicale de premier cycle pourraient en principe intégrer cette pratique. Cet article décrit le développement d’un outil de MSF adapté à la formation médicale de premier cycle (FMPU) ainsi que sa mise à l’essai initiale.

Méthodes : Le Conseil médical du Canada (CMC) a collaboré avec des chercheurs de quatre programmes canadiens de FMPU pour adapter un outil existant, le CMC 360. Les composantes de la MSF ont été ajustées pour le stage clinique, puis la version révisée a été mise à l’essai dans une école de médecine canadienne. Les étudiants ayant participé ont rempli un sondage après l’évaluation. Les chercheurs ont retenu le cadre conceptuel proposé par Norcini et ses collaborateurs pour guider l’adaptation et l’évaluation de l’outil.

Résultats : La nouvelle version du CMC 360 pour la FMPU a intégré la rétroaction de trois groupes d’évaluateurs (patients, soi-même, et un groupe mixte de superviseurs, résidents, membres du personnel hospitalier et/ou pairs), rassemblée dans un rapport personnalisé. Un facilitateur indépendant a examiné le rapport avec l’étudiant et en a discuté avec lui. Les étudiants ont indiqué que le CMC 360 avait eu un impact allant de majeur à modéré sur leur apprentissage. Ils ont apprécié recevoir des commentaires de patients et travailler avec un facilitateur pour cerner les domaines à améliorer. Bien qu’ils aient trouvé que répondre aux exigences de la MSF était exigeant, ils ont jugé l’expérience acceptable compte tenu de ses retombées pédagogiques.

Conclusion: La mise en oeuvre de la MSF dans la FMPU canadienne permettrait aux étudiants en stage clinique d’accéder à des rétroactions provenant de patients et d’autres intervenants en milieu de travail. Elle contribuerait également à les familiariser avec la MSF dès le début de leur carrière.

EN:

Introduction: The progression from preclinical medical training to clerkship is a pivotal yet steep transition for medical students. Effective feedback on clinical skills during preclinical training can better equip students for clerkship and allows time for them to address difficulties promptly. The goal of this study was to explore whether and how narrative comments at this stage were being leveraged to achieve this transition.

Methods: We conducted a content analysis to categorize narrative comments on the clinical skills of two cohorts of third-year preclinical students at one academic institution.

Results: Teachers made narrative comments for 272 students. Each comment was divided into analysis units (n = 1,314 units). Comments were either general (n = 187) or focused on attitude (n = 628), knowledge and cognitive processes (n = 357), or clinical reasoning (n = 142). They were abundantly positive (n = 1,190) and marginally negative (n = 39). Few (6%) contained suggestions for improvement.

Discussion: In this study, narrative comments on clinical skills before clerkship seemed minimally helpful, as they were overwhelmingly positive and seldom offered suggestions. This could suggest missed opportunities for early interventions. Pre-clerkship narrative comments could potentially be optimized by increasing emphasis on clinical reasoning, addressing challenges early and providing actionable steps for improvement.

FR:

Introduction : Le passage de la formation médicale préclinique à l'externat est une transition cruciale mais abrupte pour les étudiants en médecine. Une rétroaction efficace sur les compétences cliniques au cours de la formation préclinique peut mieux préparer les étudiants à l'externat et leur donner le temps de remédier rapidement aux difficultés rencontrées. L'objectif de cette étude était d'explorer si et comment les commentaires narratifs à ce stade étaient mis à profit pour réaliser cette transition.

Méthodes : Nous avons effectué une analyse de contenu pour catégoriser les commentaires narratifs sur les compétences cliniques de deux cohortes d'étudiants précliniques de troisième année dans un établissement universitaire.

Résultats : Les enseignants ont fait des commentaires narratifs pour 272 étudiants. Chaque commentaire a été divisé en unités d'analyse (n = 1 314 unités). Les commentaires étaient soit généraux (n = 187), soit axés sur l'attitude (n = 628), les connaissances et les processus cognitifs (n = 357), ou le raisonnement clinique (n = 142). Ils étaient en général positifs (n = 1 190) et rarement négatifs (n = 39). Peu d'entre eux (6 %) contenaient des suggestions d'amélioration.

Discussion : Dans cette étude, les commentaires narratifs sur les compétences cliniques avant l'externat ont semblé peu utiles, car ils étaient en grande majorité positifs et offraient rarement des suggestions. Cela donne à penser que des occasions d’intervention précoce ont pu être perdues. Les commentaires narratifs avant l'externat pourraient être optimisés en mettant davantage l'accent sur le raisonnement clinique, en abordant rapidement les défis rencontrés et en proposant des mesures d'amélioration réalisables.

FR:

Contexte: Dans le cadre des séances de simulation de raisonnement clinique (RC) à la faculté de médecine de l’Université d’Ottawa, les étudiants de pré-externat sont jumelés en dyade afin d’augmenter le nombre de cas cliniques pratiques avant l’externat. Un étudiant joue le rôle du clinicien (EC) et l’autre est observateur (EO) en alternance. Cette étude descriptive quantitative vise à comparer la génération d’hypothèses diagnostiques des EO à celles des EC pour soutenir l’utilité de l’observation engagée des pairs comme stratégie d’apprentissage du RC en contexte de simulation clinique.

Méthodes: Suivant un entretien avec un patient simulé, les EC et les EO ont été invités à générer deux hypothèses diagnostiques dans un formulaire électronique. Les réponses ont été compilées, catégorisées et comparées en termes d’hypothèses diagnostiques équivalentes au sein d’une même dyade. La différence de distribution de fréquences des hypothèses équivalentes a été analysée statistiquement à l’aide d’un calcul du chi-carré.

Résultats: Le pourcentage de dyades avec au moins une hypothèse diagnostique équivalente varie entre 83 à 100% selon le scénario. Le nombre d’hypothèses équivalentes entre les EO et les EC est statistiquement significatif (p<0.01).

Conclusion: Les EO semblent pouvoir générer des hypothèses diagnostiques semblables aux EC. Les résultats soutiennent l’utilisation de l’observation engagée des pairs comme stratégie d’apprentissage du RC en contexte de simulation clinique au pré-externat de médecine

EN:

Background: Learning clinical reasoning (CR) requires practice in a variety of educational settings. As part of the clinical simulation sessions at the University of Ottawa's Faculty of Medicine, pre-clerkship students are paired in dyads to increase the number of practical clinical cases before the clerkship. One student plays the role of a Clinical Student (CS) and the other alternates as a Student Observer (SO). This quantitative descriptive study aims to compare the diagnostic hypothesis generation by SOs with that of CSs to support the usefulness of engaged peer observation as a CR learning strategy in clinical simulation settings.

Methods: Following an interview with a simulated patient, CSs and SOs were asked to generate two diagnostic hypotheses in an electronic form. Responses were compiled, categorized, and compared in terms of equivalent diagnostic hypotheses within the same dyad. The difference in frequency distribution of equivalent hypotheses was statistically analyzed using a chi-square calculation.

Results: The percentage of dyads with at least one equivalent diagnostic hypothesis ranged from 83% to 100%, depending on the scenario. The number of equivalent hypotheses between SOs and CSs was statistically significant (p < 0.01).

Conclusion: SOs appear to be able to generate diagnostic hypotheses similar to those of CSs. The results support the use of engaged peer observation as a learning strategy for CR in clinical simulation settings in pre-clerkship medical education.

EN:

Introduction: OSCE (Objective Structured Clinical Examination) are a means of assessing health profession students. However, they are a source of stress or anxiety for students. The aim of our study was to improve medical students’ performance during OSCEs by using human performance optimization techniques (HPOT).

Methods: Naïve students for OSCE were divided into blocks of five, randomized to HPOT and control groups. Before starting their OSCE circuit, HPOT blocks underwent a 30-minute preparation session. Anxiety was assessed before and after the OSCE using a Visual Analogic Scale (VAS).

Results: We randomized and assigned 206 students to 41 blocks of which 20 were HPOT and 21 were control. Anxiety before the exam was significantly reduced thanks to the HPOT procedure with a median value of six and four on the VAS respectively before and after the relaxation session (p = 0.001). The final exam score was not associated with pre-OSCE anxiety (p = 0.5). The HPOT procedure did not improve the final score (p = 0.4). Interestingly, the final score was inversely correlated with the final median anxiety VAS reading after the exam (p = 0.01): students with the lowest anxiety VAS achieved better scores.

Conclusion: Relaxation, conscious breathing, and positive reinforcement methods reduced students’ anxiety prior to their OSCE; however, these techniques did not improve their scores.

FR:

Introduction : Les ECOS (examens cliniques objectifs structurés) sont un moyen d'évaluer les étudiants des professions de santé. Cependant, ils sont une source de stress ou d'anxiété pour les étudiants. L'objectif de notre étude était d'améliorer les performances des étudiants en médecine pendant les ECOS en utilisant des techniques d'optimisation du potentiel (TOP).

Méthodes : Des étudiants sans expérience des ECOS ont été répartis en blocs de cinq, au hasard entre un groupe soumis à des TOP et un groupe contrôle. Avant de commencer leur circuit d'ECOS, les étudiants des blocs TOP ont suivi une séance de préparation de 30 minutes. L'anxiété a été évaluée avant et après l'ECOS à l'aide d'une échelle visuelle analogique (EVA).

Résultats : Nous avons réparti aléatoirement 206 étudiants dans 41 blocs, dont 20 blocs TOP et 21 blocs contrôle. L'anxiété avant l'examen a été significativement réduite grâce aux TOP, avec une valeur médiane de six et quatre sur l'EVA respectivement avant et après la séance de relaxation (p = 0,001). Le résultat final de l'examen n'était pas associé à l'anxiété avant l'examen (p = 0,5). La procédure TOP n'a pas amélioré le score final (p = 0,4). Il est intéressant de noter que le score final était inversement corrélé au niveau médian de l'EVA après l'examen (p = 0,01) : les étudiants dont l'EVA était la plus basse ont obtenu de meilleurs scores.

Conclusion : La relaxation, la respiration consciente et les méthodes de renforcement positif ont réduit l'anxiété des étudiants avant leur ECOS; cependant, ces techniques n'ont pas amélioré leurs résultats.

EN:

Background: Feedback remains essential to a learner’s professional development. Most feedback literature focuses on provision of feedback, and there is a lack of evidence-based data to support learners in developing skills to receive, evaluate and use feedback, independently of context. This scoping review mapped the literature regarding strategies and skills that optimize medical learners’ reception to feedback.

Methods: Investigators conducted searches in MEDLINE, Embase, ERIC, APA PsycINFO and Web of Science Core collection from inception to May 2023. Study inclusion criteria were primary evidence sources, and strategies or skills for improved feedback reception for medical learners. Data were screened and extracted by pairs of independent reviewers. Investigators summarized study characteristics, outcomes, educational methods, and interventions.

Results: Of 6915 total studies, six provided strategies and skills to improve feedback reception. Delivery of education was via workshops (n = 5 studies) that proposed cognitive, reflective and experiential learning activities, all reporting learners’ self-perceived improvement of feedback behaviour. Nine strategies and seven tools were identified, focusing on general approach, soliciting or evaluating feedback.

Conclusion: The six included studies outline nine strategies and seven skills for improved learner feedback reception, focusing on overall approach and agentic behaviours without evaluation of the strategies or skills in practice. Key concepts and gaps in the literature were identified and may guide further investigation to optimize learner reception to feedback.

FR:

Contexte : La rétroaction demeure essentielle au développement professionnel des apprenants. La majorité des publications sur la rétroaction se concentrent sur sa fourniture, et il existe un manque de données probantes pour soutenir les apprenants dans le développement de compétences permettant de recevoir, évaluer et utiliser la rétroaction, indépendamment du contexte. Cette revue exploratoire a cartographié la littérature portant sur les stratégies et compétences qui optimisent la réception de la rétroaction chez les apprenants en médecine.

Méthodes : Les chercheurs ont effectué des recherches dans MEDLINE, Embase, ERIC, APA PsycINFO et Web of Science Core Collection depuis l’origine jusqu’à mai 2023. Les critères d’inclusion des études comprenaient des sources de données primaires et des stratégies ou compétences visant à améliorer la réception de la rétroaction chez les apprenants en médecine. Les données ont été examinées et extraites par paires d’évaluateurs indépendants. Les chercheurs ont résumé les caractéristiques des études, les résultats, les méthodes pédagogiques et les interventions.

Résultats : Sur un total de 6915 études, six ont identifié des stratégies et des compétences pour améliorer la réception de la rétroaction. La formation était principalement dispensée sous forme d’ateliers (n = 5 études) proposant des activités d’apprentissage cognitives, réflexives et expérientielles, toutes rapportant une amélioration perçue par les apprenants de leurs comportements liés à la rétroaction. Neuf stratégies et sept outils ont été recensés, portant sur l’approche générale, la sollicitation ou l’évaluation de la rétroaction.

Conclusion : Les six études incluses décrivent neuf stratégies et sept compétences pour optimiser la réception de la rétroaction chez les apprenants, en mettant l’accent sur l’approche générale et les comportements proactifs, sans évaluation pratique des stratégies ou compétences. Des concepts clés et des lacunes dans la littérature ont été identifiés, pouvant orienter de futures recherches pour améliorer la réception de la rétroaction par les apprenants.

EN:

In the post-pandemic era, modalities for delivering medical education are at a crossroads. The pandemic disrupted the traditional in-person model, and a boom of virtual meetings and sessions quickly found their place in medical education. Now, educators are left with a selection of in-person, virtual, and hybrid approaches to structure medical education programming. We provide six tips to help guide medical educators on deciding between the variety of educational delivery methods.

FR:

Dans l'ère post-pandémique, les modalités d'enseignement de la médecine sont à la croisée des chemins. La pandémie a bouleversé le modèle traditionnel en personne, et un essor de réunions et de sessions virtuelles a rapidement trouvé sa place dans l'enseignement médical. Aujourd'hui, les formateurs ont le choix entre des approches en personne, virtuelles et hybrides pour structurer les programmes d'enseignement médical. Nous offrons six conseils pour aider les formateurs médicaux à choisir entre les différentes méthodes d'enseignement.

EN:

Implication Statement

International medical electives are viewed as an opportunity for medical students to experience global health firsthand and improve cultural humility. Despite its potential benefits, concerns have been raised regarding harms during placements. These need to be addressed to ensure that international electives are conducted ethically and not only benefit learners but also the communities involved. The University of Saskatchewan has transformed its global health certificate, Making the links, in an effort to address existing concerns. We seek to share the program’s approach and its value to us. Other centres may introduce this approach to help train more equity-oriented healthcare workers.

FR:

Énoncé des implications de la recherche

Les stages à option internationaux sont considérés comme une occasion pour les étudiants en médecine de faire l'expérience directe de la santé mondiale et d'améliorer leur sensibilité culturelle. Malgré leurs avantages potentiels, des craintes ont été soulevées quant à des effets négatifs durant ces stages. Elles doivent être prises en compte afin de garantir que les stages à option internationaux soient effectués de manière éthique et qu'ils profitent non seulement aux apprenants, mais aussi aux populations concernées. L'Université de la Saskatchewan a transformé son certificat en santé mondiale, Making the links, afin de répondre à ces préoccupations. Nous souhaitons faire connaître la démarche de notre programme et la valeur que nous lui accordons. D'autres centres pourraient s’en inspirer pour aider à former des travailleurs de la santé plus soucieux d'équité.

EN:

Implication Statement

We co-facilitated a mandatory community-led experiential learning activity for medical students with the Alliance to End Homelessness Ottawa that demonstrates the feasibility and positive impact of incorporating community-led learning into the medical school curriculum.

FR:

Énoncé des implications de la recherche

Nous avons co-animé une activité d'apprentissage expérientiel communautaire obligatoire pour les étudiants en médecine avec l'Alliance to End Homelessness Ottawa (l’Alliance pour mettre fin à l’itinérance) qui montre la faisabilité et l'impact positif de l'intégration d’un apprentissage dirigé par une association citoyenne dans le programme d'études médicales.

EN:

The Royal College of Physicians and Surgeons of Canada (RCPSC) plays a leading role in specialty and subspecialty post graduate medical education (PGME) in Canada. As the RCPSC accredits PGME programs, these programs are structured to meet the RCPSC Competence by Design model and their CanMEDS roles. RCPSC Certification is required by Medical Regulatory Agencies (MRAs) across Canada as a condition of entry to independent practice. The RCPSC relies heavily on the use of high-stakes subject examinations as a key component of its Certification process. Recently, questions have been raised regarding the usefulness of such high-stakes examinations. If such examinations are to be fair and equitable, they must be designed and implemented in accordance with best practices for educational testing and the processes for implementation and grading must be transparent and fair. This paper reviews the recent literature on high-stakes examinations and best practices in examination construction, references the findings of a survey of RCPSC examination experiences conducted by the Society for Canadians Studying Medicine Abroad exploring the perception of respondents, and raises concerns regarding RCPSC examinations related to validity, reliability, and fairness. The paper concludes by recommending closer scrutiny of RCPSC examination processes by interested stakeholders and by provincial MRA's who delegate entry to practice decisions to the RCPSC.

FR:

Le Collège royal des médecins et chirurgiens du Canada (CRMCC) joue un rôle de premier plan dans l’éducation médicale postdoctorale (EMPo) de spécialité et de surspécialité au Canada. Comme le CRMCC accrédite les programmes d’éducation médicale postdoctorale, ces programmes sont structurés de manière à répondre au modèle de la compétence par conception du CRMCC et à leurs rôles CanMEDS. La certification du CRMCC est exigée par les agences de réglementation médicale (ARM) dans tout le Canada comme condition d'accès à la pratique indépendante. Le RCPSC s'appuie fortement sur l'utilisation d'examens à enjeux élevés comme élément clé de son processus de certification. Récemment, des questions ont été soulevées quant à l'utilité de ces examens à enjeux élevés. Pour que ces examens soient justes et équitables, ils doivent être conçus et mis en oeuvre conformément aux meilleures pratiques en matière de tests éducatifs et les processus de mise en œuvre et de notation doivent être transparents et équitables. Ce document passe en revue la littérature récente sur les examens à enjeux élevés et les meilleures pratiques en matière d'élaboration d'examens, fait référence aux résultats d'une enquête sur les expériences d'examen du CRMCC menée par la Société des Canadiens qui étudient la médecine à l'étranger afin d'explorer la perception des répondants, et soulève des préoccupations concernant les examens du CRMCC en matière de validité, de fiabilité et d'impartialité. Le document conclut en recommandant un examen plus approfondi des processus d'examen du CRMCC par les parties prenantes intéressées et par les ARM provinciales qui délèguent au CRMCC les décisions relatives à l'accès à la pratique.

EN:

Introduction: Objective Structured Clinical Examinations (OSCEs) are crucial in assessing clinical competencies, but their implementation varies widely across medical schools. This work examines OSCE practices across Canadian medical schools, focusing on frequency, type, and timing.

Methods: A survey was conducted among all 17 Canadian medical schools through the AFMC Clinical Skills Working Group. Data were collected during the 2023-2024 academic year. Details on OSCEs implementation during pre-clerkship and clerkship phases, categorized as formative or summative, and on the timing of final OSCEs was collected. Descriptive statistics were used to analyze the data.

Results: The median number of OSCEs per school was four, with one-third formative and two-thirds summative. Pre-clerkship assessments were split between formative and summative OSCEs, while 78% of clerkship OSCEs were summative. Timing of a program’s final OSCE varied: 35% occurred before the last year, while 65% took place in the final year, predominantly in the second half. All final OSCEs were summative.

Discussion and Conclusion: Variability in OSCE implementation likely reflects differing curricular approaches and institutional constraints. This work demonstrated a more balanced proportion of formative and summative assessments during pre-clerkship, indicating a desire to provide students with opportunities learn from feedback during their early training years. During clerkship, the focus shifted towards summative assessments. The later emphasis on summative OSCEs may highlight a focus on certifying competence at the cost of reduced opportunities for formative feedback. Medical schools may use these findings as guidance when building their programs of assessment.

FR:

Introduction : Les examens cliniques objectifs structurés (ECOS) sont essentiels à l'évaluation des compétences cliniques, mais leur mise en œuvre varie considérablement d'une faculté de médecine à l'autre. Cette étude examine les pratiques des ECOS dans les facultés de médecine canadiennes, en se concentrant sur la fréquence, le type et le calendrier.

Méthodes : Une enquête a été menée auprès des 17 facultés de médecine canadiennes par l'entremise du Groupe de travail de l'AFMC sur les compétences cliniques. Les données ont été recueillies au cours de l'année universitaire 2023-2024. Des détails sur la mise en œuvre des ECOS pendant les phases de préclinique et d'externat, catégorisés comme formatifs ou sommatifs, et sur le calendrier des ECOS finaux ont été recueillis. Des statistiques descriptives ont été utilisées pour analyser les données.

Résultats : Le nombre médian d'ECOS par faculté était de quatre, dont un tiers formatif et deux tiers sommatifs. Les évaluations pré-cliniques étaient réparties entre des ECOS formatifs et sommatifs, tandis que 78 % des ECOS d'externat étaient sommatifs. La date de l'ECOS final varie d'un programme à l'autre : 35 % ont eu lieu avant la dernière année, tandis que 65 % ont eu lieu au cours de la dernière année, principalement au cours du deuxième semestre. Tous les ECOS finaux étaient sommatifs.

Discussion et conclusion : La variabilité de la mise en œuvre des ECOS reflète probablement des approches curriculaires différentes et des contraintes institutionnelles. Ce travail a démontré une proportion plus équilibrée d'évaluations formatives et sommatives au cours de l'externat, ce qui indique un désir de fournir aux étudiants des occasions d'apprendre à partir des commentaires au cours de leurs premières années de formation. Au cours de l'externat, l'accent a été mis sur les évaluations sommatives. L'accent mis par la suite sur les ECOS sommatifs peut mettre en évidence l'importance accordée à la certification des compétences au prix d'une réduction des possibilités de retour d'information formatif. Les facultés de médecine peuvent s'inspirer de ces résultats pour élaborer leurs programmes d'évaluation.