Licensing exams in Canada: A closer look at the validity of the MCCQE Part II Examen d’aptitude du Conseil médical du Canada : un regard approfondi sur la validité de l’EACMC, partie II

Abstract

The Medical Council of Canada Qualifying Exam (MCCQE) Part II aims to protect societal interests through examining recently graduated physicians using clinical scenarios with standardized patients. This position paper debates the role of the MCCQE Part II in the national licensing of physicians in Canada by focusing on the consequential validity evidence of this exam and considering future directions through discussing contemporary developments in high stakes examinations. Specifically, this paper compares both MCCQE Part I and Part II in their ability to predict future practice patterns of physicians and generalizability across specialties. In weighing up the evidence this paper considers commonly used counterarguments as well as the financial implications of this exam for both the candidates and the MCC. Finally, it concludes by providing recommendations for future licensing of physicians in Canada. The available consequential validity evidence for MCCQE Part II is limited. Though still limited, MCCQE Part I has more robust evidence that it is a better predictor of future practice patterns compared to with Part II. Combined with a lack of evidence that national licensing examinations lead to graduation of substandard doctors or an improvement of care, and the shift away from assessment of learning towards assessment for learning, the maximum impact of the MCC on safeguarding public’s interests will lie in working closely with residency programs and specialty colleges to facilitate a robust assessment program of essential competencies and clinical skills during residency training and specialty certification.

Résumé

L’examen d’aptitude du Conseil médical du Canada (EACMC), partie II, vise à protéger le public en soumettant les nouveaux diplômés en médecine à une évaluation par le biais de scénarios cliniques avec des patients standardisés. Cet article porte un regard critique quant au rôle de l’EACMC, partie II, dans l’obtention du permis d’exercice en médecine compte tenu des preuves de la validité de l’examen du point de vue de ses conséquences sociales et proposee des orientations futures au regard des développements contemporains en matière d’examens à enjeux élevés. Plus spécifiquement, cet article compare la partie I et la partie II de l’EACMC quant à leur capacité à prédire les tendances dans la pratique future des médecins et à leur caractère généralisable aux diverses spécialités. En soupesant les preuves, l’auteure examine les contre-arguments couramment évoqués ainsi que les implications financières de l’examen pour les candidats et pour le CMC. En conclusion, notre travail formule des recommandations pour l’octroi futur de titres menant à l’obtention du permis d’exercer aux médecins au Canada. Les preuves quant à la validité des conséquences sociales de l’EACMC, partie II sont limitées. Bien qu’également limitées, les preuves de la validité de l’EACMC, partie I, sont plus solides que celles de l’EACMC, partie II, en ce qui a trait à sa valeur prédictive des tendances futures dans la pratique des médecins. En l’absence de données probantes indiquant que les examens mènent soit à l’octroi d’un titre menant à l’obtention d’un permis de pratique en médecine qui ne satisfont pas aux exigences soit à l’amélioration des soins, et compte tenu de l’abandon de l’évaluation de l’apprentissage au profit de l’évaluation pour l’apprentissage, la meilleure manière pour le CMC de favoriser la protection du public serait de travailler en étroite collaboration avec les programmes de résidence et les collèges de spécialité afin de faciliter la mise en place d’un solide programme d’évaluation des compétences essentielles et des compétences cliniques pendant la formation en résidence et à l’occasion de formation continue spécialisée.