Volume 16, Number 6, 2025 Special Issue on the use of artificial intelligence in health professions education Numéro spécial sur l’utilisation de l’intelligence artificielle dans la formation des professionnels de la santé

EN:

Background: This study aims to evaluate the effectiveness of the OSCEai, a large language model-based platform that simulates clinical encounters, in enhancing undergraduate medical education.

Methods: A web-based application, OSCEai, was developed to bridge theoretical and practical learning. Following use, medical students from the University of Calgary Class of 2026 completed an anonymized survey on the usability, utility, and overall experience of OSCEai.

Results: A total of 37 respondents answered the anonymized survey. The OSCEai platform was highly valued for its ability to provide data on demand (33/37), support self-paced learning (30/37), and offer realistic patient interactions (29/37). The ease of use and medical content quality were rated at 4.73 (95% CI: 4.58 to 4.88) and 4.70 (95% CI: 4.55 to 4.86) out of 5, respectively. Some participants (8/37) commented that few cases were not representative and needed clarification about app functionality. Despite these limitations, OSCEai was favorably compared to lecture-based teaching methods, with an overall reception rating of 4.62 (95% CI: 4.46 to 4.79) out of 5.

Interpretation: The OSCEai platform fills a gap in medical training through its scalable, interactive, and personalized design. The findings suggest that integrating technologies, like OSCEai, into medical curricula can enhance the quality and efficacy of medical education.

FR:

Contexte : Cette étude vise à évaluer l'efficacité de l'OSCEai, une nouvelle plateforme basée sur un modèle de langage étendu qui simule des rencontres cliniques, pour améliorer l'enseignement médical de premier cycle.

Méthodes : Une application web, OSCEai, a été créée pour faire le lien entre l'apprentissage théorique et l'apprentissage pratique. Après utilisation, les étudiants en médecine de la promotion 2026 de l'Université de Calgary ont répondu à une enquête anonyme sur la facilité d'utilisation, l'utilité et leur expérience globale de l'OSCEai.

Résultats : La plateforme a été très appréciée pour sa capacité à fournir des données à la demande (33/37), à soutenir l'apprentissage à son propre rythme (30/37) et à offrir des interactions réalistes avec des patients (29/37). La facilité d'utilisation et la qualité du contenu médical ont été évaluées respectivement à 4,73 (IC 95 % : 4,58 à 4,88) et 4,70 (IC 95 % : 4,55 à 4,86) sur 5. Certains participants (8/37) ont indiqué que quelques cas n'étaient pas représentatifs et qu'il fallait apporter des éclaircissements en ce qui a trait aux fonctionnalités de l'application. Malgré ces limites, la plateforme OSCEai a été favorablement comparée aux méthodes d'enseignement traditionnelles, avec une note de réception globale de 4,62 (IC 95 % : 4,46 à 4,79) sur 5.

Interprétation : La plateforme OSCEai comble une lacune dans la formation médicale grâce à sa conception évolutive, interactive et personnalisée. Les résultats suggèrent que l'intégration de technologies, comme OSCEai, dans les programmes d'études médicales peut améliorer la qualité et l'efficacité de l'enseignement médical.

EN:

Background: Medical school applications often require short written essays or personal statements, which are purportedly used to assess professional qualities related to the practice of medicine. With generative artificial intelligence (AI) tools capable of supplementing or replacing inputs by human applicants, concerns about how these tools impact written assessments are growing. This study explores how AI influences the ratings of essays used for medical school admissions

Methods: A within-subject experimental design was employed. Eight participants (academic clinicians, faculty researchers, medical students, and a community member) rated essays written by 24 undergraduate students and recent graduates from McMaster University. The students were divided into four groups: medical school aspirants with AI assistance (ASP-AI), aspirants without AI assistance (ASP), non-aspirants with AI assistance (NASP-AI), and essays generated solely by ChatGPT 3.5 (AI-ONLY). Participants were provided training in the application of single Likert scale tool before rating. Differences in ratings by writer group were determined via one-way between group ANOVA.

Results: Analyses revealed no statistically significant differences in ratings across the four writer groups (p = .358). The intraclass correlation coefficient was .147.

Conclusion: The proliferation of AI adds to prevailing questions about the value personal statements and essays have in supporting applicant selection. We speculate that these assessments hold less value than ever in providing authentic insight into applicant attributes. In this context, we suggest that medical schools move away from the use of essays in their admissions processes.

FR:

Contexte : Les demandes d'admission dans les facultés de médecine exigent souvent de courtes lettres de motivation écrites ou des lettres de présentation, qui devraient être utilisées pour évaluer les qualités professionnelles liées à la pratique de la médecine. Les outils génératifs d'intelligence artificielle (IA) étant capables de compléter ou de remplacer les données fournies par les candidats humains, l'impact de ces outils sur les évaluations écrites suscite de plus en plus d'inquiétudes. Cette étude explore l'influence de l'IA sur l'évaluation des lettres de motivation utilisées pour les admissions dans les facultés de médecine.

Méthodes : Un plan expérimental à l'intérieur d'un sujet a été utilisé. Huit participants (cliniciens universitaires, chercheurs de la faculté, étudiants en médecine et un membre de la communauté) ont évalué des lettres de motivation rédigées par 24 étudiants de premier cycle et diplômés récents de l'Université McMaster. Les étudiants ont été répartis en quatre groupes : les aspirants à la faculté de médecine avec l'aide de l'IA (ASP-IA), les aspirants sans l'aide de l'IA (ASP), les non-aspirants avec l'aide de l'IA (NASP-IA), et les lettres de motivation générées uniquement par ChatGPT 3.5 (IA-UNIQUEMENT). Les participants ont reçu une formation pour l'application de l'échelle de Likert unique avant d'évaluer. Les différences d'évaluation selon le groupe de rédacteurs ont été déterminées au moyen d'une ANOVA à sens unique entre les groupes.

Résultats : Les analyses n'ont révélé aucune différence statistiquement significative dans les évaluations entre les quatre groupes de rédacteurs (p = 0,358). Le coefficient de corrélation intraclasse était de 0,147.

Conclusion : La prolifération de l'IA renforce les questions qui se posent présentement sur la valeur des lettres de présentation et des lettres de motivation dans la sélection des candidats. Nous supposons que ces évaluations ont moins de valeur que jamais pour ce qui est de fournir un aperçu authentique des attributs des candidats. Dans ce contexte, nous suggérons que les facultés de médecine abandonnent l'utilisation des lettres de motivation dans leurs processus d'admission.

EN:

Background: Personal statements play a large role in pediatric residency applications, providing insights into candidates’ motivations, experiences, and fit for the program. With large language models (LLMs) such as Chat Generative Pre-trained Transformer (ChatGPT), concerns have arisen regarding how this may influence the authenticity of statements in evaluating candidates. This study investigates the efficacy and perceived authenticity of LLM-generated personal statements compared to human-generated statements in residency applications.

Methods: We conducted a blinded study comparing 30 ChatGPT-generated personal statements with 30 human-written statements. Four pediatric faculty raters assessed each statement using a standardized 10-point rubric. We analyzed the data using linear mixed-effects models, a chi-square sensitivity analysis, an evaluation of rater accuracy in identifying statement origin as well as consistency of scores amongst raters using intraclass correlation coefficients (ICC).

Results: There was no significant difference in mean scores between AI and human-written statements. Raters could only identify the source of a letter (AI or human) with 59% accuracy. There was considerable disagreement in scores between raters as indicated by negative ICCs.

Conclusions: AI-generated statements were rated similarly to human-authored statements and were indistinguishable by reviewers, highlighting the sophistication of these LLM models and the challenge in detecting their use. Furthermore, scores varied substantially between reviewers. As AI becomes increasingly used in application processes, it is imperative to examine its implications in the overall evaluation of applicants.

FR:

Contexte : Les lettres de motivation jouent un rôle crucial dans les candidatures aux résidences en pédiatrie, car elles permettent de mieux comprendre les motivations, l’expérience et l’adéquation des candidats au programme. L’utilisation de grands modèles de langage (GML), tels que ChatGPT (Chat Generative Pre-trained Transformer), a soulevé des interrogations quant à l’authenticité des lettres lors de l’évaluation des candidats. Cette étude examine l’efficacité et l’authenticité perçue des lettres de motivation générées par un GML par rapport à celles rédigées par des humains dans le cadre des candidatures aux résidences.

Méthodes : Nous avons mené une étude en aveugle comparant 30 lettres générées par ChatGPT à 30 lettres rédigées par des humains. Quatre membres du corps professoral en pédiatrie ont évalué chaque lettre à l’aide d’une grille d’évaluation standardisée sur 10 points. Les données ont été analysées à l’aide de modèles linéaires mixtes, d’une analyse de sensibilité par le test du χ², d’une évaluation de la précision des évaluateurs quant à l’identification de l’origine des lettres, ainsi que de la cohérence des scores entre évaluateurs à l’aide des coefficients de corrélation intraclasse (CCI).

Résultats : Aucune différence significative n’a été observée entre les scores moyens des lettres générées par l’IA et ceux des lettres rédigées par des humains. Les évaluateurs n’ont pu identifier la source d’une lettre (IA ou humain) qu’avec une précision de 59 %. Un désaccord considérable a été constaté entre les évaluateurs concernant les scores, comme l’indiquent les CCI négatifs.

Conclusions : Les lettres générées par l’IA ont été évaluées de manière similaire à celles rédigées par des humains et étaient indiscernables pour les évaluateurs, ce qui souligne la sophistication de ces modèles GML et la difficulté à détecter leur utilisation. De plus, les scores variaient considérablement d’un évaluateur à l’autre. À mesure que l’IA se généralise dans les processus de candidature, il est impératif d’examiner ses implications dans l’évaluation globale des candidats.

EN:

Computer Vision Syndrome is a group of vision symptoms related to screen use, which is a growing point of concern as screens become more integrated into daily life. Medical students are hit particularly hard by this, as they report substantial levels of screen use. While screens are practically necessary in medical education, there are areas of harm reduction that have yet to be addressed. Medical exams are particularly hostile to eye health, as students have to stare at screens for prolonged periods, making them ideal subjects for eye protection and education interventions. Some steps that examiners can take to encourage positive habits in their students are to extend exams with spaces for five-minute breaks or according to the 20-20-20 Rule, encourage an area of alternate fixation for eye breaks, add audio cues signalling breaks, educate about environmental and postural modifications to improve eye health, allow lubricating drops in exams, and modify exams to decrease suspicion of academic misconduct.

FR:

Le syndrome de la vision artificielle est un ensemble de symptômes visuels liés à l'utilisation d'un écran, ce qui est de plus en plus préoccupant étant donné que les écrans sont de plus intégrés dans la vie quotidienne. Les étudiants en médecine sont particulièrement touchés par ce phénomène, car ils utilisent les écrans souvent pour leurs études. Pourtant que les écrans sont pratiquement nécessaires dans l'enseignement médical, certains aspects de la réduction des dommages n'ont pas encore été explorés. Les examens médicaux sont particulièrement hostiles à la santé oculaire, car les étudiants doivent regarder des écrans pendant de longues périodes, ce qui en fait des sujets idéaux pour des interventions de protection et d'éducation oculaires. Pour encourager les étudiants à adopter des habitudes positives, les examinateurs peuvent notamment prolonger les examens en prévoyant des pauses de cinq minutes ou en suivant la règle des 20-20-20, encourager une autre zone de fixation pour les pauses, ajouter des signaux audio pour signaler les pauses, informer sur les modifications environnementales et posturales permettant d'améliorer la santé oculaire, autoriser l'utilisation de gouttes lubrifiantes lors des examens, et modifier les examens pour réduire les soupçons de mauvaise conduite académique.

EN:

Implication Statement

OSCEai Dermatology demonstrates how large language models (LLMs) like GPT-4 can be integrated into medical education to enhance trainees’ history taking and management skills in an OSCE-like format, including in visual-based specialties like dermatology. By generating diverse, realistic skin cancer role-play scenarios across different skin tones alongside the integration of pre-existing, evidence-based images, the app provides learners with valuable, personalized feedback. This innovation offers a novel, interactive learning tool that supplements traditional teaching methods and can be applied across various specialties. Institutions can adopt or adapt similar LLM-driven educational tools to introduce trainees to a wider range of clinical cases, fostering improved diagnostic skills and patient-centred, culturally sensitive care.

FR:

Énoncé des implications de la recherche

La dermatologie illustre comment les grands modèles de langage (GML), tels que GPT-4, peuvent être intégrés à la formation médicale pour renforcer les compétences des stagiaires en anamnèse et en prise en charge dans un format de type ECOS, y compris dans des disciplines visuelles comme la dermatologie. En générant des scénarios de jeu de rôle variés et réalistes sur le cancer de la peau, adaptés à différents tons de peau, et en intégrant des images probantes déjà existantes, l’application offre aux apprenants une rétroaction personnalisée et pertinente. Cette innovation propose un outil d’apprentissage interactif et novateur qui complète les méthodes d’enseignement traditionnelles et peut être appliqué à diverses spécialités. Les établissements peuvent adopter ou adapter des outils pédagogiques similaires fondés sur les GML afin d’exposer les stagiaires à une plus grande diversité de cas cliniques, favorisant ainsi le développement de compétences diagnostiques et de soins centrés sur le patient et culturellement sensibles.

EN:

Implication Statement

This study explores the integration of an augmented Generative Pre-trained Transformer (GPT) tool with curated scientific sources to enhance the learning of pulmonary function test (PFT) interpretation in pre-clerkship medical education. Our findings suggest that this approach offers notable improvements in accuracy, reliability, and the quality of explanations compared to existing tools, such as Out-of-Box GPT and USMLE Q-Banks. The PFT learning assistant can support medical students in navigating common learning barriers, provide a personalized and scalable approach to evidence-based medical education

FR:

Énoncé des implications de la recherche

Cette étude explore l'intégration d'un outil de transformation générative pré-entraînée (GPT) enrichi de ressources scientifiques sélectionnées afin d'améliorer l'apprentissage de l'interprétation des épreuves fonctionnelles respiratoires (EFR) dans la formation médicale préclinique. Nos résultats suggèrent que cette approche offre des améliorations notables en termes de précision, de fiabilité et de qualité des explications par rapport aux outils existants, tels que le GPT standard et les banques de questions USMLE. Cet assistant d'apprentissage des EFR peut aider les étudiants en médecine à surmonter les obstacles d'apprentissage courants et propose une approche personnalisée et adaptable de la formation médicale fondée sur les preuves.