Validity as a social imperative: users’ and leaders’ perceptions La validité en tant qu’impératif social : perceptions d’utilisateurs et de leaders

Abstract

Introduction: Recently, validity as a social imperative was proposed as an emerging conceptualization of validity in the assessment literature in health professions education (HPE). To further develop our understanding, we explored the perceived acceptability and anticipated feasibility of validity as a social imperative with users and leaders engaged with assessment in HPE in Canada.

Methods: We conducted a qualitative interpretive description study. Purposeful and snowball sampling were used to recruit participants for semi-structured individual interviews and focus groups. Each transcript was analyzed by two team members and discussed with the team until consensus was reached.

Results: We conducted five focus group and eleven interviews with two different stakeholder groups (users and leaders). Our findings suggest that the participants perceived the concept of validity as a social imperative as acceptable. Regardless of group, participants shared similar considerations regarding: the limits of traditional validity models, the concept’s timeliness and relevance, the need to clarify some terms used to characterize the concept, the similarities with modern theories of validity, and the anticipated challenges in applying the concept in practice. In addition, participants discussed some limits with current approaches to validity in the context of workplace-based and programmatic assessment.

Conclusion: Validity as a social imperative can be interwoven throughout existing theories of validity and may represent how HPE is adapting traditional models of validity in order to respond to the complexity of assessment in HPE; however, challenges likely remain in operationalizing the concept prior to its implementation.

Résumé

Contexte : Une nouvelle manière de concevoir la validité en matière d’évaluation des apprentissages dans les programmes en sciences de la santé a récemment été proposée : la validité en tant qu’impératif social. Pour mieux la comprendre, nous avons exploré l’acceptabilité perçue et la faisabilité anticipée de la validité en tant qu’impératif social auprès d’utilisateurs et de leaders en matière d’évaluation en éducation des professions de la santé au Canada.

Méthodes : Nous avons mené une étude qualitative descriptive interprétative. Pour recruter les participants aux entrevues individuelles semi-structurées et aux groupes de discussion, nous avons utilisé l’échantillonnage par choix raisonné et l’échantillonnage boule de neige. Les transcriptions ont été analysées par deux membres de l’équipe et discutées avec l’ensemble de l’équipe jusqu’à l’obtention d’un consensus.

Résultats : Nous avons mené cinq groupes de discussion et onze entretiens avec deux groupes de parties prenantes, l’un composé d’utilisateurs, l’autre de leaders. Nos résultats suggèrent que les participants estiment acceptable le concept de validité comme impératif social. Quel que soit le groupe, les participants ont partagé des considérations similaires concernant : les limites des modèles de validité traditionnels, l’actualité et la pertinence du concept, la nécessité de clarifier certains termes utilisés pour définir le concept, les similitudes avec les théories modernes de la validité, et les défis anticipés de son application. En outre, les participants ont soulevé certaines limites des approches actuelles de la validité dans le contexte de l’évaluation en milieu de travail et de l’évaluation programmatique.

Conclusion : La notion de validité comme impératif social peut être incorporée dans les théories existantes pour traduire l’adaptation des modèles traditionnels de la validité à la complexité de l’évaluation en éducation des professions de la santé; cependant, certains défis liés à l’opérationnalisation du concept seraient à résoudre avant sa mise en œuvre.