Article body

Introduction

Contexte de l’étude

Les unités de soins intermédiaires[1] ont pour but d’améliorer la prise en charge de patients dont la condition ne justifie pas qu’ils soient admis dans une unité de soins intensifs, mais dont l’état de santé instable nécessite une surveillance infirmière en continu et des soins médico-infirmiers hautement spécialisés. Elles requièrent du personnel infirmier spécifiquement formé à remplir des missions de surveillance et de traitement des patients courant un risque vital latent. Les premières unités de soins intermédiaires sont apparues en Suisse dans les années 1990 (Lavina, Wehrli et Fumeaux, 2017) et leur développement rapide a entraîné une certaine disparité des pratiques cliniques. Les directives établies en 2013 ont alors permis de fixer le cadre de fonctionnement et les qualifications requises pour y travailler. Elles ont soulevé un réel besoin de formation : les directives stipulaient que 40  % du personnel infirmier de ces unités devait avoir suivi une formation spécifique en soins intermédiaires (IMC, 2013).

L’objectif de cette étude est d’évaluer la formation continue qui a été développée par un centre hospitalier universitaire (CHU) en Suisse francophone afin de répondre aux enjeux de qualité et de sécurité des soins mentionnés dans les directives. Il s’agit d’un programme de 23 jours (160 h) qui s’adresse à des infirmières[2] exerçant déjà leur activité professionnelle dans une unité de soins intermédiaires. Le programme se compose de deux modules. D’abord, le premier module correspond à six jours de formation en classe qui approfondissent les connaissances sur l’examen clinique, les pathologies, les équipements ainsi que les traitements des systèmes cardiorespiratoire et neurologique. Ils renforcent aussi les habiletés d’encadrement, de communication interprofessionnelle et de gestion des risques des personnes formées.

L’évaluation que nous décrivons dans cet article porte plus particulièrement sur le second module de la formation en soins intermédiaires, dont le but est d’optimiser le transfert des compétences. En effet, le module a été pensé pour favoriser la mise en pratique, dans le quotidien des infirmières formées, des connaissances et habiletés acquises durant la formation. Pour ce faire, les 17 jours qui le constituent alternent entre des cours théoriques en classe, des ateliers de pratique simulée et de l’enseignement clinique au chevet du patient, dirigés par des infirmières enseignantes spécialisées en soins intensifs. Le module intègre trois séquences d’enseignement clinique in situ, c’est-à-dire au chevet du patient, dans l’unité de soins intermédiaires. Durant cet enseignement clinique, les infirmières sont accompagnées individuellement et évaluées par des infirmières formatrices.

Formation continue et transfert des compétences

L’évaluation du transfert est un enjeu pertinent, car le fait de former le personnel soignant ne garantit pas toujours une prise en soins optimale des patients. En effet, de nombreuses études démontrent que seule une faible proportion des compétences acquises dans une formation continue se traduit en un changement de comportements (Alhassan, 2019 ; Stander, Grimmer et Brink, 2018 ; Lauzier et Denis, 2016 ; Saks et Burke-Smalley, 2014 ; Runciman et al., 2012). De plus, ce changement n’est parfois que temporaire (Burke et Hutchins, 2007 ; Yoshinaga et al., 2017). Par exemple, une étude menée en 2014 dans le même CHU a mis en évidence plusieurs barrières au transfert des compétences à la suite d’une formation continue sur la douleur (Gentizon, Kottelat, Hamel-Lauzon, Szostak et Gallant, 2019) : le transfert est parfois freiné par la réticence de certains patients à rapporter leur douleur, par l’attitude des infirmières à l’égard de leurs souffrances ou encore par la difficulté perçue par les infirmières à influencer la prise de décision concernant le traitement.

En sciences infirmières, la question du transfert des compétences est inscrite depuis longtemps à l’agenda des chercheurs, car il s’agit d’un processus encore mal compris (Pentland et al., 2011). Lorsque l’activité est complexe, comme c’est le cas dans un milieu de soins critiques, les stratégies pédagogiques devraient favoriser la répétition et la mise en pratique (Blume, Ford, Baldwin et Huang, 2010). Dans ces situations, la combinaison d’interventions pédagogiques telles que l’enseignement clinique individualisé au chevet du patient, la pratique simulée en laboratoire ou l’implication d’une personne de référence soutiendraient mieux le transfert des compétences dans la pratique. De ce point de vue, l’évaluation du transfert devrait se concentrer sur les effets de la formation sur les comportements au travail des personnes formées (Siron, Dagenais et Ridde, 2015).

Dans cet article, nous discutons de trois enjeux de ce type d’évaluation : 1) définir les construits à mesurer (savoir, compétence, comportement, attitude), 2) choisir des indicateurs utiles pour poser un bon jugement ou faire une interprétation pertinente et 3) réaliser les mesures aux moments opportuns.

Structure de l’article

Dans la première section, nous discutons de trois paramètres permettant de définir la notion de compétence et de son évaluation en milieu de travail, puis des estimateurs utilisés dans de précédentes études pour quantifier l’effet d’une formation. Dans la deuxième section sur la méthodologie, nous présentons la procédure de collecte des données, la grille d’observation et le plan d’analyse suivi pour évaluer les compétences touchées par la formation en soins intermédiaires. La section se termine par l’énoncé de considérations éthiques. La troisième section sur les résultats détaille les effets de la formation du point de vue du développement et de l’harmonisation des compétences infirmières. L’avant-dernière section discute de l’interprétation de ces effets et des limites du processus d’évaluation suivi. Enfin, la conclusion propose quelques perspectives de recherche.

Cadre conceptuel

La notion de compétence en situation de travail

Dans le champ de l’éducation et de la formation, la compétence est essentielle pour élaborer des programmes, pour définir des objectifs pédagogiques, pour évaluer les élèves ou pour professionnaliser les enseignants (Coulet, 2016). Trois paramètres sont à considérer pour évaluer les compétences développées durant une formation continue.

Les ressources qui constituent une compétence

Le premier paramètre correspond aux ressources qui constituent une compétence (Le Boterf, 2018). Pour travailler de manière efficace, les individus mobilisent, de manière intégrée, les ressources qu’ils possèdent. Ces ressources sont catégorisées de différentes manières, telles que les savoirs, savoir-faire et savoir-être, les connaissances, aptitudes et habiletés ou encore les connaissances déclaratives et procédurales (Baartman et de Bruijn, 2011 ; Foucher, 2010). Quelle que soit la catégorie retenue, la compétence est la capacité d’utiliser ces ressources de manière adéquate pour faire face à des situations professionnelles (Paquay, Van Nieuwenhoven et Wouters, 2010). Évaluer une compétence revient alors à faire la liste de ces ressources et à en déterminer la bonne combinaison (Tourmen, 2015).

La situation de travail

Le deuxième paramètre est la situation de travail. Plusieurs auteurs définissent la compétence comme la capacité à traiter une catégorie de situations professionnelles qui présentent divers niveaux de complexité (Coulet, 2016 ; Mayen et Métral, 2008 ; Gérard, 2007). Il s’agit de situations de travail essentielles pour la réussite de l’activité, difficiles à maîtriser et centrales pour l’identité d’un métier donné (Mayen, Métral et Tourmen, 2010). Évaluer une compétence revient ici à identifier le type de situation dans lequel elle sera mobilisée (Kahn et Rey, 2016), puis à observer le comportement de l’individu devant ces situations (Siron et al., 2015). Selon ce point de vue, l’évaluation est l’occasion de donner à vivre une ou plusieurs situations emblématiques et de voir comment la personne s’en sort (Tourmen, 2015). Pour bien refléter la situation de travail, l’évaluation s’appuie souvent sur des référentiels de postes, des descriptifs de métiers ou des grilles de compétences. Toutefois, ces documents peuvent être imprécis ou éloignés de la réalité du travail. En effet, dans de nombreux domaines professionnels, il n’existe pas de « one best way » de réaliser l’activité, ce qui complique la tâche des évaluateurs.

La transférabilité de la compétence

Le troisième paramètre renvoie à une vision dynamique de la compétence, dans le sens où elle doit être transférable d’une situation à l’autre (Kahn et Rey, 2016). Les effets d’une formation décrits par Kirkpatrick (1954, cité dans Kirkpatrick et Kirkpatrick, 2016) permettent de distinguer deux types de situations : la situation d’apprentissage et la situation de travail. La situation d’apprentissage correspond à la séquence de formation où les individus développent des éléments de savoirs, de savoir-faire et de savoir-être. Les effets de la formation y sont évalués sur les plans affectif, au moyen d’un questionnaire de satisfaction, et cognitif, par la passation d’un test écrit ou d’un examen oral. La situation de travail, elle, est celle où les individus utilisent, dans leur quotidien, les apprentissages développés en formation (Rivard et Lauzier, 2013). Sur le plan individuel, l’évaluation des compétences correspond alors à une observation par un expert ou à une autoévaluation des comportements suivis pour réaliser une tâche. Sur le plan collectif, l’évaluation consiste à mesurer les conséquences des changements de comportements sur le fonctionnement et sur les résultats de l’organisation. Par rapport au modèle de Kirkpatrick, évaluer l’effet d’une formation sur les compétences revient à s’intéresser à ce qui a été transféré entre la situation de formation et la situation de travail, et implique de prendre des mesures dans les deux situations.

Alors que les trois paramètres décrits ci-dessus aident à définir les compétences à évaluer, le choix d’indicateurs sert à poser un jugement pertinent ou à interpréter correctement les mesures obtenues. Nous discutons maintenant des indicateurs retenus pour cette étude.

Deux estimateurs du transfert des compétences

Nous avons identifié deux indicateurs statistiques qui permettent de mieux comprendre l’effet d’une formation sur les compétences transférées au travail.

La taille d’effet

Le premier indicateur est la taille d’effet. On peut la définir comme la magnitude de l’effet d’une intervention ou comme la force de la relation entre deux variables (Barry et al., 2016). Sa mesure est complémentaire aux tests de significativité qui déterminent si un effet observé est réel ou attribuable à la chance (Maher, Markey et Ebert-May, 2013). Appliquée à une formation, la taille d’effet peut correspondre à la différence standardisée entre des moyennes avant et après la formation (Streiner, Norman et Cairney, 2015). Par exemple, la taille d’effet peut informer sur la différence entre le niveau de compétences initial d’un groupe de participants et celui atteint à l’issue de leur formation. Elle peut aussi correspondre à une différence de résultats entre un groupe de personnes formées et un groupe témoin. Dans tous les cas, la standardisation s’effectue en exprimant la différence en nombre d’écarts-types.

Exprimer l’impact d’une formation en taille d’effet offre plusieurs avantages. Premièrement, puisqu’il s’agit d’un paramètre standardisé, elle facilite la comparaison de changements individuels et collectifs ou l’examen de différentes méthodes d’apprentissage (Fröhlich, Emrich, Pieter et Stark, 2009). Deuxièmement, il est possible de porter un jugement sur l’ampleur de l’effet observé grâce aux classifications proposées par Cohen (1992), par Hattie (2017) et par Rosenthal (1996, cité dans Maher et al., 2013). Pour Cohen, une taille de 0,2 unité équivaut à un effet faible, mais suffisamment élevé pour ne pas perdre de sens. Une taille d’effet située entre 0,4 et 0,5 unité peut être considérée comme modérée. Dans les travaux de Hattie, une pratique éducative n’est recommandée que lorsqu’elle dépasse un effet de 0,4 unité, une valeur considérée comme le seuil de la zone d’effets souhaités. À l’intérieur de cette zone, Cohen interprète la valeur de 0,5 unité comme un changement pouvant se voir à l’oeil nu et la valeur de 0,8 unité comme un effet fort. Rosenthal propose un quatrième degré, pour lequel il qualifie une taille d’effet de 1,30 unité de très forte. Bien que ces valeurs n’aient pas été définies empiriquement et servent de convention ou d’orientation, Sedlmeier (1996) remarque que cette classification reflète bien les effets dans différents domaines. Troisième avantage : la taille d’effet est facile à calculer, même s’il existe plusieurs manières de le faire (Maher et al., 2013). La plus répandue est de recourir à l’estimateur d de Cohen (1992). Ce dernier exprime une différence entre deux groupes sur la base d’une combinaison de leurs écarts-types.

Le d de Cohen a été utilisé dans plusieurs études de formations continues. Par exemple, Morrow, Jarrett et Rupinski (1997) ont mesuré l’impact de 18 formations techniques, managériales et commerciales sur environ 20 compétences de salariés d’une grande entreprise nord-américaine. Certains effets sur les compétences ont été modérés et forts (p. ex., d = 1,07 pour une formation à la communication écrite), d’autres faibles, voire négatifs (p. ex., d = -0,09 pour la formation des cadres de laboratoire). En soins infirmiers, plusieurs études y ont aussi eu recours :

  • Lamont et Brunero (2018) ont évalué un séminaire sur la gestion de la violence. La formation a été suivie par 78 infirmières travaillant au sein de départements à risque, tels que les urgences, les neurosciences ou les services communautaires. Ils ont relevé des effets forts sur les capacités des infirmières formées à évaluer le risque (d = 0,92), à suivre des stratégies de désamorçage (d = 0,89) et à recourir à des techniques d’esquive et de dégagement (d = 0,90) ;

  • L’étude de cas d’Amiri, Khademian et Nikandish (2018) a porté sur une formation de deux jours sur la culture de sécurité de patients hospitalisés dans des unités de soins intensifs. L’étude intégrait un groupe d’infirmières et de superviseurs formés, et un groupe témoin de taille analogue. Un effet très fort sur les compétences (d = 1,94) est ressorti de la comparaison des deux groupes ;

  • Deux autres études se sont intéressées aux compétences de communication. Une première formation a été évaluée par Alhassan (2019). Elle visait notamment la capacité à démontrer de l’empathie vis-à-vis des patients. Un groupe formé et un groupe témoin composés respectivement de 80 et de 93 étudiantes infirmières ont rempli un questionnaire d’autoévaluation au début de la formation, à la fin et six mois plus tard. La seconde étude a été menée par Yoshinaga et ses collaborateurs (2017). Dans ce cas-ci, la formation s’orientait davantage vers la capacité à exprimer de manière honnête et transparente ses opinions, ses besoins et ses sentiments à ses collègues de travail. La formation intégrait deux séances de 90 minutes espacées d’un mois. Au total, 33 infirmières travaillant dans deux hôpitaux japonais ont été évaluées. Les compétences ont été mesurées par questionnaire d’autoévaluation à quatre reprises : au début de la formation, à la fin, trois mois et six mois plus tard. Les deux études ont abouti à des mesures très proches et ont mentionné une taille d’effet faible. Dans la première, la valeur de d se situait entre 0,16 et 0,20 unité selon la temporalité considérée. Dans la seconde, la taille d’effet était de 0,22 unité. Les auteurs sont cependant arrivés à des conclusions contradictoires. Alhassan (2019) a conclu à une absence d’impact de la formation, un résultat qui va dans le sens de précédentes études citées dans les deux articles. Une formation de courte durée ne suffit pas à développer des compétences de communication. Au contraire, Yoshinaga et ses collaborateurs (2017) ont jugé que l’effet observé était suffisamment important. Selon eux, quelques heures de formation peuvent suffire pour agir durablement sur ce type de compétence.

Bien que le d de Cohen soit le plus répandu dans la littérature, l’estimateur requiert plusieurs conditions. Il ne devrait être utilisé que lorsque 1) la taille des deux groupes est proche, 2) les écarts-types des populations dont sont issus les groupes sont similaires et 3) la distribution de ces populations suit une loi normale (Maher et al., 2013). Des estimateurs alternatifs de taille d’effet sont à privilégier lorsqu’une ou plusieurs de ces conditions ne sont pas remplies. Lorsque la taille des groupes diffère significativement, Maher et ses collaborateurs (2013) recommandent de calculer le g de Hedges (1981), un estimateur qui tient compte de la taille de chaque groupe dans le calcul de l’écart-type combiné. Lorsque les écarts-types des populations diffèrent, les auteurs conseillent de recourir au ∆ de Glass (Glass, McGaw et Lee Smith, 1981), qui utilise l’écart-type du groupe témoin à la place de l’écart-type combiné pour standardiser la différence de scores ou de moyennes. Enfin, quel que soit l’estimateur choisi, il est conseillé de présenter un intervalle de confiance qui indique la marge d’erreur liée à l’estimation de taille d’effet.

L’indice d’hétérogénéité

Le second estimateur retenu pour cette étude est moins répandu. Il s’agit de l’indice d’hétérogénéité (η), que Gérard (2003) définit comme un indice du degré d’accord entre les personnes interrogées ou du degré d’homogénéité de leur appréciation. Développé du côté des sciences de la gestion, il donne un autre éclairage à l’évaluation des compétences. Concrètement, il s’agit d’un pourcentage qui reflète un degré d’accord par rapport aux réponses données à des énoncés. À l’image de la taille d’effet, des balises facilitent l’interprétation de l’indice d’hétérogénéité : en dessous de 15 %, la convergence de perception des compétences entre les répondants est importante. En situation de formation, cela signifie que les scores attribués aux compétences sont proches. Au contraire, au-dessus de 30 %, les scores sont hétérogènes, signe d’une discordance de perception des compétences entre les participants. Considérant qu’une formation est appelée à réduire la disparité de compétences dans un groupe, une baisse de l’indice d’hétérogénéité en réponse à la formation serait attendue. Bien que cet indicateur soit facile à calculer, il n’a encore jamais été estimé pour des formations en soins, à notre connaissance. Or, l’harmonisation des bonnes pratiques infirmières au sein d’une équipe, particulièrement lorsqu’il s’agit d’un milieu universitaire dans lequel le taux de rotation du personnel est élevé, est cruciale tant pour la sécurité des soins que pour l’adoption de ces bonnes pratiques par les nouvelles infirmières accueillies dans l’équipe.

Méthode

Pour évaluer les effets de la formation en unité de soins intermédiaires, la première étape de notre démarche a consisté à mesurer le transfert des compétences en suivant un protocole à deux mesures et à l’aide d’une grille d’observation standardisée. La seconde étape a permis de porter un jugement sur ce transfert à partir d’estimateurs de taille d’effet et d’hétérogénéité. Cette section décrit la procédure de collecte de données, la grille d’observation, le plan d’analyse, le traitement des ressources non évaluées et les dispositions éthiques prises dans le cadre de la recherche.

Procédure de collecte de données

Le paramètre de transférabilité de la compétence a été pris en compte dans le protocole de mesure. L’évaluation de l’effet de la formation en soins intermédiaires s’est appuyée sur un protocole de type pré-post permettant de prendre des mesures en situation de formation et en situation de travail. La première mesure a été effectuée durant la première séquence d’enseignement clinique, après la fin du module de formation en classe. La seconde mesure a eu lieu trois à six mois plus tard, lors du dernier enseignement clinique, qui correspondait à un examen pratique. Concrètement, les comportements en situation réelle de chaque apprenante étaient observés et évalués lors d’une matinée de prise en soins d’un à deux patients hospitalisés en unité de soins intermédiaires. Dans les deux cas, la formatrice remplissait une grille d’observation standardisée des compétences. Pour réussir l’examen pratique, au moins 67 % des compétences de l’infirmière formée devaient atteindre ou dépasser un niveau attendu, que nous décrivons ci-après.

Grille d’observation

La mesure des compétences a été menée au moyen d’une grille d’observation standardisée qui intègre les cinq rôles de l’infirmière, à savoir : A) expert clinique, B) communicateur, C) collaborateur, D) manager et E) apprenant-formateur (voir Tableau 1). Ces rôles sont déclinés en 16 compétences, elles-mêmes traduites en 58 composantes de compétences nommées « ressources ». Ces ressources correspondent aux connaissances, capacités, modes de raisonnement, aptitudes ou autres composantes que possède une infirmière et qui sont nécessaires pour gérer les situations professionnelles (Le Boterf, 2018).

Initialement, les rôles et compétences sont issus du Référentiel de compétences du domaine des professions de la santé en Suisse (Ledergerber, Mondoux et Sotas, 2009), lui-même inspiré du Référentiel des compétences des médecins canadiens CanMEDS (Frank et Danoff, 2007). La grille d’observation a été conçue en vue d’intégrer des ressources spécifiques décrivant les soins et la surveillance à apporter aux patients hospitalisés en milieu de soins aigus.

Le premier domaine de compétences regroupe 26 ressources relatives au rôle d’expert clinique (A). Par exemple, il intègre la responsabilité de prodiguer des soins préventifs et thérapeutiques individualisés, d’effectuer la surveillance ainsi que de connaître les protocoles en vigueur permettant d’assurer la sécurité des équipements et le confort du patient.

Tableau 1

Structure de la grille d’observation des compétences

Structure de la grille d’observation des compétences

-> See the list of tables

Le deuxième domaine regroupe 13 ressources relatives au rôle de communicateur (B). L’infirmière communique les informations aux collègues et à l’équipe médicale de manière structurée, adapte son vocabulaire aux patients et aux proches, et développe une relation de confiance. Elle transmet les informations pertinentes, développe une compréhension partagée des situations de soins, et partage son savoir et son expérience avec ses pairs.

Le rôle de collaborateur (C) constitue le troisième domaine de compétences. À ce sujet, la grille contient quatre ressources. Ce rôle implique une participation active de l’infirmière à l’activité d’une équipe interdisciplinaire ou interprofessionnelle. L’infirmière s’engage à défendre des soins individualisés optimaux, à accompagner et soutenir d’autres membres de l’équipe, et à participer à la prise de décision.

Le rôle de manager (D) est décrit à partir de sept ressources. L’infirmière est appelée à exercer son leadership professionnel, par exemple en déclarant les événements indésirables et les risques d’erreur, et en émettant des propositions qui visent à améliorer la qualité et la sécurité des patients.

Enfin, les compétences associées au rôle d’apprenant-formateur (E) sont décrites dans huit ressources. Le rôle renvoie à un engagement professionnel fondé sur une pratique réflexive ainsi que sur l’utilisation de données probantes.

Chaque ressource est évaluée au moyen d’une échelle ordinale à cinq niveaux taxonomiques :

0.

« Non observé » : Il indique qu’une compétence attendue pour réaliser une tâche n’a pas été observée durant l’évaluation ;

1.

« Niveau initial » : L’infirmière observée acquiert les compétences de manière accompagnée. Elle est en mesure d’établir des liens entre ce qu’elle fait, voit et sait ;

2.

« Maîtrise partielle » : Elle mobilise partiellement les ressources nécessaires à la réalisation efficiente de la tâche. Elle est capable de décrire pourquoi et comment elle réalise la tâche ;

3.

« Maîtrise affirmée » : Elle mobilise les ressources de manière autonome et réalise la tâche de manière efficiente ;

4.

« Expertise » : Elle participe activement à la création d’un savoir collectif. Par exemple, elle est capable de contribuer à l’écriture de protocoles ;

NA.

« Non attendu » : Pour des énoncés ne pouvant pas être évalués le jour de l’évaluation.

Pour la plupart des ressources, le niveau taxonomique attendu à l’issue de la formation correspond au niveau 3, celui de la maîtrise affirmée. Les infirmières formées devaient avoir atteint ce niveau au moment de l’examen pratique qui clôturait la formation.

Plan d’analyse

Les données tirées de la grille d’observation ont été consignées sur les logiciels Microsoft Excel et Stata (StataCorp, 2013). Des analyses descriptives ont été réalisées pour chaque énoncé. Pour déterminer la significativité statistique du développement de compétences de chaque cohorte entre le temps 1 (au début de la formation) et le temps 2 (en fin de formation), un test des rangs signés de Wilcoxon a été mené. Le seuil de significativité était fixé à p ≤ 0,05.

Pour mesurer la magnitude du développement de compétences, deux estimateurs de taille d’effet ont été calculés. Le premier, le ∆ de Glass (Glass et al.,1981), se calcule de la manière suivante :

Dans le cas de la formation en soins évaluée, M2 et M1 correspondent à la moyenne globale des appréciations issues des grilles d’observation, respectivement au temps 2 et au temps 1. La variable s1 correspond à l’écart-type des appréciations moyennes au temps 1.

Le deuxième estimateur de taille d’effet utilisé est le d de Cohen (1992), calculé de la manière suivante :

Les variables M2 et M1 sont les mêmes que celles présentées dans l’équation 1. La variable σpooled correspond à l’écart-type combiné de la distribution des moyennes (Tomczak et Tomczak, 2014). Cette variable se calcule de la manière suivante :

Dans l’équation 3, les variables n1 et n2 correspondent à la taille des échantillons d’infirmières observées aux temps 1 et 2, tandis que ET1 et ET2 correspondent aux écarts-types des moyennes mesurées dans les deux échantillons.

Pour les deux estimateurs, un intervalle de confiance de la taille d’effet fixé à 95 % a été calculé (Thompson, 2007) au moyen du logiciel Stata version 13 (Tanner-Smith et Tipton, 2014).

Le taux d’hétérogénéité (η) (Gérard, 2003) est le troisième estimateur utilisé pour étudier le changement de compétences. Au temps 1 (début de la formation), ce taux se calcule ainsi :

où les variables M1 et ET1 sont identiques à celles des équations 1 et 3. Un indice d’hétérogénéité a aussi été calculé pour la fin de la formation (temps 2).

Traitement des ressources non évaluées

Plusieurs ressources n’ont pas pu être évaluées le jour de l’enseignement clinique. Dans la grille, elles ont reçu la mention « NA. Non attendu ». Lorsque la situation concernait plus de 50 % de l’enseignement clinique réalisé, la ressource correspondante a été retirée de l’analyse. Ce retrait a touché 17 % des ressources (10 sur 58), telles que « préparer l’environnement de soin à l’admission du patient selon les protocoles en vigueur » ou « déterminer la source de malentendus et tensions dans la collaboration interprofessionnelle et démontrer une attitude constructive ». Les résultats qui suivent portent ainsi sur un total de 51 ressources, soit 23 dans le domaine d’expert clinique, 11 de communicateur, 4 de collaborateur, 5 de manager et 8 d’apprenant-formateur.

Considérations éthiques

Cette étude a bénéficié d’un avis favorable de la Commission d’évaluation des demandes d’enquête du CHU et les objectifs du projet ont été validés par les cadres des unités de soins intermédiaires. Aucun consentement de la part des patients n’a été exigé. Cette étude n’a intégré aucune donnée permettant l’identification des infirmières-apprenantes qui ont participé à l’enseignement clinique. Les règles éthiques de respect de confidentialité ont été appliquées.

Résultats

Au cours de l’évaluation, six infirmières ont abandonné la formation. Une autre infirmière a échoué à l’examen pratique, car plus du tiers des ressources qu’elle a mobilisées en situation de travail ont été évaluées à un niveau taxonomique inférieur à celui attendu. Autrement dit, elle n’a pas été en mesure de mobiliser ces ressources de manière autonome ni de réaliser les tâches qui y étaient associées de manière efficiente. Les résultats portent ainsi sur les grilles d’enseignement clinique remplies pour 89 infirmières (soit 178 grilles d’enseignement clinique), entre les mois de janvier 2016 et d’avril 2018.

L’échantillon était composé de 70 femmes (78,65 %) et de 19 hommes (21,34 %). L’âge moyen était de 37 ans (ET = 8 ans). Concernant leur nationalité, 39 étaient suisses, 26 françaises, 14 portugaises et 10 avaient une autre citoyenneté. Elles avaient toutes acquis une expérience en tant qu’infirmières de 11,6 ans en moyenne (ET = 6,3 ans) après avoir suivi une formation initiale en soins infirmiers de degré tertiaire. Un peu plus de la moitié d’entre elles possédait un diplôme universitaire de premier cycle (baccalauréat/bachelor, n = 48 ; 52,93 %) et deux personnes étaient titulaires d’une maîtrise/d’un master en sciences infirmières depuis trois ans (2,25 %). Quant aux autres personnes évaluées, elles avaient terminé une formation professionnelle supérieure en soins infirmiers (n = 39 ; 43,82 %).

La grande majorité (80 %) des infirmières formées travaillaient dans différentes unités de soins intermédiaires du CHU et quelques-unes (12) étaient venues d’hôpitaux périphériques pour suivre la formation. Parmi les 77 infirmières qui exerçaient leur activité dans le CHU, 22 travaillaient en chirurgie (incluant la chirurgie thoracique, viscérale et oto-rhino-laryngologique), 10 en cardiologie et chirurgie cardiaque, 9 en soins intermédiaires de l’appareil locomoteur (incluant la traumatologie et l’orthopédie), 9 en pédiatrie, 9 en médecine interne, 8 en neurologie et neurochirurgie, 8 en salle de réveil et endoscopie, et 2 en gynécologie.

Le tableau 2 présente les moyennes et écarts-types relatifs aux scores attribués aux compétences au début de la séquence d’enseignement clinique (temps 1) et à la fin de la formation (temps 2). Globalement, la formation a eu un effet positif sur le développement des cinq rôles. Si l’on considère l’ensemble des compétences, la moyenne mesurée au temps 2, à la fin de la formation, est significativement supérieure à celle mesurée au temps 1, au terme du premier enseignement clinique. L’effet global peut être qualifié de fort à très fort, quel que soit l’estimateur de taille d’effet considéré (Δ de Glass ou d de Cohen).

Tableau 2

Développement de compétences après la formation en soins (N = 89)

Développement de compétences après la formation en soins (N = 89)

Note.M = moyenne ; ET = écart-type ; Z = statistique du test signé des rangs de Wilcoxon ; IC = intervalle de confiance de l’estimateur de taille d’effet.

-> See the list of tables

Un développement significatif a été observé pour chaque rôle pris individuellement. Toutefois, son ampleur est variable : la formation influence modérément les compétences relatives au rôle de collaborateur et de manager. L’effet est un peu plus fort sur les compétences plus techniques liées au rôle d’expert clinique. Il peut être considéré comme fort, voire très fort pour les compétences de communicateur et d’apprenant-formateur.

La figure 1 nous renseigne sur les résultats obtenus concernant le second estimateur, l’indice d’hétérogénéité. Première constatation : avec une moyenne de 9 %, le taux était déjà très bas lors de la première mesure. Cela indique un faible niveau de disparité de compétences dans le groupe des personnes formées au début de la séquence de formation au chevet du patient. Malgré tout, la formation induit un gain d’homogénéité. Au temps 2, l’indice d’hétérogénéité n’est plus que de 6 %.

Figure 1

Indice d’hétérogénéité du groupe selon le rôle de l’infirmière

Indice d’hétérogénéité du groupe selon le rôle de l’infirmière

-> See the list of figures

De plus, nous observons des variations d’indice entre les rôles. La disparité est plus marquée pour les compétences liées au rôle de collaborateur. L’indice est de 11 % au début de la formation, soit le plus élevé. Il diminue de 6 % à la fin de la formation. En revanche, les indices des compétences liées aux rôles d’expert clinique et de communicateur sont déjà inférieurs à 10 % au début de la formation (respectivement de 6 % et de 7 %). Ils se situent à 5 % à la fin de la formation.

Discussion

Les résultats indiquent que l’enseignement clinique au chevet du patient offert dans le cadre de la formation en soins intermédiaires est une stratégie d’enseignement efficace. D’une part, la démarche d’accompagnement du transfert dans la pratique a permis de développer significativement les cinq rôles de l’infirmière, soit ceux d’expert clinique, de communicateur, de collaborateur, de manager et d’apprenant-formateur. D’autre part, l’enseignement clinique a réduit la disparité de comportements dans le groupe d’infirmières formées.

L’interprétation des indicateurs Δ de Glass et d de Cohen aboutit à des conclusions identiques, même si les valeurs des premiers sont systématiquement plus faibles que les valeurs des seconds. Les deux estimateurs confirment que tous les effets mesurés par les infirmières formatrices au moyen de la grille d’observation étaient situés au-delà de 0,40 unité, dans la zone d’effets souhaités de Hattie (2017) et où, selon Cohen (1992), l’effet peut se voir à l’oeil nu. Les tailles d’effet permettent aussi de poser un jugement différencié selon les domaines de compétences. L’évaluation met en lumière un développement plus faible des compétences liées aux rôles de manager, de collaborateur et, dans une moindre mesure, d’expert clinique. Concernant les compétences liées au rôle de manager, les résultats vont dans le sens des observations faites par Morrow, Jarrett et Rupinski (1997). Ces derniers ont eux aussi mesuré des tailles d’effet plus faibles de formations managériales (d = 0,31) par rapport à des formations techniques (d = 0,64). Deux hypothèses peuvent expliquer ces résultats. L’une est liée à la formation : les compétences managériales sont plus difficiles à développer par une mesure de formation clinique, au chevet du patient. Cette hypothèse implique qu’il faut considérer le temps et les ressources pédagogiques afin de pouvoir interpréter correctement l’effet d’une formation, comme le suggère Hattie (2017). L’autre hypothèse est liée au processus d’évaluation. Les compétences de gestion sont plus difficiles à appréhender par observation. Chaque séquence d’enseignement clinique durait une demi-journée, ce qui ne suffisait peut-être pas à l’infirmière formatrice pour évaluer ce type de compétence. En outre, peut-être que ces compétences s’observent ailleurs qu’au chevet du patient ou à des périodes bien précises de la semaine de travail d’une infirmière.

Concernant le rôle de collaborateur, la moyenne mesurée au temps 1 indique que les infirmières se situaient proches du niveau d’expertise dès le début de l’enseignement clinique. Grâce à la formation, elles ont progressé de manière significative. La moyenne mesurée au temps 2, la plus élevée de toutes les valeurs enregistrées, se situe au-delà du niveau d’expertise. Ce résultat suggère qu’il était sans doute plus difficile d’observer un effet fort sur ce domaine de compétences que sur les autres, car le niveau initial était déjà élevé et le gain potentiel plus faible. Pour intégrer cet aspect dans l’interprétation d’une taille d’effet, il pourrait être utile d’estimer, en complément, un gain relatif moyen, que Gérard (2003) définit comme « le rapport entre ce qui a été gagné et ce qui pouvait être gagné » (p. 12).

Une autre observation a trait à l’influence de la formation initiale des infirmières sur le niveau de compétences observé durant la formation. Une partie d’entre elles avait obtenu un diplôme universitaire, alors que l’autre partie avait suivi une formation professionnelle supérieure. La formation universitaire apportait une plus-value en matière de savoirs spécialisés en évaluation clinique, dans l’aptitude à gérer des cas plus complexes ou en optimisation de concepts de soins. La formation professionnelle, quant à elle, s’appuyait sur la formule de l’alternance travail-études, qui met davantage l’accent sur l’apprentissage par la pratique. Ces différences de formation initiale auraient pu induire des disparités de compétences au sein du groupe de personnes formées, tant durant la formation en classe (module 1) que lors des séquences d’enseignement clinique (module 2). Ce ne fut pas le cas. L’analyse des taux d’hétérogénéité met en évidence une diminution de l’hétérogénéité des compétences au terme de la formation, alors que leur interprétation en fonction des balises de Gérard (2003) suggère que le groupe d’infirmières-apprenantes présentait des pratiques homogènes en matière de communication, de collaboration et de management ou de prise en charge des soins dès la fin du module de formation en classe. Cette homogénéité s’explique peut-être par un milieu déjà favorable au transfert des connaissances. L’exercice professionnel en milieu hospitalier universitaire, la réflexivité et les échanges dans le travail en équipe médico-infirmière ainsi que la présence de cliniciens spécialisés dans la plupart des unités de soins intermédiaires potentialisent une uniformisation des pratiques. La formation continue en soins intermédiaires a sans doute été un apport de plus, valorisant l’importance de l’actualisation des connaissances et des compétences tout au long de la vie professionnelle.

Malgré les possibilités de comparaison offertes par les indicateurs de taille d’effet, leur interprétation demeure un exercice complexe, comme l’a démontré la mise en parallèle des résultats d’Alhassan (2019) et de Yoshinaga et ses collaborateurs (2017). Dans notre étude, la complexité provient des intervalles de confiance à 95 % du d de Cohen, qui paraissent larges. Par exemple, l’intervalle de confiance du rôle d’expert clinique se situe entre une valeur inférieure (0,33 unité), qui correspond à un effet faible et à l’extérieur de la zone d’effets souhaités, et une valeur supérieure (1,02 unité), proche du seuil qui permet de qualifier un effet très fort. Dans ce contexte, les résultats démontrent, selon nous, l’utilité de calculer un indice d’hétérogénéité en complément d’une taille d’effet. Comme le mentionne Spurlock (2017), les informations les plus pertinentes sur les apports d’une formation en soins peuvent se situer au-delà de la mesure de sa taille d’effet. Cette dernière se réfère essentiellement à l’ensemble du groupe de personnes formées, alors que les apports majeurs de la formation n’apparaissent peut-être que chez quelques apprenants. En permettant une interprétation des écarts de compétences entre les apprenants, l’indice d’hétérogénéité ouvre la voie à de nouvelles manières de penser et de décrire les retombées d’une formation en soins.

Limites de l’étude

Les résultats mettent aussi en exergue quelques limites de la présente étude. Premièrement, ils rappellent la difficulté d’observer certaines compétences. En effet, 17 % des ressources mentionnées dans la grille d’observation n’ont pas pu être évaluées en situation de travail, malgré le fait que chaque séquence d’enseignement clinique durait plusieurs heures et que les compétences avaient été définies sur la base de deux référentiels de compétences validés.

La deuxième limite a trait à la question du transfert. La dernière mesure de compétences a été effectuée en fin de formation, lors de l’examen pratique, dans le cadre d’une situation de soins. Rien ne garantit que l’utilisation des compétences acquises se maintienne dans le temps, prérequis à un réel impact sur la qualité des soins.

Enfin, nous ne connaissons pas véritablement les causes des variations d’effet. L’environnement de travail, la motivation ou la préparation des infirmières formées, la période de formation ou d’autres facteurs peuvent avoir freiné le transfert des apprentissages (Ford et al., 2018).

Conclusion

Cette recherche a permis d’évaluer le transfert des compétences associées à une formation en soins à partir d’indicateurs de taille d’effet et d’indice d’hétérogénéité. Le premier indicateur a permis de démontrer l’ampleur de l’effet sur le développement de compétences, tandis que le second a indiqué une réduction des disparités de comportements au sein du groupe d’infirmières-apprenantes.

Les résultats suggèrent quelques pistes de réflexion sur l’utilisation d’une grille d’observation pour évaluer des compétences en soins. La grille utilisée pour évaluer l’enseignement clinique pourrait être améliorée en modifiant les ressources qui n’ont pas pu être observées et évaluées par les infirmières formatrices. Pour ce faire, ces ressources pourraient être intégrées dans un tableau de spécification, un instrument utilisé en développement de programme et qui permet de contrôler que les mêmes objets sont enseignés et évalués (Parent, 2008). Un paramètre du tableau servirait alors à préciser la fréquence d’observation, en situation de soins, de l’élément de compétence contenu dans la ressource.

Une réflexion complémentaire pourrait aussi porter sur les personnes chargées de réaliser l’évaluation et de remplir la grille. Une autoévaluation pourrait être faite par l’infirmière formée simultanément à celle du formateur. Un indice de fiabilité interjuges permettrait de vérifier la concordance des mesures de compétences, ce qui permettrait de valider les tailles d’effet mesurées pour les compétences de manager.

Perspectives de recherche

La présente recherche a été axée sur la mesure directe et à court terme des compétences transférées au chevet du patient à l’issue d’une formation continue en soins intermédiaires destinée à des infirmières. Quelques perspectives de recherche permettraient d’approfondir nos connaissances des effets de la formation. Une autre étude complémentaire pourrait s’intéresser aux causes des variations observées entre les rôles. Plusieurs travaux démontrent que des facteurs liés à la conception de la formation, à l’environnement de travail ou aux caractéristiques des personnes formées peuvent expliquer les différences entre les tailles d’effet mesurées (Ford et al., 2018 ; Burke et Hutchins, 2007). L’étude permettrait notamment de vérifier si certains facteurs spécifiques au milieu hospitalier pourraient avoir bloqué le transfert des rôles de manager, de collaborateur et d’expert clinique. Elle permettrait aussi d’évaluer l’influence de la pandémie de la COVID-19, qui s’est propagée après la fin de la formation, sur ces mêmes compétences.

Une autre étude pourrait s’intéresser aux effets à long terme de la formation. Puisque l’effet sur les compétences semble significatif et qu’un nombre important d’infirmières du même hôpital a été formé, des effets sur la qualité des soins donnés aux patients et sur le fonctionnement de l’hôpital pourraient en découler. Une étude pourrait évaluer l’impact de la formation en indicateurs organisationnels, cliniques et de ressources humaines (p. ex., la durée du séjour hospitalier des patients, la survenue d’événements indésirables ou la satisfaction du personnel infirmier). La poursuite de ce type de recherche est pertinente dans le secteur de la santé, qui est soumis à de nombreuses pressions financières et où la formation continue du personnel soignant est souvent visée par des compressions budgétaires.