Évaluation de la qualité de l’implantation du programme Pare-Chocs à l’école secondaire

Poirier, Martine; Marcotte, Diane; Joly, Jacques; Fortin, Laurier

doi:https://doi.org/10.7202/1040259ar

PROBLÉMATIQUE

Le trouble dépressif chez les adolescents s’observe à des taux élevés. Évaluée auprès d’un échantillon national d’adolescents âgés de 13 à 18 ans, la prévalence à vie de ce trouble de santé mentale s’élève à 11 %¹. Un nombre encore plus important d’adolescents pourrait présenter un niveau élevé de symptômes dépressifs, les taux pouvant atteindre jusqu’à 22,9 % selon une méta-analyse récente². Au Québec, selon une étude longitudinale de neuf ans menée auprès d’adolescents³, ce taux, calculé à partir de l’atteinte d’un point de coupure à un instrument autoévaluatif, se situerait à 15,3 % en quatrième secondaire.

Les adolescents qui présentent des hauts niveaux de symptômes dépressifs ne remplissent pas l’ensemble des critères diagnostiques du trouble dépressif défini par l’American Psychological Association (APA)⁴, mais ils présentent un risque élevé développer ce trouble dans le futur⁴^, ⁵. Ils ont donc un risque élevé d’être exposés aux conséquences négatives associées à ce trouble, telles que la récurrence des symptômes, les problèmes de santé, un faible niveau de soutien social⁶ et un risque plus élevé de décrochage scolaire⁷. Malgré ces conséquences importantes et le fait qu’ils constituent une clientèle cible particulièrement appropriée pour les programmes de prévention², peu d’adolescents qui ont un niveau élevé de symptômes dépressifs peuvent bénéficier d’une intervention liée à leurs difficultés⁸. La mise en place de programmes de prévention efficaces auprès de cette population revêt donc une importance de premier ordre.

Plusieurs études ont montré que les programmes de type cognitivo-comportemental sont efficaces pour diminuer les symptômes dépressifs chez les adolescents⁹^, ¹⁰. À notre connaissance, au moment de réaliser l’étude, le programme Pare-Chocs¹¹ était le seul programme francophone pour les adolescents visant la prévention de la dépression qui s’appuyait sur cette approche. À l’image des autres programmes cognitivo-comportementaux, il vise la diminution de plusieurs facteurs de risque (ex. : distorsions cognitives, faibles habiletés de résolution de problèmes, de négociation et de communication) associés à la dépression et l’acquisition d’habiletés permettant de prévenir les symptômes dépressifs (ex. : relaxation, autocontrôle). L’évaluation des effets a d’ailleurs montré que les élèves qui ont participé au programme Pare-Chocs¹¹ présentent moins de distorsions cognitives et de meilleures stratégies de résolutions de problèmes au post-test et six mois après la fin de l’intervention que les élèves du groupe contrôle¹². La diminution des distorsions cognitives contribuait, à son tour, à la diminution des symptômes dépressifs.

L’école constitue un milieu privilégié pour offrir des programmes de prévention aux élèves qui présentent des difficultés intériorisées, puisque ce milieu est moins stigmatisant que les milieux cliniques¹³^, ¹⁴. Par contre, l’application des programmes reconnus tels qu’ils ont été conçus pose un défi en milieu scolaire. En effet, en contexte réel, la mise en place des programmes se caractérise souvent par une implantation moins fidèle qu’en contexte expérimental¹⁵^, ¹⁶. La fidélité est définie comme la capacité d’implanter un programme tel qu’il a été conçu et comprend l’adhésion (réalisation des activités prévues), l’exposition (nombre et durée des rencontres), la qualité de l’animation, la participation de la clientèle (présence et implication) et la différentiation (apport de nouveaux éléments à la pratique)¹⁵. Elle varie en fonction d’un grand nombre de facteurs¹⁵^, ¹⁷^, ¹⁸. Par exemple, l’utilisation d’un manuel décrivant avec clarté les activités prévues, la simplicité des activités, la formation au programme et une supervision régulière des intervenants sont associées à une plus grande fidélité d’implantation. De plus, un programme dont la philosophie correspond aux valeurs de l’organisation dans laquelle il est offert est souvent mieux accepté et, par conséquent, implanté avec une plus grande fidélité. Les intervenants implantent le programme avec plus de rigueur s’ils sont convaincus de sa pertinence et se sentent compétents pour le faire. Enfin, le soutien de la direction, se manifestant par la valorisation du programme, l’adaptation de la charge de travail des intervenants et le fait de fournir les ressources financières et matérielles requises pour l’implantation, favorise aussi la fidélité.

De plus en plus d’auteurs se préoccupent d’évaluer la fidélité de l’implantation des programmes de prévention et d’intervention offerts aux enfants et aux adolescents¹⁹. Cette évaluation est en effet primordiale pour s’assurer que les services offerts sont de bonne qualité et correspondent aux programmes tels que conçus²⁰. En effet, même si certaines études suggèrent que l’adaptation du programme peut augmenter son efficacité¹⁷, la majorité des études soutiennent qu’une implantation moins fidèle est associée à la réduction des effets du programme¹⁵^, ²¹.

Modèle d’évaluation

Dans cette étude, le modèle d’évaluation basé sur la théorie des programmes (theory-driven evaluation) proposé par Chen²² a été retenu. Ce modèle définit les composantes du modèle d’action, soit les éléments nécessaires à une implantation optimale du programme (voir figure 1). Ces composantes sont : les caractéristiques de la clientèle, le protocole d’intervention et de prestation de services, les caractéristiques de l’organisation et des personnes qui implantent le programme, les partenaires qui contribuent directement ou indirectement à l’implantation du programme ainsi que le contexte écologique (facteurs environnementaux qui interagissent avec les autres composantes). Le modèle d’action permet d’établir un plan systématique pour organiser le personnel, les ressources et le soutien de l’organisation dans le but de rejoindre la clientèle cible et d’offrir le programme. Les flèches reliant les composantes du modèle représentent un ordre séquentiel entre celles-ci. Le fait de compléter une des composantes fournit une base pour compléter la prochaine composante (ex. : l’organisation recrute et supervise les personnes qui implantent).

L’évaluation de l’implantation vise donc à vérifier à l’aide de méthodes de collecte de données variées dans quelle mesure chacune des composantes du programme a été implantée ou, minimalement, de décrire les limites de la mise en oeuvre. Parmi les huit approches suggérées par Chen²² à l’étape de l’implantation, nous avons préféré celle dite d’évaluation de la fidélité et celle dite d’évaluation basée sur la théorie du programme. L’évaluation de la fidélité porte un regard spécifique sur l’implantation de certains aspects du protocole d’intervention (prestation de services). Dans la présente étude, cette approche permettra d’évaluer si les activités prévues ont été réalisées, si la durée des rencontres a été respectée et si les élèves et leurs parents se sont présentés aux rencontres. Cette approche a également montré, lors de l’évaluation des effets du programme, que la diminution des distorsions cognitives et l’amélioration des stratégies de résolution de problèmes étaient plus importantes six mois après la fin de l’intervention lorsque l’exposition était plus élevée¹². L’approche d’évaluation basée sur la théorie des programmes vise quant à elle l’évaluation de l’ensemble du modèle d’action. Elle permet d’identifier les facteurs associés à chaque composante du modèle d’action qui ont influencé la fidélité de l’implantation du programme.

Le programme de prévention Pare-Chocs

Tel que mentionné, Pare-Chocs est un programme cognitivo-comportemental de prévention de la dépression. Il s’adresse aux adolescents de 14 à 17 ans qui présentent un haut niveau de symptômes dépressifs et à leurs parents. Le protocole d’intervention est décrit dans un manuel détaillé et introduit par une formation de six heures. Le programme est offert à des groupes de six à dix adolescents et se déroule à une fréquence bihebdomadaire durant six semaines pour un total de 18 à 24 heures d’intervention. Trois rencontres de deux heures sont également offertes aux parents. Les activités abordent les composantes communes aux programmes cognitivo-comportementaux (modèle théorique, éducation émotionnelle, restructuration cognitive, habiletés sociales, de communication, de négociation et de résolution de problèmes, techniques de relaxation) ainsi qu’une composante spécifique aux programmes de prévention de la dépression (habiletés d’auto-observation et augmentation des activités plaisantes). Trois composantes supplémentaires intégrées au programme Pare-Chocs le différencient des programmes existants. D’abord, la composante visant le développement de l’estime de soi et d’une image corporelle positive permet d’introduire des activités liées à l’arrivée de la puberté et aux changements corporels qui y en découlent. La composante parentale vise notamment le développement des connaissances sur la dépression chez les parents afin qu’ils comprennent mieux les difficultés vécues par leur adolescent et l’impact de ses difficultés sur la relation parent-adolescent. Enfin, la composante scolaire permet de tirer profit des facteurs de protection présents dans ce milieu en encourageant la participation aux activités parascolaires et en développant des habiletés favorisant la réussite scolaire (planification, organisation, études). En ce qui concerne les personnes qui implantent, l’auteure recommande que Pare-Chocs soit animé par deux professionnels spécialisés dans ce type d’intervention et ayant une expérience en santé mentale et en animation de groupe.

En contexte scolaire, la direction de l’établissement (l’organisation) fournit le soutien matériel et financier pour offrir le programme et libère de certaines tâches les professionnels des services éducatifs qui l’animent. Même si un partenariat avec le milieu de la santé et des services sociaux n’est pas essentiel à l’implantation du programme, l’auteure recommande de privilégier ce type de collaboration pour contribuer à un meilleur suivi des participants et de leurs parents. Dans la présente étude, la Chaire de recherche de la Commission scolaire de la Région-de-Sherbrooke (CSRS) sur la persévérance et la réussite des élèves fut l’unique partenaire permettant d’implanter le programme dans quatre des cinq écoles participantes. Enfin, pour le contexte écologique, la gestion des horaires à la fois des adolescents et des intervenants pour disposer de suffisamment de temps dans chaque école fut critique pour offrir l’exposition recommandée.

OBJECTIF DE RECHERCHE

En s’inspirant du modèle d’évaluation de Chen²², notre objectif est d’évaluer la qualité de l’implantation du programme Pare-Chocs et d’identifier les facteurs qui y sont associés dans un contexte de dissémination. Plus spécifiquement, nous évaluons la fidélité de l’implantation du programme auprès de six groupes d’adolescents et identifions les facteurs par composante du plan d’action²² qui l’ont influencée.

MÉTHODOLOGIE

Cette étude repose sur un devis de recherche mixte convergeant²³ incluant un volet quantitatif pour mesurer la fidélité d’implantation et un volet qualitatif pour décrire les différentes composantes de l’implantation. Ces deux méthodes complémentaires permettent une description plus complète du phénomène étudié.

Échantillon

Le programme Pare-Chocs a été implanté dans cinq écoles. Les quatre premières écoles sont les écoles secondaires publiques de la CSRS. Elles ont été retenues parce qu’elles étaient soutenues par la Chaire de recherche pour implanter le programme. La 5^e école a été choisie par contact, afin de vérifier si les facteurs qui influencent la qualité de l’implantation diffèrent dans une école qui ne reçoit pas le soutien d’une équipe de recherche.

Dans ces écoles, 15 intervenants (14 femmes et 1 homme) ont animé six groupes. Onze intervenantes (minimalement une par groupe) ont participé aux entrevues et une par groupe était responsable de la collecte des données quantitatives de la fidélité d’implantation. Les 15 intervenants étaient âgés en moyenne de 35,0 ans (é.-t. = 8,3) et avaient en moyenne 9,6 ans d’expérience (é.-t. = 8,2). Neuf possédaient une maîtrise en intervention (psychoéducation, psychologie scolaire, orientation professionnelle), une détenait un doctorat en psychologie, deux avaient un baccalauréat (psychologie et psychoéducation), deux étaient techniciens (travail social et éducation spécialisée) et une était étudiante au collégial (travail social).

Bien que les adolescents ayant participé au programme Pare-Chocs ne soient pas la principale unité d’analyse, nous décrivons la procédure de sélection utilisée, car elle permet de vérifier si le programme a été offert à la clientèle visée par le programme. Dans les quatre premières écoles, à l’automne 2009, un dépistage systématique a été effectué auprès des élèves de 3^e et 4^e secondaire à partir du logiciel de dépistage du décrochage scolaire (LDDS)²⁴, qui inclut un questionnaire évaluant la présence de symptômes dépressifs (Center for Epidemiological Studies-Depression Scale, CES-D ²⁵). Les élèves à risque de décrochage scolaire qui présentaient un niveau élevé de symptômes dépressifs (score de 20 et plus) lors de cette présélection ont été invités en janvier 2010 à une entrevue où ils ont complété le CES-D à titre de prétest. Les élèves qui ont accepté de participer au programme, qui ont fourni un consentement parental et qui ne rencontraient aucun critère d’exclusion (dépression sévère avec des idées suicidaires, symptômes nécessitant une référence immédiate en psychiatrie, consommation de drogues sur une base régulière, participation à un autre traitement psychologique) ont été inclus dans l’étude. Dans la 5^e école, une procédure de dépistage systématique a aussi été utilisée pour sélectionner les participants. Tous les élèves de 4^e secondaire ont rempli le CES-D en janvier. Ceux qui présentaient des symptômes dépressifs élevés ont été invités à une entrevue où ils ont complété à nouveau le CES-D (prétest). Comme pour les élèves des quatre premières écoles, ils ont été inclus dans l’étude s’ils acceptaient de participer au programme, fournissaient un consentement parental et ne rencontraient aucun critère d’exclusion. Le tableau 1 résume les caractéristiques des adolescents qui ont participé au programme.

Tableau 1

**Caractéristiques de la clientèle**

Méthodes de collecte de données

Des grilles d’auto-évaluation ont été complétées et des entrevues ont été réalisées pour recueillir les données quantitatives et qualitatives d’évaluation. Pour les données quantitatives, les unités d’analyse sont les écoles (adhésion, dosage), les adolescents (participation, attrition) et leurs parents (participation des parents). Ces données sont issues d’une étude plus large portant sur l’évaluation des effets du programme Pare-Chocs¹². Toutes les données qualitatives ont été recueillies auprès des intervenantes de chaque école. Ces dernières forment donc les unités d’analyse.

Grilles d’auto-évaluation de la fidélité d’implantation

Une grille d’auto-évaluation a permis d’évaluer les deux dimensions de la fidélité les plus fréquemment évaluées, soit l’adhésion et le dosage¹⁷, ainsi que la participation. À chaque rencontre, une intervenante notait la présence des participants, la durée de l’atelier et les activités réalisées. Ces informations ont permis de calculer l’indice d’adhésion (rapport entre le nombre d’activités réalisées et celles prévues par composante d’intervention et au total), l’exposition au programme (rapport entre le nombre d’heures offertes et le nombre minimal prévu [18 h]) et l’indice de participation (nombre de rencontres où les adolescents [12 rencontres possibles] et leurs parents [3 rencontres possibles] étaient présents).

Entrevues d’évaluation de l’implantation

Les intervenantes ont été sollicitées après l’implantation pour participer à une entrevue individuelle de 45 à 60 minutes menée par l’évaluatrice. Le protocole d’entrevue était basé sur le modèle d’action du programme et abordait les difficultés rencontrées lors de l’implantation, la satisfaction des intervenantes et la qualité de l’animation (associée à la fidélité). Les intervenantes ont aussi complété un questionnaire sociodémographique.

Procédure

Le programme Pare-Chocs a été offert durant l’hiver 2010 dans cinq écoles. Les intervenants travaillaient en dyades (groupes A, B1 et C) ou triades (groupes B2, D et E). Au total, 10 des 15 intervenants ont suivi la formation Pare-Chocs, dont au moins un par groupe d’intervention. Trois supervisions d’une durée totale de quatre heures ont aussi été offertes aux intervenantes des écoles soutenues par la Chaire de recherche. Les intervenants de la 5^e école n’ont bénéficié d’aucun soutien supplémentaire. Les adolescents participaient au programme durant une partie de la période du dîner et la période de cours suivante.

Plan d’analyse

Deux types d’analyse ont été menés. D’abord, des statistiques descriptives ont été utilisées pour analyser les données quantitatives liées à l’évaluation de la fidélité de l’implantation. Ensuite, les verbatim des entrevues ont été analysés par l’auteure principale, sous la supervision des 2^e et 3^e auteurs, en s’inspirant de la démarche d’analyse thématique²⁶. Les thèmes représentant les facteurs qui ont facilité ou limité l’implantation du programme ont été identifiés. Ensuite, les récurrences dans le discours des intervenantes des cinq écoles ont été relevées et regroupées en thèmes afin de dresser un portrait synthèse de l’implantation. Ces thèmes ont été hiérarchisés dans un arbre thématique basé sur les composantes du modèle de Chen²², puis intégré dans un tableau qui mettait en relation les intervenantes (identifiées par leur formation initiale) et les thèmes relevés dans leur discours. Enfin, à partir de ce tableau, les trois auteurs principaux ont ressorti de manière indépendante les éléments qui ont influencé de manière plus marquante l’implantation.

RÉSULTATS

Fidélité de l’implantation

Trois dimensions de la fidélité d’implantation (adhésion, exposition, participation) ont été évaluées. Le tableau 2 montre que l’adhésion était élevée : la majorité des composantes ont été implantées à plus de 70 % et certaines composantes ont été implantées à 100 %. L’adhésion pour la composante parentale et les habiletés de négociation et de résolution de problèmes était plus faible. Le taux d’adhésion par groupe se situe à plus 80 %, mis à part pour les groupes B2 (dans lequel les rencontres pour les parents n’ont pas été réalisées) et D.

Le tableau 3 présente les résultats de l’exposition pour les adolescents et leurs parents. Dans cinq des six groupes, une exposition plus importante que le minimum recommandé a été offerte (un taux de 100 % représente 18 h d’exposition). Par contre, l’exposition des parents est plus faible que celle recommandée.

Tableau 2

**Adhésion par groupe pour chaque composante du programme d’intervention**

Tableau 3

**Dosage, participation moyenne et attrition par groupe**

Le tableau 3 montre que la participation moyenne des participants est élevée (78,5 %), mais que celle des parents est modérée (48,4 %). Elle est particulièrement faible dans le groupe D. Enfin, l’attrition, liée à la participation des adolescents, se situe en moyenne à 16 %, avec un taux nul pour deux groupes, mais de 40 % pour le groupe D.

Facteurs associés à la fidélité de l’implantation

Notre deuxième objectif était d’évaluer les facteurs qui ont influencé la qualité de l’implantation par composante du plan d’action²². La figure 1 résume les thèmes qui ont émergé des entrevues, regroupés par composante du plan d’action. Les nombres entre parenthèses indiquent le nombre d’auteurs du présent article (sur trois) ayant retenu ces aspects comme les plus révélateurs de l’expérience des intervenantes à partir du dépouillement des verbatim. Nous décrivons plus en détail les aspects retenus par les trois chercheurs.

Facteurs liés à la clientèle

Selon les intervenantes, la procédure de sélection a permis de bien cibler les adolescents visés par le programme. Les statistiques descriptives présentées dans le tableau 1 vont dans le même sens : elles montrent que les participants présentaient un niveau élevé de symptômes dépressifs tant à la sélection qu’au prétest. Ces derniers semblaient se sentir interpellés par les contenus du programme : « Je vois que les jeunes sont contents de venir, ils se présentent aux rencontres, ils participent dans la majorité des cas. Je me dis que si c’était vraiment pas du tout pertinent pour eux, ils ne viendraient pas. On voit que ça répond quand même à un besoin ». Par contre, les difficultés scolaires des élèves concomitantes à leurs symptômes dépressifs ont conduit à un plus haut taux d’absentéisme et à une exposition moindre au programme : « Nos élèves allaient en rattrapage le midi au besoin et comme ce sont des élèves qui avaient beaucoup de difficultés à l’école, on priorisait ça. » ; ou à une participation moins importante : « On avait peut-être le tiers des élèves qui étaient en difficulté de concentration, d’attention. C’est sûr que des fois, ça demandait plus d’adaptation dans notre animation et quand il fallait écrire dans le cahier, c’était comme moins facile pour eux. “C’est quoi qu’il faut que je fasse ?” Ils n’avaient pas compris. »

Figure 1

**Résumé des principaux commentaires selon les composantes du modèle de Chen (2005)**

Facteurs liés au protocole d’intervention

Plusieurs facteurs liés au protocole d’intervention ont facilité l’implantation du programme et ont contribué à la perception de son efficacité. Les intervenantes ont été sensibilisées à l’importance de la fidélité afin de maximiser l’efficacité du programme : « Je pense qu’on était conscientes que c’était un programme qui était en évaluation donc il fallait être collées le plus possible et en même temps, on l’a ajusté à qui on est et au groupe qu’on avait. Des fois, il se présente quelque chose qui n’est pas prévu, on ne peut pas le laisser comme ça. » Elles soulignent toutefois qu’elles n’ont pas pu faire toutes les activités et que certaines modalités d’intervention ont été adaptées, dû à un manque de temps : « Il y a un jeu de rôle, on n’a pas eu le temps de le faire, mais souvent on le faisait par discussion, par échange… Donc ça se faisait, mais de façon différente, parce qu’il y en avait comme deux [activités] et là, on manquait de temps. » Le manuel de l’animateur a constitué pour toutes les intervenantes un guide permettant d’implanter le programme avec une fidélité plus élevée : « Ça a été une référence tout le long du programme. Chaque fois qu’on a une question ou qu’on n’est pas trop sûres dans le contenu, on peut tout le temps y référer et d’ailleurs, on l’avait tout le temps avec nous autres pour préparer les rencontres ou même pendant les rencontres pour nous aider à faire des liens. »

Facteurs liés à l’organisation

Les facteurs liés à l’organisation ont également joué un grand rôle dans l’implantation selon les intervenantes. Elles confirment que les directions des écoles ont soutenu le programme, fourni les locaux et le soutien financier nécessaires à l’implantation du programme et qu’elles ont collaboré à la gestion des horaires des élèves pour favoriser leur participation : « On peut rejoindre les directions facilement et le directeur général a tout le temps été là, parce que c’est lui qui chapeaute plus ça. […] Les réponses ont tout le temps été là, que ce soit pour le budget pour les collations ou pour l’organisation, les locaux, pour regarder l’horaire des jeunes… Ça, je n’ai absolument rien à dire, ça a bien été. » Enfin, dans certaines écoles, les directions ont félicité les élèves pour leur pour participation à la fin du programme : « Le directeur est venu pour remettre les diplômes à la fin. Ça, c’était très bien. On a beaucoup apprécié. Également, les jeunes avaient l’air… se sentaient fiers que ce soit le directeur. »

Facteurs liés aux personnes qui implantent

Les intervenantes ressortent satisfaites de leur expérience d’implantation. Elles se sentaient compétentes pour animer le programme : « Pour vrai, ça a été vraiment facile de me l’approprier et je pense que je suis une personne compétente pour offrir ce programme-là. » Quatre intervenantes ont implanté le programme à deux reprises. Elles soulignent que leur expérience antérieure a facilité l’implantation : « Ce qui était plus facile, c’est d’avoir une vue d’ensemble. Cette année, je me sentais plus en mesure de savoir ce qui s’en vient […] et chaque activité, on veut l’amener où. […] Moi, j’ai l’impression que je me sens mieux et si j’avais à le redonner une 3^e année, ça serait encore plus facile. Ça s’améliore à chaque fois. » Par contre, plusieurs intervenantes n’ont pas été exposées à l’approche cognitivo-comportementale durant leur formation professionnelle initiale, ce qui a constitué une limite à l’implantation : « C’est sûr qu’il y a des bouts qu’il y en a qui utiliseraient sûrement mieux que moi. Au niveau cognitivo-comportemental, ça, ça reste… Je sais l’atelier, mais je ne suis pas allée plus loin dans ma formation donc ça, ça reste toujours un bout manquant. »

Facteurs liés aux partenaires

La Chaire de recherche a rendu possible l’implantation dans quatre des écoles concernées. La présence d’une psychoéducatrice, professionnelle de recherche de la Chaire, dans chacune des écoles a été appréciée : « Ça, c’est sûr que c’est très aidant. On y serait arrivé, mais c’est vraiment facilitant qu’on ait quelqu’un de la Chaire qui soit là dans les écoles. » Une autre intervenante mentionne : « La professionnelle était ouverte et si on lui posait des questions, elle nous répondait et si on avait besoin d’aide, elle nous aidait. » De plus, la présence d’un expert en santé mentale dans l’équipe de recherche a contribué à une implantation d’une plus grande qualité : « Comme l’activité de survie, il y en a plein qui l’avaient essayé qui ont dit ça ne fonctionne pas. Mais [l’expert en santé mentale] a dit c’est pour ça. Ah ! Moi, quand je comprends le rationnel en arrière de l’activité, c’est bien différent la façon dont je vais l’implanter et tout ça, je trouve ça le fun. »

Facteurs du contexte écologique

Finalement, les intervenantes soulignent qu’une implantation en milieu scolaire, malgré ses difficultés, favorise la participation des élèves : « Le moment de la journée qu’on l’a fait, ça a fait que les élèves, ils étaient à l’école […] Ceux qui ont décidé de faire le programme, on n’en avait pas qui arrivaient en retard. » Toutefois, la participation au programme pouvait être plus complexe lorsque les élèves devaient s’absenter de certains cours : « [Les enseignants] parlaient beaucoup d’évaluation donc c’est difficile de pouvoir sortir les élèves […]. Ça a toujours l’air la fin du monde quand ils manquent une partie de période. » Par ailleurs, les adolescents peuvent compter sur leurs intervenantes qui demeurent disponibles dans l’école pour les aider en cas de besoin même en dehors des activités prévues au programme. De plus, grâce à leur participation, les adolescents ont pu rencontrer des pairs qui vivaient des difficultés similaires et ainsi se créer un réseau de soutien : « Je n’aurais pas pensé. Comment que les jeunes se préoccupaient de l’autre, de la personne qui était à côté. Quand une personne parlait et que c’était difficile, au lieu que toujours ce soit nous, les intervenants, c’était des fois d’autres jeunes qui disaient “ah bien, tu pourrais essayer ça”. “Ah, je comprends que c’est dur, c’est vrai que ce n’est pas évident”. Donc ça, c’était le fun de voir l’entraide et la compréhension, l’empathie de chacun. »

Discussion

Le but principal de cette étude était d’évaluer la qualité de l’implantation du programme Pare-Chocs¹¹ et d’identifier les facteurs par composante du plan d’action qui l’ont influencée. Le discours des intervenantes est cohérent avec les facteurs identifiés dans la littérature comme facilitant ou limitant l’implantation des programmes en milieu scolaire au chapitre des caractéristiques du programme (présence d’un manuel, clarté des activités, formation et supervision des intervenants), des intervenants (sentiment de compétence, perception positive du programme) et de l’organisation (soutien de la direction). Certains facteurs liés au contexte (possibilité d’implanter le programme à plus d’une reprise, présence d’une équipe de recherche dans le milieu, évaluations des apprentissages durant les rencontres d’intervention) et à la clientèle (autres difficultés des élèves qui limitent leur participation, soutien entre les participants) qui ont été moins abordés dans les écrits antérieurs sont aussi ressortis du discours des intervenantes.

Les critères de sélection de Pare-Chocs ont facilité l’identification des adolescents qui correspondaient à la clientèle ciblée. Selon les intervenantes, le programme a permis de répondre aux besoins des adolescents qui manifestaient des symptômes dépressifs et des difficultés liées à l’expression de soi et aux relations sociales²⁷^, ²⁸. Dans la même lignée que les résultats d’Ennett et coll.²⁹, nous avons pu observer que les adolescents s’engageaient dans le programme et participaient activement à la majorité des activités. Par contre, certains se sont absentés fréquemment. Tel que rapporté par Flay et Collins³⁰, la variation du taux de présence a eu pour effet que les adolescents n’ont pas tous été exposés de façon équivalente au programme.

Différents aspects du protocole d’intervention ont également influencé la qualité de l’implantation. Pare-Chocs¹¹ comprend un manuel détaillé qui a facilité l’application par les intervenantes. Plusieurs auteurs mentionnaient que ce facteur occupe une place centrale dans la fidélité de l’implantation¹⁴^, ³¹. D’autres auteurs mentionnent toutefois que la complexité des programmes, les ressources et le matériel requis ainsi que le temps nécessaire constituent des menaces à la qualité de l’implantation²⁸^, ³². Nous avons d’ailleurs constaté que l’implantation en milieu scolaire avec les contraintes imposées par l’horaire des écoles limite la durée des rencontres et conduit à une diminution de l’adhésion. De plus, la complexité de certaines activités nécessitant une maîtrise du modèle cognitivo-comportemental s’est traduite par une adaptation du programme par les intervenantes moins familières à cette l’approche. Malgré ces limites, quatre des six groupes obtiennent un taux d’adhésion de plus de 80 % et cinq ont offert une durée d’intervention totale plus élevée que le minimum recommandé par le programme.

Pour l’organisation, nous avons constaté comme plusieurs auteurs que le soutien matériel et financier de la direction a contribué à la bonne implantation du programme¹⁴^, ¹⁶^, ³¹. La formation et la supervision ont aussi occupé une place cruciale pour assurer la qualité de l’implantation¹⁸^, ¹⁹^, ²⁸. Soulevé comme limite concernant la formation par Gearing et coll.²⁸, le changement de personnel s’est manifesté ici malgré le faible nombre d’intervenants et a fait en sorte que tous n’avaient pas assisté à la formation au programme. Dans le même sens, Kutash et coll.²⁰ indiquent que la supervision continue durant l’implantation est associée à un taux plus élevé d’adhésion au programme que la simple participation à la formation en début de projet. Nous avons en effet pu observer que les trois périodes de supervision offertes dans le cadre du programme ont permis une meilleure appropriation et une application plus fidèle des contenus abordés¹⁸^, ²⁸. Toutefois, comme le suggèrent Langley, et coll.³³, une supervision plus régulière pour les intervenantes moins formées à l’approche cognitivo-comportementale aurait pu contribuer à bonifier davantage la fidélité de l’implantation, particulièrement dans le contexte de cette étude où la formation initiale des intervenantes était très inégale, variant entre des études non complétées en technique de travail social et des études doctorales complétées en psychologie.

Tel que mentionné, les caractéristiques des intervenantes influencent aussi la qualité des services offerts¹⁷^, ³⁴. Dans notre étude, les intervenantes semblaient se sentir compétentes pour animer Pare-Chocs et étaient motivées à le faire. Selon elles, la qualité de l’animation du programme a été relativement élevée. Il n’en demeure pas moins que la question de l’animation des programmes d’intervention en santé mentale en milieu scolaire est une question fort complexe. Comme le soulignent Mayer et coll.³⁵, on doit s’interroger sur la possibilité de voir implanter dans leur totalité par les intervenants scolaires des programmes de prévention en santé mentale qui requièrent une expertise spécialisée.

Dans cette étude, la Chaire de recherche a été le principal partenaire qui a soutenu l’implantation du programme¹⁷. Elle a contribué à la réussite de l’implantation en fournissant au milieu le soutien d’une intervenante par école, qui a participé activement à la préparation des rencontres, allégeant ainsi la charge de travail des intervenantes du milieu³³. La présence d’un expert en santé mentale dans l’équipe de la Chaire de recherche a permis d’offrir la formation et les supervisions, ce qui a aussi favorisé une implantation plus fidèle¹⁸. Bien que positif pour l’implantation de ce projet, il s’agit d’une situation idéale avec des conditions supérieures à ce que certaines écoles pourraient vivre en tentant d’implanter un tel programme sans le concours des mêmes professionnels.

Finalement, l’implantation en contexte scolaire a permis de rejoindre les adolescents directement dans un de leurs milieux de vie. Puisque la participation au programme ne nécessitait aucun déplacement, les adolescents ont pu plus facilement assister aux rencontres en manquant un nombre minimal de cours. Toutefois, les évaluations des apprentissages prévues au même moment que les rencontres Pare-Chocs ont conduit à un taux d’absentéisme plus élevé pour certains élèves. Enfin, l’implantation dans le milieu a permis de recourir à des intervenantes déjà en place qui demeuraient disponibles après l’implantation pour soutenir les adolescents en cas de besoin, ce que Mihalic et coll.¹⁴ considèrent facilitant. Les adolescents se sont également créé un réseau de soutien auprès des membres de leur groupe Pare-Chocs. L’implantation dans l’école assure donc aux adolescents la présence de ressources d’aide significatives pour leur cheminement futur.

Limites

Certaines limites sont à considérer en lien avec les résultats de cet article. D’abord, les mesures de fidélité ont toutes été remplies par les intervenantes. Ces mesures ont été développées par les évaluateurs. Pour les recherches futures, il serait judicieux d’utiliser des mesures standardisées pour évaluer la fidélité de l’implantation³⁶. De plus, les activités qui ont été modifiées ont été considérées comme réalisées, mais il se peut que certaines d’entre elles dérogent du modèle théorique de Pare-Chocs. Un observateur externe aurait apporté une mesure plus objective, mais il s’avérait impossible d’utiliser une telle mesure dans le cadre du présent projet. Il faut toutefois noter que la stratégie retenue apporte une amélioration par rapport à certaines études évaluatives des programmes de prévention de la dépression qui ne considèrent pas systématiquement l’adhésion des intervenants. Ensuite, l’identification des facteurs qui ont facilité ou limité l’implantation ne reflète que l’opinion des intervenantes. Probablement que les autres acteurs impliqués (directions, conceptrice, adolescents et parents) auraient pu apporter des éléments différents. Les entrevues réalisées auprès d’intervenantes de professions variées et travaillant dans cinq écoles différentes ont tout de même permis d’apporter un éclairage intéressant sur les facteurs qui expliquent la qualité de l’implantation dans leur groupe. Enfin, le programme a été offert par des intervenants ayant des domaines et des niveaux de scolarité différents, ce qui peut avoir conduit à des variations dans la qualité de l’animation de Pare-Chocs. Dans les écoles secondaires, les psychologues scolaires sont peu nombreux. Il peut donc être plus complexe de recourir à une équipe de professionnels ayant l’expertise spécifique associée au modèle théorique sous-jacent à chaque programme de prévention. Il devient alors encore plus important de valoriser suffisamment ce type d’intervention préventive pour y consacrer les ressources dont on dispose, en tirant profit des forces de chacun des professionnels et en investissant au besoin dans leur formation continue.

Conclusion

Bien que l’implantation du programme nécessite un important investissement de la part des intervenantes, Pare-Chocs peut plus facilement être implanté de manière uniforme parmi les écoles puisqu’il est clé en main et comprend un manuel détaillé. Puisqu’il permet aux adolescents de développer des habiletés qui contribuent à réduire leurs symptômes dépressifs¹², il s’agit d’un programme pertinent à mettre en place en milieu scolaire afin de prévenir la dépression.

Afin de faciliter les prochaines implantations de ce programme, nous suggérons, en s’appuyant sur les commentaires des intervenantes, d’identifier les activités incontournables à réaliser. Cela contribuera à une plus grande homogénéité dans l’application des activités dans l’éventualité où certaines devraient être mises de côté par manque de temps¹⁷. Nous recommandons aux directions de conserver les mêmes intervenantes et d’alléger leur tâche pour faciliter l’implantation. Il est aussi essentiel de respecter les critères de sélection afin d’offrir un service de qualité à une clientèle bien ciblée et d’implanter le programme à un moment dans l’année où les évaluations des apprentissages sont peu nombreuses afin de limiter l’absentéisme des adolescents pendant les rencontres.

Pour le programme Pare-Chocs, il serait souhaitable qu’une nouvelle évaluation de l’implantation soit réalisée en contexte réel de dissémination. Cette évaluation permettrait de s’assurer que les éléments qui sont ressortis du discours des intervenants soient transférables dans les milieux scolaires qui ne bénéficient pas du soutien d’une équipe de recherche. Si elle est réalisée dans le cadre d’une nouvelle évaluation des effets du programme, elle permettrait encore une fois de fournir des informations pour expliquer les résultats obtenus. Le modèle de Chen²² demeurerait très pertinent pour planifier et réaliser ces évaluations.

Enfin, pour l’évaluation de l’implantation des programmes en milieu scolaire, nous recommandons qu’un observateur externe soit chargé d’évaluer la fidélité de l’implantation, que ce soit au moment où se tiennent les rencontres ou par le biais d’une analyse vidéo. Nous croyons également qu’il serait bénéfique d’assurer une supervision étroite des professionnels dont l’expertise ne correspond pas à l’approche et au modèle théorique sous-jacent au programme. Ces stratégies permettront d’offrir le programme le plus fidèlement possible et de maximiser les chances que les objectifs visés soient atteints.

Évaluation de la qualité de l’implantation du programme Pare-Chocs à l’école secondaireImplementation Evaluation of the Pare-Chocs Program in High School

Résumé

Abstract