Corps de l’article

Introduction

En 1976, à la suite d’une recension exhaustive des écrits sur l’efficacité des politiques et des services de protection de l’enfance, Sheila Kamerman et Alfred Kahn ont conclu que la plupart des décisions en matière de politiques et de pratiques restent fondées principalement sur des jugements de valeur et sur des suppositions. Trente ans plus tard, malgré les appels répétés à une évaluation plus systématique des pratiques (Magura et Moses, 1986 ; Pecora et al., 1992 ; National Research Council, 1993 ; Gelles, 2001), il s’avère que les services destinés aux enfants maltraités et à leurs familles reposent encore, souvent, sur une perception des besoins qui ne tient pas compte de données objectives portant sur l’efficacité des services. Une recension récente de toutes les études canadiennes publiées entre 1995 et 2005 qui ont mesuré l’impact des services de protection de l’enfance n’a permis d’identifier que dix essais cliniques qui comportaient des groupes de comparaison, dont quatre où le devis prévoyait une répartition aléatoire des sujets (Flynn et Bouchard, 2005).

Pourtant, les services de protection de l’enfance représentent au Canada l’un des secteurs de services sociaux dont la croissance est la plus rapide. Le nombre d’enquêtes menées par les bureaux de protection de l’enfance a doublé au cours des cinq dernières années. La situation de plus de 200 000 enfants pour lesquels il y a des allégations de mauvais traitements est évaluée annuellement (Trocmé et al., 2005). De 3 à 4 milliards de dollars sont dépensés au Canada chaque année pour des services directs de protection de l’enfance et la somme des coûts annuels indirects est estimée à plus de 15 milliards de dollars (Bowlus et al., 2003).

Pourquoi, au Canada, en savons-nous si peu sur les services offerts aux enfants les plus vulnérables et comment pouvons-nous justifier que diverses mesures soient ordonnées par le tribunal alors que leur efficacité ne bénéficie que d’un appui empirique limité ? Bien que la décision de mener plus de recherches évaluatives fasse manifestement partie de la solution (au Canada moins d’un million de dollars par année est dépensé pour évaluer un système de services qui engendre des coûts de plusieurs milliards de dollars), l’expérience de secteurs d’activités qui ont investi abondamment dans la recherche montre bien l’importance cruciale de développer des programmes de recherche qui se situent dans une stratégie plus large de mobilisation de connaissances (Huberman, 1994 ; Davis et Howden-Chapman, 1996 ; Dash et al., 2003 ; Lomas, 2003). De ce point de vue, le défi n’est pas de mener plus de recherches en tant que tel, mais bien de créer une culture organisationnelle à l’intérieur de laquelle la question de l’efficacité des interventions devient un élément central de la prise de décisions.

Le présent article examine des modèles émergents de mobilisation des connaissances conçus spécifiquement pour soutenir une utilisation plus systématique de la recherche dans les services sociaux et le développement d’initiatives de recherche suscitées par la pratique et les politiques (« practice and policy-driven demands for research ») et qui portent sur l’efficacité des programmes d’intervention et de prévention. Nous commencerons par examiner les limites des modèles traditionnels de diffusion des connaissances à travers le prisme de notre propre expérience de diffusion. Nous considérerons ensuite certaines recherches qui ont été menées sur les facteurs facilitant et les obstacles à l’utilisation de la recherche dans les domaines de la santé, de l’éducation et des services sociaux. Enfin, nous présenterons un modèle de mobilisation des connaissances qui est mis à l’essai et évalué dans un organisme de protection de l’enfance au Québec.

Les limites de la diffusion traditionnelle

Malgré un nombre sans cesse croissant de références aux notions de « politiques basées sur des données probantes » ou « pratiques basées sur des données probantes », le défi qui consiste à transposer les données empiriques en politiques et en pratiques exige des stratégies multiples et à long terme qui vont bien plus loin que la diffusion traditionnelle des connaissances. Synthétiser des données probantes grâce à des recensions systématiques, puis les rendre compréhensibles aux décideurs politiques et aux intervenants ne garantit en rien que ces données seront bel et bien utilisées. On se préoccupe de plus en plus du fait que les stratégies de diffusion traditionnelles n’ont qu’une influence limitée sur les politiques et sur les pratiques (Bate et Robert, 2002 ; Waddell et al., 2005).

Notre expérience de la diffusion et de la mobilisation des connaissances au Centre d’excellence pour la protection et le bien-être des enfants (CEPB) illustre plusieurs de ces défis. Au cours des cinq dernières années, le CEPB a développé avec succès un réseau actif de plus de 500 chercheurs, décideurs politiques et dispensateurs de services canadiens. Nous avons concentré nos activités de diffusion à deux niveaux. Le site Web du CEPB reçoit de 8 000 à 10 000 visites par mois et les téléchargements les plus populaires sont des fiches de renseignements de deux pages qui résument les conclusions d’études canadiennes sur la protection de l’enfance (www.cecw-cepb.ca). Sur certaines questions prioritaires, nous avons également tenu des conférences annuelles traitant à la fois de la recherche et des politiques (par exemple, les approches spécifiques et centrées sur la réconciliation avec les communautés autochtones). Elles ont eu un effet vérifié sur les politiques provinciales et fédérales (ex. : le développement de modèles d’approches différentielles en Alberta, en Ontario et au Québec ; voir Trocmé et al., 2003 ; Loxely et al., 2005).

Bien que ces stratégies aient contribué à renforcer le réseau du CEPB et qu’elles aient augmenté de manière générale l’accès aux travaux de recherche sélectionnés, il a été plus difficile d’observer leur impact sur les pratiques individuelles, sur les services ou sur les politiques des organismes de protection de l’enfance (Conseils et Vérification Canada, 2005 ; voir Agence de la Santé Publique du Canada, 2009). Par ailleurs, aux paliers provincial et fédéral, le CEPB est de plus en plus souvent invité à développer des mécanismes de consultation plus souples qu’un éventuel colloque annuel, qui porte sur des thèmes fixes et qui s’insère dans un cycle (allant de la planification à la présentation des rapports) pour lequel il faut compter de 18 à 24 mois. Une des limites fondamentales de ce type de modèle de diffusion tient au fait qu’en protection de l’enfance, l’ensemble des données probantes disponibles est trop mince pour qu’on puisse répondre adéquatement aux nombreuses questions qui se posent présentement en matière de politiques et de services. Un processus itératif de production, de diffusion et d’utilisation des connaissances paraît alors nécessaire pour soutenir le développement d’un ensemble de données probantes, solides et pertinentes qui permette d’appuyer les décisions sur les politiques et les pratiques en protection de l’enfance.

Mobilisation des connaissances

La mobilisation des connaissances va au-delà d’un modèle de diffusion unidirectionnel dans la mesure où elle désigne un effort pour intégrer la production et l’utilisation des connaissances à la structure fondamentale des organismes (Clark et Kelly, 2005). Jonathan Lomas (2003), directeur de la Fondation canadienne de la recherche sur les services de santé (FCRSS), soutient que, dans les services de santé, les meilleurs exemples d’études ayant une véritable incidence sur la pratique proviennent d’organismes qui ont investi considérablement dans la recherche et l’ont intégrée à tous les niveaux de leur structure organisationnelle, créant ainsi une « culture organisationnelle » qui valorise des données probantes (Lomas, 2003).

Pour parler de diffusion des connaissances, un certain nombre de termes ont été mis de l’avant dans les écrits scientifiques : mobilisation des connaissances, échange de connaissances, transfert des connaissances ou application des connaissances[1]. La notion de diffusion fait référence habituellement au processus de partage des résultats de la recherche, que ce soit au moyen de congrès, de publications scientifiques ou grâce à des conférences et à des publications moins spécialisées et destinées aux professionnels ou au grand public. La notion de transfert des connaissances renvoie plus précisément à la dernière partie de la définition présentée ci-dessus. Elle désigne, par exemple, le processus de diffusion des conclusions des recherches en des termes clairs qui peuvent être compris par des non-spécialistes. Quant aux expressions « application des connaissances », « échange de connaissances » et « mobilisation des connaissances », elles sont utilisées pour désigner un ensemble d’activités plus interactives qui couvrent le cycle complet de la recherche : de la production à la diffusion et puis à l’utilisation des données. Le succès de l’application, de la mobilisation et de l’échange est généralement évalué à l’aune de l’influence qu’auront ces connaissances sur les utilisateurs ultimes (par exemple les médecins, les travailleurs sociaux, les professeurs, les décideurs politiques). La FCRSS définit l’échange de connaissances comme :

[…] un effort coopératif des chercheurs et des décideurs visant à résoudre des problèmes grâce à des activités de transfert et d’échange. Un bon échange de connaissances implique des interactions entre chercheurs et décideurs et amène chaque partie à développer ses connaissances dans le cadre de la planification, de la production, de la diffusion et de l’application de la recherche (nouvelle ou existante) à la prise de décision.

FCRSS, s. d.

Pour les besoins de cet article, nous utiliserons l’expression « mobilisation des connaissances » dans le même sens que celui que la FCRSS attribue à « échange des connaissances ».

Les éléments essentiels à une mobilisation efficace des connaissances

Bien qu’on ne fasse que commencer à accorder un certain intérêt à la mobilisation des connaissances dans les services sociaux, de nombreuses études se sont déjà penchées sur cette question dans les services de santé. Il en ressort que les initiatives réussies de mobilisation des connaissances partagent quelques éléments communs, soit : a) la capacité à produire des informations pertinentes, en temps opportun, grâce à des partenariats bien intégrés entre les chercheurs, les décideurs politiques et les dispensateurs de services ; et b) le développement de la capacité, dans les organismes responsables de l’élaboration des politiques et de la dispensation des services, d’intégrer les informations issues de la recherche et de favoriser une culture qui soutienne la prise de décisions fondées sur des données probantes (Harvey et al., 2002 ; Hemsley-Brown et Sharp, 2003 ; Hemsley-Brown, 2004 ; Rycroft-Malone, 2004). Les deux prochaines sections du présent article présentent les conclusions de ces études, d’abord par rapport à la production des connaissances et, ensuite, par rapport à l’utilisation des connaissances. Le tableau 1 présente de manière synthétique les concepts importants.

Tableau 1

Les notions importantes en mobilisation des connaissances

Les notions importantes en mobilisation des connaissances

-> Voir la liste des tableaux

Les partenariats de production des connaissances

La plupart des initiatives de mobilisation des connaissances ont évolué au gré de leurs efforts pour augmenter l’influence de la recherche, tout d’abord en se concentrant davantage sur la diffusion des connaissances et, plus récemment, en créant des partenariats de recherche conçus pour mieux intégrer la recherche aux besoins des décideurs politiques et des dispensateurs de services (Gollop et al., 2006).

Denis et Lomas (tel qu’ils sont cités dans Gollop et al., 2006) décrivent la recherche en collaboration comme « un programme de recherche qui évolue en fonction des découvertes cumulatives » que partagent les chercheurs et les décideurs. Ils soutiennent que la collaboration va bien au-delà du fait de conclure des accords sur des projets de recherche dans le but d’atteindre certains objectifs déterminés d’avance. D’après leur expérience, une collaboration pleine et entière inclut les conditions suivantes : a) l’investissement de temps, ou de toute autre ressource exigée par la recherche en collaboration, est considéré utile aussi bien par les chercheurs que les praticiens ; b) la confiance s’installe à partir d’interactions informelles, qui sont essentielles au succès de la recherche en collaboration ; c) pour qu’une recherche en collaboration puisse réussir, un autre élément se combine aux deux premiers, soit la conviction que l’engagement des individus est plus important que les processus mis en place ; et d) la recherche en collaboration est, pour les chercheurs et les praticiens, une aventure à deux (« mutual journey ») dont la destination n’est pas toujours claire. Ce processus intensif de collaboration est perçu comme une condition nécessaire pour faire progresser la recherche, pour que les décideurs fassent confiance à ses travaux et qu’ils les utilisent vraiment (Lomas, 2000 ; Bate et Robert, 2002).

Bâtir la confiance entre les chercheurs et les décideurs

Les partenariats de recherche réussis se construisent sur la confiance qui peut s’installer entre les chercheurs, les décideurs et les praticiens (FCRSS, s.d. ; Hemsley-Brown, 2004). Dans de bonnes conditions, tous les groupes qui s’engagent bénéficieront de la possibilité « d’apprendre de la culture de fonctionnement de chacun et d’établir des relations personnelles » (FCRSS, s.d.). Il a été constaté que le développement de réseaux de communication entre les chercheurs, décideurs et praticiens, et que l’engagement des deux derniers groupes dans le processus de recherche, améliorent l’utilisation qui sera faite des résultats (Hemsley-Brown, 2004). La confiance s’établit et grandit avec le temps, sur la base de l’expérience positive vécue par les partenaires. Les « interactions structurées et non structurées », « formelles et informelles » sont toutes importantes pour qui veut établir un climat de confiance, évaluer les progrès réalisés et planifier les étapes suivantes (FCRSS, s. d.).

La relation entre les chercheurs, les décideurs et les responsables de l’élaboration des politiques est un des facteurs déterminants pour promouvoir l’utilisation de la recherche dans les organismes. Des communications régulières (par exemple, en personne, par courriel ou par téléphone), des échanges formels et informels, le respect et la confiance mutuels et un dialogue ouvert sont des qualités essentielles à un partenariat efficace. Les chercheurs, les décideurs et les responsables de l’élaboration des politiques ont généralement des trajectoires de carrière et des compétences différentes. Le fait qu’ils fassent partie de cultures professionnelles différentes, qui se rejoignent rarement sans un effort concerté, met en évidence les difficultés à établir une relation de collaboration enrichie de compréhension mutuelle et d’objectifs communs (Dash et al., 2003). Pour toutes ces raisons, des efforts doivent être consentis de manière soutenue pour réunir régulièrement les groupes concernés et pour déterminer clairement les objectifs et les buts communs, les processus et les ressources nécessaires. Les parties doivent aussi construire un langage commun basé sur une compréhension mutuelle, étant donné qu’elles ont souvent des vocabulaires professionnels fort différents dans leurs secteurs respectifs (Dash et al., 2003).

Pertinence et temps opportuns

Les études qui ont examiné, au Royaume-Uni, l’utilisation des résultats de recherche en santé arrivent à la conclusion que l’utilisation effective d’une recherche est déterminée par la mesure selon laquelle les connaissances qu’elle produit sont perçues comme pertinentes, notamment pour le programme d’un organisme important (Hemsley-Brown et Sharp, 2003). La probabilité que les données probantes soient utilisées est moindre si elles ne sont pas perçues comme pertinentes pour traiter les problèmes auxquels les décideurs doivent faire face et si elles ne sont pas facilement disponibles en temps opportun (Hemsley-Brown, 2004). Pour franchir cette barrière, il est donc crucial de proposer : des sujets qui sont d’intérêt pour les décideurs ; une présentation claire des implications politiques et pratiques des conclusions de la recherche ; ainsi qu’une évaluation réaliste de ces conclusions (Hemsley-Brown, 2004 ; FCRSS, s.d.). La pertinence et l’utilisation de la recherche dépendent en partie de la mesure selon laquelle les responsables de l’élaboration des politiques et les dispensateurs de services participent à la préparation du programme de recherche.

L’importance des connaissances spécifiques au contexte

Dans ses efforts pour en arriver à ce que la mobilisation des connaissances dépasse le simple stade de la diffusion, le National Health Service Scotland (NHSS) a récemment exploré l’intérêt d’utiliser des méthodes de recherche-action pour permettre des liens plus étroits entre la production et l’utilisation de la recherche. En s’inspirant du travail sur la mobilisation des connaissances effectué par la Fondation canadienne de la recherche sur les services de santé, le National Health Service Scotland a réalisé une série d’études de cas portant sur les possibilités de mobilisation des connaissances au moyen de la recherche-action (Sharp, 2005). Ses résultats montrent que, parmi les principaux éléments qui contribuent au développement de partenariats efficaces entre les chercheurs, les dispensateurs de service et les responsables de l’élaboration des politiques, figurent : a) une plus grande importance accordée aux projets de recherche spécifiques au contexte local ; b) une intégration des connaissances tacites ; et c) le développement de la capacité d’utiliser les données de la recherche grâce au courtage des connaissances (Sharp, 2005 ; voir aussi Argyris et al., 1985).

Les deux premiers éléments soulignent l’importance d’élargir le concept de production des connaissances au-delà des paradigmes universitaires traditionnels. Tandis que les chercheurs universitaires se concentrent habituellement sur les possibilités de généraliser les connaissances au-delà des cas spécifiques, les responsables de l’élaboration des politiques et les dispensateurs de services ont tendance à accorder plus d’importance à la connaissance locale, car ils sont préoccupés par le fait que le matériel publié dans les revues internationales pourrait ne pas s’appliquer aux contextes dans lesquels ils évoluent. Par ailleurs, en général, les responsables de l’élaboration des politiques et les dispensateurs de services s’intéressent à une gamme plus vaste de données que ne le font les chercheurs. Rycroft-Malone et al. (2004) mentionnent que quatre types de données sont utilisés par les praticiens des services de santé : la recherche, l’expérience clinique, l’expérience du patient et les informations relatives au contexte local. Évidemment, les données d’une recherche ont plus de chances d’être utilisées quand elles sont soutenues par des données des trois autres sources. Cela dit, quand les différentes sources de données en arrivent à des conclusions opposées, les décideurs considèrent la crédibilité relative de chacune des sources, et en particulier la force des devis méthodologiques sous-jacentes aux données provenant de la recherche.

En service social et en criminologie, étant donné que le manque de données probantes pose des défis importants, il est particulièrement important d’aller au-delà des paradigmes traditionnels de la recherche (Mullen et al., 2005). Dans plusieurs champs de pratiques où les études contrôlées sont rares et les études de réitération (« replication studies ») pratiquement inexistantes, peu de questions se prêtent à la méta-analyse ou même à des recensions systématiques sérieuses (Dufour et Chamberland, 2003 ; Flynn et Bouchard, 2005). Mullen et al. (2005) soutiennent que dans de telles situations, on peut néanmoins opter pour une « position fondée sur des données probantes » a) en procédant avec toute la prudence rendue nécessaire par le manque de données concluantes et, b) en abordant les brèches de la recherche par une démarche « à petits pas » qui s’appuie sur la meilleure analyse possible des données déjà disponibles. Bien qu’on puisse se pencher sur la question de l’efficacité de l’intervention en menant des études contrôlées bien conçues, une approche fondée sur des données probantes en est aussi une qui fait la meilleure utilisation des données disponibles (Davis et Howden-Chapman, 1996). En disant cela, il n’est pas question de se contenter de normes insuffisantes, mais plutôt d’être explicite quant à la robustesse des données qui sont utilisées.

En résumé, l’utilisation des données probantes pour guider la prise de décision en matière de politiques et de pratiques dépend de la mesure selon laquelle la recherche est perçue par les décideurs comme pertinente et crédible. Cette pertinence et cette crédibilité, dépendent à leur tour de la mesure selon laquelle les données de recherche proviennent d’un partenariat entre les chercheurs et les décideurs. Les partenariats efficaces exigent que les chercheurs soient disposés a) à laisser les dispensateurs de services et les décideurs politiques participer et façonner le programme de recherche, et b) à utiliser une gamme plus vaste de sources de données.

Soutenir l’utilisation des connaissances

Si produire en temps opportun des données pertinentes et spécifiques au contexte local est une condition nécessaire à la mobilisation des connaissances, le renforcement des capacités d’utiliser ces données et la création d’une culture organisationnelle qui les mette en valeur constituent des facteurs tout aussi importants. En effet, comme nous l’avons fait remarquer auparavant, l’étude sur l’utilisation de la recherche menée par le NHSS a conclu que le développement de la capacité d’utiliser la recherche est un facteur-clé pour qu’il y ait éventuellement une absorption (« uptake ») des données probantes (Sharp, 2005).

Selon la recension que Hemsley-Brown (2004) a fait des études sur les obstacles et les facteurs facilitant l’utilisation de la recherche, la capacité d’évaluer d’un oeil critique les articles de recherche et le fait d’être à l’aise avec leur terminologie comptent parmi les obstacles les fréquemment mentionnés. Selon une étude comparant les habitudes de lecture de vingt professionnels du milieu de l’éducation, du génie, du droit et de la médecine, les premiers sont ceux qui consultent le moins les écrits savants (Latham, 1993, tel que cité dans Hemsley-Brown, 2004). Les éducateurs ont expliqué qu’ils n’avaient pas le temps de lire la recherche et que lorsqu’ils essayaient, ils la trouvaient trop technique et peu pertinente.

L’infrastructure de la recherche et l’accès à un soutien méthodologique jouent un rôle important pour faciliter la transposition des données de recherche en pratiques innovantes (Rycroft-Malone et al., 2004). Dans les organismes qui dispensent des services et qui élaborent les politiques, la capacité de traiter, d’interpréter et de s’approprier la recherche doit être abordée dès l’étape de la planification des projets, et non pas seulement à celle de la diffusion (Rycroft-Malone et al., 2004). Les ressources allouées doivent être clairement définies, constamment régulées (« monitored »), ciblées et elles doivent correspondre aux priorités de l’organisation. La formation du personnel dans le développement des compétences pour repérer, comprendre, évaluer d’une manière critique, adapter et appliquer la recherche est d’une importance vitale pour augmenter la probabilité qu’un organisme mette en application des données probantes.

Kitson et al. (1998) soutiennent que, dans les organismes de services de santé, la présence de facteurs facilitant la recherche est un élément central dans toute stratégie visant à ce que la recherche soit utilisée de manière efficace. Ils proposent un cadre de mise en application de la recherche dans lequel une implantation réussie dépend à la fois des données, du contexte et des stratégies de facilitation. Dans leur modèle, la facilitation va au-delà des simples rôles de diffusion de la recherche et de mise en application, elle fait référence à un processus intensif ayant une fonction habilitante (« enabling ») (Harvey et al., 2002). Bien qu’un nombre croissant d’études soulignent l’importance des facteurs facilitants pour soutenir la mise en application et l’intégration des recherches, il faudrait qu’un plus grand nombre d’études se penchent sur les caractéristiques qui rendent ces facteurs facilitants plus appropriés et efficaces dans certains contextes spécifiques (Harvey et al., 2002).

En plus des questions de capacité, l’étude de Rycroft-Malone et al. (2004) et celle de Harvey et al. (2002) soulignent l’importance cruciale du leadership dans la création d’une culture organisationnelle où les données scientifiques sont valorisées. Dans un sondage sur l’utilisation de la recherche, effectué auprès de 1 989 infirmières et administrateurs de soins infirmiers, Funk (1995, tel qu’il est cité dans Helmsley-Brown, 2004) a trouvé que le facteur facilitant le plus fréquemment mentionné était « une administration qui soutient mieux et encourage davantage l’utilisation de la recherche ». Bref, les praticiens s’inspireront de la recherche dans la mesure où les gestionnaires l’utilisent eux-mêmes et qu’ils la valorisent (Hemsley-Brown, 2004).

Pour réussir à ce que des données probantes soient mises en application dans la pratique, il est primordial que la recherche soit intégrée au coeur du fonctionnement de l’organisme et qu’elle n’en constitue pas une activité à part (Gollop et al., 2006). Dans cette perspective, la recherche intégrative est « caractérisée par un programme de recherche établi selon les besoins de l’organisation, la recherche étant menée en toute collaboration aussi bien par les gestionnaires, les cliniciens que les chercheurs, et ses résultats étant directement transposés dans la pratique grâce à des structures et des systèmes de gestion intégrée » (Lomas, 2003, tel qu’il est cité dans Gollop et al., 2006 : 259). La recherche intégrative montre bien l’importance de créer une équipe de recherche dans un organisme dispensateur de services et de développer un programme pertinent qui soit déterminé par cet organisme, dès le début, dans le but de mobiliser avec efficacité les connaissances au fil du temps (Gollop et al., 2006). Enfin, les organismes doivent,

premièrement, valoriser la recherche dans le but de maintenir une culture de pratique fondée sur des données probantes ; deuxièmement, augmenter la « masse critique » de conscientisation à la recherche au sein du personnel ; et, enfin, apprendre à considérer l’utilisation des données comme faisant partie du processus plus large de production des connaissances.

Hemsley-Brown, 2004 : 539

En résumé, la mobilisation des connaissances exige que les organismes qui ont la capacité d’utiliser la recherche consacrent du temps et des ressources pour soutenir l’accès à la recherche et qu’ils démontrent cet engagement en l’intégrant au coeur de leurs structures de gestion. Dans ce contexte, les partenariats entre les chercheurs, les dispensateurs de services et les responsables de l’élaboration des politiques doivent aller au-delà des projets de recherche partagés. Ils doivent tendre vers l’établissement de mécanismes qui permettent aux universités et à leurs centres de recherche affiliés a) de rendre leurs compétences et leurs ressources disponibles aux organismes de dispensation de services au fur et à mesure que ceux-ci adoptent, pour la première fois, un mode de gestion fondée sur des données probantes, et b) de fournir une infrastructure et une culture organisationnelle qui pourront soutenir la pratique fondée sur des données probantes.

Le projet de gestion fondée sur des données probantes (EBM[2]) de Batshaw-McGill

Un projet de gestion fondée sur des données probantes (EBM) a été conçu et développé conjointement par le Centre de recherche sur l’enfance et la famille (CRCF) de l’Université McGill et les Centres de la jeunesse et de la famille Batshaw (Batshaw Youth and Family Centres, BYFC), à la suite d’une demande des BYFC qui désiraient accroître leur capacité à mieux utiliser la recherche afin de pouvoir suivre l’impact de leurs services et de soutenir le développement de services plus efficaces. Le projet EBM a reçu une subvention de trois ans du Conseil de recherches en sciences humaines (CRSH), grâce au programme Impact du savoir dans la société conçu pour soutenir « les initiatives stratégiques de mobilisation des connaissances fondées sur la recherche universitaire qui permettent aux organismes non universitaires d’acquérir l’expertise de recherche la plus utile pour leurs besoins particuliers en sciences sociales et en sciences humaines » (CRSH – Description du programme de transformation, s.d.). Les autres partenaires sont le CEPB, l’Institut de recherche pour le développement social des jeunes, l’Association des centres jeunesse du Québec, l’Université de Toronto, l’Université de Calgary et l’Alberta Ministry of Children Services.

L’initiative a été mise en place afin de développer et d’évaluer un modèle de mobilisation des connaissances en protection de l’enfance qui sache placer la question des données probantes au premier plan des décisions de gestion et de dispensation des services. L’objectif général est de soutenir le développement d’un modèle de gestion fondée sur les données probantes. Le terme « gestion » fondée sur des données probantes a été préféré à celui de « pratique » fondée sur des données probantes parce que le type de décisions et de données qui sont ciblées à cette étape concernent des questions assez larges de politiques et de dispensation de services et non pas des décisions cliniques qui seraient spécifiques à tel ou tel client.

En s’inspirant des modèles existants, notamment de l’expérience de recherche-action du NHSS (Sharp, 2005), du modèle « données probantes-contexte-stratégies de facilitation » (Evidence-Context-Facilitation de Kitson et al., 1998 ; Rycroft Malone et al., 2006) ou du travail accompli par la FCRSS (Lomas, 2003), l’initiative ici proposée est basée sur une hypothèse voulant que, pour créer une solide culture de recherche « fondée sur les organismes » (« agency-based »), a) la mobilisation des connaissances doit être suscitée par des questions auxquelles les décideurs font face dans leurs activités de tous les jours (c’est‑à-dire pertinentes) ; b) les réponses à ces questions doivent être fournies en temps opportun (en quelques semaines ou quelques mois, mais pas en quelques années) ; c) les réponses données doivent correspondre aux questions posées (c’est-à-dire être précises) ; d) et elles doivent utiliser dans la mesure du possible les informations et l’expertise locales pour éviter autant que possible les procédures de collecte de données additionnelles qui exigent beaucoup de temps et de ressources. En d’autres termes, la boucle d’implantation de la recherche doit être opportune, pertinente, précise et locale.

Le projet concentre ses efforts sur la création d’un programme de mobilisation des connaissances au sein d’un organisme de protection de l’enfance spécifique : les BYFC. Concentrer les efforts sur un seul organisme paraît nécessaire lorsqu’on veut s’assurer que le modèle de mobilisation des connaissances est pleinement mis en application dans toute la structure de gestion de l’organisation et qu’il ne se développe pas comme un projet satellite (Lomas, 2003 ; Sharp, 2005). L’objectif général de cette première étape consiste à créer dans les BYFC une culture de gestion dans laquelle la question des données probantes est à l’avant-plan de toutes les décisions. Les gestionnaires sont ciblés, plutôt que les intervenants de première ligne, puisque les études qui évaluent l’efficacité d’initiatives de mobilisation des connaissances dans les secteurs de la santé et de l’éducation montrent qu’un changement de culture organisationnelle allant vers l’intégration des données probantes est tributaire de la mesure selon laquelle les gestionnaires valorisent et utilisent la recherche (Hemsley-Brown et Sharp, 2003).

Le processus de mobilisation des connaissances s’est mis en place afin d’aider les BYFC à faire un meilleur usage de trois types de données : a) les systèmes d’information sur les services et sur la clientèle ; b) l’expertise clinique ; et c) la recherche déjà existante et les pratiques émergentes.

Suivre les indicateurs de résultats en termes de clientèle et de services

Dans les BYFC, le suivi des informations relatives à la clientèle et aux services s’effectue grâce à un système informatisé d’informations sur les clients, soit le Système clientèle jeunesse, qui fait partie de la Plateforme intégration jeunesse (PIJ) utilisée dans toute la province de Québec. PIJ est un des systèmes d’information sur les services à l’enfance et à la jeunesse les plus complets en Amérique du Nord, mais jusqu’à maintenant, il n’a pas été exploité à sa pleine capacité (voir http://www.cecw-cepb.ca/DocsEng/PIBE20E.pdf). PIJ est utilisé principalement par les travailleurs sociaux de l’organisme lorsqu’ils veulent suivre sur une base individuelle tel ou tel client. Les gestionnaires n’ont pas encore exploité toutes les caractéristiques de cet outil de gestion, se contentant de l’utiliser pour générer des statistiques mensuelles ou annuelles sur le volume et sur le traitement des cas.

Les indicateurs à l’étude ont été choisis et opérationnalisés au cours d’un processus de consultation intensive, d’une durée de 18 mois, auprès d’un groupe de référence réunissant des gestionnaires et des cliniciens seniors choisis parmi tous les services concernés par le Système clientèle jeunesse. Partant d’indicateurs précédemment créés dans le cadre des travaux sur la Matrice nationale des indicateurs d’impacts (Trocmé et al., 2000), nous avons rencontré le groupe de référence toutes les six semaines pour réexaminer les indicateurs émergents. Des décisions ont dû être prises quant à un certain nombre de problèmes complexes, notamment : a) l’échéancier prévu pour suivre les indicateurs (par exemple, la récurrence des mauvais traitements devrait-elle être suivie 12, 24 ou 36 mois après la fin des services ?) ; b) la définition des incidents critiques reliés aux services (par exemple, comment faire la distinction entre les visites planifiées du travailleur social à la maison et les réunifications familiales ratées ?) ; et c) les types de services à inclure dans un indicateur (par exemple, tous les services rendus depuis la première rencontre ou seulement ceux qui ont été rendus après que l’évaluation du cas a été complétée).

Pour quelques indicateurs, plus d’une douzaine de définitions opérationnelles différentes ont été formulées puis comparées et diverses méthodes graphiques et tabulaires de présentation des données ont été comparées. Les membres du groupe de référence ont dû apprendre à construire des définitions cohérentes pour les différents indicateurs qu’il fallait calculer, dans les taux, comme numérateurs et dénominateurs, et aussi comprendre les différences entre les méthodes transversales, rétrospectives et prospectives permettant le suivi des cas. La figure 1 offre un exemple du résultat des décisions qui ont dû être prises. Tel qu’il est illustré dans cette figure, nous avons fini par créer trois cohortes différentes pour suivre les cas : a) une « cohorte de services » pour laquelle sont suivis tous les événements survenus au cours des 36 mois suivant la référence et ce, pour tous les cas adressés pendant une année budgétaire ; b) une « cohorte de récurrence » où tous les cas fermés sont suivis durant une année budgétaire ; et c) une cohorte de placement où les cas sont suivis jusqu’à 36 mois depuis leur placement initial. Les critères d’inclusion et d’exclusion dans chacune de ces cohortes ont été établis d’une façon conséquente.

Figure 1

Cohortes constituées pour le suivi des indicateurs de résultats, EBM 2008

Cohortes constituées pour le suivi des indicateurs de résultats, EBM 2008

-> Voir la liste des figures

Jusqu’à maintenant, nous avons finalisé six indicateurs et nous travaillons à en définir trois autres. Le tableau 2 présente un exemple du type de rapport périodique que permettent d’établir ces indicateurs (N. B. : des données modifiées ont été utilisées de manière à assurer la confidentialité de données non rendues publiques[3]).

Tableau 2

Indicateurs de résultats des services de protection de l’enfance, 2002-2006*

Indicateurs de résultats des services de protection de l’enfance, 2002-2006*

* Données pondérées basées sur les statistiques administratives analysées dans les BYFC

-> Voir la liste des tableaux

Peu de changements ont été notés durant les quatre années budgétaires analysées jusqu’à ce jour, si ce n’est une possible augmentation du taux de placement et de la proportion d’enfants ayant plus d’une année de retard scolaire. Ces indicateurs fournissent à l’organisme un « niveau de base » par rapport auquel l’effet de nouvelles initiatives pourra éventuellement être mesuré. Il vaut la peine de signaler également que, par rapport aux attentes des gestionnaires, plusieurs indicateurs ont révélé une situation bien meilleure que prévue. Par exemple, le nombre moyen de changements de placement (moyenne de 2,0 ; 60 % des enfants placés n’ayant subi aucun changement ou un seul) était bien inférieur à celui anticipé. Les gestionnaires ont aussi été étonnés de constater que le taux de placement était aussi bas (variant de 35 à 40 %). En effet, les analyses transversales concluent souvent à une proportion plus élevée d’enfants placés, cet artéfact provenant du fait que les dossiers de cas nécessitant un placement sont généralement laissés ouverts pour une période plus longue que les dossiers de cas pour lesquels il n’y a pas de placement.

Chaque indicateur est d’abord analysé à un premier niveau en fonction du motif pour lequel l’enfant est connu de l’organisme et de l’âge de l’enfant. Ces analyses sont présentées sous forme de tableaux accompagnés de graphiques en barres ou histogrammes facilitant l’interprétation des données. La figure 2 en donne une illustration en utilisant la répartition des taux de récurrence selon l’âge. Cette répartition selon l’âge a pu attirer l’attention de l’organisme sur le fait que la récurrence constitue un problème surtout avec la population adolescente. L’histogramme permet un rappel supplémentaire et important, à savoir que même si le taux de récurrence chez les enfants âgés de 6 à 10 ans est à moitié moins élevé que celui des adolescents, il y a presque autant d’enfants de 6 à 10 ans que d’adolescents de 14 à 18 ans qui présentent des problèmes récurrents. Cette première série d’analyses en tableaux croisés a permis d’attirer l’attention sur des sous-groupes spécifiques d’enfants qui sont à risque plus élevé que prévu de connaître de pauvres évolutions. Par exemple, les gestionnaires ont été étonnés de constater des taux d’interruption de placement plus élevés que prévu pour les plus jeunes enfants (0-5 ans).

Figure 2

Récurrence des placements selon l’âge pour l’année 2005-2006 (résultats pondérés fondés sur les données administratives analysées dans les BYFC)

Récurrence des placements selon l’âge pour l’année 2005-2006 (résultats pondérés fondés sur les données administratives analysées dans les BYFC)

-> Voir la liste des figures

Le plein potentiel de ces indicateurs comme outils de gestion apparaîtra avec le temps. Les données riches qui sont colligées dans PIJ sur chaque cas se prêtent bien à des modélisations multivariées, ce qui aidera les gestionnaires à mieux comprendre les facteurs associés aux mauvaises évolutions. Des comparaisons entre les organismes et entre les provinces aideront également à établir des critères et à déterminer des seuils acceptables pour les différents indicateurs.

Avoir accès à l’expertise clinique

L’expertise clinique peut facilement être négligée en tant que source de données qui permet de surveiller la qualité des programmes. Bien qu’un certain nombre de procédures de supervision et conseil clinique bien développées soient en place partout dans l’organisme, afin de fournir aux travailleurs sociaux une consultation spécifique au cas par cas, aucun mécanisme ne permet de regrouper ces informations à la grandeur de l’organisme.

Deux procédures ont été instituées, afin de combler cette lacune. La première, « les voix cliniques », a utilisé une combinaison de groupes témoins et d’études de dossiers pour cerner et ensuite quantifier les problèmes émergents. La première ronde des « voix cliniques » a concentré ses efforts sur les problèmes identifiés par le groupe des travailleurs sociaux qui révisent tous les cas actifs. Deux groupes de discussion ont été mis sur pied pour déterminer les problèmes émergents et pour élaborer quelques questions que les réviseurs utiliseraient ensuite pour suivre la fréquence et la gravité de ces problèmes. Un questionnaire électronique d’une page a alors été conçu par l’équipe de recherche et rempli par les réviseurs pour toutes les révisions menées durant une période de trois mois (N = 348). Les résultats ont été analysés, résumés, complétés avec d’autres informations transmises par les réviseurs, puis transmis à l’équipe principale de gestion. Les étapes du retour sur ce rapport et des actions à mettre en place n’ont pas encore eu lieu. Le processus a finalement pris plus de temps que prévu (13 mois, sans inclure l’étape du retour sur le rapport), bien qu’une fois cette expérience initiale terminée, nous avons pu identifier un certain nombre de mécanismes qui devraient désormais accélérer le processus.

La deuxième méthode pour mettre à profit l’expertise clinique de l’organisme a utilisé les groupes de discussion et de consultations spécialisées. Ainsi, les « Groupes d’intégration clinique » (GIC) regroupent des cliniciens seniors partageant une expertise et des intérêts communs avec des chercheurs et des étudiants diplômés qui jouent le rôle de courtiers de connaissances. Jusqu’à maintenant, deux GIC ont été formés, le premier se concentrant sur la violence sexuelle, et le second sur la violence conjugale. Ils se rencontrent régulièrement pour discuter des problèmes cliniques, de même que pour revoir la recherche publiée récemment qui s’applique à ces problèmes. Dans un champ où les décisions politiques sont motivées la plupart du temps par la nécessité de réagir rapidement à des tragédies qui retiennent l’attention du public, l’initiative des GIC et des « voix cliniques » déplace l’attention vers une série beaucoup plus importante d’événements positifs et négatifs, qui peuvent éclairer la mise en place de nouvelles pratiques et de nouvelles politiques.

L’accès à la recherche publiée grâce aux courtiers de connaissances

Les courtiers de connaissances constituent un élément central de la stratégie EBM. Les courtiers de connaissances sont des universitaires et des étudiants diplômés qui aident les gestionnaires de l’organisme à accéder aux données de recherche pertinentes. Ils contribuent également à la formulation de questions auxquelles il est possible de répondre, puis ils rassemblent les informations nécessaires pour soutenir la prise de décisions en temps opportun. Le modèle de courtage met de l’avant une approche interactive qui adapte la recherche et les recensions de bonnes pratiques aux besoins et au calendrier des utilisateurs (Clark et Kelly, 2005).

Le format des rencontres d’information variera selon le contexte. Contrairement à ce qui se passe dans un modèle plus traditionnel de consultation, les courtiers ne produisent pas de rapports formels ; ils repèrent plutôt la recherche publiée possiblement pertinente, ils aident à l’évaluer ou ils soutiennent l’analyse des données administratives. Le modèle de courtage accélère considérablement les temps de réponse. Il permet à l’organisme de développer sa capacité à comprendre et à utiliser la recherche et minimise les coûts de consultation. Jusqu’à maintenant, huit courtiers du savoir – trois membres du personnel enseignant, quatre étudiants diplômés et un étudiant au post-doctorat – ont agi comme courtiers du savoir. Dans cinq cas, ils sont devenus membres de comités permanents, y compris de deux GIC. Ils agissent à certains moments comme adjoints de recherche et à d’autres comme experts de contenu. Dans six autres cas, ils ont fourni du soutien, pour un temps limité, par rapport à des questions spécifiques qui ont été soulevées à divers niveaux dans l’organisme.

Établir un lien avec d’autres initiatives à travers le Québec et le Canada

L’initiative EBM sert de projet pilote pour deux initiatives plus importantes : l’une à travers le Québec, en utilisant le système administratif d’informations sur les clients qui est partagé par les différentes régions, et l’autre en collaboration avec le Groupe de travail fédéral, provincial et territorial sur la matrice d’indicateurs d’impact (FPT-NOM). Dans les deux cas, l’échelle réduite du projet EBM permet des essais et des consultations qui ne pourraient être facilement menés sur le plan provincial ou national. Les indicateurs de résultats qui ont été opérationnalisés grâce au projet EBM sont utilisés pour d’abord démontrer leur faisabilité et leur éventuelle utilité sur le plan provincial et national.

Évaluation

Le projet EBM de BYFC-McGill est une initiative de mobilisation des connaissances qui se consacre à mettre à la disposition des gestionnaires des BYFC les ressources et l’expertise de la recherche universitaire, afin d’aider l’organisation à passer d’une approche fondée sur les données probantes vers une approche par laquelle elle développe et évalue ses propres programmes et politiques. L’efficacité de la stratégie proposée, c’est-à-dire : a) suivre les indicateurs de résultats des services grâce au système d’informations sur les clients de l’organisme ; b) intégrer les courtiers de connaissances aux équipes de gestion ; et c) augmenter l’accès à l’expertise clinique, sera évaluée en examinant des changements dans l’utilisation de la recherche et des données sur les résultats des clients lorsque les gestionnaires doivent prendre des décisions au sujet des politiques et des programmes. Le niveau de base en matière d’utilisation des connaissances a été évalué au début du projet grâce à une série de neuf groupes de discussion réunissant 76 gestionnaires des BYFC et aussi grâce à leurs réponses individuelles à un questionnaire portant sur l’utilisation des connaissances. L’influence du projet EBM sera évaluée au moyen de groupes de discussion de suivi, d’enquêtes, de même que par l’analyse des productions générées par le projet.

Conclusion

La rareté des recherches sur l’efficacité des interventions en protection de l’enfance peut être attribuée à un certain nombre de facteurs, allant du manque de subventions à une faible tradition de recherche en services sociaux, et à la complexité inhérente au fait de mener des études auprès de familles en crise, aux prises avec de nombreux problèmes. Plutôt que de se demander pourquoi les chercheurs n’ont pas concentré davantage leurs efforts dans ce secteur, il serait plus pertinent de savoir pourquoi les dispensateurs de services et les responsables de l’élaboration des politiques n’exigent pas plus de recherches. En effet, du point de vue de la mobilisation des connaissances, l’initiative pour développer un ensemble plus solide de données probantes en matière de protection de l’enfance doit venir des utilisateurs de la recherche plutôt que des producteurs.

La mobilisation des connaissances souligne l’importance de passer des modèles de diffusion unidirectionnels à des modèles itératifs où les chercheurs, les dispensateurs de services et les responsables de l’élaboration des politiques travaillent en partenariat ; des partenariats dans lesquels les dispensateurs de services et les responsables de l’élaboration des politiques sont activement engagés à chaque étape, y compris à celle de la formulation initiale des questions à étudier. Bien que de tels partenariats soient essentiels dans une stratégie de mobilisation de connaissances efficace, ils ne sont pas en soi l’objectif de la mobilisation des connaissances. Dans les initiatives intensives de ce genre, il y a toujours un risque que le processus – c’est-à-dire les partenariats de recherche – soit confondu avec les objectifs de la mobilisation des connaissances. En considérant la mobilisation des connaissances comme un processus itératif (c’est-à-dire une série de boucles en spirale), il y a un risque semblable de perdre de vue les objectifs de ce type d’initiatives.

Or, l’objectif de la mobilisation des connaissances consiste à utiliser la recherche pour aider les décideurs à choisir les programmes et les politiques les plus efficaces. Le succès des stratégies de mobilisation des connaissances en protection de l’enfance peut être évalué en fonction d’une utilisation accrue de la recherche par les décideurs, de la création de mécanismes d’assurance qualité et du suivi des résultats, et finalement de la création d’une demande pour plus de recherches sur les services permettant d’aider efficacement les enfants maltraités et négligés. La mobilisation de connaissances en protection de l’enfance exige un changement de culture radical qui vise à ce que les décisions soient guidées d’abord et avant tout par des données probantes sur l’efficacité des services.