Corps de l’article

Introduction

En 1972, Archie Cochrane publia Effectiveness and Efficiency : Random Reflections on Health Services. L’épidémiologiste écossais, qui venait de terminer l’évaluation du Service national de santé du Royaume-Uni, estimait que le financement accru des services de soins n’avait pas forcément mené à de meilleurs résultats. C’est lui qui fit sept ans plus tard ce commentaire, maintenant devenu célèbre : « c’est sûrement une critique importante à adresser à notre profession[1] que de constater que nous n’avons pas prévu de faire des synthèses systématiques, par spécialité ou par sous-spécialité, ni une mise à jour périodique de tous les essais randomisés pertinents et publiés » (Cochrane, 1979).

Ayant remarqué la qualité très inégale des recherches évaluatives alors disponibles, Cochrane se prononça en faveur des études contrôlées et randomisées (i. e. avec assignation au hasard des sujets à l’un ou l’autre des groupes). Dans la tension qui oppose, en recherche, les exigences méthodologiques relatives à la validité interne (la confiance qu’on peut avoir dans les résultats et conclusions), externe (la représentativité de l’échantillon et les possibilités de généralisation) et écologique (la représentativité des conditions de l’étude en regard des situations, des pratiques ou des milieux de vie « naturels »), Cochrane trancha résolument en faveur de la première. Dans le même texte, l’auteur distingua encore les notions d’« efficacité réelle » (effectiveness) et d’efficience (efficiency), la seconde soulevant la question des coûts et bénéfices d’une intervention.

Vingt ans plus tard, l’Evidence Based Medicine Group (1992) proposa une première fois l’expression « fondée sur des données probantes » pour décrire une nouvelle pédagogie de la clinique. Le mouvement prit rapidement de l’ampleur ; la Collaboration Cochrane (http://www.cochrane.org/), fut mise en place à Oxford (R.-U.) en 1992, sous l’égide de Sir Iain Chalmers[2]. Elle est devenue, depuis, un réseau international de chercheurs, d’universitaires, de praticiens et d’utilisateurs intéressés par les principes de « gestion » et de « transfert » des connaissances. Ses dirigeants se plaisent à dire que les six grands principes qui la guident sont la collaboration, la construction de nouvelles synthèses à partir des centres d’intérêt déjà existants, l’évitement de la duplication des efforts, l’évitement des biais, la mise à jour perpétuelle ainsi que l’accès simple et facile aux « données probantes ». Le Cochrane Central Register of Controlled Trials (CENTRAL) contient aujourd’hui les références d’essais cliniques contrôlés qui ont été sélectionnés en examinant toutes les revues du monde.

Au cours des années 1990, l’Evidence Based Medicine s’est trouvé une autre figure de proue, David Sackett. Ayant fondé le premier département d’épidémiologie clinique au Canada (à l’Université McMaster), Sackett fut un des premiers à se positionner très clairement en faveur de l’utilisation des méta-analyses et recensions systématiques au moment de prendre des décisions cliniques, d’élaborer des politiques ou de développer des services et des programmes. Son principal objectif était de faire un « usage consciencieux, judicieux et explicite des meilleures preuves actuelles pour décider des soins des individus » (Sackett et al., 1996).

Plus récemment, une majorité de disciplines appliquées (le travail social, l’éducation, les sciences de la santé, la psychologie) se sont intéressées, elles aussi, à la pratique basée sur les « meilleures preuves ». L’Evidence Based Medicine est devenue Evidence Based Practice (ou EBP). Dans l’esprit de l’EBP, la transposition de l’« évidence empirique » vers la pratique implique la conciliation de différents impératifs, soit a) l’expertise clinique de l’intervenant, b) les « meilleures preuves » scientifiques disponibles et c) les préférences de l’individu traité. Ainsi, en 1993, le Centre for Reviews and Dissemination, Evidence for Policy and Practice Information and Co-ordinating Centre (EPPI-Centre), était créé dans l’Unité de recherche en sciences sociales de l’Université de Londres. Depuis, ce centre se consacre pleinement aux examens systématiques des connaissances. L’année suivante, en 1994, à l’Université de York (Angleterre) était fondé le Centre for Reviews and Dissemination à l’Institut national de recherche en santé. Depuis ce groupe, l’un des plus importants du monde, gère les très importantes bases de données Database of Abstracts of Reviews of Effectiveness (DARE), National Health Service Economic Evaluation Database (NHS EED) et Health Technology Assessment (HTA).

Devant le succès obtenu par les recensions de la Collaboration Cochrane sur la prestation de soins de santé, certains entreprirent de créer une organisation comparable destinée à promouvoir les revues systématiques sur les effets d’interventions ou de programmes à caractère plus social ou éducatif. Il fut ainsi décidé de fonder une autre collaboration du nom de Donald T. Campbell, co-auteur d’un ouvrage classique sur les devis de recherche quasi expérimentaux[3] (Cook et Campbell, 1979). Lors d’une réunion de février 2000, la Collaboration Campbell a constitué un comité directeur pour les questions de « criminalité et de justice » qui abordent plus spécifiquement la délinquance, la violence, la victimisation et la toxicomanie. Très rapidement, Anthony Petrosino (2000), du Regional Educational Laboratory (Massachussetts), fut mandaté pour repérer les travaux s’intéressant aux effets d’interventions reliées à la criminalité, la toxicomanie et l’alcoolisme (Blaya et al., 2001). Il a ainsi identifié 205 recensions systématiques, qu’il a ensuite réparties en différentes catégories : la prévention de la criminalité, la toxicomanie ou l’alcoolisme (n = 84), les programmes de lutte contre (ou traitement de) la criminalité, la toxicomanie ou l’alcoolisme (n = 95), l’amélioration du système pénal et du système de santé mentale (n = 12), les interventions auprès des victimes de crimes (n = 12), et les revues systématiques portant sur deux ou plusieurs de ces questions (n = 2)[4].

Depuis la fondation de la Collaboration Campbell, la Collaboration Cochrane continue de publier des recensions systématiques et des méta-analyses sur l’efficacité d’interventions de type criminologique. Celles-ci sont alors soumises à des critères d’efficacité issus d’une épistémologie somme toute très empirique et médicale.

En effet, sur le plan de la méthode Cochrane, la primauté de la validité interne des devis (« design ») a mené au développement de grilles d’appréciation de la qualité scientifique des articles publiés. En ce sens, plusieurs auteurs qui préparent des recensions Cochrane s’inspirent de l’échelle de Jüni et al. (2001)[5] qui distingue différents types de biais : de sélection (relatifs à la répartition des sujets dans les groupes comparés), de performance (reliés à l’intensité des soins ou services offerts), de détection (sur le plan de la mesure des résultats) et d’attribution (relatifs à l’implantation du protocole ou à la perte de sujets en cours d’expérimentation). Dans ces échelles d’appréciation de la qualité scientifique, les essais randomisés contrôlés (ci-après ERC) figurent habituellement en haut de la liste. Bolton (2005) explique en quoi consistent les points forts des ERC : a) des mesures des états « avant » et « après » intervention sont effectuées de façon objective et pouvant être répétées ; b) l’essai cherche ensuite à déterminer aussi précisément que possible la composante causale active d’une intervention et les paramètres qui en sont affectés, ce qui implique que c) d’autres facteurs associés doivent être contrôlés. Enfin, nous dit Bolton, il faut savoir que l’accent est mis sur les groupes, sur la généralisation et, qui plus est, sur des groupes de taille suffisante pour déterminer des effets intéressants en termes de puissance statistique.

La primauté des ERC sur les autres types de méthodologie ne s’est pas imposée sans heurt dans la communauté scientifique. Même dans les milieux médicaux, certains l’ont qualifiée de « dogme » (le « randomisme ») qui peut mener à une situation où les controverses et la confusion peuvent se répandre jusqu’aux plus hauts paliers d’autorité, dans les revues scientifiques, les sites Web officiels ou les médias plus populaires et « profanes » (Miles et al., 2003 ; Miles et Loughlin, 2006 ; voir aussi Miettinen, 2003, qui en discute à partir de l’exemple du dépistage du cancer). Autrement dit, si l’ERC est devenu « l’étalon d’or » en médecine pour évaluer l’efficacité relative de produits pharmaceutiques, par exemple, il n’est pas certain qu’il soit le bon vecteur pour procéder à l’évaluation de modèles d’intervention en criminologie, pour lesquels l’analyse des résultats doit tenir compte de diverses dimensions pénales, correctionnelles, psychologiques et sociales.

À notre connaissance, aucune étude ne s’est encore penchée sur les conclusions dégagées par les participants à la Collaboration Cochrane sur l’intervention de type criminologique depuis l’an 2000, soit depuis la création de la Collaboration Campbell. Ceci soulève certaines interrogations. Ces recensions Cochrane ont été exécutées sur quels types de problèmes de criminalité, toxicomanie ou violence ? Qui s’est penché sur ces problèmes ? Quelle place les ERC ont-ils occupée ? Par rapport à ces problèmes de type criminologique, quelles conclusions ont été tirées quant aux « meilleures preuves actuelles » ? Voilà les questions qui ont inspiré cette recherche.

Méthodologie

Afin de répondre aux questions posées ci-haut, le contenu de la revue électronique Cochrane Database of Systematic Reviews a été analysé pour la période allant de 2000 à 2008. Pour sélectionner les recensions admissibles aux fins de cette étude, les mots-clés suivants ont été utilisés : crime, OR violence, OR relapse, OR recidivism, OR antisocial, OR victimization, OR substance, OR comorbidity, OR delinquency. Cette stratégie a permis de repérer 33 recensions Cochrane. De ce nombre :

  • neuf traitaient de troubles concomitants associant troubles mentaux, consommation de substances, violence ou victimisation ;

  • huit, de problèmes attribués aux jeunes ;

  • quatre, de trouble de consommation de substances sans troubles mentaux ;

  • quatre, de violence domestique ou conjugale ;

  • deux, de troubles mentaux sans consommationde substances, ni violence ;

  • six références annonçaient des protocoles en cours et ne proposaient donc aucun résultat.

Pour les 33 recensions Cochrane, nous avons identifié le pays et la discipline des auteurs principaux. Nous avons extrait les objectifs, les stratégies de recherche bibliographique, les critères de sélection des essais cliniques, les stratégies d’analyse ou de méta-analyse, les résultats principaux et les conclusions tirées par les auteurs pour les deux sous-groupes de textes les plus importants, soit ceux relatifs a) aux troubles concomitants associant troubles mentaux, consommation de substances, violence ou victimisation, et b) aux problèmes présentés par les jeunes. À la manière « Cochrane », nous avons dressé des tableaux détaillés (en annexe) et repris l’essentiel des conclusions dans une section du texte.

Résultats

Parmi les 33 recensions Cochrane identifiées à l’aide des mots-clés, pour la période 2000-2008, il s’avère que 17 (ou 52 %) ont été menées en Angleterre. Les autres proviennent des États-Unis (5), de l’Australie (4), d’Afrique du Sud (2), du Canada, de la Nouvelle- Zélande, de la Jamaïque, de la Norvège et de la Suède.

Leurs auteurs évoluent très majoritairement dans des milieux médicaux ou sont affiliés au secteur de la santé mentale. En effet, on y trouve une majorité de spécialistes en épidémiologie/santé publique (38 %), en psychiatrie (25 %), dans d’autres spécialités de la médecine (13 %) et en psychologie (12 %).

De cet ensemble initial, 17 recensions Cochrane traitant soit a) de troubles concomitants associant troubles mentaux, consommation de substances, violence ou victimisation ou b) de problèmes présentés par les jeunes ont été mises à part pour être analysées plus en détail. Sur le plan de l’application des critères de sélection, on peut constater qu’à l’étape de la recherche documentaire, les équipes qui ont rédigé ces recensions ont d’abord regroupé de 29 à 4808 citations, la médiane étant de 266. Au moment de procéder aux analyses ou aux méta-analyses, ils n’ont toutefois retenu que de 0 à 56 études, la médiane étant de 8. La proportion moyenne « d’articles inclus dans les analyses par rapport à toutes les citations repérées au départ » n’est que 2,1 %. Il s’agit presque toujours d’ERC. Il n’y a que trois recensions Cochrane où les auteurs se sont montrés ouverts à l’inclusion des devis quasi expérimentaux.

Le tableau 1 (en pages 164-168) présente une analyse détaillée des recensions Cochrane qui traitent d’interventions mises en oeuvre en cas de problèmes combinant troubles mentaux, consommation de substances, violence ou victimisation. Pour les personnes qui souffrent de telles conditions complexes, quelles conclusions ont pu être dégagées quant aux « meilleures preuves actuelles » d’efficacité ?

Interventions en matière de troubles mentaux

Binks, Fenton, McCarthy, Lee, Adams et Duggan (2006, retenant 7 études). Une première recension Cochrane estime que certains des problèmes fréquemment présentés par les personnes ayant un trouble de la personnalité borderline - ou limite, en français - peuvent évoluer positivement avec diverses interventions verbales/comportementales inspirées des approches psychodynamiques centrées sur la « mentalisation » (Bateman et Fonagy, 2001) ou de l’approche dialectique-comportementale (Linehan et al., 1994). Cela dit, les auteurs de la recension ajoutent que, pour l’instant, toutes les interventions doivent être considérées « expérimentales ». Certes, il est démontré que les problèmes d’automutilation ou de parasuicide peuvent diminuer après 6 à 12 mois. Par contre, de manière générale, les études sont peu nombreuses et les échantillons trop petits pour que leurs résultats inspirent globalement confiance. Pour l’instant, il faudrait vérifier si ces premiers résultats prometteurs peuvent être observés de nouveau dans des études complémentaires, plus vastes et représentatives du « monde réel ».

Kisely, Campbell et Preston (2005, retenant 2 études). Chez les personnes qui souffrent d’un trouble mental grave et persistant, les ordonnances de traitement ambulatoire obligatoire ne semblent pas être une option plus efficace que les soins traditionnels (Steadman et al., 2001). Les données probantes montrent que les personnes qui reçoivent un tel traitement obligatoire en communauté ont moins tendance à être victimes de violence ou de délits non violents (ex. : se faire voler ; Swartz et al., 1999). Mais de manière générale, l’ampleur de l’effet est faible. Selon les auteurs de la recension, il est difficile de concevoir qu’un autre groupe dans la société puisse faire l’objet de mesures aussi contraignantes mais peu efficaces. Le « nombre de sujets à traiter » indique qu’il faut restreindre la liberté de 85 personnes afin d’éviter une admission à l’hôpital et contraindre 238 autres sujets pour réussir à éviter une arrestation. Il existerait un besoin urgent d’ERC pour appuyer ces résultats préliminaires et déterminer si l’efficacité d’un traitement ambulatoire est associée à son intensité ou son caractère obligatoire (Kisely et al., 2005). Compte tenu de la faiblesse de la preuve, les auteurs conseillent aux cliniciens et gestionnaires désireux de réduire le recours aux milieux hospitaliers d’envisager des solutions de rechange dont l’efficacité est mieux démontrée, telles que les suivis intensifs en communauté ou « Assertive Community Treatment » (Marshall et al., 2003).

Smith, Gates et Foxcroft (2006, retenant 7 études). En matière de troubles concomitants impliquant la consommation de substances psychotropes, il existe peu de données probantes qui corroborent que les communautés thérapeutiques offrent un avantage significatif en comparaison des interventions traditionnelles déployées en milieu résidentiel. Dans le même ordre d’idées, il est impossible d’établir qu’un type de communauté thérapeutique est meilleur qu’un autre (Guydish et al., 1999 ; Wexler et al., 1999). Des résultats préliminaires indiquent que les communautés thérapeutiques en milieu carcéral pourraient faire un peu mieux que le simple enfermement et mieux que les services traditionnels de soins en santé mentale offerts après la sortie de prison. Toutefois, les nombreuses limites méthodologiques des études ont pu introduire un biais qui réduit le poids des conclusions qui peuvent être établies.

Cleary, Hunt, Matheson, Siegfried et Walter (2008, retenant 25 études). Toujours en rapport avec la réduction des problèmes de consommation de substances (ou l’amélioration de l’état mental) chez des personnes ayant des troubles mentaux graves, la sommation de plus de 25 ECR ne permet d’établir aucune preuve de la supériorité d’un type d’intervention psychosociale par rapport à une autre (Drake et al., 1998 ; Jerrell et Ridgely, 1999 ; Baker et al., 2006). Dans cette recension, les auteurs ont repéré des évaluations portant sur le modèle de traitement intégré (MIT), l’intervention cognitivo-comportementale (individuelle), l’approche motivationnelle et les groupes d’acquisition d’habiletés sociales. Les difficultés méthodologiques observées empêchent la mise en commun des résultats. Des taux élevés d’abandon, de grandes variations dans la fidélité des interventions, les mesures de résultats et les contextes d’intervention sont relevés. Par exemple, dans ce type d’étude, il arrive souvent que les groupes contrôles reçoivent un traitement d’intensité plus élevée que d’habitude. Des études supplémentaires semblent donc nécessaires pour améliorer la qualité de la preuve dans ce domaine jugé « très important ».

Perry, Coulton, Glanville, Godfrey, Lunn, McDougall et Neale (2006, retenant 24 études). Dans cette cinquième recension Cochrane, les auteurs affirment ne pouvoir tirer que des conclusions limitées sur l’efficacité des interventions offertes dans les tribunaux ou la communauté auprès des délinquants consommateurs de drogue. Cela serait dû surtout à la vaste gamme des devis de recherche utilisés au moment des évaluations et à l’hétérogénéité des mesures de résultats (Britt et al., 1992 ; Petersilia et al., 1992 ; Wexler et al., 1999). Malgré ces limites, les communautés thérapeutiques (suivies d’un accompagnement sur une base ambulatoire) sont prometteuses et permettent d’obtenir des résultats intéressants en regard de la réduction de l’usage de drogues et de l’activité criminelle. Une unification des instruments de mesure de résultats et des devis de recherche s’impose toutefois dans ce domaine, estiment Perry et ses collaborateurs (2006).

Hassiotis et Hall (2008, retenant 4 études). Les données probantes sur l’efficacité des interventions comportementales et cognitivo-comportementales sur l’agressivité des enfants et des adultes ayant des troubles d’apprentissage ou un retard mental sont rares. Néanmoins, les interventions directes fondées sur l’approche cognitivo-comportementale (relaxation adaptée aux besoins de cette population, affirmation de soi, résolution de problèmes et gestion de la colère) sont prometteuses et semblent avoir un certain impact sur la diminution des comportements agressifs à la fin de l’intervention (et dans certaines études de suivi – jusqu’à six mois) (Nezu et al., 1991 ; Willner et al., 2002 ; Taylor et al., 2005). Ces résultats ne sont toutefois pas corroborés par des essais cliniques méthodologiquement robustes. Des ECR avec suffisamment de puissance statistique devraient évaluer la réduction de l’agressivité, l’amélioration de la qualité de vie, l’efficacité et l’efficience des interventions, telles qu’elles sont mesurées par des échelles validées.

Muralidharan et Fenton (2006, ne retenant aucune étude). Les conclusions de cette septième recension sont étonnantes : en milieu institutionnel, l’efficacité des approches non pharmacologiques visant à contenir les troubles du comportement violent ne serait étayée par aucune étude contrôlée. Dans l’état actuel des connaissances, la pratique clinique paraît donc basée sur des résultats non probants (Arango et al., 2002 ; Huf et al., 2002). Très critiques envers les devis évaluatifs qu’ils ont répertoriés, les auteurs de cette recension concluent que la poursuite d’une pratique de recherche « tout à fait hors des méthodologies bien conçues » est difficile à justifier.

Gibson, Fenton, da Silva Freire Coutinho et Campbell (2004, retenant 11 études). En milieu hospitalier, il arrive qu’il faille calmer un patient psychotique et violent à l’aide d’une injection d’antipsychotique. En de telles situations de crise, il faudrait que le médecin considère avec prudence les recommandations qui font du Clopixol® un médicament de choix, comparativement aux traitements pharmacologiques « standards ». La plupart des essais cliniques comportent d’importantes lacunes méthodologiques et les résultats sont, jusqu’ici, assez minces (Chouinard et al., 1991 ; Brook et al., 1998). Les auteurs rappellent qu’une recension Cochrane parue en 2004 n’a pu corroborer que le Clopixol® est plus efficace que l’halopéridol intramusculaire dans le contrôle des symptômes agressifs de la psychose aiguë, ni qu’il a une action plus rapide.

Interventions destinées aux jeunes

Le tableau 2 (en pages 169-175) présente à son tour une analyse détaillée des recensions Cochrane qui se penchent sur des interventions de type criminologique et destinées aux jeunes.

Mytton, DiGuiseppi, Gough, Taylor et Logan (2006, retenant 56 études). En matière d’intervention auprès des jeunes, concluent les auteurs de cette recension, les programmes scolaires de prévention secondaire qui visent à réduire les comportements agressifs chez les enfants « à risque » entraînent des améliorations significatives. Cet avantage peut être obtenu tant dans les écoles primaires que secondaires, et tant auprès des groupes mixtes que des groupes de garçons seulement (ex. : Tremblay et al., 1991 ; Hudley et al., 1998). Des recherches supplémentaires paraissent toutefois nécessaires pour établir, d’une part, si de tels programmes peuvent réduire l’incidence des blessures dues à la violence et, d’autre part, si les avantages identifiés peuvent être maintenus au-delà de 12 mois.

Fisher, Montgomery et Gardner (2008, ne retenant aucune étude). Aucune donnée d’ECR ou d’essais quasi contrôlés randomisés ne corrobore actuellement l’efficacité des opportunités de formation ou d’emploi (« opportunities provision ») pour prévenir l’implication des jeunes (7-16 ans) dans des gangs. En 2008, seulement deux études rigoureuses portaient sur cette stratégie de prévention d’implication dans les gangs : la première est une étude de cas (Simun et al., 1996) et la seconde est une étude qualitative (Weisfeld et Feldman, 1982). Les deux avaient de telles limites méthodologiques que des conclusions, même spéculatives, quant à l’impact de telles opportunités, restent impossibles à formuler. Selon Fisher et al. (2008), des évaluations plus rigoureuses de telles stratégies de prévention seront nécessaires afin d’arriver à développer ce domaine, justifier le financement des interventions existantes et guider l’élaboration des futurs programmes et des politiques à venir.

Foxcroft, Ireland, Lowe et Breen (2002, retenant 56 études). En matière d’abus d’alcool chez les jeunes, aucune conclusion ferme ne peut être tirée quant à l’efficacité des interventions de prévention à court et à moyen terme. Par contre, à long terme, le programme Strengthening Families (Spoth et al., 2001) paraît prometteur. Avec ce programme, le nombre de « sujets à traiter » est de neuf, sur une période de quatre ans, lorsque l’objectif est d’avoir un effet sur les trois comportements d’initiation (consommation d’alcool, consommation d’alcool sans autorisation et première ivresse). Une étude a également mis en évidence le potentiel d’un programme d’habiletés sociales ajusté pour convenir à la culture autochtone (Skills Traning – culturally focused, Schinke et al., 2000). Des recherches doivent toutefois être entreprises pour mieux mesurer les « variables de résultats » importantes (i. e. consommation d’alcool, consommation d’alcool sans autorisation et première ivresse). Aux yeux des auteurs de la recension, de manière générale, la méthodologie évaluative doit être améliorée dans ce champ de pratique. L’efficacité de Strengthening Families devrait être évaluée sur une plus grande échelle et dans différentes cultures. Quant aux interventions axées sur la culture autochtone, elles pourraient être plus développées et mieux mesurées. Un registre international sur la prévention de l’abus d’alcool et de drogues devrait être établi afin de contenir des critères permettant d’évaluer les interventions préventives en termes de sécurité, d’efficacité et d’efficience.

Petrosino, Turpin-Petrosino et Buehler (2002, retenant 9 études). Dans un autre ordre d’idées, les programmes dissuasifs de type « Scared Straight » (Finckenauer, 1982) destinés aux jeunes sont susceptibles d’avoir un effet nocif, voire d’augmenter la délinquance par rapport à la simple option de « ne rien faire ». Devant ces résultats, les auteurs de la recension proposent que les organismes qui créent de tels programmes les évaluent très rigoureusement, non seulement pour s’assurer qu’ils font bien ce qu’ils entendent faire (prévenir la criminalité), mais aussi qu’ils ne causent pas plus de tort que de bien.

Woolfenden, Williams et Peat (2001, retenant 8 études). Au terme de cette cinquième recension, les auteurs concluent que les interventions familiales/parentales pour les jeunes délinquants (10-17 ans) et leur famille réduisent significativement la durée des placements en institution. Les modèles les plus prometteurs leur semblent être l’intervention multisystémique (Henggeler et al., 1996) et le placement familial à traitement multidimensionnel (Chamberlain et Reid, 1991). En effet, ces deux approches paraissent donner un avantage évident aux participants et à leur famille lorsqu’on les compare aux interventions traditionnelles. Il pourrait certainement en résulter une réduction des coûts pour la société, écrivent les auteurs. De telles interventions pourraient aussi réduire les taux d’arrestation observés ultérieurement auprès de ces jeunes. Les auteurs concluent sur cette mise en garde : les résultats sont très hétérogènes d’une étude à une autre et ils doivent être interprétés avec prudence.

Littell, Popa et Forsythe (2005, retenant 8 études). De manière étonnante, quatre ans après la parution de la recension de Woolfenden et al. (2001), dans une nouvelle méta-analyse, il n’existe plus de preuve quant à l’efficacité de l’intervention multisystémique (Henggeler et al., 1996). Les auteurs s’empressent d’ajouter qu’il n’existe pas davantage de preuve que cette approche ait des effets nocifs. Dans cette recension, la barre a été fixée très haute puisqu’on a traité des résultats en suivant le principe de « l’analyse en intention de traiter ». Cela signifie que tous les sujets répartis dans les groupes sont concernés par l’analyse, sans tenir compte de leur observance du traitement ou de leur persistance tout au long de l’étude. Autrement dit, les résultats obtenus par les jeunes qui ont abandonné le traitement sont inclus dans les analyses. Littell et ses collaborateurs concluent, à propos de l’intervention pour jeunes délinquants, qui est pourtant réputée la plus efficace : « il est important de reconnaître qu’il existe de réelles limites aux résultats qui peuvent être obtenus à l’aide d’interventions individuelles et familiales à court terme, aussi bien conçues et bien intentionnées soient-elles » (Littel et al., 2005 : 15).

Macdonald et Turner (2008, retenant 5 études). Sept ans après la parution de la recension de Woolfenden et al. (2001), celle de Macdonald et Turner (2008) confirme que le placement familial à traitement multidimensionnel (Chamberlain et Reid, 1991) est une intervention utile pour les enfants et les jeunes qui présentent des besoins complexes sur les plans affectif, psychologique et comportemental. Bien que les critères d’inclusion pour cette recension aient fixé un seuil d’exigence méthodologique plus élevé que les précédentes, les résultats correspondent à ceux déjà obtenus. Cependant, les auteurs soulignent que l’efficacité perçue de cette intervention (qui est très populaire aux États-Unis) dépasse largement les appuis empiriques. Si les résultats des cinq études retenues indiquent que le placement en familles d’accueil/foyers de groupe spécialisés est prometteur, l’ampleur de l’effet est moindre que celui habituellement rapporté.

Armelius et Andreassen (2007, retenant 12 études). Enfin, l’approche cognitivo-comportementale semble être un peu plus efficace que l’intervention « traditionnelle » pour les jeunes placés en milieu résidentiel (Farrington et al., 2002 ; Cann et al., 2003). Après 12 mois de suivi, les données regroupées favorisent l’intervention cognitivo-comportementale par rapport à l’intervention traditionnelle. Le rapport de cotes est de 0,69 et la réduction de la récidive est en moyenne de 10 %. Mais, à long terme, il n’y a aucune preuve d’effets significatifs, ni de preuve que l’approche cognitivo-comportementale ait de meilleurs résultats que les autres interventions. Les données probantes n’appuient pas la nécessité de se concentrer uniquement sur les besoins criminogènes et ne montrent pas, non plus, qu’un seul type intervention est efficace.

Discussion

Depuis la création de la Collaboration Campbell en 2000, 33 recensions Cochrane ont traité de l’efficacité d’interventions de type criminologique. Elles ont été réalisées surtout par des chercheurs en santé publique ou en psychiatrie, affiliés à des universités anglaises. De toute évidence, il s’agit là d’une méthode anglo-saxonne : empirisme, quantification, efficacité et efficience sont à l’ordre du jour (Goldenberg, 2006).

Souscrivant massivement aux échelles valorisant les ERC, ces recensions n’ont retenu en moyenne que 2 % de toutes les études publiées dans différents champs d’intervention. Toutefois, cette proportion des études intégrées aux méta-analyses varie passablement. Par exemple, Cleary et al. (2008), dans leur recension sur les interventions visant à réduire l’abus de substances chez les personnes avec des troubles mentaux, ont retenu 26 des 93 études initialement repérées. Par contre, Muralidharan et Fenton (2006) n’ont gardé aucune des 4808 études qu’ils ont recensées portant sur l’efficacité des stratégies non pharmacologiques de contention des comportements violents en milieu psychiatrique. La recension de Hassiotis et Hall (2008), qui porte sur les interventions auprès des personnes souffrant de troubles d’apprentissage ou d’un retard mental, et celle de Macdonald et Turner (2008) sur les placements à traitement multidimensionnel pour les jeunes ayant des besoins complexes se caractérisent aussi par un très faible taux d’inclusion des études connues (0,6 % et 0,8 %). Compte tenu de la vulnérabilité qui pourrait caractériser ces trois populations (patients en milieux psychiatriques, jeunes qui présentent des troubles d’apprentissage ou ayant des besoins complexes), on peut faire l’hypothèse que certains problèmes sociaux ou de type criminologique se prêtent mal à la logique expérimentale de l’assignation aléatoire des sujets au groupe « traitement » ou « témoin ». En ce sens, on ne peut que se réjouir du fait que les recensions faites au sein de la Collaboration Campbell incluent plus souvent des devis de recherche quasi expérimentaux.

Un réaménagement des résultats des 17 recensions que nous avons analysées, en fonction du « niveau de preuve », donne le portrait suivant. Sont jugées inefficaces, voire nuisibles :

  • les ordonnances de traitement ambulatoire obligatoires pour les personnes souffrant d’un trouble mental grave et persistant ; et

  • les programmes dissuasifs de type « Scared Straight » (Finckenauer, 1982) destinés aux jeunes.

Sont considérées d’une efficacité inconnue en raison de la faiblesse des devis de recherche :

  • les communautés thérapeutiques en milieu carcéral ;

  • les programmes visant la réduction de l’usage de substances (ou l’amélioration de l’état mental) chez des personnes avec des troubles mentaux graves ;

  • les interventions offertes dans les tribunaux ou dans la communauté pour les délinquants usagers de drogue ;

  • les approches non pharmacologiques visant à contenir les troubles du comportement violent en milieu hospitalier ;

  • l’usage du médicament Clopixol® pour la gestion des situations d’urgence psychiatrique ; et

  • les opportunités de formation ou d’emploi pour prévenir l’implication des jeunes (7-16 ans) dans des gangs.

A donné lieu à des conclusions contradictoires :

  • la thérapie multisystémique.

Sont jugés prometteurs et à développer davantage :

  • les interventions basées sur la mentalisation (Fonagy) et l’approche dialectique comportementale (Linehan) pour les personnes ayant un trouble de personnalité borderline ;

  • les interventions comportementales et cognitivo-comportementales qui visent à réduire l’agressivité des enfants et des adultes ayant des troubles d’apprentissage ou un retard mental ;

  • les programmes scolaires de prévention secondaire qui ont pour objectif la réduction des comportements agressifs chez les enfants « à risque » ;

  • le programme Strengthening Families qui vise à réduire l’abus d’alcool ;

  • les programmes d’habiletés sociales ajustés pour convenir à la culture autochtone ;

  • le placement familial à traitement multidimensionnel ; et

  • l’approche cognitivo-comportementale pour les jeunes placés en milieu résidentiel.

Depuis quelques années, on assiste à un débat sur la pertinence de la méthode Cochrane pour évaluer l’efficacité des interventions de type criminologique, social ou psychothérapeutique. Scott Henggeler, le concepteur de l’approche multisystémique, a été un des premiers à y participer dans un article intitulé « La critique méthodologique et la méta-analyse comme cheval de Troie ». Il répond à la méta-analyse de Littell et al. (2005) en ces termes :

Les analyses conceptuelles et méthodologiques du Dr Littell et de ses collaborateurs ont mal interprété, voire déformé, les études sur l’efficacité de l’approche multisystémique. Ils reflètent une mauvaise appréciation de la conduite de la recherche clinique en communauté avec des populations difficiles. Les distinctions entre l’efficacité potentielle (efficacy) et l’efficacité réelle (effectiveness)[6], la recherche portant sur la notion de « transportabilité » d’un programme, les nuances à apporter dans la conduite d’une méta-analyse, la contribution essentielle de l’intégrité du traitement à la validité interne d’une recherche et le fait que tous les résultats d’évaluation ne répondent pas aux mêmes questions conceptuelles [ne sont là que quelques-unes des objections à émettre].

Henggeler et al., 2006 : 447

Réaction défensive d’un clinicien réputé, alors piqué dans son orgueil ? Ou indice d’un malaise plus profond devant la grande valorisation des ERC ? À l’aide de quatre questions, ce texte se terminera sur une discussion de la pertinence de la méthode Cochrane pour évaluer l’efficacité des interventions de type criminologique, social ou psychothérapeutique. Ces questions concernent la représentativité des milieux où sont mises en application les interventions évaluées par des ERC, la concomitance et la complexité des problèmes à résoudre, les apports et limites de la « protocolarisation » des interventions, ainsi que les risques de retard, voire de paralysie, dans les applications d’approches innovantes lorsque aucun résultat d’ERC ne peut les appuyer.

Validité interne ou écologique ?

Dans les manuels de méthodologie, on lira souvent que les plans quasi expérimentaux contiennent une ou plusieurs menaces à la validité interne et que c’est la raison pour laquelle il ne s’agit pas de « vraies expériences ». En effet, dans une évaluation de type quasi expérimental, les effets mesurés et attribués au traitement peuvent avoir été causés par « autre chose », par exemple un événement extérieur (ex. : changement de règlement ou de loi) ou la réutilisation, avant et après l’intervention, des mêmes instruments de mesure auprès des sujets. On dira donc que ce devis prête le flanc à des variables « parasites » ou qu’il prête à confusion.

Dès 1966, Campbell et Stanley ont pourtant jugé que les protocoles quasi expérimentaux (ex. : un protocole prétest-post-test sans répartition aléatoire mais avec pairage des sujets, ou un protocole avec une série temporelle de mesures) étaient tout à fait acceptables là où l’expérimentation est impossible. Même en santé publique, des organismes peuvent en arriver à la même conclusion. Ainsi, pour l’Organisation mondiale de la santé, « l’utilisation des essais randomisés contrôlés pour évaluer les initiatives de promotion de la santé est, dans la plupart des cas, inappropriée, trompeuse et inutilement coûteuse » (Organisation mondiale de la santé, 1998 : 18). Par comparaison avec la médecine, en criminologie, en travail social ou en psychologie clinique, il est plus rare qu’on puisse évaluer « ce qui fonctionne » à l’aide de devis expérimentaux ; les recensions sélectionnant les ERC ne couvrent qu’une petite fraction de l’ensemble des publications importantes qui touchent aux politiques et interventions. C’est d’ailleurs ce que suggèrent nos propres données : les auteurs des recensions Cochrane ne conservent en moyenne que 2 % de toutes les études repérées et, dans leurs conclusions, ils déplorent généralement la mauvaise qualité des devis de recherche utilisés.

Le contexte écologique entourant les interventions de type criminologique, social ou psychologique ne se rapproche pas souvent de l’idéal empirique des conditions d’un laboratoire. Auprès de certaines populations (ex. : les auteurs d’homicide), dans certains milieux d’intervention (ex. : établissement carcéral) ou dans certaines régions géographiques (ex. : le nord du Québec), il paraît peu probable qu’on puisse mettre en place des ERC. Cela soulèverait trop d’obstacles d’ordre épidémiologique (échantillons de petite taille), éthique (ex. : constitution d’un groupe « à risque » ou « en danger » auquel on ne propose qu’une intervention traditionnelle présumée moins efficace) et budgétaire (un ECR assurant suffisamment de puissance statistique est assez coûteux). Oakley et al. (2003) ont ainsi résumé les biais que peuvent introduire les ERC : a) ils sursimplifient les relations de cause à effet ; b) ne peuvent pas être implantés dans des milieux complexes ni pour mettre à l’épreuve des interventions complexes ; c) ignorent le rôle de la théorie dans l’analyse de l’efficacité d’une intervention ; d) ne sont pas appropriés dans des circonstances où « la randomisation » est impossible ; e) sont politiquement inacceptables ; et f) s’avèrent trop coûteux.

Tout comme la Collaboration Cochrane, le groupe Crime et Justice de la Collaboration Campbell valorise les études dont la validité interne est élevée (Blaya et al., 2001). Mais il est encore possible d’y présenter des études basées sur des devis quasi expérimentaux, tout en fournissant une information détaillée à leur sujet (ex. : taille de l’échantillon, stratégies analytiques et ampleur de l’effet). Cette ouverture permet aux auteurs et lecteurs de débattre de la pertinence des critères de sélection ou de rejet des études. À l’aide des tableaux détaillés décrivant les études retenues et rejetées, un lecteur critique aura toujours le loisir de retracer quelques données brutes et de tirer ses propres conclusions.

Par ailleurs, depuis 1998, il existe un Cochrane Qualitative Research Methods Group (Dixon-Woods et al., 2001). Dans les sciences sociales et humaines, cette nouvelle communauté de chercheurs risque d’être un point de référence plus pertinent pour bon nombre d’intervenants et de décideurs.

Tel que le rapporte aussi Jacob dans un article de notre numéro thématique[7], certaines analyses ont comparé les conclusions d’évaluations expérimentales et non expérimentales. Pour les uns, la comparaison montre que les évaluations portant sur le même programme aboutissent à des conclusions différentes en fonction de la méthode retenue (Sherman, 2003) alors que pour d’autres, les résultats sont relativement semblables (Greenberg et al., 2006). Il faudra que plus de travaux se penchent sur de telles comparaisons dans la mesure où l’ERC a aussi ses limites : celles de la validité externe ou la représentativité des résultats.

La concomitance des problèmes, l’exception ou la règle ?

En criminologie, en travail social ou en psychologie clinique, l’intervenant doit souvent faire face à toute une série de situations complexes, de problèmes multiples et intriqués, où se mêlent des dimensions biologiques, psychologiques, familiales, sociales, légales et politiques. Or, pour les ERC, les situations « monoproblématiques » sont préférables car elles se prêtent mieux à la normalisation, aux contrôles rigoureux, par exemple à l’utilisation de critères d’exclusion des participants dont les caractéristiques pourraient « parasiter » le devis (ex. : « ne pas présenter de retard mental ni de trouble neurologique »). Pour avoir une grande homogénéité de l’échantillon, il faut parfois exclure d’emblée jusqu’à 90 % des candidats potentiels. Mais comment identifier les meilleures pratiques dans des champs de pratique où la concomitance des problèmes est la règle et non pas l’exception ? Lorsque, pour assurer la représentativité de l’échantillon, il faudrait n’appliquer qu’un minimum de critères d’exclusion ? Voilà un deuxième enjeu important. Il reste à voir si l’EBP tel qu’elle est pratiquée par la Collaboration Cochrane réussira à éclairer les intervenants en criminologie, en service social ou en psychologie clinique sur les meilleures pratiques en matière de problèmes complexes, tels que la sortie de prison d’un détenu toxicomane, porteur d’une hépatite, qui retourne habiter dans un quartier défavorisé.

Protocoles efficaces, alliance de travail ou principes efficaces ?

L’EBP favorise très souvent la « manualisation » ou « protocolarisation » des interventions à évaluer. Cette étape, nécessaire à une bonne conceptualisation et normalisation de l’intervention, peut néanmoins induire des risques de dérive. En effet, le courant EBP pourrait mener à une conception de l’intervention qui s’accommode de l’uniformité des intervenants et des personnes aidées, à savoir que les uns et les autres sont plus ou moins interchangeables. Il faut critiquer une pédagogie de l’intervention où l’efficacité serait censée découler principalement de l’application systématique de procédures « bien » implantées. Avec l’EBP, l’expression « bonnes pratiques » pourrait signifier parfois tout simplement « bon manuel » ou « bon protocole » (cookbook).

Malgré les résultats prometteurs ou probants obtenus dans les recherches évaluatives, trop de questions demeurent sans réponse pour qu’on puisse expliquer l’efficacité des interventions de type criminologique seulement en fonction de l’implantation fidèle d’un manuel de traitement éprouvé. Comment expliquer la variabilité dans les résultats obtenus dans des contextes différents avec les mêmes modalités ou approches ? Outre le critère de la fidélité dans l’implantation, quelles caractéristiques des personnes aidées (ex. : leurs valeurs, leurs préférences ou leur motivation) prédisent aussi les résultats d’une intervention ? Quelles caractéristiques de l’intervenant (ex. : le savoir théorique, le jugement, la qualité du raisonnement, l’expérience ou la sensibilité clinique) font aussi en sorte que « ça fonctionne » ? Et quelle est la part de rencontre intersubjective, à chaque fois unique, dans un suivi efficace ? (Pour une critique de l’EBP sous l’angle de l’occultation de toute subjectivité, voir Goldenberg, 2006.) Dans un très grand nombre de champs d’intervention de type criminologique (ex. : consommation de substances), des travaux qui s’intéressent à « l’alliance de travail » et aux caractéristiques des intervenants sont en cours (ex. : Martin et al., 2000). Or, dans ce survol des recensions Cochrane, aucune trace de ceux-ci n’a pu être retrouvée.

Par ailleurs, selon Castonguay et Beutler (2008), la meilleure question n’est pas « qu’est-ce qui fonctionne ? » mais bien « quel est le principe qui fait que ça fonctionne ? » Ces deux auteurs, qui traitent de la question des données probantes sous l’angle spécifique de la psychothérapie, craignent que l’actuel débat sur l’efficacité et la preuve mène à une centration étroite sur la technique ou la procédure, plutôt que sur le « principe actif [8] ». Pour ces deux auteurs, un certain nombre de facteurs sont communs à plusieurs « bonnes » pratiques (ex. : alternance entre l’empathie qui valide l’expérience de la personne aidée et le recadrage qui souligne l’importance du changement). Dès lors, à la comparaison des approches et la détermination de la technique la plus efficace, ils proposent d’ajouter un autre courant de recherches, plus suscité par la théorie (« theory driven »), et portant sur l’identification de principes actifs, essentiels et possiblement communs à plusieurs techniques ou procédures.

L’EBP pour synthétiser des données ou pour produire des normes ?

Finalement la popularité de la Collaboration Cochrane risque, tôt ou tard, d’interpeller les intervenants sur le plan éthique. Le débat est déjà lancé dans les sciences de la santé (Goodman, 2003 ; 2005). À l’aune des données probantes, que signifie « bien pratiquer » ? Que veut dire prendre une « bonne décision » ? Ou formuler de « bonnes recommandations » ? En général, les tenants de l’EBP donnent à ces questions une réponse nuancée qui laisse place autant aux résultats de la recherche qu’à l’expérience de l’intervenant et aux préférences/valeurs de la personne aidée. Néanmoins, la vigilance s’impose face aux risques d’une dérive dogmatique qui transformerait le mouvement en moyen de rationnement technocrate des interventions. Cela engendrerait des risques de retard, voire de paralysie, dans l’implantation d’approches innovantes lorsque aucun résultat d’ERC ne peut les appuyer, ou lorsqu’on ne peut être assuré que des résultats internationaux s’appliquent bel et bien au contexte local. Comment les chefs de programmes, directeurs d’établissement et décideurs politiques réagiront-ils en lisant régulièrement que « pour l’instant, toutes les interventions doivent être considérées expérimentales », que « l’ampleur de l’effet est faible » et que « la recherche évaluative en ce domaine ne repose pas sur des méthodologies bien conçues » ? Il faut espérer qu’ils sauront relativiser les conclusions dégagées et les changements de pratique proposés lorsque ceux-ci ne s’appuient que sur 2 % des travaux publiés. Tel que l’écrit en 2003 Goldbloom (traitant de la psychiatrie) : « À maints égards, une approche fondée sur les données probantes ne révèle pas une vérité thérapeutique unique, mais plutôt les limites de la connaissance et de la certitude. Elle n’est pas destinée à produire une paralysie » (Goldbloom, 2003 : 4).

Une « position fondée sur des données probantes » suppose une démarche « à petits pas » qui s’appuie sur la meilleure analyse possible des données pertinentes et disponibles. Bien qu’on puisse se pencher sur la question de l’efficacité de l’intervention en menant des ERC, une approche fondée sur des données probantes en est aussi une qui fait la meilleure utilisation des données obtenues par des évaluations non randomisées si celles-ci abordent mieux les enjeux de la représentativité des contextes, de la complexité des problèmes présentés et des principes théoriques qui sous-tendent les manuels de traitement.

Tableau 1

Détails des recensions Cochrane récentes qui traitent des interventions implantées en cas de problèmes combinant troubles mentaux, consommation de substances, violence ou victimisation

Détails des recensions Cochrane récentes qui traitent des interventions implantées en cas de problèmes combinant troubles mentaux, consommation de substances, violence ou victimisation

Tableau 1 (suite)

Détails des recensions Cochrane récentes qui traitent des interventions implantées en cas de problèmes combinant troubles mentaux, consommation de substances, violence ou victimisation

Tableau 1 (suite)

Détails des recensions Cochrane récentes qui traitent des interventions implantées en cas de problèmes combinant troubles mentaux, consommation de substances, violence ou victimisation

-> Voir la liste des tableaux

Tableau 2

Détails des recensions Cochrane récentes qui traitent des interventions destinées aux jeunes

Détails des recensions Cochrane récentes qui traitent des interventions destinées aux jeunes

Tableau 2 (suite)

Détails des recensions Cochrane récentes qui traitent des interventions destinées aux jeunes

Tableau 2 (suite)

Détails des recensions Cochrane récentes qui traitent des interventions destinées aux jeunes

-> Voir la liste des tableaux