Volume 47, numéro 1-2, 1998 Évaluation – Colloque 1999 Sous la direction de René Auclair, Mireille Tremblay et Marcel Sénéchal

FR :

La qualité est présentée ici comme un idéal vers lequel nous tendons sans pouvoir l'atteindre. La principale difficulté qu'éprouvent les personnes soucieuses de la mesurer tient au fait qu'elles se réfèrent le plus souvent à une qualité universelle et globale diffuse et mal définie. Ce problème s'explique également par la difficulté d'en déterminer des indicateurs qui peuvent validement témoigner de la qualité. Après avoir jeté un regard rapide sur l'histoire qui a mené à l'engouement actuel pour la qualité, les auteurs présentent ici un modèle holistique à l'intérieur duquel la qualité globale est éclatée en neuf qualités spécifiques. Il est présumé dans ce modèle que ces neuf qualités spécifiques conviennent à l'ensemble des organisations, des programmes, des services et des interventions. Ces qualités sont définies de manière opérationnelle et mutuellement exclusive afin de se prêter plus facilement à la mesure. Le but premier de ce modèle est d'abord de servir de guide lorsqu'il s'agit de déterminer des indicateurs de la qualité, mais aussi de réfèrent à la mesure de la qualité et à son évaluation.

EN :

Quality is presented here as an ideal we strive to attain, without being able to do so. The major problem encountered by those who wish to measure it lies in the fact that, most often, their reference is a universal, overall, vague and ill-defined quality. The problem can also be explained by the difficulty in determining valid criteria that can be used to evaluate quality. The authors present here a holistic model within which global quality is broken down into nine specific components. In this model, it is assumed that these nine qualities apply to all organizations, programs, services and actions. They are defined in an operational and mutually exclusive manner in order to be more easily measurable. The prime objective of this model is to serve as a guide in determining the criteria for quality, but also, as a point of reférence in measuring quality and evaluating it.

FR :

Au cours des dernières décennies, l'évaluation des services, des programmes et des politiques a connu une évolution marquée. Alors que sur la scène épistémologique se sont affrontés les modèles positivistes et constructivistes, dans l'arène politique plusieurs catégories d'acteurs ont tenté de dominer les choix publics. Si la maîtrise de savoirs scientifiques, méthodologiques et techniques des uns est indispensable à la compréhension des enjeux en présence, la légitimité des autres est la seule susceptible d'assurer un véritable consensus démocratique. L'évaluation des politiques, des programmes et des services doit contribuer à rationaliser et à améliorer la qualité des services; elle devra aussi créer un espace convivial de négociation des enjeux et des pratiques, un univers de significations et de valeurs où individus et communautés pourront faire des choix légitimes et construire ensemble une société véritablement démocratique.

EN :

During the last decades, the evaluation of services, programs and policies has evolved considerably. While on the epistemological scene tenants of positive and constructive theoretical models opposed each other, on the political scene many actors tended to dominate public choices. The evaluation of policies, programs and services must not only contribute to the rationalization and to the upgrading of service quality. It must also create a convivial space for the negotiation of stakes and practices, a world of significant meanings that let individuals and communities make legitimate and transparent choices in order to build together a real democratic society.

FR :

Se fondant sur une expérience personnelle de trente ans de réforme de santé au Québec, l'auteur retrace l'évolution parallèle du système de santé et des besoins d'indicateurs de gestion. Les besoins d'indicateurs, engendrant les besoins d'information, résultent principalement de deux dynamiques : celle du système administratif et celle du système de services. La difficulté de s'entendre sur les indicateurs clés de gestion reflète-t-elle, à tous les niveaux, un profond malaise dans la gestion du système de santé? Plusieurs expériences novatrices étant en cours, nous décrivons les types d'indicateurs qui peuvent être générés, sans oublier la spécificité des milieux ruraux. Le projet de capitation expérimenté dans la MRC rurale du Haut-Saint-Laurent requiert ainsi un ensemble d'indicateurs qui permet de gérer le système dans une perspective de santé globale.

EN :

From a personal experience of 30 years of health care reforms, the author traces the parallel evolution of the health care System and its management indicators. Within health care, indicators have been developing according to the needs of two distinct but related interests: the administrative System and the service System. Meanwhile population health indicators are developing at a slightly different level. So far, an accepted, integrated set of indicators is lacking. Does this reflect a fundamental problem with the health care System? In Québec, many innovative experiments are underway; we describe some ofthe new types of indicators which might result from them. Our capitation project in the rural MRC of Haut-Saint-Laurent requires an integrated set of indicators which unites the financial, service and health information necessary to manage the System in a perspective of global health care.

FR :

Le système québécois d'agrément a été conçu et mis en place par le réseau des CLSC et implanté en 1995. Il est administré par un organisme indépendant, le Conseil québécois d'agrément. Depuis 1995, se sont ajoutés au programme d'agrément des CLSC d'autres programmes couvrant les services et visant la clientèle des autres établissements du réseau public de la santé et des services sociaux. Le système d'agrément fournit aux établissements qui souhaitent l'utiliser un cadre de référence qui leur permet d'évaluer la qualité de leur organisation et des services qu'ils offrent. L'établissement procède d'abord à une démarche d'autoévaluation en se référant aux normes proposées et il en soumet les résultats à une équipe de pairs provenant d'autres établissements. Ces derniers, après analyse et visite de l'établissement, donnent leur avis sur l'à-propos des jugements émis par l'établissement, qui est alors en mesure d'apporter les ajustements nécessaires à son plan d'amélioration.

EN :

The Québec accreditation System was created and developed by the CLSC network and implemented in 1995. It is run by an independent body, the Conseil québécois d'agrément (Québec Accreditation Council). Since 1995, Other programs have been added to the CLSC accreditation program, covering the services and client groups of other institutions in the public health and social services network. The accreditation System offers institutions who wish to use it a frame of reference enabling them to evaluate the quality of their organization and the services they provide. The institution first conducts a self-evaluation process referring to the suggested standards, and submits the results to a team of peers from other institutions. After analyzing the results and visiting the institution, this team renders its opinion on the appropriateness of the décisions made by the institution. The latter is then in a position to make the changes required to its improvement plan.

FR :

Cet article constitue une réflexion sur la pratique de l'évaluation des politiques au sein du ministère de la Santé et des Services sociaux du Québec. Nous y proposons différentes avenues afin d'assurer un meilleur arrimage entre le processus d'implantation des politiques et leur évaluation. La stratégie de l'évaluation d'accompagnement, dont il est question dans cet article, ne constitue pas un nouveau type d'évaluation. Elle sert davantage à promouvoir la formulation d'une attitude d'ouverture d'esprit, de la part de l’évaluateur, à l'égard de la mise en place des politiques. Une illustration de cette approche est fournie à partir du bilan d'implantation de la politique de santé mentale.

EN :

This article is a reflection on policy evaluation practices in Québec Ministry of Health and Social Services. It proposes different ways of improving the linkages between policy implementation and evaluation. The strategy of « accompanying evaluation », which is presented in the article, does not constitute a new type of evaluation. It serves rather to promote an open-minded attitude on the part of the evaluator concerning the realities of implementing policies. A discussion of the evaluation of Québec's mental health policy illustrates the approach.

FR :

Cinq ans après le dévoilement de la Politique de la santé et du bien-être (PSBE), quel était le chemin parcouru? Quels étaient les ajustements à faire? Voilà les questions de départ de notre évaluation. Les approches habituellement employées pour l'évaluation de politiques ne s'avérant d'aucun secours pour y répondre, il fallait trouver une méthode de remplacement. Il a donc été nécessaire de faire preuve de créativité pour réaliser une étude qui soit rigoureuse tout en permettant aux décideurs d'ajuster le tir avant la date d'expiration du délai pour réaliser les objectifs, soit 2002. Le présent article fait le point sur les considérations méthodologiques relatives à la démarche élaborée pour l'évaluation formative de la PSBE en Montérégie.

EN :

Five years after the appearance of the Policy on Health and Well-Being, what has been achieved? What adjustments are required? These were the preliminary questions our evaluation had to address. But traditional methods used to evaluate policies were of no help in answering them. Therefore, we had to be innovative as our study had to be both rigorous and easy to use by decision-makers who have to make adjustments before the deadline for the attainment of the objectives (i.e. 2002). This paper addresses the methodological issues related to the formative evaluation of the policy in Montérégie.

FR :

Toute profession est organisée autour d'un corpus global de connaissances, de savoir-faire, d'applications pratiques et de règles qui imposent qu'il y ait une formation et un entraînement particuliers des individus qui en font partie. La compétence professionnelle, définie comme la capacité d'un professionnel à utiliser son jugement, de même que les connaissances, les habiletés et les attitudes associées à sa profession pour résoudre des problèmes complexes, est un construit non observable directement. Pour l'évaluer, il faut faire des inferences à partir d'éléments observables et mesurables. Mais comment faire?

Le présent article explique pourquoi on doit évaluer la compétence professionnelle et comment l'évaluer. Les auteurs décrivent l'expertise du Centre d'évaluation des sciences de la santé de l'Université Laval qui, depuis plus de dix ans, utilise l'examen clinique objectif structuré, ECOS, pour la certification des candidats à la pratique de la médecine de famille au Québec, un instrument qui a largement démontré sa validité et sa fidélité.

EN :

Every profession is organized around a body of knowledge, expertise, practical applications and rules which impose a particular kind of education and training for members of that profession. The professional competency, defined as the degree to which one uses knowledge, skills and judgment in situations that arise in the course of professional practice, is a construct not directly observable. Hence, we have to draw inferences from observable and measurable elements. But how?

This article explains why must professional competency be evaluated and how to evaluate. Authors describe the Centre for Evaluation in the Health Sciences expertise, which has been using for 10 years the Objective Clinical Structured Examination (OSCE) for the certification of family medicine candidates. The validityand the reliability of this toolhave been widely demonstrated.

FR :

Il existe actuellement un courant propice à l'évaluation dans le réseau de la santé et des services sociaux québécois. Toutefois, en raison du contexte structurel et légal dont doivent tenir compte les régies régionales, l'évaluation tend à répondre beaucoup plus à une logique de planification et de gestion qu'à une logique d'action préoccupée par les besoins des intervenants et des populations visées. Cet article vise à démontrer que, malgré les nombreux obstacles rencontrés, il est pertinent de concevoir des formes d'évaluation qui tiennent compte des intérêts des différents acteurs concernés. Il est ainsi possible de réaliser des évaluations lorsque certaines conditions sont réunies. Le projet d'évaluation du travail de rue à Rouyn-Noranda en est un exemple.

EN :

Currently, there is a favorable trend towards evaluation in the health and social services network in Québec. However, due to the structural and legal context which must be taken into account by the regional boards, evaluation tends to respond to a logic of planning and administration gestion rather than to an action logic that would meet the workers and the populations needs. This paper wishes to illustrate the importance of developing types of evaluation that would take into account the interests of the diverse actors involved. It is possible to do such evaluation when some basic conditions are respected. This is illustrated through the example of the evaluation project of outreach work in Rouyn-Noranda.

FR :

L'évaluation peut apporter une contribution importante au développement des interventions auprès des personnes, des familles, des groupes et des collectivités en vue de réaliser des objectifs d'amélioration de leur situation sur le plan du bien-être. L'article explore la nature de l'évaluation des interventions sociales, ses caractéristiques, les différentes formes d'évaluation sur cas unique (études de cas, échelle d'appréciation de problème cible, échelle d'atteinte d'objectif, monitorage de cas et protocole avant-après avec ligne de départ) et la contribution de ces dernières à l'amélioration de la qualité et de l'efficacité des interventions sociales au bénéfice des populations. Sans nier la légitimité et l'importance des autres types d'évaluation, l'évaluation sur cas unique permet l'amélioration de l'imputabilité et le développement des connaissances en travail social et dans les autres professions d'intervention en sciences humaines.

EN :

Evaluation offers an important contribution to the development of interventions addressed to persons, families, groups and collectivities in order to attain the objectives of improving their social well-being and their welfare. This paper explores the nature of social intervention evaluation, its main characteristics, the main types of single subject or single case evaluation (case studies, scale for assessing target problem, goal attainment scaling, case monitoring, and design using baseline assessment), and the contribution of evaluation to the improvement of intervention quality and effectiveness concerning targetted populations. Without ignoring the legitimacy and importance of the other types of evaluation, single subject or single case evaluation help to improve the accountability and the development of knowledge in social work and in other intervention professions in human sciences.

FR :

Après une introduction de base portant sur la R-D sociale, Jack Rothman propose dans son article un modèle de recherche et développement des services d'aide aux personnes. Pour ce faire, il présente d'abord le contexte et l'environnement de la R-D. À l'aide d'une recherche documentaire il se réfère ensuite aux connaissances en sciences sociales, puis formule les concepts dans une perspective de recherche appliquée. Il conçoit les études pilotes et conduit les études sur le terrain. Il produit la R-D proprement dite; il la diffuse et la met en marché, tout en créant les structures et les ressources nécessaires aux centres de R-D sociale.

EN :

Following a basic introduction to social R-D, paper is devoted to a research and development model for the human services, the context and environment of R-D, retrieval ofexisting social research knowledge, formulating application concepts, pilot testing, main field testing, the product of social R-D, diffusion and social marketing, and structures and resources for centers of social R-D.