Volume 29, Number 3, 2006 La relation entre la théorie et la pratique en évaluation de programme : dialogue ET monologue Guest-edited by Sylvain Houle

FR:

Nous proposons de distinguer, en nous inspirant des théorisations de l’évaluation, des éléments invariants qui seraient constitutifs de l’activité évaluative. Nous tentons ensuite de comparer la façon dont ils sont utilisés et nommés dans des pratiques d’évaluation de « programme/dispositif », en France et au Québec. Nous proposons enfin une modélisation de l’évaluation de « programme/dispositif », qui touche à la fois à l’objet et à l’activité d’évaluation sur la base de ses invariants (démarche théorique) et qui peut se décliner, dans la pratique, sous forme de protocole méthodologique : la « référentialisation ».

EN:

Our purpose is to identify invariant elements describing evaluative practices within the evaluation theories. We try then to compare the way they are used and named in «program» evaluation practices in France and Quebec. We finally propose a model, called «référentialisation», of evaluation’s object and practice based on these invariant elements. It can also be used as a method to evaluate.

PT:

Propomo-nos distinguir, inspirando-nos nas teorizações da avaliação, os elementos que serão constitutivos da actividade avaliativa. Seguidamente, tentamos comparar a forma como eles são utilizados e nomeados nas práticas de avaliação de «programa/dispositivo», em França e no Québec. Finalmente, propomos uma modelização da avaliação de «programa/dispositivo», que toca simultaneamente o objecto e a actividade de avaliação, na base das suas invariantes (procedimento teórico) e que pode declinar-se, na prática, sob a forma de protocolo metodológico: a «referencialização».

FR:

L’évaluation de programme est régulièrement remise en question quant à sa fonction première, soit sa capacité à poser un jugement éclairé sur les programmes à l’étude et à dégager des recommandations pertinentes. À ce jour, certains auteurs ont émis des hypothèses d’explication du phénomène sans pour autant les appuyer par une démarche scientifique. La présente recherche effectue une percée dans ce sens en se fixant comme objectif de valider ces pistes d’explication. Pour y parvenir, elle doit disposer d’une représentation opérationnelle du processus spécifique à l’évaluation de programme afin de décrire les pratiques. Hurteau et Houle (2005) proposent une telle représentation – modélisation – qui s’appuie sur différentes contributions théoriques, dont celle de Scriven (1980) qui a introduit le concept de « logique de l’évaluation » et celles d’autres auteurs (Hurteau, 1991 ; Fournier, 1995 ; Stake, 2004). La présente étude, qui constitue la première phase de la recherche, vise à présenter la modélisation ainsi que les résultats de sa validation.

EN:

It has become common-place for clients to question program evaluation’s primary function: its ability to produce judgments that lead to relevant recom mendations. Some well-known authors have formulated hypotheses in an attempt to explain this situation; however, these hypotheses have not been supported by empirical research as yet. The present research carries out a breakthrough in this direction by having as objective to validate these explanations. For that purpose, it must have an operational representation of the process specific to program evaluation in order to describe the practice. Hurteau and Houle (2005) propose such a representation – modeling – which is based on various theoretical contributions, of which that of Scriven (1980) which introduced the concept of “logic of evaluation” and those of other authors (Hurteau, 1991; Fournier, 1995; Stake, 2004). The present study presents the modeling as well as the results of its validation.

PT:

A avaliação de programas é, habitualmente, questionada quanto à sua função principal, ou seja, a sua capacidade de produzir um juízo claro sobre os programas em estudo e de formular recomendações pertinentes. Actualmente, alguns autores emitiram hipóteses de explicação do fenómeno sem, para tal, as sustentar num procedimento científico. A presente investigação faz uma abertura neste sentido, tendo como objectivo validar estas pistas de explicação. Para o atingir, tem de dispor de uma representação operacional do processo específico de avaliação de programas a fim de descrever as práticas. Hurteau e Houle (2005) propõem esta representação – modelização – que se apoia em diferentes contributos teóricos, nomeadamente o de Scriven (1980) que introduziu o conceito de “lógica de avaliação” e os de outros autores (Hurteau, 1991; Fournier, 1995; Stake, 2004). O presente estudo, que constitui a primeira fase da investigação, propõe-se apresentar a modelização, assim como os resultados da sua validação.

FR:

La discipline de l’évaluation de programme a déployé plus d’énergie à développer les méthodologies au cours des vingt dernières années qu’à comprendre certains enjeux stratégiques, pour ne citer que le raisonnement évaluatif qui soutient la pratique. Certains auteurs, par exemple Fournier et Scriven, se sont plus particulièrement intéressés à l’influence du raisonnement évaluatif sur les conclusions ainsi que sur les justifications mais cela ne semble pas avoir suscité beaucoup d’intérêt jusqu’à ce jour. Ce constat est d’autant plus surprenant que le passage de la description au jugement constitue la pierre angulaire de toute évaluation de programme de qualité. C’est dans cette perspective que le présent article aborde la question du raisonnement sous-jacent à toute démarche évaluative. Plus précisément, l’auteure aborde la façon dont les évaluateurs produisent et justifient les jugements émis.

EN:

The discipline of program evaluation has invested more energy in developing methodologies during the past twenty years than to understand certain strategic stakes such as the evaluative reasoning which supports the practice. Some authors, to cite only Fournier and Scriven, are particularly interested by the influence of evaluative reasoning on conclusions and justifications but, so far, these concerns do not seem to have aroused much interest. This fact is all the more surprising given that the transition from the description stage to one of judgment constitutes the cornerstone of any good-quality program evaluation. It is from this point of view that this article approaches the question of the reasoning underlying any evaluative process. More precisely, the author studies the way in which evaluators produce and justify their judgment.

PT:

A disciplina de avaliação de programas despendeu mais energia a desenvolver as metodologias ao longo dos últimos vinte anos do que a compreender deter mi nados desafios estratégios, desde logo o raciocínio avaliativo que sustenta a prática. Alguns autores, por exemplo Fournier e Scriven, já não se interessam pela influência que exerce o raciocínio avaliativo sobre as conclusões, assim como com as justificações. Porém, isto não parece ter despertado muito interesse até ao momento. Esta constatação é tanto mais surpreendente quanto a passagem da descrição ao juízo constitui a pedra angular de qualquer avaliação de programas de qualidade. É nesta perspectiva que o presente artigo aborda a questão do raciocínio subja cente a qualquer procedimento de avaliação. A autora aborda, mais precisamente, a forma como os avaliadores produzem e justificam os juízos emitidos.

FR:

L’évaluation est un domaine très prolifique, à plusieurs points de vue. Sur le plan théorique, de nouvelles approches s’ajoutent chaque année. La pratique est également en pleine expansion. Cette demande croissante pour des évaluations dans un domaine où les développements théoriques sont très importants crée, paradoxalement, des difficultés quant à la transposition des nouvelles connaissances dans la pratique de l’évaluation. Nous proposons, premièrement, d’illustrer trois grandes difficultés auxquelles est confronté l’évaluateur dans sa pratique : la définition de l’intervention, la considération du changement et les préoccupations pour l’utilisation de l’évaluation. Dans un deuxième temps, nous présenterons les trois principales réponses théoriques que propose le domaine de l’évaluation. Dans un troisième temps, nous discuterons des enjeux de cette interface et des avenues possibles pour favoriser une réconciliation entre la pratique et la théorie de l’évaluation. Cette discussion permettra d’illustrer la tension qui se dessine actuellement entre les questionnements de la pratique et le foisonnement théorique et de présenter les avancées prochaines sur le plan des développements théoriques, vers un rapprochement des préoccupations pratiques des évaluateurs.

EN:

Evaluation practitioners encounter various questions while conducting evaluation projects. First, how can the evaluator define the intervention which is to be evaluated ? Second, how should the evaluator consider the change ? Third, how can use of the evaluation be encouraged ? All three preoccupations have found answers in the theoretical developments of program evaluation, whether through implementation evaluation, intervention analysis or participative approaches. However, prolific theoretical developments, while enriching the strategies available to us, may also lead paradoxically to confusion and to difficulties in the transposition of new knowledge into practice. First, we will illustrate the three main difficulties the evaluator is confronted with during practice. Then we will review the different answers offered by evaluation theory. Finally, we will analyze the potential contributions and difficulties which these developments bring to evaluation practice. In conclusion, we will discuss future avenues for facilitating the appropriation of evaluation theories into practice.

PT:

A avaliação é um domínio muito prolífico sob muitos pontos de vista. No plano teórico, surgem, todos os anos, novas abordagens. A prática está, igualmente, em plena expansão. Esta exigência crescente, para avaliaçãoes num domínio em que os desenvolvimentos teóricos são muito importantes, origina, paradoxalmente, dificuldades na transposição de novos conhecimentos para a prática da avaliação. Nós propomos, em primeiro lugar, ilustrar três grandes dificuldades que o avaliador enfrenta na sua prática : a definição de intervenção, a consideração da mudança e as preopcupações relativas à utilização da avaliação. Num segundo momento, apresentaremos as três principais respostas teóricas que propõe o domínio da avaliação. Num terceiro momento, discutiremos os desafios desta interface e as possíveis entradas para favorecer uma reconciliação entre a prática e a teoria da avaliação. Esta discussão permitirá ilustrar a tensão que se desenha, actualmente, entre os questionamentos da prática e o desenvolvimento teórico e apresentar os próximos avanços no plano dos desenvolvimentos teóricos para uma aproximação às preocupações práticas dos avaliadores.

FR:

Dans le cadre de l’évaluation de la mise en oeuvre d’un programme, il est fréquent que les évaluateurs s’en tiennent à une évaluation de la conformité, soit une évaluation du niveau de respect du modèle initial proposé dans ce programme. Ce type d’évaluation, quoique nécessaire, ne permet pas d’expliquer les écarts qui sont fréquemment observés entre le programme planifié et celui réellement implanté. Dans le contexte de deux évaluations de stratégies d’envergure, le Projet jeunesse montréalais et la Stratégie d’intervention Agir autrement du ministère de l’Éducation, du Loisir et du Sport du Québec (MELS), un cadre conceptuel, s’appuyant notamment sur la documentation dans le champ de l’analyse organisationnelle et de la sociologie de la traduction, a été utilisé afin de documenter la mise en oeuvre de ces deux programmes. Le présent article a pour objectif d’illustrer, à partir de résultats de ces deux projets d’évaluation, l’utilité d’un tel cadre conceptuel.

EN:

In the context of the implementation of program evaluation, the evaluators frequently make a conformity evaluation. This type of evaluation consists in the measurement of level of respect to the initial model proposed in this program. It is not sufficient to explain the differences observed between the initial planning and the program actually implemented. In the context of two evaluations of large-scale strategies, the Youth Montreal Project and the New approach, New strategy (NANS), a conceptual framework inspired by the literature in the field of the organizational analysis and the sociology of the innovation was used to analyse the application of these programs. The utility of such framework is illustrated from the results of these two evaluation projects.

PT:

No âmbito da avaliação da implementação de um programa, é frequente que os avaliadores se fixem numa avaliação da conformidade, isto é, numa avaliação do nível de respeito pelo modelo inicial proposto neste programa Este tipo de avaliação, ainda que necessária, não permite explicar os desvios que frequentemente são observados entre o programa planificado e o que realmente foi implementado. No contexto de duas avaliaçãoes de estratégias de envergadura, o Projet jeunesse montréalais e a Stratégie d’intervention Agir, do ministère de l’Éducation, du Loisir et du Sport Québec (MELS), foi utilizado um quadro conceptual, apoiando-se sobretudo na documentação do campo de análise organizacional e da sociologia da tradução, para documentar a implementação destes dois programas. Este artigo tem por objectivo ilustrar, a partir de resultados destes dois projectos de avaliação, a utilidade do referido quadro conceptual.

FR:

Cet article présente deux modèles conceptuels dont la combinaison est utilisée dans le domaine de l’évaluation. Dans un premier temps, les deux modèles seront décrits, leur arrimage expliqué ainsi que les effets de leur utilisation sur l’investissement des différents partenaires concernés. Ensuite, des exemples de démarches évaluatives auxquelles la combinaison des modèles conceptuels a été appliquée seront présentés. Ces exemples mettront en lumière les avantages de l’utilisation de cette combinaison sur le développement, la mise en oeuvre, la pérennité et l’efficacité d’un programme ou d’une démarche évaluative, et ce, indépendamment du contexte d’implantation.

EN:

This paper presents the combination of two conceptual models used in the field of program evaluation. First, each model will be described. Their connection will be explained as well as the effects of using this combination on the level of involvement of the different actors concerned by an evaluation process. Then, examples of evaluative processes in which the combination of models was used will be presented. These examples will highlight the advantages of using the combined models on the development, the implementation, the sustainability and the effectiveness of a program or of an evaluation process in varied contexts.

PT:

Este artigo apresenta dois modelos conceptuais cuja combinação é utilizada no domínio da avaliação. Num primeiro momento, serão descritos os dois modelos, explicado o seu peso assim como os efeitos da sua utilização no investimento dos diferentes parceiros envolvidos. Seguidamente, serão apresentados exemplos de procedimentos avaliativos aos quais foi aplicada a combinação dos modelos conceptuais. Estes exemplos clarificarão as vantagens da utilização desta combinação no desenvolvemento, a implementação, a perenidade e a eficácia de um programa ou de um procedimento de avaliação, e isto, independentemente do contexto de implantação.