Volume 28, Number 3, 2005

FR:

L’approche par les compétences conduit à évaluer les acquis des élèves à travers des situations complexes nécessitant une production complexe de la part de l’élève. Les techniques classiques de validation des épreuves d’évaluation ne peuvent dès lors pas être utilisées telles quelles. D’autres approches de validation, qu’elles soient a priori ou a posteriori, devraient être adoptées, dans le respect des exigences de validité et de fiabilité, mais aussi et avant tout de pertinence.

EN:

The competence approach leads to the assessment of students achievements through complex situations that require a complex production (response) from them. The classic techniques in evaluation tests validation can no longer be used as it has been done until now. Other validations approaches, either a priori or a posteriori, should be implemented respecting the validity and fiability requirements.

PT:

A abordagem por competências conduz a avaliar os conhecimentos dos alunos através das situações complexas sendo necessária uma produção complexa por parte do aluno. Isto implica que as técnicas clássicas de validação das provas de avaliação não possam continuar ser utilizadas como até então. Outras abordagens de validação, seja a priori, seja a posteriori, deverão ser adoptadas, no respeito pelas exigências de validade e fiabilidade, mas também e acima de tudo pela pertinência.

FR:

La présence de réponses manquantes pour certains items d’une échelle de mesure est un phénomène que tout chercheur est susceptible de rencontrer au cours de ses travaux. Malgré l’ampleur de ce problème, les connaissances quant aux biais ou à l’efficacité des méthodes de traitement sont encore très restreintes. La présente étude vise à faire évoluer les connaissances et les pratiques concernant le traitement des valeurs manquantes dans le contexte d’utilisation d’échelles de type Likert. Ce projet de recherche est basé sur une méthodologie de type Monte Carlo et compare l’efficacité de cinq méthodes de traitement. L’imputation multiple, méthode de traitement qui est en voie de devenir la norme, se montre comme une des méthodes de traitement les plus efficaces, minimisant la présence de biais autant pour ce qui est du coefficient alpha de Cronbach que du score à l’échelle.

EN:

The presence of non-response for some items on a scale of measurement is a phenomenon which any researcher is suitable to meet during his work. Despite the extent of this problem, knowledge about bias or effectiveness of the missing data treatment is still very restricted. The aim of the present study is to evolve knowledge and practices concerning the treatment of the missing values in the context of Likert-type scales. This research project, based on a Monte Carlo methodology, compares the effectiveness of five methods of treatment. The multiple imputation, the method which is in the process of becoming the standard, is shown as being one of the most effective methods of treatment, minimizing the presence of bias as much on the level of the coefficient alpha of Cronbach that on the scale score.

PT:

A presença de não respostas(missing values), para certos itens de uma escala de medida é um fenómeno a que está sujeito qualquer investigador, ao longo dos seus trabalhos. Apesar da amplitude deste problema, os conhecimentos relativosaos enviesamentos e à eficácia dos métodos de tratamento são ainda muito restritos. O presente estudo visa fazer evoluir os conhecimentos e as práticas relativos ao tratamento das não respostas no contexto de utilização de escalas de tipo likert. Este projecto de investigação assenta numa metodologia de tipo Monte Carlo e compara a eficácia de cinco métodos de tratamento. A imputação múltipla, método de tratamento que está em vias de vir a ser a norma, revela-se como um dos métodos de tratamento mais eficazes, minimizando os enviesamentos tanto ao nível do coeficiente alpha de Cronbach, quanto ao do score da escala.

FR:

La combinaison de la psychométrie et de la psychologie cognitive engendre de nouveaux modèles de mesure. Ceux-ci permettent d’établir le portrait de sujets ayant passé un test relativement à une liste d’attributs cognitifs. Cet article présente une comparaison de cinq modèles qui allient la vision psychométrique à la vision cognitive. Les comparaisons portent sur l’étude de la qualité des attributs cognitifs posés a priori, sur les caractérisations des sujets, sur la possibilité d’appliquer les modèles et d’interpréter les résultats et sur les notions de validité et de fidélité.

EN:

New measurement models can be generated through the combination of psychometrics and cognitive psychology. Following a test, these models permit the creation of student portraits in relation to specific cognitive abilities. This paper presents a comparative examination of five models that link both psychometric and cognitive views. Comparisons are made in several areas, including the validity and reliability of the models, as well as how interpretable the results are, how the quality of the attributes is studied a priori, and how students are characterized.

PT:

A combinação da psicometria e da psicologia cognitiva gera novos modelos de medida. A partir de um teste, estes modelos permitem traçar o retrato dos sujeitos, relativamente a uma lista de atributos cognitivos. Este artigo apresenta uma comparação de cinco modelos, que aliam a visão psicométrica à visão cognitiva. As comparações incidem no estudo da qualidade dos atributos cognitivos a priori, nas caracterizações dos sujeitos, na possibilidade de aplicar os modelos e de interpretar os resultados e, ainda, nas noções de validade e de fidelidade.

FR:

Cet article montre que l’évaluation du chant est un problème majeur pour les enseignants en Éducation musicale français. La recherche décrit comment ils utilisent de nombreuses formes de notation et montre que leurs stratégies évaluatives apparaissent confuses. Ils jugent de façon sommative les prestations vocales de leurs élèves. Ils justifient leurs notes avec des jugements subjectifs et holistiques. Les résultats de l’enquête montrent que leurs appréciations et préférences sur un chant étaient similaires à six mois d’intervalle. Ils n’ont pas montré de différences significatives dans leurs jugements sur les extraits favoris et rejetés.

EN:

The aim of this research shows that the evaluation of vocal performance is a crucial problem for French music teachers. This survey describes how they use different forms of marking and have very unclear strategies of evaluation. The music teachers judged with a summative assessment of vocal performances. They justified their marks with a subjective and holistic approach. The results of the survey show that their appreciations and preferences about a song were the same after six months of training. They made no significant difference to their judgements towards favourite or disliked extracts.

PT:

Este artigo resume os principais resultados de uma investigação de doutoramento realizada entre 1999 e 2004, consagrada à avaliação em Educação musical dos professores do ensino secundário. Partimos da hipótese que a autoavaliação em formação poderia ser um factor chave para a mudança das representações em Educação musical. As percepções que têm os estagiários da formação reflectiriam a maneira como a mudança das concepções se opera ou se vai operar. Saber o que pensam e esperam os actores, de uma formação, permite prognosticar a qualidade do resultado. Tentámos responder à seguinte questão: como implementar um dispositivo que permita avaliar as transformações relativas às concepções em matéria de avaliação?

FR:

Les années 80 ont produit de nombreux écrits traitant de la distinction entre la recherche, la recherche évaluative et l’évaluation de programme. S’il se dégageait alors un consensus, il est maintenant remis en question à cause d’enjeux de diverses natures. Le présent article vise à établir les distinctions plus particulièrement entre l’évaluation de programme et la recherche évaluative et ainsi contribuer au développement d’un corpus théorique qui est requis pour que l’évaluation de programme s’établisse comme une discipline scientifique (Dubois & Marceau, 2005). Si ces activités revêtent plusieurs similitudes – leur référence à une théorie du programme; les paradigmes et les méthodes – qui contribuent d’ailleurs à maintenir les confusions, il demeure que leurs visées réciproques offrent la meilleure perspective pour comprendre en quoi elles se distinguent.

EN:

The eighties were rich in writings, which made distinctions between research, evaluative research and program evaluation. There was then a consensus, which is now called in question for various considerations. The present article aims to establish distinctions between program evaluation and evaluative research and thus to contribute to the development of a theoretical, methodological and empirical corpus harmonized which is necessary so that the evaluation of program develops like a scientific discipline (Dubois & Marceau, 2005). If these activities have several similarities – their reference to a theory of the program, the paradigms and methodologies – which moreover contribute to maintain confusions, their specific aims still offer the best perspective to understand in what manner they differ.

PT:

Os anos 80 foram ricos em escritos sobre a distinção entre a investigação, a investigação avaliativa e a avaliação de programas. O consenso então encontrado é, agora, posto em causa por desafios de naturezas diversas. O presente artigo visa estabelecer as distinções nomeadamente entre a avaliação de programas e a investigação avaliativa e, assim, contribuir para o desenvolvimento de um corpus teórico que é exigido para que a avaliação de programas se implante como uma disciplina científica (Dubois & Marceau, 2005). Ainda que ambas as actividades tenham várias similitudes – a sua referência a uma teoria do programa; os paradigmas e as metodologias – que, aliás, contribuem para manter as confusões, continua a ser válido que são os objectivos recíprocos que oferecem a melhor perspectiva para compreender em que é que as abordagens se distinguem.