Volume 26, Number 1-2, 2003 Généralisabilité

FR:

Cet article présente la notion de généralisabilité, son origine dans les travaux psychométriques de Cronbach, son extension par symétrie à d’autres facettes que les questions, le déroulement d’une étude-G, ses résultats directs et leur utilisation possible pour améliorer la fidélité des mesures, dans la perspective des publications initiales de Cardinet, Tourneur et Allal.

EN:

This paper presents the concept of generalizability, its origin in Cronbach’s psychometric papers, its extension by symmetry to facets other than test questions, the successive steps of a G-study, their results and their possible use to improve the reliability of measures, in line with the initial publications of Cardinet, Tourneur and Allal.

PT:

Este artigo apresenta a noção de generalizabilidade, a sua origem nos trabalhos psicométricos de Cronbach, a sua extensão por simetria a diversos domínios para além do teste de questões, os vários passos de um estudo-G, os resultados directos destes e a sua possível utilização para melhorar a fidelidade das medidas, na perspectiva das publicações iniciais de Cardinet, Tourneur e Allal.

FR:

La généralisabilité est un modèle statistique particulièrement adéquat quand il s’agit de mettre au point des dispositifs visant à évaluer des apprentissages. Il permet de vérifier si l’instrument d’évaluation élaboré possède les qualités métrologiques nécessaires pour situer les résultats des apprenants sur l’échelle des performances attendues, donc par rapport à un barème critériel. Pour l’illustrer, nous prenons l’exemple d’un test de physique appliqué au début et à la fin d’un ensemble de cours en laboratoire sur la notion de chaleur. Nous donnons ainsi un échantillon des possibilités du modèle pour traiter quelques-uns des problèmes qui peuvent se présenter dans le cadre d’une séquence didactique.

EN:

Generalizability is a particularly adequate statistical model when it comes to refining devices for the evaluation of learning. It allows one to verify whether an evaluation instrument possesses the necessary psychometric properties to place learners’ results on a given scale, that is to say with respect to a previously defined criterion. To illustrate it, we have chosen the example of a physics test on the subject of heat, given at the beginning and the end of a series of laboratory courses. We present examples of the possibilities of the model for dealing with some of the problems that can arise in a didactical sequence.

PT:

A generalizabilidade é um modelo estatístico particularmente adequado quando se trata de preparar dispositivos que visam avaliar as aprendizagens. Ele permite verificar se o instrumento de avaliação elaborado, possui as qualidades metrológicas necessárias para situar os resultados dos aprendentes na escala dos desempenhos esperados, isto é, em relação a critérios previamente definidos. Para ilustrá-lo, tomamos o exemplo de um teste de física aplicado no princípio e no fim de um conjunto de cursos, em laboratório, sobre a noção de calor. Damos, assim, exemplos das possibilidades do modelo para tratar alguns dos problemas que se podem apresentar no quadro de uma sequência didáctica.

FR:

Cet article se centre sur une application de la théorie de la généralisabilité pour évaluer et optimiser des dispositifs d’enquête portant sur les acquisitions des élèves. Il décrit la façon dont l’analyse des réponses à l’une des enquêtes de mathématiques du Programme d’évaluation des acquis en Écosse a pu fonder les décisions prises au sujet de l’organisation des enquêtes futures sur ce sujet.

EN:

This paper focuses on an application of generalizability theory in evaluating and optimizing the design of pupil attainment surveys. It describes the way in which analysis of response data from one of the mathematics surveys conducted within Scotland’s Assessment of Achievement Programme informed decisions about the design of future surveys in this subject.

PT:

Este artigo centra-se na aplicação da teoria da generalizabilidade, para avaliar e optimizar os dispositivos de inquérito que incidem nas aquisições dos alunos. Descreve de que forma a análise das respostas a um dos inquéritos de matemática do Programa de avaliação dos adquiridos, na Escócia, fundamentou as decisões tomadas para a organização de futuros inquéritos sobre este tema.

FR:

Le modèle de la généralisabilité suggère une série de stratégies différentes pour vérifier si une personne progresse. Sa performance doit nécessairement être observée à deux occasions, puis comparée, mais on peut (ou non) généraliser son jugement à l’ensemble des critères qui opérationalisent les objectifs éducatifs, ou des indicateurs utilisés pour chaque critère, ou à toutes les conditions d’observation en ces deux occasions (ces trois facteurs étant emboîtés). Cinq dispositifs de mesure possibles sont présentés et discutés.

EN:

The generalizability model offers a number of different strategies for checking an individual’s progress. The individual’s performance is necessarily observed on two different occasions and then compared. But the resulting judgment may or may not be generalized over the criteria corresponding to the educational objectives, over the indicators associated with each criterion, or over the assessment conditions on the two occasions (these three factors being nested in one another). Five measurement designs are presented and discussed.

PT:

O modelo da generalizabilidade oferece uma série de estratégias diferentes paraverificar se uma pessoa progride. A prestação individual deve, necessariamente, ser observada em dois momentos distintos e depois comparada. Porém, o juízo pode (ou não) generalizar-se ao conjunto dos critérios que operacionalizam os objectivos educativos, aos indicadores utilizados para cada critério, ou a todas as condições de observação nestes dois momentos (estando estes três factores interligados). São apresentados e discutidos cinco dispositivos possíveis de medida.

FR:

L’étude confronte les méthodes d’analyse d’items mises au point en psychométrie classique et dans le modèle de la généralisabilité, du point de vue de l’optimisation de la fiabilité des mesures scolaires. Elle indique à cet effet quelle méthode utiliser si l’on veut accroître la fidélité ou encore réduire l’ampleur des fluctuations aléatoires affectant la mesure. Au-delà des résultats auxquels elle aboutit, l’étude soulève des questions que l’on pourrait examiner dans des recherches ultérieures.

EN:

This study compares the contribution of item analysis methods developed in classical psychometrics and in the context of generalizability theory for the optimization of the dependability of educational measures. To this end, it shows which method to use in order to increase reliability or to reduce the impact of random fluctuations affecting the measure. Apart from the conclusions reached, the study raises questions that could be addressed through further research.

PT:

Este estudo confronta os métodos de análise de itens desenvolvidos na psicometria clássica e no modelo da generalizabilidade, do ponto de vista da optimização da fiabilidade das medidas escolares. Para esse efeito ele indica o método a utilizar se se pretender aumentar a fidelidade ou reduzir a amplitude das flutuações aleatórias que afectam a medida. Para além dos resultados a que chega, o estudo levanta questões que poderão ser examinadas em investigações ulteriores.

FR:

L’objectif de cet article est de comparer empiriquement les modèles de mesure émanant de la théorie classique, de la théorie de la généralisabilité et de la théorie des réponses aux items. Après avoir traité des concepts de base qui caractérisent chacune de ces théories, le présent texte, s’appuyant sur les résultats d’un questionnaire d’attitude de neuf items administré à 3 600 sujets, compare les résultats des analyses métrologiques propres aux théories visées. La plupart des observations de nature métrologique faites à l’aide des résultats d’une analyse propre à une des théories peuvent être reproduites par les autres approches. Ces résultats suggèrent que même si elles paraissent conceptuellement distinctes, ces trois théories de la mesure ne peuvent que révéler les mêmes observations métrologiques de base.

EN:

The aim of this article is to compare empirically measurement models from classical test theory, generalizability theory and item response theory. First the basic concepts of these measurement theories are presented. Then, using an attitude questionnaire of nine items administered to 3 600 subjects, the results of the psychometrical analyses associated with each of the theories are compared. Most of the psychometrical observations associated with a measurement theory are reproduced by the other two approaches. These results suggest that, even if these theories seem conceptually different, they lead to the same conclusions about basic psychometrical observations.

PT:

O objectivo deste artigo é comparar empiricamente os modelos de medida que emanam da teoria clássica, da teoria da generalizabilidade e da teoria da resposta a itens. Após ter abordado os conceitos de base que caracterizam cada uma destas teorias, o presente texto, apoiando-se nos resultados de um questionário de atitudes com nove itens administrado a 3 600 sujeitos, compara os resultados das análises metrológicas inerentes às teorias visadas. A maior parte das observações de natureza metrológica, efectuadas com o auxílio da análise apropriada a uma das teorias, podem ser reproduzidas pelas outras abordagens. Estes resultados sugerem que, apesar de parecerem conceptualmente diferentes, estas três teorias da medida revelam as mesmas observações metrológicas de base.