Volume 33, Number 2, 2010

FR:

Le présent article expose les qualités psychométriques de l’adaptation de deux questionnaires destinés à des élèves francophones, qui évaluent les stéréotypes de genre en mathématiques, d’une part, et les stéréotypes de genre en français, d’autre part. Les résultats de deux études comprenant des élèves de sixième année du primaire, de deuxième et de quatrième secondaire [n (Étude 1) = 169 ; n (Étude 2) = 1 138] montrent que les instruments adaptés offrent une consistance interne élevée ainsi qu’une bonne validité concomitante. De plus, des analyses factorielles exploratoires et confirmatoires ont révélé une structure reflétant les sous-échelles adaptées et procurant de bons indices d’ajustement aux données. Les questionnaires proposés présentent donc des qualités psychométriques satisfaisantes.

EN:

This article examines the psychometric properties of the adaptation of two questionnaires addressed to French-speaking students, which evaluate gender stereotypes regarding mathematics and gender stereotypes regarding French. Results of two studies comprising grade six, eight and ten students [n (Study 1) = 169; n (Study 2) = 1 138] showed that the adapted instruments offer a high internal consistency, and a good concomitant validity. In addition, results of exploratory and confirmatory factor analyses revealed a structure corresponding to the adapted subscales, and adequately reflecting the data. In summary, the adapted questionnaires are psychometrically sound.

PT:

Este artigo apresenta as qualidades psicométricas de dois questionários destinados a alunos francófonos que avaliam, por um lado, os estereótipos de género em matemática e, por outro lado, os estereótipos de género em francês. Os resultados dos dois estudos que foram realizados com alunos do 6.º, 8.º e 10.º anos de escolaridade [nº (Estudo 1) = 169; nº (Estudo 2) = 1º138] mostram que os instrumentos adaptados oferecem uma consistência interna elevada, bem como uma boa validade concomitante. Acresce que as análises factoriais exploratórias e confirmatórias revelaram uma estrutura que reflecte as sub-escalas adaptadas e bons índices de ajustamento aos dados. Em suma, os questionários propostos apresentam qualidades psicométricas satisfatórias.

FR:

Bien des épreuves pédagogiques, contrôlant périodiquement les connaissances et compétences des apprenants, se présentent comme des tests de maîtrise. Elles visent en effet l’évaluation des acquis fixés comme objectifs par le plan d’études et sont souvent jugés comme des prérequis pour la suite des apprentissages. Nous montrerons en introduction que les approches fréquemment utilisées pour l’élaboration de ce type d’épreuves sont peu adéquates, incitant en particulier à écarter abusivement les items « trop bien réussis », tout aussi intéressants que les autres pour le didacticien. Nous illustrerons ensuite par un exemple détaillé (un examen de grammaire au niveau universitaire) l’intérêt du modèle de la généralisabilité. Il permet en effet de vérifier la qualité docimologique majeure d’un test de maîtrise : sa capacité à distinguer de façon fiable les apprenants qui satisfont ou non au critère de réussite fixé. Il apporte en outre toutes sortes de renseignements utiles pour la mise au point de l’épreuve et pour son interprétation.

EN:

Many pedagogical assessments controlling knowledge and competences present themselves as mastery tests. They indeed intend to evaluate achievement stated as objectives to attain by the curriculum, and are often considered as a prerequisite to further learning. Firstly, we demonstrate that the methods frequently used in the elaboration of these kinds of tests are hardly adequate. They strongly encourage eliminating of «too easy» items, although these can be of as great an interest as others to the didactician. We then illustrate the advantages of the generalizability model, using a detailed example (a grammar exam at University level). This model allows us to control the major docimological quality of a mastery test: its capacity to reliably differentiate learners who attain the set cut score from those who do not. It further offers a range of useful information for the development and the interpretation of the test.

PT:

Muitas provas de avaliação pedagógica que controlam periodicamente os conhecimentos e competências dos alunos apresentam-se como testes de maestria. Estas provas visam, com efeito, a avaliação das aprendizagens definidas como objectivos pelo plano de estudos e muitas vezes consideradas como pré-requisitos para futuras aprendizagens. Em primeiro lugar, demonstraremos que as abordagens frequentemente utilizadas para a elaboração deste tipo de provas são pouco adequadas, incentivando em particular a eliminar abusivamente os itens “mais fáceis”, os quais são tanto ou mais interessantes que os outros. De seguida, ilustraremos através de um exemplo detalhado (um exame de gramática no ensino universitário) o interesse do modelo da generalizabilidade. Com efeito, este modelo permite verificar a qualidade docimológica de um teste de maestria: a sua capacidade de distinguir de modo fiável os alunos que satisfazem ou não o critério de sucesso fixado, contribuindo ainda com um conjunto de informações úteis para o desenvolvimento e interpretação do próprio teste.

FR:

L’objectif de la présente étude est de déterminer dans quelle mesure deux sources d’information, en l’occurrence les parents et les enfants, répondent de façon identique à des items communs portant sur la vie familiale. Plus d’un millier de couples de répondants parents/enfant se sont ainsi positionnés par rapport à une centaine d’items. Dans la plupart des cas, les analyses de concordance menées mettent en évidence le faible degré d’accord entre les deux sources d’information. Les écarts observés peuvent être expliqués par différents facteurs : sujet traité, écart systématique entre parents et enfants, fréquence des comportements-cibles et âge des enfants.

EN:

The aim of this study to verify if two sources of information (parents and children) respond similarly to common items on family life. More than a thousand parent/child pairs responded to a hundred items. In most cases, correlation analysis shows a low level of agreement between the two sources of information. Differences can be explained by several factors: subject matter, systematic gap between parents and children, frequency of target behaviors and age of children.

PT:

O objectivo do presente estudo é determinar em que medida duas fontes de informação (pais e crianças) respondem do mesmo modo a itens comuns sobre a vida familiar. Mais de um milhar de pares de pais/criança responderam a uma centena de itens. na maior parte dos casos, as análises de concordância realizadas evidenciam o fraco grau de acordo entre as duas fontes de informação. As diferenças observadas podem ser explicadas devido a diferentes factores: o assunto tratado, a diferença sistemática entre pais e filhos, a frequência dos comportamentos-alvo e a idade das crianças.

FR:

Les enquêtes par questionnaire auto-administré sont un des principaux instruments de cueillette de données utilisés par les chercheurs en éducation et en sciences sociales en général. Or, il peut être difficile de créer une question qui sera interprétée de la même façon par tous les répondants et qui répondra ainsi aux objectifs des chercheurs. Un changement de mots peut avoir un impact sur la signification d’un item, mais il est aussi possible qu’il n’y ait pas d’impact ; tout dépend du changement apporté. Par ailleurs, depuis les premières études portant sur la formulation des items dans les enquêtes par questionnaire, de nouveaux modèles de mesure ont été élaborés. C’est le cas, notamment, de la famille des modèles de Rasch. L’objectif de cet article est d’illustrer comment les développements entourant un modèle de mesure de la famille des modèles de Rasch, notamment le modèle polytomique de Andrich, peuvent être mis à contribution pour étudier la portée relative de la formulation des items sur les réponses obtenues à l’aide de questionnaires d’enquête.

EN:

Self-administered survey questionnaires are a primary source of data collection in education and in the social sciences in general. It is often difficult to create a question which will be interpreted in the same way by all respondents and then meet the researcher’s goals. A change of wording can influence the meaning of an item, but it is also possible that there would be no influence at all; it all depends on the changes made. Besides, since the first studies related to items’ wording in survey questionnaires, new measurement models were developed. This is the case notably for measurement models from the Rasch family. The goal of this paper is to illustrate how the developments surrounding a measurement model from the Rasch family, namely Andrich’s model for polytomous data, can be put at contribution to study the relative impact of items’ wording on the responses obtained in survey questionnaires.

PT:

Os inquéritos por questionário auto-administrados são um dos principais instrumentos de recolha de dados utilizados pelos investigadores em educação e nas ciências sociais em geral. Ora, é difícil conceber uma questão que seja interpretada da mesma maneira por todos os respondentes e que, desse modo, responda aos objectivos dos investigadores. Uma mudança de palavras pode ter um impacto sobre o significado de um item, mas também pode acontecer que não tenha impacto nenhum, tudo dependendo da mudança realizada. de resto, depois dos primeiros estudos sobre a formulação de itens nos inquéritos por questionário, foram elaborados novos modelos de medida, como é o caso da família de modelos de Rasch. O objectivo deste artigo é ilustrar como os desenvolvimentos em torno de um modelo de medida da família de modelos de Rasch, designadamente o modelo politómico de Andrich, pode dar um contributo no estudo do impacto relativo da formulação de itens sobre as respostas obtidas com a ajuda de inquéritos por questionário.