Volume 34, Number 2, 2011

FR:

L’objet du premier article de ce numéro spécial est de présenter les caractéristiques relatives à la population visée, à la fréquence de passation et aux types de données récoltées dans douze programmes d’enquêtes à large échelle. Les objectifs des versions les plus récentes de ces programmes sont détaillées ainsi que la manière dont les disciplines sont évaluées.

EN:

The objective of the first article in this special issue is to present characteristics for target population, frequency of administration and data collected in twelve large-scale assessment programs. Relatively to the latest versions of these programs, objectives and the ways disciplines are assessed are presented with deeper details.

PT:

O objetivo do primeiro artigo deste número especial é o de apresentar as características relativas à população visada, à frequência de administração e aos tipos de dados recolhidos em doze programas de inquéritos em grande escala. Os objetivos das versões mais recentes destes programas são detalhados, bem como a maneira através da qual as disciplinas são avaliadas.

FR:

Cet article vise à expliquer les principes méthodologiques sous-jacents à l’élaboration et à la mise en oeuvre des enquêtes internationales dans le domaine de l’éducation. Plus spécifiquement, ce sont les épreuves de rendement disciplinaires qui sont abordées et non pas les questionnaires contextuels. À cette fin, le développement du cadre de référence, le choix des tâches et des items, l’essai de terrain, le plan d’évaluation ainsi que la définition de la population de référence et le plan d’échantillonnage sont décrits. De plus, les aspects psychométriques de base sont abordés : modélisations issues de la théorie de la réponse à l’item utilisées ; méthodes d’estimation des paramètres et particularités propres à ces enquêtes ; qualité des mesures obtenues.

EN:

This paper explains methodological principles specific to the elaboration and application on international educational surveys. More specifically, performance test construction is considered but not contextual questionnaires. To this end, the development of the reference context, the choice of tasks and items, the population definition and the sample design are described. Also, psychometric aspects are explained: item response theory models; parameter estimation and specific characteristics of these surveys; measurement quality.

PT:

Este artigo visa explicar os princípios metodológicos subjacentes à elaboração e à realização de inquéritos internacionais no domínio da educação. Mais especificamente, são abordadas as provas de rendimento disciplina e não os questionários contextuais. Neste sentido, são descritos os seguintes aspetos: o desenvolvimento do quadro de referência, a escolha das tarefas e dos itens, o plano de avaliação e a definição da população de referência e o plano de amostragem. Além disso, os aspetos psicométricos de base são abordados: modelizações da teoria de resposta ao item utilizada; métodos de estimativa de parâmetros e particularidades próprias destes inquéritos; qualidade da medição obtida.

FR:

Le choix de la méthode à l’origine d’une enquête internationale n’est pas qu’une question d’ordre technique ou scientifique mais a des implications politiques majeures. Dans une perspective de sociologie qualitative de l’action publique, cet article analyse les fonctions politiques remplies par la méthode au fondement du programme PISA de l’OCDE entre 1995 et 2008 à travers l’expérience particulière de la France. L’article met en évidence que les fonctions politiques remplies par la méthode diffèrent selon les étapes de l’instrumentation de l’action publique. Lors de la conception de l’enquête, la méthode constitue un outil puissant de problématisation de l’action publique. Lors de sa mise en oeuvre, elle remplit une fonction de contrôle social. La réception de PISA en France enfin montre que la méthode a un pouvoir très important de structuration du débat public dans la mesure où elle prédétermine fortement les usages politiques et cognitifs qui peuvent en être faits.

EN:

Choosing the method at the basis of an international survey is not only a technical or a scientific issue since the method has deep political implications. This article analyses the political functions carried out by the method at the origin of the OECD’s PISA program through the particular national experience of France (1995-2008). Adopting the standpoint of a qualitative sociology of education policies, it shows that the political functions of the method are different according to the sequences of the policy process. During the conception of PISA at the international level, the method strongly contributes to formulate the problems that must be addressed, how and by who. During the implementation in France, the method is a powerful tool of social control. Concerning the reception of PISA in France, the method highly structures the national policy debate by predetermining the possible cognitive and political uses of the survey.

PT:

A seleção de um método para a realização de um inquérito internacional não é apenas uma questão de ordem técnica ou científica, é também uma questão com implicações políticas significativas. Numa perspetiva de sociologia qualitativa da ação pública, este artigo analisa as funções políticas do método que está na base do programa PISA da OCDE entre 1995 e 2008 através da experiência particular da França. O artigo evidencia que as funções políticas do método diferem segundo as etapas da instrumentação da ação pública. Durante a conceção do inquérito, o método constitui um instrumento que contribui intensamente para a problematização da ação pública. Durante a implementação, o método realiza uma função de controlo social. A receção do PISA em França mostra, no final de contas, que o método tem um poder muito importante na estruturação do debate público, na medida em que pré-determina fortemente os seus usos políticos e cognitivos.

FR:

Le présent article analyse les changements qui ont été introduits dans les enquêtes comparatives internationales (plus spécifiquement celles de l’OCDE) par suite de l’introduction du testing assisté par ordinateur. On passera en revue les différents instruments de mesure administrés par ordinateur qui ont été utilisés dans les différents cycles de ces enquêtes et on discutera si elles ont réellement impliqué une valeur ajoutée, notamment par le fait de fournir des données sur des compétences qui sont inaccessibles à travers des instruments classiques sous format papier-crayon. On analysera également les relations spécifiques que les mesures assistées par ordinateur entretiennent avec des variables d’arrière-fond tel le genre. Finalement, l’article mettra en évidence les défis et les risques qui sont associés avec une introduction de plus en plus massive d’instruments de mesure assistés par ordinateur, notamment en ce qui concerne deux aspects majeurs: la nécessité de garder une continuité dans les compétences mesurées en vue de mettre en évidence des évolutions, et le manque de cadres théoriques adéquats pour la mise en oeuvre efficace des mesures assistées par ordinateur.

EN:

The present article analyzes the changes that have been introduced in comparative international large-scale studies (specifically those organized by the OECD) as a consequence of the introduction of computer-assisted testing. We will review the various measurement instruments that have been administered by computer in the different cycles of these large-scale studies and we will discuss whether their introduction implied a real added value, notably by providing information on competencies that are inaccessible through classical paper and pencil tests. We will also analyze the specific relationship that the computer-assisted measures show with background variables, such as gender. Finally, the article will point out the challenges and risks associated with a more and more extensive introduction of computer-assisted measurement instruments, especially regarding two major aspects: the necessity to keep a certain stability in the measured competencies in view of reporting trends, and the lack of adequate theoretical frameworks for the efficient use of the computer-assisted measures.

PT:

O presente artigo analisa as mudanças que foram introduzidas nos inquéritos comparativos internacionais (mais especificamente os da OCDE) na sequência da introdução do testing assistido por computador. Passar-se-á em revista os diferentes instrumentos de medida administrados por computador que foram utilizados nos diferentes ciclos destes inquéritos e discutir-se-á se eles implicaram realmente um valor acrescentado, nomeadamente pelo facto de fornecerem dados sobre as competências que são inacessíveis através dos instrumentos clássicos em formato papel e lápis. Analisar-se-á igualmente as relações específicas que as medições assistidas por computador estabelecem com as variáveis de background, como é o caso do género. Finalmente, o artigo evidenciará os desafios e os riscos que estão associados a uma introdução cada vez mais massiva de instrumentos de medida assistidos por computador, designadamente no que respeita a dois aspetos maiores : a necessidade de garantir uma continuidade nas competências medidas com vista a evidenciar as evoluções e a falta de quadros teóricos adequados para a operacionalização eficaz das medições assistidas por computador.