Volume 36, Number 2, 2013

FR:

Depuis plusieurs années, la formation des enseignants en Suisse a vu la mise en oeuvre de curricula basés sur une logique d’acquisition de compétences professionnelles. La Haute École pédagogique de Fribourg certifie le parcours de ses étudiants par le biais d’évaluations par tâches complexes réparties au cours de la formation de niveau Baccalauréat. La recherche présentée s’intéresse aux représentations développées par les étudiants à propos de ce mode d’évaluation, et plus précisément au sens qu’ils attribuent à cette modalité d’évaluation rarement rencontrée dans leur parcours scolaire. L’analyse qualitative met en évidence un mode d’évaluation perçu comme fortement producteur de sens malgré une connaissance souvent lacunaire des critères d’évaluation institutionnels. La mise en évidence d’apprentissages réalisés par les étudiants dans ce cadre suscite un questionnement quant à la validité des tâches proposées, ainsi qu’une réflexion au sujet de la frontière entre évaluation formative et évaluation sommative, dans un contexte d’évaluation par tâches complexes.

EN:

For several years, curricula based on the acquisition of professional skills were implemented in the training of teachers in Switzerland. The University of Teachers Education of Fribourg certifies students through assessments with complex tasks throughout the three years of training. Our research focuses on representations of students about this form of assessment, and more specifically on the meaning they attribute to this innovative process, which they rarely encountered in their previous school careers. The qualitative analysis reveals that this assessment method is perceived as meaningful, despite the fact that students often lack know - ledge of institutional assessment criteria. Furthermore, it suggests that learning achieved by students in this context raises questions as to the validity of the proposed tasks. Finally, we discuss its implications on the distinction between formative and summative assessment in the context of assessment of complex tasks.

PT:

Durante muitos anos, a formação de professores na Suíça assistiu à implementação de curricula baseados numa lógica de aquisição competências profissionais. a Escola Superior de Educação de Friburgo certifica o percurso destes estudantes através da avaliação das tarefas complexas distribuídas ao longo do Bacharelato. a investigação aqui apresentada debruça-se sobre as representações construídas pelos estudantes sobre este modo de avaliação e, mais precisamente, sobre o sentido que eles atribuem a esta modalidade de avaliação pouco comum no seu percurso escolar. a análise qualitativa coloca em evidência um modo de avaliação que é percebido como sendo fortemente produtor de sentido, apesar da ausência de um conhecimento dos critérios de avaliação institucionais. a evidenciação das aprendizagens realizadas pelos estudantes neste quadro suscita um questionamento sobre a validade das tarefas propostas, bem como uma reflexão sobre a fronteira entre a avaliação formativa e a avaliação sumativa num contexto de avaliação por tarefas complexas.

FR:

Cet article synthétise les différents outils disponibles pour mesurer la coopération en contexte scolaire, d’une part, et les avantages et limites qui s’y rattachent, d’autre part. L’examen de près de 230 documents a révélé trois principales catégories de mesures : les questionnaires, l’observation en classe et le jeu de l’investissement. En dépit de certains biais potentiels, la simplicité des questionnaires et leur durée d’administration brève en font une option intéressante pour mesurer les attitudes coopératives. Les pratiques d’observation offrent une validité écologique accrue, mais leur potentiel à produire une mesure généralisable de la tendance individuelle à coopérer reste à démontrer. Le jeu de l’investissement procure des indices directs de la coopération, tout en contournant certains biais relatifs à sa mesure. ainsi, malgré le coût élevé relatif à son administration, cette tâche constitue une piste intéressante pour les chercheurs en éducation désireux d’évaluer la coopération entre les élèves.

EN:

This article summarizes the different instruments available to assess cooperation in school settings, on the one hand, and the pros and cons related to them, on the other hand. Examination of almost 230 documents revealed that three principal categories of measures are available: questionnaires, classroom observations, and trust games. aside from some potential biases, the simplicity of questionnaires and their brief administration time render them a relevant option to measure cooperative attitudes. Classroom observation practices offer a high ecological validity but their potential to produce a generalizable measure of the individual tendency to cooperate still needs to be demonstrated. Trust games provide direct indices of cooperation while avoiding certain biases related to its measure. Therefore, despite the high cost related to its administration, this task constitutes an inte - resting avenue for educational researchers who wish to evaluate cooperation among students.

PT:

Este artigo sintetiza os diferentes instrumentos disponíveis para medir a cooperação em contexto escolar, por um lado, e as vantagens e os limites da sua utilização, por outro. O exame de quase 230 documentos revelou três categorias principais de medidas: os questionários, a observação em sala de aula e o jogo do investimento. apesar de certos desvios potenciais, a simplicidade e a breve duração de administração dos questionários fazem deles uma opção interessante para medir as atitudes cooperativas. as práticas de observação oferecem uma validade ecológica acrescida, mas o seu potencial para produzir uma medida generalizável da tendência individual para cooperar ainda está por demonstrar. O jogo do investimento procura índices diretos de cooperação, contornando certos desvios relativos à sua medição. assim, não obstante o elevado custo da sua administração, esta tarefa constitui uma pista interessante para os investigadores em educação desejosos de avaliar a cooperação entre os alunos.

FR:

Selon le MELS (2008, 2010), 30 % des élèves inscrits dans un programme deformation professionnelle (FP) au Québec n’obtiennent pas leur diplôme. Cettesituation est confirmée par les directeurs et les enseignants de la formation professionnelle,particulièrement lorsque le programme inclut des contenus ma thé -matiques comme, par exemple, en construction. La présente étude a donc pourobjectif de mieux définir la nature des difficultés en mathématique des élèves dela formation professionnelle. En utilisant la modélisation de rasch, l’étude hiérarchiseles besoins de diagnostic en mathématique tels que perçus par les enseignantset directions des établissements scolaires qui ont rempli un questionnaire.Les résultats mettent en évidence les difficultés des élèves dans plusieursdomaines de la mathématique ainsi que les besoins de diagnostic, notamment ence qui a trait au raisonnement logique, aux techniques de calcul, aux démarchesnécessitant plusieurs étapes et à la compréhension de l’énoncé des problèmes.

EN:

According to the MELS (2008, 2010), 30% of students enrolled in a vocational training program (FP) in Quebec drop out or fail in their program of study. This is confirmed by principals and teachers of vocational training, especially when the program includes mathematical content, such as construction. This study therefore aims to better define the nature of difficulties in mathematics for students in vocational training. Using rasch modeling, the study prioritizes diagnostic purposes in mathematics as perceived by teachers and school departments who completed a questionnaire. The results highlight the difficulties of students in several areas of mathematics and diagnostic purposes in particular with respect to logical reasoning, calculation techniques, approaches requiring multiple steps and understanding of the problem statement.

PT:

Segundo o MELS (2008, 2010), 30% dos alunos inscritos em um programa de formaçao profissional (FP) do Quebec evadem ou sao reprovados nos estudos. Esta situaçao é confirmada pelos diretores e pelos professores da formaçao profissional, especialmente em situaçoes em que o programa inclui conteudos de matematica, como é o caso da area de construçao civil. O presente estudo visa a melhor definir a natureza das dificuldades em matematica de alunos da formaçao professional. À partir da utilizaçao da modelizaçao de rasch, o estudo hierarquiza as necessidades de diagnostico em matematica, tal como percebido pelos professores e diretores de estabelecimentos escolares que preencheram o questionario. Os resultados evidenciam as dificuldades dos alunos em diversas areas da matematica, assim como necessidades de diagnostico, principalmente no que tange ao raciocinio logico, às técnicas de calculo, aos procedimentos matematicos compostos por varias etapas e à compreensao do enunciado dos problemas.

FR:

La présence de réponses aberrantes est habituellement détectée par l’utilisation d’indices d’ajustement permettant de déterminer si le patron de réponses est inapproprié par rapport aux caractéristiques du test. Cette approche nécessite cependant une préestimation des paramètres d’items qui est souvent réalisée sur le même ensemble de données. La présence de réponses aberrantes pourrait donc influencer le processus de calibration et la détection de patrons inappropriés. Cet article présente un processus itératif pour réduire le risque d’une calibration biaisée causée par la présence de réponses aberrantes. La démarche consiste à retirer successivement les patrons identifiés comme inappropriés du processus de calibration des items. Ce processus est illustré en analysant les données d’un test de classement en anglais langue seconde (TCaLS-II) au Québec. L’application du processus itératif aux données met en évidence une augmentation du nombre de patrons de réponses détectés comme inappropriés, présentant un impact relativement faible sur les paramètres d’items estimés et un nombre restreint d’itérations nécessaires pour obtenir une convergence du processus itératif.

EN:

The presence of response disturbances or aberrant response patterns is often assessed by the computation of person fit indexes. These indicate whether a pattern, as a whole, can be considered as abnormal with respect to the test characteristics. However, most often they require item parameters to be pre-calibrated and this calibration is performed upon the same data set. The presence of response disturbances might therefore impact the item calibration process and subsequently, the identification of person misfit. This paper presents a straightforward iterative process to reduce the risk of unfair item calibration due to the presence of response disturbances. The idea consists in iteratively removing the patterns flagged as aberrant from the item calibration process, and re-computing the person fit indexes with newly calibrated parameters. The process is illustrated by analyzing the data from an English skill assessment questionnaire in Quebec. applying the process to these data reveals: an increase in the number of response patterns flagged as aberrant, a somewhat weak impact on estimated item parameters, with a limited number of iterations required to reach convergence of the iterative process.

PT:

A presença de respostas aberrantes é habitualmente detetada pela utilização de índices de ajustamento que permitem determinar se o padrão de respostas é inapropriado em relação às características do teste. no entanto, esta abordagem necessita de uma pré-estimativa dos parâmetros de itens que é realizada sobre o mesmo conjunto de dados. a presença de respostas aberrantes poderia, assim, influenciar o processo de calibração e a deteção de padrões inapropriados. Este artigo apresenta um processo iterativo para reduzir o risco de uma calibração enviesada devido à presença de respostas aberrantes. O procedimento consiste em retirar sucessivamente os padrões identificados como inapropriados do processo de calibração dos itens. Este processo é ilustrado pela análise dos dados de um teste de avaliação de competências de Inglês como segunda língua (TCaLSII) no Quebeque. a aplicação do processo iterativo aos dados coloca em evidência um aumento do número de padrões de respostas detetadas como inapropriadas, apresentando um impacto relativamente fraco sobre os parâmetros dos itens estimados e um número restrito de iterações necessárias para obter uma convergência do processo iterativo.

FR:

Un modèle de compétence en lecture intégrant des aspects motivationnels (perceptionde ses difficultés et progrès) et une mesure d’attitudes envers la lecturea été testé dans le cadre des évaluations externes en Belgique francophone. Validéauprès de deux échantillons contrastés d’adolescents, ce modèle confirme le rôledes perceptions de soi comme lecteur sur le développement des attitudes enversla lecture. Ces dernières constituent, quant à elles, une charnière en lien directavec les performances. Ces résultats amènent à proposer des pistes et des outilsdidactiques incluant un travail sur l’efficacité de ses processus de lecteur et uneanalyse réflexive de ce qui rend un texte difficile pour un lecteur particulier

EN:

A reading comprehension model including motivational (self efficacy) and attitudinalcomponents has been validated in the context of external assessment inBelgium (French speaking regions). This model has been validated among twocontrasted samples of eleventh grade students. This model underlines the keyrole of reading self-efficacy on reading attitudes. These ones are directly correlatedwith reading achievement. Our results lead to develop reading activitiesrelying on reading self-efficacy and on reflexive analysis of what makes a text difficultfor a particular reader.

PT:

Um modelo de competência de leitura que integra aspetos motivacionais (perceçãodas suas dificuldades e progressos) e uma medição de atitudes em relação àleitura foi testado no quadro das avaliações externas da Bélgica francófona.Validado junto de duas amostras contrastadas de adolescentes, este modelo confirmao papel das perceções de si mesmo como leitor no desenvolvimento de atitudesem relação à leitura e que estas últimas estão diretamente relacionadas coma competência de leitura. Estes resultados levam à proposta de pistas e de instrumentosdidáticos que incluem um trabalho sobre a eficácia destes processos deleitor e uma análise reflexiva do que torna um texto difícil para um leitor particular.