Mesure et évaluation en éducation
Volume 44, Number spécial, 2021 Translation Issue
Table of contents (5 articles)
-
Continuous assessment for learning: issues of multiple instances of peer feedback in a university course
Lucie Mottier Lopez, Céline Girardet and Taha Naji
pp. 1–32
AbstractEN:
In the context of continuous assessment for learning in a university course in French-speaking Switzerland, this article studies students’ perception when they receive multiple instances of peer feedback on a written academic assignment carried out in small collaborative groups. How do students, who are both assessees and assessors, perceive these multiple instances of feedback, especially when they are led to compare them to regulate their own initial work and their assessment skills? This article analyses in detail the processes and feelings at play when students notice similarities and differences between the instances of feedback they received and produced. Conceptual considerations are proposed around the notions of feedback, internal feedback, comprehensive feedback, and metafeedback, seen as contributing to the regulation and learning processes involved.
FR:
Dans le contexte d’une évaluation continue pour apprendre, expérimentée dans un cours universitaire en Suisse romande, l’article étudie la perception des étudiants quand ils reçoivent une pluralité de feedbacks des pairs à propos d’un travail réalisé en petits groupes collaboratifs. Comment les étudiants, qui sont à la fois évalués et évaluateurs, perçoivent-ils ces feedbacks multiples, notamment quand ils sont amenés à les comparer dans la perspective de réguler leur propre travail universitaire et leurs compétences évaluatives? L’article analyse finement les processus et les ressentis en jeu quand les étudiants constatent des similarités et des différences entre les feedbacks reçus et produits. Au regard des résultats obtenus, une réflexion conceptuelle est proposée autour des notions de feedback, de feedback interne, de feedback global et de métafeedback, qui contribuent aux processus de régulation et d’apprentissage générés.
PT:
No contexto de uma avaliação contínua para a aprendizagem, experimentada num curso universitário na Suíça francófona, o artigo estuda a perceção dos estudantes quando recebem uma pluralidade de feedbacks de colegas sobre o trabalho realizado em pequenos grupos colaborativos. Como é que os estudantes, que são ao mesmo tempo avaliados e avaliadores, percebem os feedbacks múltiplos, principalmente quando são levados a compará-los no âmbito da regulação do seu próprio trabalho académico e das suas competências avaliativas? O artigo analisa detalhadamente os processos e sentimentos em jogo quando os estudantes constatam as semelhanças e as diferenças entre os feedbacks recebidos e produzidos. Perante os resultados obtidos, propõe-se uma reflexão conceitual em torno das noções de feedback, feedback interno, feedback global e metafeedback, que contribuem para os processos de regulação e aprendizagem desencadeados.
-
Cultural adaptation and assessment of validity evidence for scores obtained using a French version of the Tolerance of Ambiguity in Medical Students and Doctors scale
Baptiste Motte, Grégory Aiguier, Pauline Reumaux, Gérard Forzy, Anthony Piermatteo, Guillaume Ficheux, Dominique Vanpee and Jean-Philippe Cobbaut
pp. 33–60
AbstractEN:
Preparing students to deal with and tolerate uncertainty or ambiguity is a major issue in medical education. There are many English-language scales to assess tolerance of uncertainty and ambiguity but no French-language scale has ever demonstrated validity evidence for its scores. We selected the Tolerance of Ambiguity in Medical Students And Doctors (TAMSAD) scale. Through a structured process, the original questionnaire was translated, culturally adapted, and assessed after being administered to a sampling of medical students. Test-retest reliability was verified by presenting the questionnaire to the students again after two months. The assessment of internal consistency revealed satisfactory value. Test-retest reliability is assessed by intraclass correlation that presents good reproducibility of scores obtained by students in first completion and second completion. These results indicate that the French version of the TAMSAD scale can be used to assess French medical students’ tolerance to ambiguity.
FR:
La formation à la gestion et à la tolérance à l’incertitude ou à l’ambiguïté dans le soin est un enjeu pédagogique majeur des études médicales. S’il existe de nombreux outils en anglais permettant l’évaluation de cette dimension, aucun questionnaire en français n’a jusqu’à présent fait l’objet d’une évaluation de ses preuves de validité. L’objectif de ce travail est de produire une version en français de l’échelle Tolerance of Ambiguity in Medical Students And Doctors (TAMSAD) et de présenter les preuves de validité sur les scores obtenus avec cette échelle. Le questionnaire original a d’abord été traduit, puis adapté culturellement. Cette version en français a été soumise à un échantillon d’étudiants en médecine afin de réaliser une analyse psychométrique reposant sur l’évaluation de la consistance interne. Le questionnaire a été passé à deux reprises par les mêmes étudiants afin de tester la stabilité test-retest. Les alphas de Cronbach, mesurés au test et au retest, reflètent une bonne consistance interne. La stabilité test-retest est vérifiée par des corrélations intraclasses dont les résultats sont en faveur d’une bonne reproductibilité des résultats à la première et à la seconde passations. Nos résultats indiquent que notre version en français de la TAMSAD peut être utilisée pour évaluer la tolérance à l’ambiguïté des étudiants en médecine.
PT:
A formação na gestão e na tolerância da incerteza ou ambiguidade no cuidado é um grande desafio pedagógico nos estudos médicos. Embora existam muitas ferramentas em inglês que permitem avaliar esta dimensão, nenhum questionário em francês foi até agora objeto de avaliação de sua validade. O objetivo deste trabalho é produzir uma versão francesa da escala Tolerance of Ambiguity in Medical Students And Doctors (TAMSAD) e apresentar as evidências de validade dos resultados obtidos com esta escala. O questionário original foi primeiramente traduzido e depois adaptado culturalmente. Esta versão francesa foi submetida a uma amostra de estudantes de medicina para a realização de uma análise psicométrica baseada na avaliação da consistência interna. O questionário foi aplicado duas vezes pelos mesmos estudantes para testar a estabilidade teste-reteste. Os alfas de Cronbach, medidos no teste e reteste, refletem uma boa consistência interna. A estabilidade teste-reteste é verificada por correlações intraclasse, cujos resultados suportam boa reprodutibilidade dos resultados na primeira e segunda rondas. Os nossos resultados indicam que a nossa versão francesa do TAMSAD pode ser usada para avaliar a tolerância à ambiguidade de estudantes de medicina.
-
ILSA: an automated language complexity analysis tool for French
Guillaume Loignon
pp. 61–88
AbstractEN:
Estimating language complexity is an important aspect of educational measurement and assessment that can be used, for instance, to control for unwanted variance due to language, or to provide students with texts that are conducive to learning. Automatic language processing techniques can be used to extract various linguistic features that reflect the complexity of vocabulary and sentence structure. In this paper, we present a new tool called ILSA (Integrated Lexico-Syntactic Analyzer), which we developed for research and educational applications. We summarize how the tool works and present the types of attributes it can extract. We then apply ILSA to 600 texts used in Quebec elementary and secondary schools and analyze the correlations between the attributes and the school grade associated with the text. The results show the potential of ILSA for modeling the complexity of French texts.
FR:
Estimer la complexité linguistique est un aspect important de la mesure et de l’évaluation de l’éducation qui peut servir, par exemple, à contrôler la variance indésirable attribuable à la langue ou à fournir aux élèves des textes propices à l’apprentissage. Des techniques de traitement automatique des langues permettent d’extraire différents attributs (features) qui reflètent la complexité du vocabulaire et de la structure des phrases. Dans cet article, nous présentons un nouvel outil appelé ALSI (Analyseur Lexico-Syntaxique Intégré). Nous résumons le fonctionnement de l’outil et présentons les types d’attributs qu’il peut extraire. Nous appliquons ensuite ALSI à 600 textes utilisés dans les écoles primaires et secondaires du Québec et analysons les corrélations entre les attributs et le niveau scolaire associé au texte. Les résultats montrent le potentiel d’ALSI pour la modélisation de la complexité des textes français.
PT:
Estimar a complexidade linguística é um aspeto importante da medição e da avaliação educacional que pode ser usado, por exemplo, para controlar a variação indesejada devido à linguagem ou para fornecer aos alunos textos que conduzam à aprendizagem. As técnicas de processamento automático de linguagem permitem extrair diferentes atributos (features) que refletem a complexidade do vocabulário e a estrutura das frases. Neste artigo, apresentamos uma nova ferramenta chamada ALSI (Analisador Léxico-Sintético Integrado). Resumimos o funcionamento da ferramenta e apresentamos os tipos de atributos que ela pode extrair. Em seguida, aplicamos o ALSI a 600 textos usados em escolas primárias e secundárias no Québec e analisamos as correlações entre os atributos e o ano letivo associado ao texto. Os resultados mostram o potencial do ALSI para a modelização da complexidade dos textos em francês.
-
Developing the PAOCS Scale (Perceptions and Attitude toward Oral Communication in Science) for Postsecondary Science Students
Simon Langlois and Caroline Cormier
pp. 89–128
AbstractEN:
The ability to communicate orally is important in science, but few tools assess students’ perceptions and attitude toward scientific oral communication in scientific programs. This research developed the Perceptions and attitude towards oral communication in science (PAOCS) questionnaire for postsecondary students with the theoretical model associated. A sample of 1,295 Quebec college students in a natural sciences program participated in this research, responding to the three versions of the questionnaire during the stages of its development. Principal component analyses (PCA) followed by a confirmatory factor analysis (CFA) made it possible to identify five factors for the PAOCS questionnaire: pleasure, anxiety, perceived relevance, and two aspects of self-efficacy (SEOCS), namely the Norms & Content SEOCS, which relates to the effectiveness in expressing oneself orally, and the Showmanship SEOCS , which describes rather how to be dynamic and capture the attention of the audience. The overall evaluation of the PAOCS shows that this questionnaire has good psychometric qualities and that the components obtained during the validation process support the theoretical model.
FR:
L’habileté à communiquer oralement est importante en sciences, mais peu d’outils évaluent les perceptions et l’attitude d’étudiants de programmes scientifiques envers la communication orale en sciences. Cette recherche propose la création, d’une part, d’un modèle théorique de la communication orale en sciences et, d’autre part, d’un questionnaire conforme à ce modèle intitulé Perceptions et attitude envers la communication orale en sciences (PACOS) pour des étudiants du postsecondaire. Un échantillon total de 1295 étudiants collégiaux québécois en sciences de la nature a participé à cette recherche en répondant aux trois versions successives du questionnaire PACOS tout au long de son élaboration. Cinq facteurs ont été identifiés par des analyses en composantes principales (ACP) et par une analyse factorielle confirmatoire (AFC), soit le plaisir, l’anxiété, la perception de la pertinence ainsi que deux aspects du sentiment d’efficacité personnelle lors d’une communication orale en sciences (SEPCOS) qui ont émergé lors de l’élaboration du questionnaire : le SEPCOS « normes et contenu », qui porte sur l’efficacité à bien s’exprimer oralement, et le SEPCOS « sens du spectacle », qui décrit plutôt la façon d’être et de capter l’attention du public. L’évaluation globale du PACOS montre que ce questionnaire a de bonnes qualités psychométriques et que les facteurs obtenus lors du processus de validation soutiennent le modèle théorique.
ES:
A capacidade de comunicar oralmente é importante em ciências, mas poucas ferramentas avaliam as perceções e atitudes dos alunos em programas científicos em relação à comunicação oral em ciências. Esta investigação propõe a criação, por um lado, de um modelo teórico de comunicação oral em ciências e, por outro, de um questionário de acordo com esse modelo intitulado Perceções e atitude em relação à comunicação oral em ciência (PACOS) para estudantes do pós-secundário. Uma amostra total de 1.295 estudantes universitários de ciências naturais do Quebeque participou nesta investigação, respondendo a três versões sucessivas do questionário PACOS ao longo da sua elaboração. Cinco fatores foram identificados através de análises de componentes principais (PCA) e por uma análise fatorial confirmatória (CFA), a saber, prazer, ansiedade, perceção de relevância, bem como dois aspetos do sentimento de autoeficácia durante a comunicação oral em ciências (SEPCOS) que surgiram durante a elaboração do questionário: o SEPCOS «normas e conteúdo», que diz respeito à eficácia de se expressar oralmente, e o SEPCOS «sentido do espetáculo», que descreve antes o modo de ser e de captar a atenção do público. A avaliação global do PACOS mostra que este questionário possui boas qualidades psicométricas e que os fatores obtidos durante o processo de validação corroboram o modelo teórico.
-
Development of the SMIQ questionnaire measuring interest, sense of self-efficacy and perception of the links existing between mathematics and science in an integrated context
Nathan Béchard, Simon Langlois, Guillaume Poliquin and Stéphane Cyr
pp. 129–165
AbstractEN:
The integration of academic disciplines such as science and mathematics (M&S) can help foster students’ interest and sense of self-efficacy (S-E). However, few questionnaires appear to have been developed to measure these perceptual variables in this type of context. Nor do any appear to exist that are suitable for elementary students from low-income and multicultural schools. This article reports the results of the validation process of such a questionnaire comprising six scales conducted among 1,553 Grade 5 or 6 students from schools in Canada’s Montréal area. In its final version, the Science and Mathematics Integration Questionnaire (SMIQ) measures six perceptual variables: S-E in science, S-E in mathematics, interest in science, interest in mathematics, interest in integrated M&S activities and perception of the links between science and mathematics. To our knowledge, the last two variables have never been measured and the proposed scales to measure them are new.
FR:
L’intégration de disciplines scolaires telles que les sciences et la mathématique (S-M) permet de favoriser l’intérêt des élèves et le sentiment d’efficacité personnelle (SEP). Cependant, peu de questionnaires semblent avoir été développés pour mesurer ces variables perceptuelles dans ce type de contexte. Il ne semble pas non plus en exister qui soient adaptés pour les élèves du primaire au sein d’écoles défavorisées et multiculturelles. Cet article rapporte les résultats du processus de validation d’un tel questionnaire comprenant six échelles auprès de 1553 élèves de 5e ou 6e année dans des écoles de la région de Montréal, au Canada. Dans sa version finale, le Questionnaire sur l’intégration de la mathématique et des sciences (QIMS) permet de mesurer six variables perceptuelles : le SEP en sciences, le SEP en mathématique, l’intérêt pour les sciences, l’intérêt pour la mathématique, l’intérêt pour les activités intégrées S-M ainsi que la perception du lien entre sciences et mathématique. À notre connaissance, les deux dernières variables n’ont jamais été mesurées et les échelles proposées pour les mesurer sont inédites.
PT:
A integração de disciplinas escolares como as ciências e a matemática (C-M) ajuda a fomentar o interesse dos alunos e o sentimento de autoeficácia (SAE). No entanto, poucos questionários parecem ter sido desenvolvidos para medir estas variáveis perceptivas neste tipo de contexto. Nem parecem existir questionários que sejam adequados para os alunos do ensino básico em escolas desfavorecidas e multiculturais. Este artigo relata os resultados do processo de validação deste questionário composto por seis escalas com 1553 alunos dos 5º ou 6º anos nas escolas da região de Montreal, Canadá. Na sua versão final, o Questionário sobre a integração da matemática e das ciências (QIMC) permite medir seis variáveis perceptivas: o SAE em ciências, SAE em matemática, interesse nas ciências, interesse na matemática, interesse em atividades integradas C-M, bem como a perceção da ligação entre a ciência e a matemática. Tanto quanto sabemos, as duas últimas variáveis nunca foram medidas e as escalas propostas para medi-las são novas.