Volume 47, Number spécial, 2024 Translation Issue

EN:

The credibility given to evaluation results by stakeholders remains a significant concern for evaluators. How do stakeholders, who are interested parties, perceive the evaluation process and the credibility of the generated results? This article presents the documented perceptions of stakeholders as to the credibility of the obtained results and the overarching process. These perceptions are then compared to evaluators’ points of view. The discourses converge on several levels; however,a potential divergence is underlined in the way stakeholders and evaluators come to understand the aim of the evaluation process. The analysis thus focuses on this divergence and its implications of the evaluation process in such a way that an innovative solution is submitted, which requires, nevertheless, a repositioning of the evaluators’ relationship to the approach and to stakeholders.

FR:

La crédibilité accordée aux résultats d’une évaluation par les parties prenantes demeure une préoccupation importante chez les personnes évaluatrices. Comment les parties prenantes, porteuses d’intérêts, perçoivent-elles la démarche évaluative et les résultats qu’elle génère comme crédibles ? L’article présente les résultats d’une recherche ayant permis de documenter la perspective des parties prenantes à cet égard. Discutés sous l’angle comparatif avec la perspective de la personne évaluatrice, les résultats indiquent que les discours convergent sur plusieurs plans, mais qu’une divergence potentielle peut être observée quant aux finalités poursuivies dans le cadre de l’évaluation. Les constats mettent en relief plusieurs questionnements réflexifs quant aux implications de cette divergence pour la pratique de l’évaluation, lesquels mènent à conclure avec une piste de solution innovante exigeant un certain repositionnement dans la façon d’approcher une évaluation et dans les relations avec les parties prenantes

PT:

A credibilidade atribuída aos resultados de uma avaliação pelas partes interessadas continua a ser uma preocupação importante para os avaliadores. Como é que as partes interessadas, que têm os seus próprios interesses, percebem o processo avaliativo e os resultados que dele decorrem como credíveis? O artigo apresenta os resultados de uma investigação que documentou a perspetiva das partes interessadas a este respeito. Discutidos numa perspetiva comparativa com a perspetiva do avaliador, os resultados indicam que os discursos convergem em vários aspetos, mas que pode ser observada uma potencial divergência quanto às finalidades pretendidas no âmbito da avaliação. As conclusões salientam várias questões reflexivas quanto às implicações desta divergência para a prática de avaliação, levando à proposta de uma solução inovadora que exige um reposicionamento na forma de abordar a avaliação e nas relações com as partes interessadas.

EN:

Research on spatial ability is interested in identifying the cognitive processes which characterise it. It has been related to success in science, technology, engineering, and mathematics. Completed as part of the French research project EXAPP_3D e-FRAN, our study has focused on measuring engineering freshmen’s spatial and 3-D modelling skills. Pen-and-paper tests are currently the most popular method used to measure spatial skills. Our research has shown that performance on these tests is not indicative of the skills targeted by the tests alone: Our first subjects reported a variety of solving strategies. The sensitivity of spatial tests to bypass strategies, in the sense that those used do not correspond to the skills targeted by the test, presents the challenge of defining an experimental protocol that characterises both the performance measured in these tasks, as well as the skills they engage. This article presents a mixed methodology which addresses this twofold issue.

FR:

La recherche sur les habiletés spatiales s’intéresse à qualifier les processus cognitifs qui la caractérisent. Dans le cadre du projet e-FRAN EXAPP_3D, notre recherche s’est portée sur la mesure des habiletés spatiales et des compétences de modélisation volumique d’étudiants ingénieurs primo-arrivants. Pour ce faire, nous avons investigué la mesure des habiletés spatiales la plus fréquemment observée dans les études contemporaines, c’est-à-dire les tests papier-crayon. Notre recherche a mis en évidence que la performance relevée dans ces tests n’est pas révélatrice des seules compétences visées : nos premiers entretiens ont révélé une pluralité de stratégies (cognitives, comportementales) mobilisées. Cette sensibilité des tests spatiaux aux stratégies de contournement présente le défi de définir un protocole expérimental qui permette de caractériser aussi bien la performance mesurée dans ces tâches que les compétences qui y sont mises en oeuvre. Cet article présente la méthodologie mixte que nous avons conçue pour répondre à ce double enjeu.

PT:

A investigação sobre as habilidades espaciais procura qualificar os processos cognitivos que as caracterizam. No âmbito do projeto e-FRAN EXAPP_3D, a nossa investigação centrou-se na medição das habilidades espaciais e das competências de modelação volumétrica de estudantes de engenharia recémchegados. Para isso, investigámos o método de avaliação das habilidades espaciais mais frequentemente utilizado nos estudos contemporâneos, ou seja, os testes de papel e lápis. A nossa investigação revelou que o desempenho observado nesses testes não reflete exclusivamente as competências visadas: as primeiras entrevistas mostraram uma pluralidade de estratégias (cognitivas e comportamentais) mobilizadas pelos estudantes. Esta sensibilidade dos testes espaciais às estratégias de contorno coloca o desafio de definir um protocolo experimental que permita caracterizar tanto o desempenho medido nessas tarefas como as competências efetivamente mobilizadas. Este artigo apresenta a metodologia mista que concebemos para responder a este duplo desafio.

EN:

This article compares three methods for assessing paraverbal aspects in oral productions: the holistic absolute method (overall score), the analytical absolute method (criterion-based rubric), and the holistic comparative method (Comproved software). The study addresses three key questions: 1) What is the inter-rater reliability of each evaluation method ? 2) What is the correlation between these methods ? 3) What differences in scoring can be observed among these methods ? Each method was used to evaluate oral productions based on paraverbal criteria such as intonation, volume, and pauses. The results reveal that, contrary to expectations, the holistic absolute method demonstrated the highest inter-rater reliability. Although significant correlations were found between the methods, notable discrepancies remained in the grading of the same productions. These findings question the systematic use of criterion-based rubrics and emphasize the need to adapt evaluation methods to specific objectives, particularly for assessing paraverbal aspects of oral productions.

FR:

Cet article compare trois méthodes d’évaluation des aspects paraverbaux dans les productions orales : la méthode holistique absolue (note globale), la méthode analytique absolue (grille critériée) et la méthode holistique comparative (logiciel Comproved). Trois questions principales guident l’étude : 1) Quelle est la fiabilité inter-évaluateurs de chaque méthode ? 2) Quelle est la corrélation entre ces méthodes ? et 3) Quels écarts de notation observe-t-on entre elles ? Chaque méthode a été utilisée pour évaluer des productions orales sur des critères paraverbaux tels que l’intonation, le volume et les pauses. Les résultats révèlent que, contrairement aux attentes, la méthode holistique absolue présente la meilleure fiabilité interévaluateurs. Bien que des corrélations significatives existent entre les méthodes, des écarts de notation importants subsistent. Ces résultats remettent en question l’utilisation systématique des grilles critériées et montrent qu’il est crucial d’adapter les méthodes d’évaluation aux objectifs spécifiques, notamment pour les aspects paraverbaux des productions orales.

PT:

Este artigo compara três métodos de avaliação dos aspetos paraverbais nas produções orais: o método holístico absoluto (nota global), o método analítico absoluto (rubrica) e o método holístico comparativo (software Comproved). Três questões principais orientam o estudo: 1) Qual é a fiabilidade inter-avaliadores de cada método? 2) Qual é a correlação entre esses métodos? 3) Que discrepâncias de pontuação se observam entre eles? Cada método foi utilizado para avaliar produções orais com base em critérios paraverbais como a entoação, o volume e as pausas. Os resultados revelam que, contrariamente às expectativas, o método holístico absoluto apresenta a melhor fiabilidade entre avaliadores. Embora existam correlações significativas entre os métodos, subsistem discrepâncias importantes nas pontuações. Estes resultados colocam em causa o uso sistemático de rubricas e mostram que é crucial adaptar os métodos de avaliação aos objetivos específicos, especialmente no que diz respeito aos aspetos paraverbais das produções orais.

EN:

Instruments used to measure test anxiety in school have generally been validated using English-speaking populations. Moreover, these instruments are often lengthy, making their administration in school settings more complex. Based on the Children’s Test Anxiety Scale (CTAS; 2004), this paper develops a French adaptation titled Questionnaire d’anxiété évaluative scolaire (QAES), followed by a short version, the Questionnaire d’anxiété évaluative scolaire-Courte (QAES-C). The psychometric properties of the QAES-C were examined in two complementary studies involving 1,212 and 387 Quebec students, respectively. Exploratory factor analysis (Study 1) and confirmatory factor analysis (Study 2) revealed a structure reflecting the three components of test anxiety (i.e., cognitive, physiological and behavioral). In both studies, these three subscales demonstrated high internal consistency. Overall, the findings suggest that the QAES-C has satisfactory psychometric properties, supporting its use for assessing test anxiety among French-speaking adolescents.

FR:

Les instruments de mesure de l’anxiété évaluative scolaire ont généralement été validés à partir de populations anglophones. En outre, ces instruments sont généralement longs, ce qui complexifie leur administration en contexte scolaire. S’appuyant sur la Children’s Test Anxiety Scale (CTAS, 2004), une adaptation française intitulée Questionnaire d’anxiété évaluative scolaire (QAES) a d’abord été produite, suivie de sa version courte, le Questionnaire d’anxiété évaluative scolaire-Courte (QAES-C). Deux études complémentaires comprenant respectivement 1 212 and 387 élèves québécois ont examiné les qualités psychométriques du QAES-C. Les résultats d’analyses factorielles exploratoires (étude 1) and confirmatoires (étude 2) ont révélé une structure reflétant les trois composantes de l’anxiété évaluative scolaire (cognitive, physiologique and comportementale). Dans les deux études, ces trois sous-échelles ont révélé une cohérence interne élevée. L’ensemble des résultats suggère que le QAES-C présente des qualités psychométriques satisfaisantes, justifiant son emploi pour mesurer l’anxiété évaluative scolaire vécue par les adolescents francophones.

PT:

Os instrumentos de medida da ansiedade avaliativa escolar foram, em geral, validados com base em populações anglófonas. Além disso, estes instrumentos tendem a ser longos, o que dificulta sua aplicação em contextos escolares. Com base na Children’s Test Anxiety Scale (CTAS, 2004), foi elaborada uma adaptação francesa intitulada Questionnaire d’anxiété évaluative scolaire (QAES), à qual se seguiu uma versão abreviada, o Questionnaire d’anxiété évaluative scolaire – Courte (QAES-C). Dois estudos complementares, envolvendo respectivamente 1.212 e 387 alunos do Quebec, examinaram as qualidades psicométricas do QAES-C. Os resultados das análises fatoriais exploratórias (estudo 1) e confirmatórias (estudo 2) revelaram uma estrutura que reflete as três componentes da ansiedade de avaliação escolar (isto é, cognitiva, fisiológica e comportamental). Em ambos os estudos, essas três subescalas apresentaram elevada consistência interna. O conjunto dos resultados sugere que o QAES-C possui qualidades psicométricas satisfatórias, o que justifica sua utilização na medição da ansiedade avaliativa escolar vivida por adolescentes francófonos.

EN:

In Switzerland, at the end of their initial vocational education, retail apprentices take a practical exam at the company where they are being trained. This exam, which is both certifying and eliminating, lasts between one and one and a half hours, depending on the type of training. It is conducted by two professionals in the field known as examiners. The objectives of this study are, firstly, to understand the validity attributed to the practical exam by the examiners and, secondly, to define the reasons for this assessment. To achieve this, a sample of 189 examiners answered a questionnaire on the validity of this exam. The data were processed by exploratory factor analysis, and three expert profiles were extracted by latent classes. The results of this study highlighted the heterogeneity of the examiners profiles. They differ according to their experience as examiners and their language.

FR:

En Suisse, en formation professionnelle initiale dans la branche du commerce de détail, la diplomation passe par l’examen pratique dans l’entreprise formatrice de l’apprenti. Cet examen, certificatif et éliminatoire, dure entre une heure et une heure et demie, selon le type de formation. Il est conduit par deux professionnels du domaine nommés experts. Les buts de cette étude sont, d’une part, de comprendre la validité attribuée par les experts à l’examen pratique et, d’autre part, de définir les raisons de cette évaluation. Pour y parvenir, un échantillon de 189 experts a répondu à un questionnaire sur la validité de cet examen. Les données ont été traitées par des analyses factorielles exploratoires. Nous avons ensuite extrait trois profils d’experts par classes latentes. Les résultats de cette étude ont permis de mettre en évidence, parmi les experts, une hétérogénéité de profils. Ils se différencient selon leur expérience en tant qu’expert et selon leur langue.

PT:

Na Suíça, na formação profissional inicial no setor do comércio a retalho, a atribuição de diplomas é feita através de um exame prático realizado na empresa formadora do aprendiz. Este exame, de caráter certificativo e eliminatório, tem uma duração de uma hora a uma hora e meia, dependendo do tipo de formação. Ele é conduzido por dois profissionais da área, designados como peritos. Os objetivos deste estudo são, por um lado, compreender a validade atribuída pelos peritos ao exame prático e, por outro, identificar as razões dessa avaliação. Para tal, foi utilizado um questionário sobre a validade do exame, respondido por uma amostra de 189 peritos. Os dados foram analisados por meio de análises fatoriais exploratórias, a partir das quais foram extraídos três perfis de peritos através de classes latentes. Os resultados deste estudo evidenciaram uma heterogeneidade de perfis entre os peritos, diferenciando-se pela sua experiência enquanto peritos e pela sua língua.

EN:

Assessment of cognitive processes involved in the learning of geometry is a real challenge to understand difficulties learners faced. This article investigates the assessment of cognitive processes through two studies on the spatial visualization ability, a first in plane geometry and a second in 3D geometry. The first study uses a paper-and-pencil test used to assess the ability to visualize plane figures at the end of primary education. The second employs a test that uses virtual material, as an alternative to paper-and-pencil test, to assess 3D spatial visualization with primary and secondary learners. After a description of the two assessment tools, the aim of this article is to take a critical look at the evaluation of cognitive processes by presenting the limits relating to these tools and by identifying the alternatives offered notably with the emergence of new technologies.

FR:

L’évaluation de processus cognitifs impliqués dans l’apprentissage de la géométrie constitue un réel défi pour comprendre de nombreuses difficultés d’apprentissage dans ce domaine. Cet article investigue l’évaluation de processus cognitifs au travers de deux études portant sur l’habileté de visualisation spatiale. Centrée sur la géométrie plane, la première étude utilise une épreuve de type papier-crayon, réalisée auprès d’élèves en fin d’enseignement primaire, pour évaluer les capacités de visualisation des figures. Centrée sur la géométrie tridimensionnelle, la seconde étude implique une épreuve évaluant la visualisation spatiale réalisée avec du matériel virtuel comme alternative aux épreuves papier-crayon, auprès d’élèves du primaire et du secondaire inférieur. En analysant notamment certaines productions d’élèves, l’objectif de cet article est également de poser un regard critique sur l’évaluation de processus cognitifs en présentant les limites relatives aux évaluations présentées et en identifiant des alternatives offertes par l’émergence des nouvelles technologies, entre autres.

PT:

A avaliação dos processos cognitivos envolvidos na aprendizagem da geometria representa um grande desafio para compreender as diversas dificuldades de aprendizagem neste domínio. Este artigo investiga a avaliação de processos cognitivos por meio de dois estudos focados nas habilidades de visualização espacial Centrado na geometria plana, o primeiro estudo utiliza uma prova do tipo papel e lápis, aplicada a alunos do final do ensino básico, para avaliar as suas habilidades de visualização de figuras. Focando na geometria tridimensional, o segundo estudo envolve uma prova de avaliação da visualização espacial realizada com material virtual como alternativa às provas tradicionais de papel e lápis, aplicada a alunos do ensino básico e do ensino secundário. Ao analisar, especialmente, algumas produções dos alunos, o objetivo deste artigo é também adotar uma visão crítica sobre a avaliação dos processos cognitivos, apresentando as limitações das avaliações descritas e identificando alternativas oferecidas pelo surgimento das novas tecnologias, entre outras.

EN:

This paper presents a rapid review of the Anglophone and Francophone literature on collaboration among teachers to assess student learning. This kind of collective work tends to become a norm in education systems, raising major issues in the field of educational assessment. The literature already contains summaries of empirical research dealing with teacher collaboration in general, but none dealing specifically with collective assessment practices. A systematic literature search led to the selection of 30 articles, in primary and secondary education. Analysis of these articles allows us to 1) identify the dynamics at work in the schools and 2) observe the consequences for all those involved in the school. The results allow us to discuss certain tensions linked to this trend, from the point of view of steering policies, but also about individual and collective evaluation practices.

FR:

L’article présente une rapid review de la littérature anglophone et francophone sur le travail collectif des enseignants pour l’évaluation des apprentissages. Ce genre de travail collectif tend à devenir une norme dans les systèmes éducatifs, soulevant des enjeux majeurs dans le champ de l’évaluation en éducation. La littérature compte déjà des synthèses et des recherches empiriques qui traitent de la collaboration des enseignants de manière générale, mais aucune ne traite spécifiquement des pratiques évaluatives collectives. Cette recherche documentaire dans la littérature conduit à la sélection de 30 articles, aux niveaux primaire et secondaire. L’analyse de ces articles permet 1) d’identifier les dynamiques mises en place dans les établissements et 2) d’observer les conséquences pour tous les acteurs de l’école. Les résultats permettent de discuter de certaines tensions liées à cette tendance, au point de vue des politiques de pilotage mais également sur le plan des pratiques évaluatives individuelles et collectives.

PT:

O artigo apresenta uma rapid review da literatura anglófona e francófona sobre o trabalho coletivo dos professores para a avaliação das aprendizagens. Este tipo de trabalho coletivo tende a tornar-se uma norma nos sistemas educativos, levantando questões importantes no campo da avaliação em educação. A literatura já inclui sínteses e investigações empíricas que abordam a colaboração entre professores de forma geral, mas nenhuma trata especificamente das práticas avaliativas coletivas. Esta investigação documental na literatura resulta na seleção de 30 artigos, nos níveis primário e secundário. A análise destes artigos permite 1) identificar as dinâmicas implementadas nas instituições e 2) observar as consequências para todos os atores da escola. Os resultados possibilitam discutir algumas tensões associadas a esta tendência, tanto do ponto de vista das políticas de gestão como no que respeita às práticas avaliativas individuais e coletivas.

EN:

The article outlines the development and validation process of the measurement scale for socio-affective presence in e-learning. This scale was constructed based on the theoretical model of social presence in e-learning (Jézégou, 2022). The study is based on a sample of 309 students enrolled in a fully online Master’s program in Education and Training Sciences, offered by French universities. First, an exploratory factor analysis reveals a three-factor structure with strong internal consistency. Second, a confirmatory factor analysis validates this structure and confirms the relationships between the three identified factors. The results demonstrate that this scale serves as a robust psychometric instrument for studying and analyzing socioaffective presence in e-training while opening new avenues for future research.

FR:

L’article décrit le processus d’élaboration et de validation de l’Échelle de Mesure de la Présence Socio-Affective en Formation (EMSPA e-Formation). Cette échelle a été construite en prenant appui sur le modèle théorique de la présence sociale en e-Formation (Jézégou, 2022). L’étude repose sur un échantillon de 309 étudiants inscrits en Master en sciences de l’éducation et de la formation, intégralement en distanciel et dispensé par des universités françaises. Dans un premier temps, une analyse factorielle exploratoire met en évidence une structure factorielle à trois facteurs, caractérisée par une bonne cohérence interne. Dans un second temps, une analyse factorielle confirmatoire valide cette structuration et confirme les relations entre les trois facteurs identifiés. Les résultats montrent que cette échelle constitue un instrument psychométrique robuste pour l’étude et pour l’analyse de la présence socioaffective en e-formation, tout en ouvrant des perspectives pour de futures recherches.

PT:

O artigo descreve o processo de elaboração e validação da Escala de Medição da Presença Socioafetiva na Formação (EMPSA e-Formação). Esta escala foi construída com base no modelo teórico da presença social na e-Formação (Jézégou, 2022). O estudo baseia-se numa amostra de 309 estudantes matriculados num mestrado em Ciências da Educação e da Formação, inteiramente a distância que é oferecido por universidades francesas. Primeiramente, uma análise fatorial exploratória evidenciou uma estrutura fatorial de três fatores, caracterizada por uma boa coerência interna. De seguida, uma análise fatorial confirmatória validou esta estrutura e confirmou as relações entre os três fatores identificados. Os resultados mostram que esta escala constitui um instrumento psicométrico robusto para o estudo e a análise da presença socioafetiva na e-formação, além de abrir perspectivas para pesquisas futuras.

EN:

Introduction. Health promoting behaviour tools abound in English, while they are scarce or almost non-existent in French. This article aimed to validate a composite questionnaire to identify health promoting or risky behaviours. Method. The ten steps of adapting psychological tests/scales provide by Gana et al. (2021) were applied to data collected from 343 adolescents and young adults aged 15-25 (mean = 17.6 ± 1.76) who completed a questionnaire of 51 items derive from three pre-existing scales. Results. Exploratory and confirmatory analyses support the eight dimensions structure with 27 items explaining 56.69% of variances: spiritual health; interpersonal relationship; physical exercise; stress management; appreciation of life; sleep hygiene; responsibility in health; and social support. Conclusion. The Composite Health Promotion Behaviour Assessment Questionnaire (AHPB-27) is valid for identifying health promoting behaviours among adolescents and young adults in the francophonie

FR:

Les outils d’évaluation des comportements de promotion de la santé abondent en anglais alors qu’ils sont rares, voire quasi-inexistants en français. Cet article vise à valider un questionnaire composite d’identification des comportements pro-santé ou à risque. Les dix étapes de l’adaptation des tests/échelles de mesure psychologique de Gana et al. (2021) ont été appliquées aux données collectées auprès de 343 adolescents et jeunes adultes de 15-25 ans (moyenne = 17,6 ± 1,76) ayant rempli un questionnaire de 51 items issus de trois échelles préexistantes. Les analyses factorielles exploratoires et confirmatoires supportent la structure à huit dimensions avec 27 items expliquant 56,69 % des variances : santé spirituelle, relation interpersonnelle, exercice physique, gestion du stress, appréciation de la vie, hygiène du sommeil, responsabilité en santé et soutien social. Le questionnaire composite d’évaluation des comportements de promotion de santé (AHPB-27) est donc valide pour identifier des comportements de promotion de la santé des adolescents et des jeunes adultes en francophonie.

PT:

As ferramentas de avaliação dos comportamentos de promoção da saúde estão amplamente disponíveis em inglês, mas raras ou praticamente inexistentes em francês. Este artigo tem como objetivo validar um questionário compósito para identificar comportamentos pró-saúde ou de risco. Foram aplicadas as 10 etapas de adaptação de testes/escalas de medição psicológica propostas por Gana et al. (2021) aos dados recolhidos junto de 343 adolescentes e jovens adultos, com idades entre 15 e 25 anos, que responderam a um questionário de 51 itens provenientes de três escalas preexistentes. As análises fatoriais exploratória e confirmatória sustentam uma estrutura com oito dimensões e 27 itens, explicando 56,69% das variâncias: saúde espiritual, relacionamento interpessoal, exercício físico, gestão do stress, apreciação da vida, higiene do sono, responsabilidade pela saúde e apoio social. Assim, o questionário (AHPB-27) é validado para a identificação destes comportamentos entre adolescentes e jovens adultos francófonos.