Volume 47, Number 3, 2024

FR:

Les évaluations de l’effet des formations sont peu pratiquées, notamment parce que les évaluateurs manquent d’instruments méthodologiques facilitant leur mise en oeuvre. Les auteurs présentent une recherche-développement (R-D) qui a abouti à une méthode d’évaluation des retours sur attentes (ROE) en formation qu’ils ont intitulée cycle de Construction et de gestion qualité des évaluations de l’impact des formations (cycle CGQEIF). Ce cycle a été mis à l’essai dans deux contextes de formation continue : une première fois, dans le secteur de la santé avec une formation d’assistants techniques spécialisés en salle d’opération (ATSSO) et ensuite, dans le cadre d’un module de formation de directeurs d’institutions de formation (FORDIF) en éducation. Les résultats des deux mises à l’essai nous ont permis d’améliorer la méthode et d’en renforcer la pertinence. Les leçons que nous en tirons seront exploitées lors d’une troisième mise à l’essai dans le contexte de l’enseignement supérieur.

EN:

Evaluations of the impact of training are not widely practiced, partly because evaluators lack the methodological tools to facilitate their implementation. The authors present a research and development (R&D) project that has resulted in a method for evaluating return on expectations (ROE) in training, which they have entitled the cycle de Construction et de gestion qualité des évaluations de l’impact des formations (cycle CGQEIF). This cycle was tested in two continuing training contexts: firstly, in the health sector, with a training course for specialized technical assistants in operating rooms (ATSSO), and secondly, as part of a module for training directors of training institutions (FORDIF) in education. The results of both trials enabled us to improve the method and reinforce its relevance. The lessons we have learned will be applied to a third trial in the context of higher education.

PT:

As avaliações do efeito das formações são pouco praticadas, principalmente porque os avaliadores carecem de instrumentos metodológicos que facilitem sua implementação. Os autores apresentam uma investigação-desenvolvimento (I&D) que resultou numa metodologia de avaliação dos retornos sobre as expectativas (ROE) em formação, a qual denominaram ciclo de Construção e de Gestão da Qualidade das Avaliações do Efeito das Formações (ciclo CGQAEF). Este ciclo foi testado em dois contextos de formação contínua: inicialmente no setor da saúde, com uma formação de assistentes técnicos especializados em salas de operação (ATESO), e, posteriormente, no âmbito de um módulo de formação de diretores de instituições de formação (FORDIF), na área da educação. Os resultados dos dois testes permitiram melhorar a metodologia e reforçar sua pertinência. As lições extraídas dessas experiências serão aproveitadas numa terceira fase de testes, desta vez no contexto do ensino superior.

FR:

Les instruments de mesure de l’anxiété évaluative scolaire ont généralement été validés à partir de populations anglophones. En outre, ces instruments sont généralement longs, ce qui complexifie leur administration en contexte scolaire. S’appuyant sur la Children’s Test Anxiety Scale (CTAS, 2004), une adaptation française intitulée Questionnaire d’anxiété évaluative scolaire (QAES) a d’abord été produite, suivie de sa version courte, le Questionnaire d’anxiété évaluative scolaire-Courte (QAES-C). Deux études complémentaires comprenant respectivement 1 212 et 387 élèves québécois ont examiné les qualités psychométriques du QAES-C. Les résultats d’analyses factorielles exploratoires (étude 1) et confirmatoires (étude 2) ont révélé une structure reflétant les trois composantes de l’anxiété évaluative scolaire (cognitive, physiologique et comportementale). Dans les deux études, ces trois sous-échelles ont révélé une cohérence interne élevée. L’ensemble des résultats suggère que le QAES-C présente des qualités psychométriques satisfaisantes, justifiant son emploi pour mesurer l’anxiété évaluative scolaire vécue par les adolescents francophones.

EN:

Instruments used to measure test anxiety in school have generally been validated using English-speaking populations. Moreover, these instruments are often lengthy, making their administration in school settings more complex. Based on the Children’s Test Anxiety Scale (CTAS ; 2004), this paper develops a French adaptation titled Questionnaire d’anxiété évaluative scolaire (QAES), followed by a short version, the Questionnaire d’anxiété évaluative scolaire-Courte (QAES-C). The psychometric properties of the QAES-C were examined in two complementary studies involving 1,212 and 387 Quebec students, respectively. Exploratory factor analysis (Study 1) and confirmatory factor analysis (Study 2) revealed a structure reflecting the three components of test anxiety (i.e., cognitive, physiological and behavioral). In both studies, these three subscales demonstrated high internal consistency. Overall, the findings suggest that the QAES-C has satisfactory psychometric properties, supporting its use for assessing test anxiety among French-speaking adolescents.

PT:

Os instrumentos de medida da ansiedade avaliativa escolar foram, em geral, validados com base em populações anglófonas. Além disso, estes instrumentos tendem a ser longos, o que dificulta sua aplicação em contextos escolares. Com base na Children’s Test Anxiety Scale (CTAS, 2004), foi elaborada uma adaptação francesa intitulada Questionnaire d’anxiété évaluative scolaire (QAES), à qual se seguiu uma versão abreviada, o Questionnaire d’anxiété évaluative scolaire – Courte (QAES-C). Dois estudos complementares, envolvendo respectivamente 1.212 e 387 alunos do Quebec, examinaram as qualidades psicométricas do QAES-C. Os resultados das análises fatoriais exploratórias (estudo 1) e confirmatórias (estudo 2) revelaram uma estrutura que reflete as três componentes da ansiedade de avaliação escolar (isto é, cognitiva, fisiológica e comportamental). Em ambos os estudos, essas três subescalas apresentaram elevada consistência interna. O conjunto dos resultados sugere que o QAES-C possui qualidades psicométricas satisfatórias, o que justifica sua utilização na medição da ansiedade avaliativa escolar vivida por adolescentes francófonos.

FR:

Cet article compare trois méthodes d’évaluation des aspects paraverbaux dans les productions orales : la méthode holistique absolue (note globale), la méthode analytique absolue (grille critériée) et la méthode holistique comparative (logiciel Comproved). Trois questions principales guident l’étude : 1) Quelle est la fiabilité inter-évaluateurs de chaque méthode ? 2) Quelle est la corrélation entre ces méthodes ? et 3) Quels écarts de notation observe-t-on entre elles ? Chaque méthode a été utilisée pour évaluer des productions orales sur des critères paraverbaux tels que l’intonation, le volume et les pauses. Les résultats révèlent que, contrairement aux attentes, la méthode holistique absolue présente la meilleure fiabilité inter-évaluateurs. Bien que des corrélations significatives existent entre les méthodes, des écarts de notation importants subsistent. Ces résultats remettent en question l’utilisation systématique des grilles critériées et montrent qu’il est crucial d’adapter les méthodes d’évaluation aux objectifs spécifiques, notamment pour les aspects paraverbaux des productions orales.

EN:

This article compares three methods for assessing paraverbal aspects in oral productions: the holistic absolute method (overall score), the analytical absolute method (criterion-based rubric), and the holistic comparative method (Comproved software). The study addresses three key questions: 1) What is the inter-rater reliability of each evaluation method ? 2) What is the correlation between these methods ? 3) What differences in scoring can be observed among these methods ? Each method was used to evaluate oral productions based on paraverbal criteria such as intonation, volume, and pauses. The results reveal that, contrary to expectations, the holistic absolute method demonstrated the highest inter-rater reliability. Although significant correlations were found between the methods, notable discrepancies remained in the grading of the same productions. These findings question the systematic use of criterion-based rubrics and emphasize the need to adapt evaluation methods to specific objectives, particularly for assessing paraverbal aspects of oral productions.

PT:

Este artigo compara três métodos de avaliação dos aspetos paraverbais nas produções orais: o método holístico absoluto (nota global), o método analítico absoluto (rubrica) e o método holístico comparativo (software Comproved). Três questões principais orientam o estudo: 1) Qual é a fiabilidade intra-avaliadores de cada método? 2) Qual é a correlação entre esses métodos? 3) Que discrepâncias de pontuação se observam entre eles? Cada método foi utilizado para avaliar produções orais com base em critérios paraverbais como a entoação, o volume e as pausas. Os resultados revelam que, contrariamente às expectativas, o método holístico absoluto apresenta a melhor fiabilidade entre avaliadores. Embora existam correlações significativas entre os métodos, subsistem discrepâncias importantes nas pontuações. Estes resultados colocam em causa o uso sistemático de rubricas e mostram que é crucial adaptar os métodos de avaliação aos objetivos específicos, especialmente no que diz respeito aos aspetos paraverbais das produções orais.

FR:

La recherche sur les habiletés spatiales s’intéresse à qualifier les processus cognitifs qui la caractérisent. Dans le cadre du projet e-FRAN EXAPP_3D, notre recherche s’est portée sur la mesure des habiletés spatiales et des compétences de modélisation volumique d’étudiants ingénieurs primo-arrivants. Pour ce faire, nous avons investigué la mesure des habiletés spatiales la plus fréquemment observée dans les études contemporaines, c’est-à-dire les tests papier-crayon. Notre recherche a mis en évidence que la performance relevée dans ces tests n’est pas révélatrice des seules compétences visées : nos premiers entretiens ont révélé une pluralité de stratégies (cognitives, comportementales) mobilisées. Cette sensibilité des tests spatiaux aux stratégies de contournement présente le défi de définir un protocole expérimental qui permette de caractériser aussi bien la performance mesurée dans ces tâches que les compétences qui y sont mises en oeuvre. Cet article présente la méthodologie mixte que nous avons conçue pour répondre à ce double enjeu.

EN:

Research on spatial ability is interested in identifying the cognitive processes which characterise it. It has been related to success in science, technology, engineering and mathematics. Completed as part of the French research project EXAPP_3D e-FRAN, our study has focused on measuring engineering freshmen’s spatial and 3-D modelling skills. Pen-and-paper tests are currently the most popular method used to measure spatial skills. Our research has shown that performance on these tests is not indicative of the skills targeted by the tests alone: our first subjects reported a variety of solving strategies. The sensitivity of spatial tests to bypass strategies, in the sense that those used do not correspond to the skills targeted by the test, presents the challenge of defining an experimental protocol that characterises both the performance measured in these tasks, as well as the skills they engage. This article presents a mixed methodology which addresses this twofold issue.

PT:

A investigação sobre as habilidades espaciais procura qualificar os processos cognitivos que as caracterizam. No âmbito do projeto e-FRAN EXAPP_3D, a nossa investigação centrou-se na medição das habilidades espaciais e das competências de modelação volumétrica de estudantes de engenharia recém-chegados. Para isso, investigámos o método de avaliação das habilidades espaciais mais frequentemente utilizado nos estudos contemporâneos, ou seja, os testes de papel e lápis. A nossa investigação revelou que o desempenho observado nesses testes não reflete exclusivamente as competências visadas: as primeiras entrevistas mostraram uma pluralidade de estratégias (cognitivas e comportamentais) mobilizadas pelos estudantes. Esta sensibilidade dos testes espaciais às estratégias de contorno coloca o desafio de definir um protocolo experimental que permita caracterizar tanto o desempenho medido nessas tarefas como as competências efetivamente mobilizadas. Este artigo apresenta a metodologia mista que concebemos para responder a este duplo desafio.

FR:

L’article décrit le processus d’élaboration et de validation de l’Échelle de Mesure de la Présence Socio-Affective en Formation (EMSPA e-Formation). Cette échelle a été construite en prenant appui sur le modèle théorique de la présence sociale en e-Formation (Jézégou, 2022). L’étude repose sur un échantillon de 309 étudiants inscrits en Master en sciences de l’éducation et de la formation, intégralement en distanciel et dispensé par des universités françaises. Dans un premier temps, une analyse factorielle exploratoire met en évidence une structure factorielle à trois facteurs, caractérisée par une bonne cohérence interne. Dans un second temps, une analyse factorielle confirmatoire valide cette structuration et confirme les relations entre les trois facteurs identifiés. Les résultats montrent que cette échelle constitue un instrument psychométrique robuste pour l’étude et pour l’analyse de la présence socio-affective en e-formation, tout en ouvrant des perspectives pour de futures recherches.

EN:

The article outlines the development and validation process of the measurement scale for socio-affective presence in e-learning. This scale was constructed based on the theoretical model of social presence in e-learning (Jézégou, 2022). The study is based on a sample of 309 students enrolled in a fully online Master’s program in Education and Training Sciences, offered by French universities. First, an exploratory factor analysis reveals a three-factor structure with strong internal consistency. Second, a confirmatory factor analysis validates this structure and confirms the relationships between the three identified factors. The results demonstrate that this scale serves as a robust psychometric instrument for studying and analyzing socio-affective presence in e-training while opening new avenues for future research.

PT:

O artigo descreve o processo de elaboração e validação da Escala de Medição da Presença Socioafetiva na Formação (EMPSA e-Formação). Esta escala foi construída com base no modelo teórico da presença social na e-Formação (Jézégou, 2022). O estudo baseia-se numa amostra de 309 estudantes matriculados num mestrado em Ciências da Educação e da Formação, inteiramente a distância que é oferecido por universidades francesas. Primeiramente, uma análise fatorial exploratória evidenciou uma estrutura fatorial de três fatores, caracterizada por uma boa coerência interna. De seguida, uma análise fatorial confirmatória validou esta estrutura e confirmou as relações entre os três fatores identificados. Os resultados mostram que esta escala constitui um instrumento psicométrico robusto para o estudo e a análise da presença socioafetiva na e-formação, além de abrir perspectivas para pesquisas futuras.

FR:

À l’ère de la massification des données, la disponibilité croissante d’informations numériques constitue une tendance majeure, y compris en sciences de l’éducation. Les technologies utilisées dans les enseignements en ligne permettent désormais d’enregistrer l’ensemble des activités des étudiants. Cette accumulation de données offre indéniablement une richesse d’informations, mais rend les données complexes et difficiles à analyser. Les méthodes statistiques exploratoires sont utiles pour identifier des liaisons latentes entre les variables ou entre les individus. Cependant, leur utilisation nécessite une compréhension des concepts statistiques mobilisés pour garantir une implémentation appropriée. Cet article propose de clarifier les concepts statistiques sous-jacents et de guider, étape par étape, les praticiens dans leurs analyses statistiques exploratoires. Nous montrons, à partir d’une étude menée auprès d’étudiants primo-entrants en IUT, de quelle manière ces méthodes peuvent contribuer à une compréhension holistique de leurs difficultés d’adaptation en IUT.

EN:

In the era of big data, the increasing accessibility of digital information is a significant trend, including in the field of educational sciences. Technologies used in online teaching now enable all student activities to be recorded. While this accumulation of data undeniably provides a wealth of information, it also makes the data more complex and difficult to analyze. Exploratory statistical methods are useful for identifying latent relationships between variables or individuals. However, their use requires an understanding of the statistical concepts mobilized to ensure appropriate implementation. This article proposes to clarify the underlying statistical concepts and to guide practitioners step-by-step in their exploratory statistical analyses. Based on a study of first-time IUT students, we show how these methods can contribute to a holistic understanding of their difficulties in adapting to IUT.

PT:

Na era da massificação dos dados, a crescente disponibilidade de informações digitais constitui uma tendência importante, inclusive no âmbito das ciências da educação. As tecnologias utilizadas no ensino online permitem agora registar todas as atividades dos estudantes. Esta acumulação de dados oferece, sem dúvida, uma riqueza de informações, mas também torna os dados complexos e difíceis de analisar. Os métodos estatísticos exploratórios são úteis para identificar conexões latentes entre variáveis ou entre pessoas. No entanto, a sua aplicação requer a compreensão dos conceitos estatísticos envolvidos, a fim de garantir uma implementação apropriada. Este artigo propõe esclarecer os conceitos estatísticos subjacentes e guiar, passo a passo, os profissionais nas suas análises estatísticas exploratórias. A partir de um estudo realizado com estudantes ingressantes num IUT, mostramos como estes métodos podem contribuir para uma compreensão holística das dificuldades de adaptação enfrentadas nesse contexto.