EN:

Based on self-determination theory, this research presents the development of a scale to assess motivation for engineering studies in a Francophone context. Three phases of data collection were conducted (N = 462, 545 and 864) for a total of 1871 engineering students (59.2% female). Results from both exploratory and confirmatory factor analyses support a seven-factor structure for the scale: 1) intrinsic motivation, extrinsic motivations characterised by 2) identified regulation – altruism, 3) introjected regulation – ego, 4) introjected regulation – conscience, 5) external regulation – security, 6) external regulation – social prestige and, finally, 7) amotivation. The dimensions of altruism and security are specific to engineering studies. The scale meets generally accepted criteria for reliability and verifies different types of validity evidence.

FR:

En prenant appui sur la théorie de l’autodétermination, cette recherche présente l’élaboration d’une échelle de mesure de la motivation aux études d’ingénieurs en contexte francophone. Trois collectes de données ont été menées (N = 462, 545 et 864) auprès d’un total de 1871 élèves ingénieurs (59,2 % de sexe féminin). Les résultats des analyses factorielles exploratoires et confirmatoires appuient une structure à sept dimensions : 1) la motivation intrinsèque, les motivations extrinsèques par régulation 2) identifiée – altruisme, 3) introjectée – ego, 4) introjectée – conscience, 5) externe – sécurité, 6) externe – prestige social et, enfin, 7) l’amotivation. Les dimensions altruisme et sécurité sont spécifiques aux études d’ingénieurs. L’échelle proposée satisfait aux critères de fiabilité communément admis et réunit plusieurs éléments de preuves de validité.

PT:

A partir da teoria da autodeterminação, esta investigação apresenta a elaboração de uma escala de medida da motivação nos estudos de engenharia no contexto francófono. Foram realizadas três recolhas de dados (N = 462, 545 e 864) num total de 1871 estudantes de engenharia (59,2% do sexo feminino). Os resultados das análises fatoriais exploratórias e confirmatórias sustentam uma estrutura com sete dimensões: 1) a motivação intrínseca, as motivações extrínsecas caracterizadas pela 2) regulação identificada – altruísmo, 3) regulação introjetiva – ego, 4) regulação introjetiva – consciência, 5) regulação externa – segurança, 6) regulação externa – prestígio social e, finalmente, 7) desmotivação. As dimensões altruísmo e segurança são específicas aos estudos de engenharia. A escala proposta satisfaz os critérios de fiabilidade comummente aceites e contém várias provas de validade.

EN:

Curricular alignment refers to the links of coherence, found in any teaching-learning process, between curriculum objectives, learning tasks and assessment approaches. This model makes it possible to understand the coherence of any assessment approach. By mobilizing data from a collaborative study carried out on eight secondary school teachers of mathematics and French, we will show, however, that its meaning is rather limited when it comes to understanding coherence in graded summative assessment practices and that, consequently, the model needs to be expanded conceptually. To this end, we will draw on an example of a summative test modelled in this way. Our findings demonstrate the relevance of analyzing summative assessment practices with the help of the expanded model, while considering the role that context plays in certain of its aspects.

FR:

L’alignement curriculaire désigne les liens de cohérence existant dans tout processus d’enseignement-apprentissage entre les objectifs du curriculum, les tâches d’apprentissage et les démarches d’évaluation. Ce modèle permet notamment de comprendre la cohérence de toute démarche évaluative. En mobilisant des données issues d’une recherche collaborative menée avec huit enseignants de mathématiques et de français du secondaire, nous montrerons toutefois que son acception est limitée lorsqu’il s’agit de comprendre cette cohérence saisie dans des pratiques évaluatives sommatives notées et que, dès lors, le modèle demande à être conceptuellement élargi. Pour cela, nous nous appuierons sur un exemple d’épreuve sommative modélisée dans ce sens. Nos résultats soulignent la pertinence d’analyser les pratiques évaluatives sommatives à l’aide du modèle élargi, tout en considérant le rôle que joue le contexte sur certaines de ses dimensions spécifiques.

PT:

O alinhamento curricular designa os vínculos de coerência existentes em qualquer processo de ensino-aprendizagem entre objetivos curriculares, tarefas de aprendizagem e as abordagens de avaliação. Este modelo permite nomeadamente compreender a coerência de qualquer processo avaliativo. Ao mobilizar dados de uma investigação colaborativa realizada com oito professores de matemática e de francês do ensino secundário, mostraremos, porém, que o seu significado é limitado quando se trata de compreender essa coerência identificada nas práticas avaliativas sumativas e que, portanto, o modelo precisa ser concetualmente ampliado. Neste sentido, apoiar-nos-emos num exemplo de um teste sumativo concebido em função destes pressupostos. Os nossos resultados destacam a pertinência de analisar práticas avaliativas sumativas usando o modelo alargado, considerando o papel que o contexto desempenha em algumas de suas dimensões específicas.

EN:

This paper presents the seven-step approach to maximizing the evidence of validity that led to the development of the Questionnaire sur la tricherie aux examens à l’université (QTEU) [Questionnaire on Cheating in University Exams (QCUE)]. Composed of 28 items divided into 7 factors (propensity to cheat in exams, peer influence, cheating methods, institutional context, perception of control, performance goal, and commitment to one’s studies), the QCUE design was based on a comprehensive conceptual analysis of the scientific literature on cheating in exams, and on the work of Frenette, Hébert, Thibodeau, and Ndinga (2018) on how to develop a questionnaire maximizing the accumulation of validity evidence. With good psychometric properties, the QCUE meets a need for a French-language questionnaire on the propensity to cheat in exams and allows to measure the scope of cheating among university students.

FR:

Cet article présente la démarche en sept étapes visant à maximiser l’obtention de preuves de validité qui a mené à l’élaboration du Questionnaire sur la tricherie aux examens à l’université (QTEU). Composé de 28 énoncés répartis sous 7 facteurs (propension à tricher aux examens, influence des pairs, modalités pour tricher, contexte institutionnel, perception de contrôle, but de performance et engagement dans les études), le QTEU a été conçu en prenant appui sur une analyse conceptuelle approfondie de la littérature scientifique sur la tricherie aux examens et sur les travaux de Frenette, Hébert, Thibodeau et Ndinga (2018) sur la manière d’élaborer un questionnaire présentant diverses preuves de validité. Grâce à ses qualités psychométriques acceptables, le QTEU vient combler un besoin de questionnaire de langue française sur la propension à tricher aux examens et permet de mesurer son étendue auprès des étudiants universitaires.

PT:

Este artigo apresenta o processo em sete etapas para maximizar a obtenção de provas de validade que levou à elaboração do Questionário sobre a fraude nos exames na universidade (QTEU). Composto por 28 afirmações divididas em 7 fatores (propensão a praticar fraude nos exames, influência dos colegas, modalidades de fraude, contexto institucional, percepção do controlo, objetivo de desempenho e compromisso nos estudos), o QTEU foi concebido com base numa análise concetual aprofundada da literatura científica sobre a fraude em exames e sobre os trabalhos de Frenette, Hébert, Thibodeau e Ndinga (2018) sobre a maneira de elaborar um questionário que apresente diversas provas de validade. Graças às suas qualidades psicométricas aceitáveis, o QTEU vem colmatar a necessidade de um questionário em língua francesa sobre a propensão para praticar fraudes nos exames e permite medir sua extensão junto de estudantes universitários.

EN:

This research focuses on evaluating the effectiveness of a training course in a hospital setting, using indicators of effect size and heterogeneity index. The evaluation focused on a training course in intermediate care for nurses. The course lasted 23 days and included clinical teaching at the patient’s bedside. The competencies were measured at the beginning and end of the training course, using an observation grid based on five domains: Clinical Expert, Communicator, Collaborator, Leader and Learner-Trainer. Cohen’s and Glass’s estimators demonstrated significant effects of training on the five domains while the heterogeneity index showed a reduction in behavioural disparities within the nursing group at the end of the training course. The discussion addresses issues relating to the boundaries used to interpret effect sizes.

FR:

Cette recherche porte sur l’évaluation de l’efficacité d’une formation en milieu hospitalier à partir d’indicateurs de tailles d’effet et d’indice d’hétérogénéité. L’évaluation portait sur une formation en soins intermédiaires destinée aux infirmiers-ères, d’une durée de 23 jours et qui intégrait notamment trois jours d’enseignement clinique au chevet du patient. Les compétences ont été mesurées en début et en fin de formation, à partir d’une grille d’observation standardisée basée sur les domaines de compétences d’expert clinique, de communicateur, de collaborateur, de manager et d’apprenant-formateur. Les estimateurs de Cohen et de Glass ont démontré des effets significatifs de la formation sur les cinq domaines alors que l’indice d’hétérogénéité a mis en évidence une réduction des disparités de comportements au sein du groupe d’infirmiers-ères au terme de la formation. La discussion aborde la question des balises utilisées pour interpréter les tailles d’effet.

PT:

Esta investigação trata da avaliação da eficácia da formação em ambiente hospitalar por meio de indicadores de tamanho do efeito e de índice de heterogeneidade. A avaliação abrangeu um curso de formação em cuidados intermediários destinado às enfermeiras e aos enfermeiros com uma duração de 23 dias e que incluiu três dias de ensino clínico realizado à cabeceira do paciente. As competências foram medidas no início e no final da formação, a partir de uma grelha de observação padronizada com base nas funções de especialista clínico, de comunicador, de colaborador, de gestor e de aprendiz-formador. Os estimadores de Cohen e Glass demonstraram efeitos significativos da formação em todos os cinco domínios, enquanto o Índice de heterogeneidade evidenciou uma redução das disparidades comportamentais dentro do grupo após a conclusão da formação. A discussão aborda a questão das marcas utilizadas para interpretar os tamanhos do efeito.

EN:

Despite the grand demand to receive diagnostic information about students’ difficulties in reading, there are very few tests specifically designed for diagnostic purposes. Therefore, many researches in cognitive diagnostic approach (CDA) use large-scale test results to provide fine and reliable diagnostic feedback on the strengths and weaknesses of students other than the total scores or percentiles ranks, which allow appropriate intervention. This study shows an example of the application of diagnostic modeling using data from 4,762 Canadian students who completed booklet 13 of the PIRLS test in 2011. The results highlight the potential for detailed diagnostic feedback of students’ strengths and weaknesses on the underlying skills identified in the test.

FR:

Malgré une importante demande de recevoir des informations diagnostiques sur les difficultés en lecture des élèves, il existe très peu d’outils d’évaluation conçus spécifiquement pour cet usage. Plusieurs recherches en approche diagnostique cognitive (ADC) utilisent donc les résultats d’épreuves à grande échelle pour fournir de la rétroaction diagnostique fine et fiable sur les forces et les faiblesses des élèves. Les modélisations de données permettent de s’éloigner des scores ou des rangs percentiles habituellement obtenus, et de fournir des pistes d’intervention appropriées. Cette étude vise à vérifier la faisabilité d’appliquer des modélisations à visée diagnostique aux résultats de 4762 élèves canadiens ayant fait le cahier 13 du test du PIRLS de 2011. Les résultats suggèrent un potentiel de recevoir de la rétroaction diagnostique détaillée de leurs forces et faiblesses sur les habiletés sous- jacentes du test.

PT:

Apesar da importante procura por informações diagnósticas sobre as dificuldades de leitura dos alunos, existem muito poucas ferramentas de avaliação concebidas especificamente para este uso. Diversas investigações em abordagem de diagnóstica cognitiva (ADC) utilizam, portanto, os resultados de testes em larga escala para fornecer feedback diagnóstico detalhado e fiável sobre os pontos fortes e fracos dos alunos. As modelizações de dados torna possível afastar-se das pontuações ou dos níveis percentuais normalmente obtidos e fornecer pistas de intervenção apropriadas. Este estudo tem como objetivo verificar a viabilidade da aplicação da modelização diagnóstica aos resultados de 4.762 alunos canadianos que realizaram o caderno 13 do teste do PIRLS de 2011. Os resultados realçam o potencial para um feedback diagnóstico detalhado dos pontos fortes e fracos dos alunos em relação às habilidades subjacentes ao teste.