Volume 35, Number 2, 2012

FR:

Le coefficient alpha de Cronbach est sans doute la mesure de fidélité la plus utilisée, mais aussi la plus abusée de toutes. Quoiqu’elle puisse rendre de précieux services aux concepteurs d’outils d’évaluation, un certain nombre de précautions sont nécessaires pour tenir compte de ses limites et en assurer le bon usage.

EN:

Cronbach’s coefficient alpha is probably the most frequently reported measure of reliability and most certainly the most abused one. Though it can still be of tremendous help to test developers, its proper use must take into account a certain number of necessary precautions.

PT:

O coeficiente alfa de Cronbach é sem dúvida a medida de fidelidade mais utilizada, mas também a mais sujeita a abusos. Ainda que seja muito útil aos que concebem instrumentos de avaliação, um certo número de precauções são necessárias para ter em conta os seus limites e assegurar o seu bom uso.

FR:

La recherche est centrée sur la mise en place d’un nouveau dispositif pédagogique dans le plan de formation de l’Institut universitaire de formation des maîtres entre 2007 et 2010, le processus portfolio. Une des questions posées est celle du lien entre l’écriture réflexive des objets du portfolio et l’acquisition réelle des compé - tences attendues par l’institution et mises en oeuvre par les stagiaires. Sur le plan méthodologique, un corpus de 40 portfolios a été étudié pour lesquels un indice réflexif a été défini. Y a-t-il en particulier une inférence entre l’écriture réflexive du portfolio et l’acquisition de compétences ? Tel est l’enjeu de cette étude. Les résultats montrent que si un lien entre la réflexivité et le niveau d’acquisition de compétences est établi, il ne permet pas toutefois d’inférer la réflexivité à l’acquisition de compétences.

EN:

This research presents a new teaching design to be used in teaching training at the university (IUFM) in 2007-2010: the portfolio. This pedagogical innovation, associated with teacher training and linked to the evaluation of competency, has raised many questions on the capacity of portfolios to show, to assess and to validate the attainment of skills. Is there in particular a link between the reflective nature of portfolios and the attainment of professionnal skills? As regards methodology, this research is conducted with 40 portfolios and a reflection model, which is based on indicators defined in this study. The results show that if the link between the reflective nature of portfolios and the attainment of professionnal skills is proved, the inference isn’t confirmed.

PT:

A investigação está centrada na implementação de um novo dispositivo pedagógico no plano de formação inicial de professores do ensino básico (Institut Universitaire de Formation des Maîtres): o processo de portfolio. Uma das questões colocadas é a da ligação entre escrita reflexiva dos objetos do portfolio e a aquisição real de competências esperadas pela instituição e implementadas pelos professores estagiários. No plano metodológico, trabalhou-se sobre um corpus de 40 portfolios para os quais foi definido um índice reflexivo. O desafio deste estudo é saber se há em particular uma ligação entre a escrita reflexiva do portfolio e a aquisição de competências. Os resultados mostram que, se é estabelecida uma ligação entre a reflexividade e o nível de aquisição de compe - tências, não é possível, em todo o caso, inferir a reflexividade da aquisição de competências.

FR:

Dans le cadre d’une recherche portant sur l’évaluation comparée de la qualité de deux dispositifs scolaires destinés à des élèves ayant des troubles d’apprentissage, l’auteur a été amené à développer, sur la base de concertations avec différents groupes d’intervenants, de concepts et de théories émanant des sciences de l’éducation, un modèle multidimensionnel et bidirectionnel de la qualité des dispositifs scolaires. Délaissant le « débat ontologique » (Behrens, 2007) autour du concept de qualité, ce travail de conceptualisation et de formalisation d’un cadre d’évaluation de la qualité de dispositifs s’est inspiré de travaux similaires (Bou - chard & Plante, 2002 ; De Ketele & Gerard, 2007) portant sur des objets proches (programme, organisme, etc.). Sur la base des liens de conformité entre un référent et un référé, issus des caractéristiques d’un dispositif, l’auteur a construit un modèle composé de dix dimensions bidirectionnelles (pertinence, adéquation, congruité, synergie, efficacité, efficience, fiabilité, impact, bien-fondé et flexibilité).

EN:

In a study comparing the level of quality of two education programmes for students with learning difficulties, and through interviews with various groups of educators and a review of concepts and theories in education sciences, the author developed a multidimensional and bidirectional model to evaluate this aspect of education programmes. Away from the ontological debate (Behrens, 2007) over the notion of quality, our conceptualization and formalization of this evaluatory method was inspired by similar research on the subject (Bouchard & Plante, 2002 ; De Ketele & Gerard, 2007) with subject proximity (programme, institution). Based on the compliance between referent and referred stemming from various characteristics of an education programme, the resulting approach consists of ten bidirectional dimensions (relevance, agreement, congruity, synergy, effectiveness, efficiency, reliability, impact, validity, and flexibility).

PT:

No quadro de uma investigação sobre a avaliação comparada da qualidade de dois dispositivos escolares destinados a alunos com problemas de aprendizagem, o autor desenvolveu, a partir do diálogo com diferentes grupos de intervenientes e da revisão de conceitos e de teorias das ciências da educação, um modelo multi - dimensional e bidirecional da qualidade dos dispositivos escolares. Afastandose do “debate ontológico” (Behrens, 2007) em torno do conceito de qualidade, este trabalho de conceptualização e de formalização de um quadro de avaliação da qualidade dos dispositivos inspirouse em trabalhos similares (Bouchard & Plante, 2002 ; De Ketele & Gerard, 2007) sobre objetos próximos (programa, organismo, etc.). Baseado nos laços de conformidade entre um referente e um referido, resultantes das características de um dispositivo, o autor construiu um modelo composto de dez dimensões bidirecionais(pertinência, adequação, congruência, sinergia, eficácia, eficiência, fiabilidade, impacto, validade e flexibilidade).

FR:

Cette étude propose d’analyser les dossiers académiques, qui cumulent les crédits mérités dans le cadre d’un programme, afin de déterminer si les notes, obtenues durant les cours associés à la formation, permettent de porter un jugement valide sur le développement des compétences attendues. Le concept de validité de construit curriculaire est introduit afin de qualifier le jugement qui sera porté à cet effet. Des analyses factorielles confirmatoires permettent de confronter la struc - turation Cours-Compétences sous-jacente au programme avec l’empirie, ce qui permet de valider les jugements énoncés. Les analyses portent sur les dossiers académiques de 164 finissantes et finissants du programme d’enseignement secondaire d’une université québécoise, diplômés entre 2002 et 2010. Les résultats confirment que les évaluations se structurent en fonction de quatre groupes de compétences liés aux fondements de l’éducation, à l’acte d’enseigner, aux aspects sociaux et au développement de l’identité professionnelle. Les avantages et les limites de cette analyse sont discutés.

EN:

This study proposes to analyse the student’s academic records that currently hold the credits gathered from the program framework, to determine if the grades, inherited from the courses, allows a valid judgment about the competences developed at the end of the curriculum. The concept of curricular construct validity is introduced to qualify the judgment that will be issued. Confirmatory factorial analyses allow confronting the theoretical Course-Competencies mapping against the empirical data in order to validate the judgments issued. The analyses were conducted on 164 students from a university located in the province of Québec, who graduated from a secondary teaching program between 2002 and 2010. The results confirm that the evaluations are structured into four groups of competencies: educational foundations, teaching acts, social aspects and professional identity. Advantages and limits of this analysis will be discussed.

PT:

Este estudo propõe-se analisar os dossiês académicos, que reúnem os créditos adquiridos no quadro de um programa, para determinar se as notas, obtidas durante os cursos associados à formação, permitem formular um juízo válido sobre o desenvolvimento das competências esperadas. O conceito de validade do construído curricular é introduzido para qualificar a formulação deste juízo. As análises fatoriais confirmatórias permitem confrontar a estruturação Curso- Competências subjacentes ao programa com a empiria, o que permite validar os juízos enunciados. As análises incidem sobre os dossiês académicos de 164 finalistas do programa de ensino secundário de uma universidade do Quebeque, diplomados entre 2002 e 2010. Os resultados confirmam que as avaliações se estruturam em função de quatro grupos de competências ligados aos fundamentos da educação, ao ato de ensinar, aos aspetos sociais e ao desenvolvimento da identidade profissional. As vantagens e os limites desta análise são discutidas.

FR:

En fonction des objectifs d’une recherche, diverses méthodes d’analyse de contenu sont envisageables. Un corpus de témoignages, recueilli auprès d’élèves de troisième secondaire de la Communauté française de Belgique, a été traité selon deux méthodes complémentaires : une analyse thématique et une analyse propositionnelle. Sur la base du travail de codage, de l’analyse propositionnelle et du croisement de ces méthodes, la discussion de la typologie des injustices scolaires de Dubet (1999) éclaire les précédentes conclusions du groupe GERESE selon lequel les sentiments de justice des élèves sont significativement liés à leur autoévaluation de leur niveau scolaire.

EN:

Various content analysis methods can be considered depending on the research objectives. A corpus of accounts of injustice by pupils in the third grade of secondary education in French-speaking Belgium has been processed according to two complementary methods: thematic analysis and propositional analysis. On the basis of coding, thematic analysis and propositional analysis and by crossing these methods, we discuss the typology of school injustice proposed by Dubet (1999) and throw light on conclusions of the GERESE according to which pupils’ feelings of justice are significantly linked to their self-evaluation of academic achievement.

PT:

De acordo com os objetivos da investigação, podemos considerar vários métodos de análise de conteúdo. Um corpus de testemunhos, recolhidos junto de alunos do 3.º ano do secundário da Comunidade Francesa da Bélgica, foi tratado segundo dois métodos complementares: uma análise temática e uma análise proposicional. Sobre a base de um trabalho de codificação, de análise proposicional e de cruzamento destes métodos, a discussão da tipologia das injustiças escolares de Dubet (1999) aclara as conclusões precedentes do grupo CERESE segundo o qual os sentimentos de injustiça dos alunos estão significativamente ligados à sua autoavaliação do seu nível escolar.