Volume 35, Number 3, 2012

FR:

Cet article répond à cette question centrale : « Les étudiants sont-ils compétents pour évaluer la qualité des enseignements ? » en l’abordant selon deux angles distincts. Le premier a trait aux attitudes et représentations des différentes parties prenantes quant à cette question. Ces attitudes ne sont pas univoques bien qu’elles soient, en tendance, favorables à l’implication des étudiants dans les dispositifs d’évaluation des enseignements. Le second a trait à la validité de l’information ainsi récoltée. La plupart des recherches et les méta-analyses effectuées soutiennent plutôt la validité de l’EEE. Ce n’est cependant pas toujours le cas et cette validité est au moins partiellement en débat. Les auteurs plaident, dans les conclusions, pour que l’écologie locale et le contexte, notamment disciplinaire, soient pris en compte lors d’analyses de la validité qui devraient, selon eux, envisager des méthodologies plus naturalistes.

EN:

In this paper we answered a central question: “Do students have enough skills to assess teaching’s quality?” through two different indicators. The first one related to stakeholders various attitudes and representations about this question, knowing that they (attitudes and representations) change from one stakeholder to one other but are, as a trend, in favor of including students within the teaching quality assessment. The second one deals with the concept of validity of collected information. Most of the studies and meta-analysis support the validity of the process even though some validity might still be discussed. We plead, as a conclusion, to also take into account local ecology and context (mainly disciplinary) in validity analysis which may lead, according to us, to a more naturalistic methodology.

PT:

Este artigo responde, segundo dois ângulos distintos, a esta questão central: “Os estudantes são competentes para avaliar a qualidade do ensino?” O primeiro tem a ver com as atitudes e as representações das diferentes partes sobre esta questão. Estas atitudes não são unívocas, mesmo que elas sejam, tendencialmente, favoráveis à implicação dos estudantes nos dispositivos de avaliação do ensino. O segundo tem a ver com a validade da informação recolhida desta forma. A maior parte das investigações e meta-análises efetuadas sustentam a validade da avaliação do ensino pelos estudantes, não obstante ser posta causa e, pelo menos, parcialmente discutida. Os autores defendem, nas suas conclusões, que a ecologia local e o contexto, nomeadamente disciplinar, sejam tomados em conta nas análises da validade, na senda, segundo eles, de metodologias mais naturalistas.

FR:

Les évaluations de l’enseignement par les étudiants et étudiantes sont utilisées à des fins académiques et formatives, mais sont également évoquées d’une manière sommative lors de décisions liées à la carrière professorale. Dans le cadre de la présente recherche, deux objectifs sont poursuivis. Le premier objectif est de déterminer les qualités psychométriques de l’instrument utilisé à l’Université du Québec à Rimouski. Avec l’avènement des technologies de l’information et de la communication, les conditions dans lesquelles se déroulent ces évaluations ont été modifiées. Le second objectif est de vérifier les impacts de la modalité de passation en ligne vs papier sur les qualités psychométriques de l’instrument. Le corpus de données est constitué des évaluations réalisées durant les années 2007- 2008 (20245 évaluations) et 2010-2011 (16432 évaluations). Les résultats attestent qu’un modèle hiérarchique décrit mieux la structuration du questionnaire que des modèles alternatifs, que la modalité de passation a une influence sur le taux de réponses et, dans certains cas, sur le taux de satisfaction des enseignements, mais qu’elle n’influence ni la fiabilité ni la dimensionnalité des évaluations. Les implications de ces résultats sont discutées.

EN:

Students’ evaluations of teaching effectiveness are used for academic and formative purposes, but are also sometimes evoked, in a summative way, for some faculty career decisions. In the present study, two main objectives are pursued. The first objective is to determine the psychometric properties of the instrument in use at the Université du Québec à Rimouski. With the advent of information and communication technologies, the conditions in which the evaluations take place have been changed from paper to online processes. so, the second objective is to verify the impacts of these online vs paper processes on the psychometric properties of the instrument. The data originated from the evaluations gathered during the 2007-2008 (20,245 evaluations) and 2010-2011 (16,432 evaluations) academic years. The results attest that a hierarchical model better describes the data than alternative models, that online vs paper processes have an influence on response rates and, in some cases, on the satisfaction level with teaching, but they have no impact on the fiability and the dimensionnality of the evaluations. The implications of these results are discussed.

PT:

As avaliações do ensino pelos estudantes são utilizadas para fins académicos e formativos,mas igualmente evocados de uma maneira sumativa no momento dasdecisões ligadas à carreira docente. No quadro da presente investigação, são seguidosdois objetivos. O primeiro objetivo é determinar as qualidades psicométricasdo instrumento utilizado na Universidade do Quebeque em Rimouski. Com oadvento das tecnologias da informação e da comunicação, as condições nas quaisse desenvolvem estas avaliações foram modificadas. O segundo objetivo é verificaros impactos da modalidade de administração online vs. papel sobre as qualidadespsicométricas do instrumento. O corpo de dados é constituído por avaliaçõesrealizadas durante os anos 2007-2008 (20,245 avaliações) e 2010-2011(16,432 avaliações). Os resultados atestam que um modelo hierárquico descrevemelhor a estruturação dos questionários que os modelos alternativos, que o modode administração tem uma influência sobre a taxa de respostas e, em certos casos,sobre a taxa de satisfação do ensino, mas que não tem influência nem na fiabilidadenem na dimensionalidade das avaliações. As implicações destes resultadossão discutidas.

FR:

Cet article présente une partie des résultats d’une enquête menée en 2010 auprès des enseignants-chercheurs nommés à titre définitif de l’Université libre de Bruxelles (ULB). Cette étude avait pour objectif de mieux connaître la mission d’enseignement de cette population et de permettre, tant aux autorités de l’université qu’aux acteurs concernés par l’aide aux étudiants et aux enseignants, de mieux connaître les besoins et la réalité du métier de professeur d’université, à travers l’identification des représentations des enseignants-chercheurs concernant leur mission d’enseignement. Dans cette contribution, les auteurs tentent de répondre plus précisément à deux questions relatives à l’évaluation des enseignements: d’une part, quels seraient les meilleurs procédés pour acquérir des compétences pédagogiques (les feedbacks des étudiants en étant un possible) et, d’autre part, quelles sont les perceptions des enseignants universitaires quant à la valorisation de leur mission d’enseignement dans leur progression de carrière.

EN:

This article presents part of the results of a survey led in the ULB (Université libre de Bruxelles) in 2010 amongst full-time academic staff (with both teaching and research missions). The purpose of this survey was to better analyze the teaching mission of this public and to allow the authorities of the University, as well as the actors concerned by the support to students and teachers, to better know the needs and the reality of the academic staff missions in the University. The authors will attempt to specifically answer two questions relating to the teaching evaluation: on one hand, which would be the best process to acquire teaching competences (the students feedback being one possible), and, on the other hand, which are the perceptions of the academic staff regarding the promotion of their teaching mission in their career evolution.

PT:

Este artigo apresenta uma parte dos resultados de um questionário realizado em 2010 junto de professores-investigadores nomeados a título definitivo pela Universidade Libre de Bruxelas (ULB). Este estudo tinha por objetivo conhecer melhor a missão de ensino desta população e de permitir, tanto às autoridades da universidade, como aos atores dedicados ao apoio aos estudantes e aos professores, conhecer melhor as necessidades e a realidade do ofício de professor universitário através da identificação das representações dos professores-investigadores a respeito da sua missão de ensino. Neste contributo, os autores tentam responder mais precisamente a duas questões relativas à avaliação do ensino: por um lado, quais seriam os melhores procedimentos para adquirir as competências pedagógicas (os feedbacks dos estudantes sendo possível) e, por outro lado, quais são as perceções dos professores universitários quanto à valorização da sua missão de ensino na sua progressão na carreira.

FR:

En suisse, les institutions d’enseignement supérieur disposent d’une autonomie importante pour implémenter leur modèle d’évaluation des enseignements par les étudiants (EEE). Certaines, comme l’Université de Lausanne, ont opté pour des modèles minimisant la part de contrôle ; d’autres, comme la Haute école d'ingénierie et de gestion du Canton de Vaud, ont préféré contrôler davantage la prestation enseignante. L’espace suisse de l’enseignement supérieur constitue donc un terrain de recherche intéressant pour s’interroger sur les impacts de l’EEE. Dans le présent travail, les auteurs ont opté pour une étude de cas mobilisant des données quantitatives et qualitatives afin de chercher à comprendre si l’impact sur le développement professionnel des enseignants et l’expérience d’apprentissage des étudiants diffère selon le modèle d’EEE utilisé. sur la base des résultats, les auteurs débattront du développement professionnel des enseignants et de l’expérience d’apprentissage des étudiants en lien avec l’EEE, puis concluront avec quelques perspectives de recherches futures.

EN:

In switzerland, higher education institutions have a high level of independance regarding the implementation of evaluation of teaching by students. some institutions such as the University of Lausanne have opted for models keeping control to a minimum ; other institutions, such as the yverdon school of Engineering and Business, have chosen to put in place a system that aims at controlling the performance of teachers. swiss higher education institutions offer an interesting ground for research into the impact of teaching evaluation policies. In this paper, the authors chose a mixed qualitative and quantitative case study approach in order to examine the impact of different students ratings processes on fostering the professional development of teachers and the learning experience of students. They conclude the paper with suggestions for further research.

PT:

Avaliação dos professores pelos estudantes (APE). Algumas, como a Universidade de Lausanne, optaram por modelos que minimizam a parte do controlo ; outras, como a Escola superior de Gestão do Cantão de Vaud, preferiram, pelo contrário, controlar a prestação do professor. O espaço suíço do ensino superior constitui, assim, um terreno interessante de investigação para se interrogar a APE. No presente trabalho, os autores optaram por um estudo de caso, mobilizando dados quantitativos e qualitativos, no sentido de procurar compreender se o impacto sobre o desenvolvimento profissional dos professores e a experiência de aprendizagem dos estudantes difere segundo o modelo de APE utilizado. A partir dos resultados, os autores debaterão o desenvolvimento profissional dos professores e a experiência de aprendizagem dos estudantes em ligação com a APE, concluindo com a apresentação de algumas perspetivas de investigações futuras.

FR:

L’Association to Advance Collegiate Schools of Business (AACSB) incite fortement les facultés d’administration des affaires à la mise en place des standards de l’Assurance of Learning. Selon ces standards, les professeurs doivent s’assurer qu’un apprentissage a lieu pour chacun des buts des programmes (qui doivent refléter les compétences attendues sur le marché du travail). Afin de mesurer le degré d’atteinte de ces buts, une diversité de méthodes d’évaluation est utilisée. À ce jour, très peu d’études ont porté sur l’opinion des étudiants face à l’utilisation de ces méthodes d’évaluation (attrait, perception d’efficacité, équité, anxiété générée, niveau cognitif mobilisé). Cette étude consiste à évaluer ces différents aspects (n = 95). L’analyse des résultats indique que les étudiants possèdent une opinion différente selon la méthode d’évaluation considérée. La discussion porte sur l’importance d’utiliser ces méthodes d’évaluation pour répondre aux standards de l’AACSB.

EN:

The Association to Advance Collegiate Schools of Business (AACSB) strongly incites business schools to implement Assurance of Learning standards. These standards stipulate that faculties must ensure that learning occurs for each of their programs’ learning outcomes, which in turn, must reflect the competencies expected by the business community. In order to measure the degree of achievement of these learning outcomes, a variety of assessment methods is used. To date, very few studies have examined students’ opinions regarding the use of these methods (preference, efficiency, fairness, anxiety, cognitive process level). This study aims to further this knowledge (n = 95). Analysis of the results indicates that students have different opinion depending on the evaluation method considered. The discussion relates to the importance of using these evaluation methods to meet AACSB standards.

PT:

A Association to Advance Collegiate Schools of Business (AACSB) incita fortemente as faculdades de gestão a implementar standards de Assurance of Learning. Segundo estes standards, os professores devem assegurar que uma aprendizagem tenha lugar para cada um dos objetivos do programa (que devem refletir as competências esperadas pelo mercado de trabalho). Para assegurar o grau de concretização destes objetivos, uma diversidade de métodos de avaliação é utilizada. Até à data, muito poucos estudos examinaram a opinião dos estudantes face à utilização destes métodos de avaliação (preferência, perceção da eficácia, equidade, ansiedade gerada, nível cognitivo mobilizado). Este estudo consiste em avaliar estes diferentes aspetos (n=95). A análise dos resultados indica que os estudantes possuem uma opinião diferente segundo o método de avaliação considerado. A discussão analisa a importância de utilizar estes métodos de avaliação para responder aos standards AACSB.

FR:

Le texte propose d’analyser les résultats de l’enquête triennale de l’Observatoirede la vie étudiante national en France (OVE), réalisée en 2010 sur un échantillonreprésentatif de 33 009 étudiants inscrits dans les différentes filières de l’enseignementsupérieur. Le questionnaire de l’OVE aborde, notamment, les pratiquesd’études et le contexte pédagogique des établissements en demandant aux étudiantsd’évaluer les différents aspects de leur environnement d’études. Les donnéesde cette enquête permettent de tester si les variables contextuelles exercentune influence sur l’attitude étudiante vis-à-vis des études. Trois variables compositessont utilisées pour examiner le rapport à l’environnement d’études : ledispositif pédagogique, la qualité pédagogique et le contexte humain. L’analysestatistique révèle l’existence d’une corrélation significative entre ces trois dimensionsdu contexte pédagogique et les manières d’étudier. L’attitude étudiante tendà changer avec le contexte : l’évaluation subjective de l’étudiant est susceptiblede devenir un vecteur important de son engagement et constitue la médiationentre le contexte et sa façon de concevoir et de pratiquer son investissement studieux.

EN:

The text aims to analyze the results of the triennial survey of The National Ob -servatory of student Life on a representative sample of 33 009 students enrolledin various sectors of higher education (2010). The questionnaire focused on studentsliving and studying conditions and asked them to evaluate various aspectsof their learning environment. The survey results provide the opportunity to checkthe effect of contextual variables on student attitudes towards their studies. Threecomposite variables were used to examine the relationship with the learning environment:teaching organization, teaching quality and human context. statistical analysis reveals a significant correlation between these three dimensions ofcontext and how to be a student and the way to study. The attitude of studentstends to change with the context, their subjective evaluation is likely to becomean important vector for their commitment and turns into the mediation betweenthe context and how to organize and practice the studies.

PT:

O texto propõe-se analisar os resultados do inquérito trienal do Observatório daVida Estudantil (OVE) em França, realizado em 2010 com uma amostra representativade 33 009 estudantes inscritos nos diferentes cursos do ensino superior.O questionário do OVE aborda, nomeadamente, as práticas de estudos e o contextopedagógico dos estabelecimentos que solicitam aos estudantes a avaliaçãodos diferentes aspetos do seu ambiente de estudo. Os dados deste questionário permitemtestar se as variáveis contextuais exercem influência sobre a atitude estudantilface aos estudos. Três variáveis compósitas são utilizadas para examinara relação com o ambiente de estudos: o dispositivo pedagógico, a qualidade pedagógicae o contexto humano. A análise estatística revela a existência de uma correlaçãosignificativa entre estas três dimensões do contexto pedagógico e dasmaneiras de estudar. A atitude estudantil tende a mudar: a avaliação subjetiva doestudante é suscetível de se tonar um vetor do seu compromisso e constitui amediação entre o contexto e o modo de conceber e de praticar o seu investimentono estudo.

FR:

Dans cet article conclusif, les transformations actuelles de l’EEE sont interrogées selon trois axes. Les limites et les dérives observées dans ce domaine conduisent tout d’abord à remettre en question une approche de la qualité de l’enseignement normative et généralisante dont les effets déformants et les dangers ne sont pas à minimiser. Est soulignée ensuite l’importance à accorder aux situations particulières et la nécessité d’une approche écologique de l’EEE, à savoir prenant en compte les caractéristiques et dynamiques propres à chaque milieu ainsi que les emboîtements de contextes dans lesquels elle se trouve prise. Enfin, dans une logique pédagogique, il est considéré comment l’EEE, s’inscrivant dans un ensemble plus large, constitue un vecteur d’amélioration de l’enseignement non seulement en le stimulant mais en participant à ses transformations.

EN:

In this final article, the current changes taking place in student evaluation of teaching are considered, focussing on three points. To begin with, the limits and abuse that have been observed in this field make the authors question the generalizing and normative approach to quality in education: the distorting effect and dangers of this approach should not be underestimated. Then the authors underline how important it is to consider specific situations, and to apply an ecological approach to SET. This entails taking into account the characteristics and dynamics which are specific to each environment, as well as the way this approach is affected by the manner in which it fits into the different contexts. Finally, the issue is considered from a pedagogical point of view. student evaluation of teaching is part of a broader framework, and it can thus be a vector for improving teaching by stimulating it and also contribute to transforming it.

PT:

Neste artigo conclusivo, as transformações atuais da avaliação do ensino pelos estudantes são questionados segundo três eixos. Os limites e as derivas observados neste domínio levam, desde logo, a colocar em questão uma abordagem da qualidade do ensino normativa e generalizante cujos efeitos deformantes e perigos não devem ser minimizados. é sublinhada de seguida a importância das situações específicas e a necessidade de uma abordagem ecológica da avaliação do ensino pelos estudantes, nomeadamente tendo em conta as características e dinâmicas próprias a cada meio, bem como a forma como esta abordagem é afetada pela maneira através da qual se adequa aos diferentes contextos. Por fim, numa lógica pedagógica, é considerado o modo como a avaliação do ensino pelos estudantes, inserindo-se numa perspetiva mais abrangente, constitui um vetor de melhoria do ensino não apenas estimulando-o, mas também participando nas suas transformações.