FR:

Il est reconnu que toute organisation qui souhaite se développer se doit d’évaluer ses employés afin de rester compétitive, de viser l’amélioration continue, de permettre le développement des compétences de ses individus, de retenir, de motiver et de mobiliser ses troupes. Toutefois, la littérature fait état du fait qu’actuellement, les systèmes et outils d’évaluation des compétences ne fonctionnent pas ou n’atteignent pas leur plein potentiel, car les organisations éprouvent souvent des problèmes majeurs dans leur élaboration, leur utilisation et leur gestion, rendant ainsi l’atteinte des objectifs de départ extrêmement difficile, voire impossible. Au terme d’une consultation où 57 chefs d’équipe de la fonction publique québécoise se sont prononcés, les constats vont dans le sens que le système d’évaluation multisource utilisé donne des retombées positives. En effet, ces chefs font état de 153 actions concrètes qui ont été entreprises à la suite de la réception de leur feedback, et ce, en vue de l’amélioration de leurs compétences puis de leur organisation. Une catégorisation de ces actions a été effectuée, jetant ainsi les bases de la recherche future dans le domaine de la gestion et du développement des compétences dans le secteur public.

EN:

It is well recognized that any organization who wishes to develop must assess employees to remain competitive, aim at the continuous improvement, allow the development of the competencies, retain and motivate its forces. However, the literature states the fact that the systems and the evaluation tools of competencies do not reach their objectives or they do not reach their full potential because they experience major problems in their elaboration, use and management thus making the achievement of initial objectives extremely difficult or impossible. After a consultation where 57 leaders of the public administration of Quebec have responded, we notice that the system of multisource evaluation used gives positives effects, since 153 concrete actions were taken following the reception of their feedback in order to improve their competencies and the organization. A categorization of these actions was made, a primer in this domain.

PT:

É reconhecido que toda a organização que deseja desenvolver-se deve avaliar os seus colaboradores para continuar competitiva, visar a melhoria contínua, permitir o desenvolvimento de competências dos indivíduos, reter, motivar e mobilizar as suas tropas. No entanto, a literatura confirma que, atualmente, os sistemas e instrumentos de avaliação de competências não funcionam ou não atingem o seu potencial, uma vez que as organizações experimentam grandes problemas na sua elaboração, utilização e gestão, o que torna muito difícil ou até impossível atingir os objetivos de partida. Na conclusão de uma consulta à qual 57 chefes de equipa da função pública do Quebeque responderam, constata-se que o sistema de avaliação multifontes utilizado tem efeitos positivos, na medida em que 153 ações concretas foram tomadas na sequência da receção do feedback no sentido da melhoria das suas competências e das da organização. Uma categorização destas ações foi realizada, lançando, assim, as bases da investigação futura no domínio da gestão e do desenvolvimento de competências no setor público.

FR:

La présente étude examine la possibilité d’évaluer avec un bon niveau de fiabilité l’habileté des élèves à déterminer le résultat d’une chaîne d’opérations en respectant la priorité des opérations. Selon le devis de recherche, deux facteurs liés à l’énoncé du problème ont été manipulés : son degré de réalisme et la complétude de ses données. À la suite d’une préexpérimentation, un ensemble de 12 problèmes ont été présentés à 82 élèves québécois de première secondaire. Afin d’évaluer les qualités édumétriques du dispositif d’évaluation constitué, les données ont été analysées au moyen de la théorie de la généralisabilité. Des coefficients de généralisabilité inférieurs à la limite jugée satisfaisante révèlent que le dispositif d’évaluation n’est pas assez fiable pour assurer la différenciation des élèves en regard de leur habileté à déterminer le résultat d’une chaîne d’opérations. Les résultats démontrent la difficulté d’évaluer avec un bon niveau de fiabilité l’habileté des élèves lorsque sont manipulés deux facteurs liés à l’énoncé du problème : son degré de réalisme et la complétude de ses données.

EN:

This study examines the possibility of assessing with a good level of reliability students’ ability to compute a sequence of operations using the correct order of operations. Based on a research design, two factors linked to the problem statement were manipulated: degree of realism and data completeness. Following a pretest, 12 problems were administered to 82 first grade secondary students from the province of Quebec. In order to assess the edumetric qualities of the evaluation design, the data were analyzed using generalizability theory. The generalizability coefficients were lower than the limit considered to be satisfactory, thus indicating that the evaluation design is not reliable enough to allow the differentiation of students’ ability in computing a sequence of operations. The results demonstrate the difficulty to assess with a good level of reliability students’ ability when two factors linked to the problem statement are manipulated: degree of realism and data completeness.

PT:

O presente estudo examina a possibilidade de avaliar com um bom nível de habilidade os alunos para determinar o resultado de uma cadeia de operações respeitando a prioridade das operações. Segundo o desenho da investigação, dois fatores ligados ao enunciado do problema foram manipulados: o seu grau de realismo e a completude dos seus dados. Na sequência de um pré-teste, um conjunto de 12 problemas foram apresentados a 82 alunos do Quebeque do primeiro ciclo do ensino secundário. A fim de avaliar as qualidades edumétricas do dispositivo de avaliação constituído, os dados foram analisados através da teoria da generalizabilidade. Os coeficientes de generalizabilidade inferiores ao limite considerado satisfatório revelam que o dispositivo de avaliação não é suficientemente fiável para assegurar a diferenciação dos alunos em função da sua habilidade para determinar o resultado de uma cadeia de operações. Os resultados demonstram a dificuldade de avaliar com um bom nível de fiabilidade a habilidade dos alunos quando são manipulados dois fatores ligados ao enunciado do problema: o seu grau de realismo e a completude dos seus dados.

FR:

Depuis les années 1990, un changement de paradigme s’opère dans la plupart des systèmes d’éducation : le pilotage centré sur les ressources investies (inputs) se transforme progressivement en un pilotage centré sur les résultats (outputs). C’est dans ce contexte que se sont développés les dispositifs d’évaluation externe à large échelle des acquis scolaires des élèves, tant au niveau international (comme PIRLS et PISA) qu’au niveau national ou même au niveau local. En parallèle, l’approche par compétences a été instaurée progressivement dans les référentiels scolaires et les classes. Basée sur un travail au départ de tâches complexes, l’approche par compétences n’est cependant pas sans poser certains problèmes sur le plan de l’évaluation. Certains auteurs affirment même que les évaluations externes à large échelle et l’approche par compétences présentent des logiques contradictoires et que, dès lors, les deux éléments sont inconciliables. L’objectif de cet article est de nuancer ce genre d’affirmations en rendant compte d’un dispositif d’évaluation exploratoire à large échelle combinant une évaluation « classique » (constitué d’un nombre important d’items à corriger de façon standardisée) et une évaluation de compétences à visée diagnostique (tâches complexes, tâches complexes décomposées et tâches élémentaires associées).

EN:

Since the 1990’s, there is a paradigm shift in most educational systems: the initial input-oriented school monitoring shift to an output-oriented monitoring system. In this context, large scale external assessments of students achievements were developed both at the international level (see PIRLS or PISA), at the national level or even at the local level. In parallel, there was the progressive introduction of the competency-based approach in curricula and classrooms. Based on complex tasks, competency-based approach is however not without problems in terms of evaluation. Some authors even claim that large scale assessments and competency-based approach have conflicting logics and that both elements are irreconcilable. The aim of this paper is to qualify such statements by reporting an exploratory large-scale assessment combining a “classical” evaluation (with an important number of items to be corrected in a standardized way) and a competency-based evaluation with a diagnostic aim (complex tasks, decomposed complex tasks and associated elementary tasks).

PT:

Depois dos anos 90, operou-se uma mudança de paradigma na maior parte dos sistemas educativos: de uma pilotagem centrada sobre os recursos investidos (inputs), passou-se para uma pilotagem centrada nos resultados (outputs). É neste contexto que se desenvolvem os dispositivos de avaliação externa em larga escala das aprendizagens escolares dos alunos, quer ao nível internacional (como PIRLS e PISA), quer ao nível nacional e até ao nível local. Em paralelo, assistiu-se à instauração progressiva da abordagem por competências nos referenciais escolares e nas turmas. Baseada num trabalho de tarefas complexas, a abordagem por competências, no entanto, não deixa de colocar certos problemas no plano da avaliação. Alguns autores afirmam mesmo que as avaliações externas em larga escala e a abordagem por competências apresentam lógicas contraditórias e que, portanto, são dois elementos inconciliáveis. O objetivo deste artigo é matizar este género de afirmações, dando conta de um dispositivo de avaliação exploratório em larga escala que combina uma avaliação “clássica” (constituída por um número importante de itens a corrigir de modo estandardizado) e uma avaliação de competências para fins de diagnóstico (tarefas complexas, tarefas complexas decompostas e tarefas básicas associadas).

FR:

Le processus de Bologne enjoint aux universités de mesurer la qualité de leurs formations. En France, les étudiants y sont associés dans leur établissement. Le dispositif repose sur un questionnaire composé à partir de leurs propres critères de qualité. Cette étude identifie des différences de jugement selon deux caractéristiques : les participants appartiennent-ils à une filière sélective ? Sont-ils en début/en fin de formation ? Les étudiants orientés après sélection se sentent plus reconnus dans leurs formations et manifestent une confiance supérieure dans leur reconnaissance sociale. En revanche, l’acquisition d’ancienneté ne modifie pas le degré de satisfaction.

EN:

With the Bologna process, universities have to assess the quality of their courses. In France, students must be involved in this assessment. The system relies on a questionnaire based upon the students’ own quality criteria. This research analyzes differences in judgment according to two criteria: whether respondents are enrolled on selective or non-selective courses, whether they are beginners or senior students. Students on selective courses feel more valued on their course and show greater confidence in their social recognition. However, seniority does not impact their degree of satisfaction.

PT:

O processo de Bolonha impele as universidades a avaliar a qualidade das suas formações. Em França, os estudantes são envolvidos neste processo de avaliação. O dispositivo é baseado num questionário composto a partir dos seus próprios critérios de qualidade. Este estudo identifica diferenças de juízo de acordo com duas características: os participantes pertencem a um curso seletivo? Estão no início/fim da formação? Os estudantes orientados após a seleção sentem-se mais reconhecidos na sua formação e mostram uma confiança superior no seu reconhecimento social. Em contrapartida, a antiguidade não modifica o grau de satisfação.