Et si la validation était plus qu’une suite de procédures techniques ?

Résumé

En éducation, de nombreuses études portent sur la validation d’instruments de mesure, tels que des questionnaires ou des instruments d’évaluation. La revue Mesure et évaluation en éducation en publie d’ailleurs chaque année. Ces études peuvent être globalement classées en deux catégories : d’une part, celles dans lesquelles les procédures psychométriques, comme une analyse factorielle ou l’application d’un modèle de la théorie de réponses aux items (p. ex., le modèle de Rasch), constituent en elles-mêmes la démarche de validation ; d’autre part, celles dans lesquelles le recours à un panel d’experts pour concevoir l’instrument semble suffire à garantir sa validité. Cet article tente de montrer qu’il est nécessaire de faire reposer une démarche de validation sur un argumentaire basé sur des preuves de natures quantitative et qualitative, en proposant deux modèles qui, combinés, sont propres à guider la formulation des arguments pour soutenir la validation d’un instrument d’évaluation. L’idée est de contrer le fait que si l’on ne comprend pas ce qu’on essaie de montrer, le risque d’avoir des arguments peu utiles est grand.

Mots-clés :

• validation,
• conception d’épreuves évaluatives,
• mesure,
• arguments de validité

Abstract

Many studies in the field of education focus on the validation of testing instruments, such as questionnaires or assessment instruments. Indeed, such studies are published each year in the journal Mesure et évaluation en éducation. These studies can be classified in two broad categories: on the one hand, those in which psychometric procedures (e.g. factor analysis or Item Response Theory model like the Rasch model) constitute, in and of themselves, the validation process; and on the other hand, those in which relying on an expert panel to develop the instrument is seemingly enough to ensure validity. This article aims to show the necessity of using an argument-based validation process with quantitative and qualitative evidence by proposing two models which can be combined to help formulate arguments supporting the assessment instrument validation. The idea is to address the fact that if we do not understand what we are trying to demonstrate, the arguments are likely to be of little use.

Keywords:

• validation,
• test design,
• measurement,
• argument-based validation

Resumo

Em educação, muitos estudos abordam a validação de instrumentos de medição, como questionários ou instrumentos de avaliação, que, de resto, a revista Mesure et évaluation en éducation tem publicado todos os anos. Estes estudos podem ser globalmente classificados em duas categorias: por um lado, aqueles em que os procedimentos psicométricos, como a análise fatorial ou a aplicação de um modelo de teoria da resposta ao item (por exemplo, o modelo de Rasch), constituem em si o processo de validação; por outro lado, aqueles em que o recurso a um painel de especialistas para conceber o instrumento parece ser suficiente para garantir a sua validade. Este artigo tenta mostrar que é necessário basear um processo de validação sobre um argumentário sustentado em evidências de natureza quantitativa e qualitativa, propondo dois modelos que, combinados, são capazes de guiar a formulação de argumentos para apoiar a validação de um instrumento de avaliação. A ideia é contrariar o facto de que, se alguém não entende o que está a tentar mostrar, o risco de ter argumentos pouco úteis é grande.

Palavras chaves:

• validação,
• conceção de provas de avaliação,
• medição,
• argumentos de validade