Abstracts
Résumé
Cet article offre une critique du point de vue d’un statisticien de la méthodologie utilisée par Hattie, et explique pourquoi il faut absolument qualifier cette méthodologie de pseudoscience. On parle tout d’abord des intentions de Hattie. Puis, on décrit les erreurs majeures de Visible Learning avant d’expliquer l’ensemble des questions qu’un chercheur devrait se poser en examinant des études et enquêtes basées sur des analyses de données, incluant les méta-analyses. Ensuite, on donne des exemples concrets démontrant que le d de Cohen (la mesure de base derrière les effets d’ampleur, effect sizes, de Hattie) ne peut tout simplement pas être utilisé comme une mesure universelle d’impact. Enfin, on donne des pistes de solution pour mieux comprendre et exécuter des études et méta-analyses en éducation.
Abstract
This paper presents a critical analysis, from the point of view of a statistician, of the methodology used by Hattie in Visible Learning, and explains why it must absolutely be called pseudoscience. We first discuss what appears to be the intentions of Hattie’s approach. Then we describe the major mistakes in Visible Learning before reviewing the set of questions a researcher should ask when investigating studies and surveys based on data analyses, including meta-analyses. We give concrete examples explaining why Cohen’s d (the measure of effect size used in Visible Learning) simply cannot be used as some sort of universal measure of impact. Finally, we propose solutions to better understand and implement studies and meta-analyses in education.
Appendices
Bibliographie
- Allison, D. B., Brown, A. W., George, B. J. et Kaiser, K. A. (2016). Reproducibility: A tragedy of errors. Nature, 530, 27-29.
- Baillargeon, N. (2014, 23 février). Visible learning [Billet de blogue]. Repéré à https://voir.ca/normand-baillargeon/2014/02/23/visible-learning/
- Borenstein, M., Hedges, L., Higgins, J. et Rothstein, H. (2009). Introduction to meta-analysis. Hoboken, NJ : John Wiley & Sons.
- Hattie, J. (2008). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. Londres, Royaume-Uni : Routledge.
- Kennet, R. et Thyregod, P. (2006). Aspects of statistical consulting not taught by academia. Statistica Neerlandica, 60(3), 396-411.
- Kim, K. H. (2005). Can only intelligent people be creative? A meta-analysis. Prufrock Journal, 16(2-3), 57-66.
- Legewie, J. et DiPrete, T. A. (2012). School context and the gender gap in educational achievement. American Sociological Review, 77(3), 463-485.
- Reinikainen, P. (2012). Amazing PISA results in Finnish comprehensive schools. Dans H. Niemi, A. Toom et A. Kallioniemi (dir.), Miracle of education (p. 3-18). Rotterdam, Pays-Bas : Sense Publishers.
- Topphol, A. K. (2012). Kan vi stole på statistikkbruken i utdanningsforskinga? [Peut-on se fier à l’usage des statistiques dans la recherche en éducation?]. Norsk Pedagogisk Tidsskrift, 95(6), 460-471.