Résumés
Résumé
Le contrôle de la qualité des évaluations des productions écrites en français langue étrangère pose de nombreuses questions, encore amplifiées lorsqu’il s’agit de tests à forts enjeux pour les candidats. Cet article illustre comment ce contrôle peut s’appuyer à la fois sur la théorie de la généralisabilité et sur le modèle multifacettes de Rasch pour relever les sources d’erreur (stabilité inter- et intracorrecteurs, variation des stimuli fournis aux candidats pour produire leurs textes…) et en estimer l’importance respective dans le cadre d’un monitorage de la qualité d’une épreuve de français langue étrangère.
Mots-clés :
- Tests linguistiques à forts enjeux,
- expression écrite,
- français langue étrangère,
- fidélité,
- théorie de la généralisabilité,
- modèle multi-facettes de Rasch,
- contrôle de la qualité
Abstract
Quality control of written productions in French as a foreign language is a tricky issue, especially when the test is used to make high stakes decisions. This paper shows the complementarity of the generalizability theory and the many-facets Rasch model in order to identify and to estimate the size of the different sources of error in a quality monitoring process.
Keywords:
- High stakes language tests,
- written production,
- French as foreign language,
- reliability,
- generalizability theory,
- many-facets Rasch model,
- quality monitoring
Resumo
O controlo de qualidade das avaliações das produções escritas em Francês enquanto língua estrangeira coloca muitas questões, ainda para mais porque se trata de testes decisivos para os candidatos. este artigo ilustra como este controlo se pode apoiar, ao mesmo tempo, na teoria da generalizabilidade e no modelo multi-facetas de Rasch para identificar as fontes de erro (estabilidade inter e intracorrectores, variação dos estímulos fornecidos aos candidatos para produzirem o seus textos…) e prever a importância respectiva no quadro de uma monitorização da qualidade de uma prova de Francês como língua estrangeira.
Palavras chaves:
- Testes linguísticos de nível elevado,
- expressão escrita,
- Francês como língua estrangeira,
- fidelidade,
- teoria da generalizabilidade,
- modelo multi-facetas de rasch,
- controlo de qualidade
Veuillez télécharger l’article en PDF pour le lire.
Télécharger
Parties annexes
Références
- Artus, F., & Demeuse, M. (2008). Évaluer les productions orales en français langue étrangère (FLE) en situation de test. Étude de la fidélité inter-juges de l’épreuve d’expression orale du Test d’évaluation de français (TEF) de la Chambre de commerce et d’industrie de Paris. Les cahiers des sciences de l'éducation, 25 et 26, 131-151.
- Bachman L. F. (2004). Statistical analyses for language assessment. Cambridge: CUP.
- Bachman, L. F., Lynch, B. K., & Mason, M. (1995). Investigating variability in tasks and rater judgments in a performance test of foreign language speaking. Language Testing, 12, 238-257.
- Bertrand, R., & Blais, J. G. (2004). Modèles de mesure. L'apport de la théorie des réponses aux items. Sainte-Foy (Canada): Presses de l’Université du Québec.
- Brennan, R. (2001). Generalizability theory. New York: Springer-Verlag.
- Cardinet, J., & Tourneur, Y. (1985). Assurer la mesure. Berne: Peter Lang.
- Casanova, D., Crendal, A., Demeuse, M., Desroches, F., & Holle, A. (2010, janvier). Validation empirique d’un test de français langue étrangère en regard du Cadre européen commun de référence pour les langues. Actes du 22e colloque international de l'Association pour le développement des méthodologies d'évaluation en éducation (ADMEE-Europe), Braga, Portugal.
- Chambre de commerce et d’industrie de Paris (2010). TEF, le Test d'évaluation de français de la Chambre de commerce et d'industrie de Paris. Paris: CCIP.
- Conseil de l’Europe (2005). Cadre européen commun de référence pour les langues. Paris: Didier.
- Cronbach, L. J., & Shavelson, R. (2004). My current thoughts on coefficient alpha and successor procedures. Educational and Psychological Measurement, 64, 391-418.
- Demeuse, M., Desroches, F., Crendal, A., Renaud, F., Oster, P., & Leroux X. (2004, novembre). L’évaluation des compétences linguistiques des adultes en français langue étrangère dans une perspective de multiréférentialisation. Actes du 17e colloque international de l'Association pour le développement des méthodologies d'évaluation en éducation (ADMEE-Europe). Lisbonne, Portugal.
- Demeuse, M., Desroches, F., Crendal, A., Renaud, F., & Casanova, D. (2005, octobre). La fiabilité de l’évaluation des compétences linguistiques pour des adultes non francophones: présentation d’un protocole d’évaluation. Actes du 18e colloque international de l'Association pour le développement des méthodologies d'évaluation en éducation (ADMEE-Eumpe). Reims, France.
- Eckes, T. (2005). Examining rater effects in TestDaF writing and speaking performance assessments: A many-facet Rasch analysis. Language Assessment Quarterly, 2, 197-221.
- Eckes, T. (2009). Many-facet Rasch measurement. In S. Takala (éd.), Reference supplement to the manual for relating language examinations to the Common European Framework of Reference for Languages: Learning, teaching, assessment (Section H). Strasbourg, France: Conseil de l’Europe/Division des politiques linguistiques.
- Engelhard, G. Jr. (1994). Examining rater errors in the assessment of written composition with a many-faceted Rasch model. Journal of Educational Measurement, 31(2), 93-112.
- Holle, A. (àparaître). Garantir la qualité d’un outil d’évaluation à forts enjeux: le cas du TEF. In O. Soutet, G. Maratier-Declety & M. Demeuse (dir.), Assurer la qualité des épreuves d'évaluation en langues. Quels enjeux? Paris: Champion.
- IRDP (2010). Guide pour EduG. Neuchatel (Suisse): IRDP.
- Laurier, M. D., & Diarra L. (2009). L’apport des technologies dans l’évaluation de la compétence à écrire. In J. G. Blais (dir.), Évaluation des apprentissages et technologies de l'information et de la communication (p. 77-104). Laval: PUL.
- Linacre, J. M. (1989). Many-facet Rasch Measurement. Chicago: MESA Press.
- Linacre, J. M. (1997) Investigating Judge Local Independence. Rasch Measurement Transactions, 11(1), 546-547.
- Lumley, T., & McNamara, T. F. (1995). Rater characteristics and rater bias: Implications for training, Language Testing, 12, 54-71.
- McNamara, T.F (1996). Measuring second language performance. New York: Longman.
- McNamara, T. F., & Adams, R. J. (1991). Exploring rater behavior with Rasch techniques. Communication présentée au 13th Language Testing Research Colloquium, Educational Testing Service. Princeton, N.J.
- Ministère de la Citoyenneté et de l’Immigration Canada (2006). Niveaux de compétence linguistique canadiens, Ottawa: Ministère de la Citoyenneté et Immigration Canada.
- Noël-Jothy, F., & Sampsonis, B. (2006). Certifications et outils d'évaluation en FLE. Paris: Hachette.
- Weigle, S. C. (1994). Effect of training on raters of ESL compositions. Language Testing 11, 197-223.
- Weigle, S. C. (1998). Using Facets to model rater training effects. Language Testing, 15(2), 263-287.
- Weigle, S. C. (2002). Assessing writing. Cambridge: CUP.
- Wu, M. L., Adams, R. J., Wilson, M. R., & Haldane, S. A. (2007). ACER Conquest Version 2.0. Generalised Item Response Modelling Software. ACER Press.