ror.org/02xrw9r68
Résumés
Résumé
Cet article présente les degrés d’accord interjuges entre deux évaluateurs pour les nouveaux domaines, la littératie et la numératie, du Programme EIS Évaluation Intervention Suivi, une adaptation francophone de l’Assessment, Evaluation, and Programming System (AEPS). Depuis plusieurs années, les tests d’évaluation conventionnels du développement sont source d’insatisfaction pour les intervenants oeuvrant auprès d’enfants présentant des incapacités, en raison des protocoles d’administration rigides et des exercices d’évaluation éloignés des comportements naturels de l’enfant, ce que pallie l’AEPS/EIS. Ce dernier, un outil d’évaluation du développement de l’enfant, vise dans sa nouvelle édition l’introduction des domaines de la littératie et de la numératie. Les questions de recherche de la présente étude concernent les degrés d’accord interjuges entre deux évaluateurs pour chacun des deux domaines et pour chacun des buts qui les composent. L’échantillon est constitué de 32 enfants, évalués dans leur milieu de vie. Les résultats montrent un degré d’accord excellent pour la littératie et substantiel pour la numératie. Seul un but en littératie présente un degré d’accord faible. De même, seule une absence d’accord est notée pour un but de la numératie. En conclusion, les nouveaux domaines présentent des qualités psychométriques intéressantes sur le plan de la fidélité. Cette étude est un apport au processus d’élaboration des domaines de la littératie et de la numératie de l’AEPS/EIS. Néanmoins, la poursuite de la validation de l’ensemble de la nouvelle édition demeure incontournable.
Mots-clés :
- Évaluation authentique,
- développement de l’enfant,
- fidélité,
- test conventionnel,
- littératie,
- numératie
Abstract
This article presents the degree of interjudge reliability between two raters in regard to the new literacy and numeracy domains found in the Programme EIS Évaluation Intervention Suivi, which is the French traduction of the Assessment, Evaluation, and Programming System (AEPS). For several years now, actors working alongside children with disabilities have been unsatisfied with conventional tests evaluating the child’s development due to the rigid nature of the administrative protocols and the inconsistency of the assessment exercises when comparing them to the natural behavior of the child, two issues that are remedied with the AEPS. This tool for the assessment of the development of the child aims to introduce the domains of literacy and numeracy to its latest edition. The research questions tackled in the study are concerned with the interjudge reliability between two raters tasked with evaluating both domains as well as the objectives that constitute them. The sample is composed of 32 children who have been evaluated in their natural living environment. The results show an excellent interjudge reliability for literacy and a substantial one for numeracy. In conclusion, as far as their fidelity is concerned, the new domains present some interesting psychometric qualities. While this study contributes to the elaboration process surrounding AEPS’s domains of literacy and numeracy, more studies are required in order to further validate the new edition of the program, as a whole.
Keywords:
- Authentic assessment,
- children development,
- fidelity,
- conventional test,
- literacy,
- numeracy
Veuillez télécharger l’article en PDF pour le lire. Télécharger
Parties annexes
Bibliographie
- Auclair-Julien, M.-C., Lanovaz, M., Paquette, C., Pelletier, S., Thermidor, G. et Trudel, D. (2013). Évaluation du retard de développement : lignes directrices. Montréal, Québec : Ordre des psychoéducateurs et psycho éducatrices du Québec.10.1177/105381518601000204 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bachelor, A. et Joshi, P. (1986). La méthode phénoménologique de recherche en psychologie : guide pratique. Québec, Québec : Presses de l’Université Laval.10.1177/105381519001400204 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bagnato, S. J., Neisworth, J. T. et Pretti-Frontczak, K. (2010). Linking authentic assessment & early childhood inter-vention best measure for best pratices (2e éd.). Baltimore, MD: Paul H. Brookes Publishing Co.10.1177/1053815108324422 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bailey, E. J. et Bricker, D. (1986). A psychometric study of a criterion-referenced assessment instrument designed for infants and young children. Journal of Early Intervention, 10(2), 124-134. doi: 10.1177/10538151860100020410.1177/105381518601000204 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bayley, N. (1969). Bayley scales of infant and toddler development. San Antonio, TX: Psychological Corporation.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bricker, D. D. (2002). AEPS Assessment evaluation and programming system for infants and children (2e éd.). Baltimore, MD: Paul H. Brookes Publishing Co.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bricker, D. D. (2006). Programme EIS évaluation intervention suivi. Traduction et adaptation auprès d’une clientèle québécoise sous la direction de C. Dionne en collaboration avec C.-A. Tavarès et C. Rivest. Montréal, Québec : Chenelière éducation.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bricker, D. D. (2012). Assessment, evaluation, and programming system for infants and children (AEPS®): Expe-rimental Version (1.0). Baltimore, MD: Paul H. Brookes Publishing Co.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bricker, D. D. (2013). Programme EIS évaluation, intervention, suivi : version expérimentale. Traduction et adaptation auprès d’une clientèle québécoise sous la direction de C. Dionne. Document inédit.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bricker, D. D., Bailey, E. J. et Slentz, K. (1990). Reliability, validity, and utility of the evaluation and programming system: For infants and young children (EPS-I). Journal of Early Intervention, 14(2), 147-160. doi: 10.1177/10538151900140020410.1177/105381519001400204 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bricker, D. D., Clifford, J., Yovanoff, P., Pretti-Frontczak, K., Waddell, M., Allen, D. et Hoselton, R. (2008). Eligibility determination using a curriculum-based assessment: A further examination. Journal of Early Intervention, 31(1), 3-21. doi: 10.1177/105381510832442210.1177/1053815108324422 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Bricker, D. D., Yovanoff, P., Capt, B. et Allen, D. (2003). Use of a curriculum-based measure to corroborate eligibility decisions. Journal of Early Intervention, 26(1), 20-30. doi: 10.1177/10538151030260010210.1177/105381510302600102 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Canadian Literacy and learning Network. (2012). Citizenship. Literacy and essential skills fact sheet. Repéré à http://www.literacy.ca/content/uploads/2012/02/citizenship.pdfGoogle Scholar Rechercher cette référence bibliographique sur Google Scholar
- Chaytor, N. et Schmitter-Edgecombe, M. (2003). The ecological validity of neuropsychological tests : A review of the literature on everyday cognitive skills. Neuropsychology review, 13(4), 181-197. doi : 10.1023/ B:NERV.0000009483.91468.fb10.1023/B:NERV.0000009483.91468.fb Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Clements, D. H. et Sarama, J. (2007). Effects of a preschool mathematics curriculum: Summative research on the building blocks project. Journal for Research in Mathematics Education, 38(2), 136-163. 10.2307/748360 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. doi : 10.1177/001316446002000104 10.1177/001316446002000104 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Conseil canadien sur l’apprentissage. (2010). Bilan de l’apprentissage tout au long de la vie au Canada : progrès ou excès de confiance? Ottawa, Ontario : Conseil canadien sur l’apprentissage.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Emam, K. E. (1999). Benchmarking Kappa: Interrater agreement in software pro-cess assessments. Empirical Software Engineering, 4(2), 113-133. doi : 10.1023/A:100982020112610.1023/A:1009820201126 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Finnie, R. et Meng, R. (2006). Importance de la littératie fonctionnelle : compétences en lecture et en mathématiques et résultats sur le marché du travail des décrocheurs du secondaire. Ottawa, Ontario: Statistique Canada.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. doi : 10.1037/h0031619 10.1037/h0031619 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Fortin, M.-F. (2010). Fondements et étapes du processus de recherche. Méthode quantitatives et qualitatives (2e éd.). Montréal, Québec : Chenelière Éducation inc.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Gao, X. (2008). Young children’s accountability data on language, literacy and pre-math areas: Validating authentic assessment (Thèse de doctorat, University of Kentucky, KY). Repéré à http://search.ebscohost.com/login.aspx?direct=true&db=psyh&AN=2012-99050-415&site=ehost-liveGoogle Scholar Rechercher cette référence bibliographique sur Google Scholar
- Gao, X. et Grisham-Brown, J. (2011). The use of authentic assessment to report accountability data on young children’s language, literacy and pre-math competency. International Education Studies, 4(2), 42-53. doi: 1005539/ies.v4n2p4110.5539/ies.v4n2p41 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Giasson, J. (2003). La lecture : de la théorie à la pratique (2e éd.). Boucherville, Québec : Gaëtan Morin éditeur.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Greenes, C., Ginsburg, H. P. et Balfanz, R. (2004). Big Math for Little Kids. Early Childhood Research Quarterly, 19(1), 159-166. doi: 10.1016/j.ecresq.2004.01.01010.1016/j.ecresq.2004.01.010 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Grisham-Brown, J., Hallam, R. A. et Pretti-Frontczak, K. (2008). Preparing head start personnel to use a curriculum-based assessment: An innovative practice in the ‘age of accountability’. Journal of Early Intervention, 30(4), 271-281. doi : 10.1177/105381510832068910.1177/1053815108320689 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Gwet, K. L. (2012). Handbook of inter-rater reliability (3e éd.). Gaithersburg, MD: Advanced Analytics, LLC.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Hawken, J. (2009). Pour un enseignement efficace de lecture et de l’écriture : une trousse d’intervention appuyée sur la recherche. Repéré à http://www.treaqfp.qc.ca/106/PDF/TROUSSE_Reseau_de_chercheurs.pdfGoogle Scholar Rechercher cette référence bibliographique sur Google Scholar
- Hsia, T.-H. (1993). Evaluating the psychometric properties of the assessment, evaluation, and program-ming system for 3 to 6 years: Aeps test 3 to 6 years (aeps test). (Thèse de doctorat, Université of Oregon, OR). Repéré à http://search.ebscohost.com/login.aspx?direct=true&db=psyh&AN=1995-74208001&site=ehost-liveGoogle Scholar Rechercher cette référence bibliographique sur Google Scholar
- Knighton, T. et Bussière, P. (2006). Liens entre les résultats éducationnels à l’âge de 19 ans et la capacité en lecture à l’âge de 15 ans. Ottawa, Ontario : Statistique Canada.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Knobloch, H., Stevens, F. et Malone, A. (1980). Manual of developmental diagnosis: The administration an interpretation of the revised Gesell and Armatruda developmental and neurologic examination. Hagerstown, MD: Harper & Row.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Legendre, R. (2005). Dictionnaire actuel de l’éducation (3e éd.). Montréal, Québec : Guérin.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Macy, M. G., Bricker, D. D. et Squires, J. K. (2005). Validity and reliability of a curriculum-based assessment approach to determine eligibility for part C services. Journal of Early Intervention, 28(1), 1-16. doi : 10.1177/10538151050280010110.1177/105381510502800101 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Maxwell, J. et Teplova, T. (2008). Conséquence sociale des lacunes en matière d’habiletés de langage et de littératie. Encyclopedia of Language and Literacy Development. Repéré à http://www.literacyencyclopedia.ca/pdfs/topic.php?topId=34Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Myre-Bisaillon, J., Villemagne, C., Puentes-Neuman, G., Dionne, C., Raîche, G. et Louis, R. (2010). Évaluation des impacts du PAÉLÉ dans les milieux défavorisés : rapport scientifique intégral (Rapport no 2007-EL-118328). Sherbrooke, Québec : Université de Sherbrooke.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Newborg, J. (2005). Battelle Development Inventory (2e éd.). Rolling Meadow, IL: Riverside Publishing.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Newborg, J., Stock, J., Wnek, L., Guidubaldi, J. et Svinicki, J. (1984). Battelle developmental inventory: Examinor’s manual. Dallas, TX: DLM/Teaching Resource.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Newborg, J., Stock, J., Wnek, L., Guidubaldi, J. et Svinicki, J. (1988). Battelle developmental inventory: Examinor’s manual. Dallas, TX: DLM/Teaching Resource.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Noh, J. (2005). Examining the psychometric properties of the second edition of the assessment, evaluation, and program-ming system for three to six years: AEPS test 2nd Edition (3-6). (Thèse de doctorat, University of Oregon, OR). Repéré à http://search.ebscohost.com/login.aspx?direct=true&db=psyh&AN=2006-99013-033&site=ehost-liveGoogle Scholar Rechercher cette référence bibliographique sur Google Scholar
- Notari-Syverson, A., O’Connor, R. E. et Vadasy, P. F. (2007). Ladders to literacy: A preschool activity book. Baltimore, MD: Paul H. Brookes Publishing Co.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Notari, A. R. et Bricker, D. D. (1990). The utility of a curriculum-based assessment instrument in the development of individualized education plans for infants and young children. Journal of Early Intervention, 14(2), 117-132. doi: 10.1177/10538151900140020210.1177/105381519001400202 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Notari, A. R. et Drinkwater, S. G. (1991). Best practices for writing child outcomes: An evaluation of two methods. Topics in Early Childhood Special Education, 11(3), 92-106. doi: 10.1177/02711214910110030910.1177/027112149101100309 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Office québécois de la langue française. (2002). Numératie. Repéré à http://gdt.oqlf.gouv.qc.ca/ficheOqlf.aspx?Id_Fiche=8363202Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Office québécois de la langue française. (2005). Alphabétisation. Repéré à http://gdt.oqlf.gouv.qc.ca/ficheOqlf.aspx?Id_Fiche=1199241Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Organisation de coopération et de développement économiques et Statis-tique Canada. (2005). Apprentissage et réussite : premiers résultats de l’enquête sur la littératie et les compétences des adultes. Paris, France : Éditions OCDE.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Organisation de coopération et de développement économiques et Statistique Canada. (2011). La littératie, un atout pour la vie : nouveaux résultats de l’enquête sur la littératie et les compétences des adultes : deuxième rapport international de l’ELCA. Paris, France : Éditions OCDE.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Pretti-Frontczak, K. et Bricker, D. (2000). Enhancing the quality of individualized education plan (IEP) goals and objectives. Journal of Early Intervention, 23(2), 92-105. doi: 10.1177/10538151000230020410.1177/105381510002300204 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Purpura, D. J. (2009). Informal number-related mathematics skills: An examination of the structure of and relations between these skills in preschool. (Thèse de doctorat, Florida State University, FL). Repéré à http://diginole.lib.fsu.edu/etd/502Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Salvia, J. et Ysseldyke, J. E. (2004). Assessment in special and inclusive education (9e éd.). Boston, MA: Houghton Mifflin.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Sarama, J. et Clements, D. H. (2009). Early childhood mathematics education research: Learning trajectories for young children. New York, NY: Routledge.10.4324/9780203883785 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Slentz, K. (1987). Evaluating the instructional needs of young children with handicaps: Psychometric adequacy of the evaluation and programming system: Assessment level II (EPS-II). (Thèse de doctorat, University of Oregon, OR). Repéré à http://search.ebscohost.com/login.aspx?direct=true&db=psyh&AN=1988-52788-001&site=ehost-liveGoogle Scholar Rechercher cette référence bibliographique sur Google Scholar
- Slentz, K. (2008). What AEPS® users should know about reliability, validity, and utility. Batlimore, MD: Paul H. Brookes Publishing Co.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Sparrow, S. S., Balla, D. A. et Cicchetti, D. V. (1984). Vineland adaptive behavior scales: Interview edition survey form manual. (2e éd.). Circle Pines, MN: American Guidance Service.Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Statistique Canada. (2013). Étude : liens entre les résultats du parcours de vie et la capacité de lecture. Repéré à http://www.statcan.gc.ca/daily-quotidien/110627/dq110627b-fra.htmGoogle Scholar Rechercher cette référence bibliographique sur Google Scholar
- Thurman, S. K. et McGrath, M. C. (2008). Environmentally based assessment practices: Viable alternatives to standardized assessment for assessing emergent literacy skills in young children. Reading & Writing Quarterly, 24(1), 7-24. doi: 10.1080/1057356070175302110.1080/10573560701753021 Google Scholar Rechercher cette référence bibliographique sur Google Scholar
- Tinsley, H. E. A. et Brown, S. D. (2000). Handbook of applied multivariate statistics and mathematical modeling. San Diego, CA: Academic Press.10.1016/B978-012691360-6/50002-1 Google Scholar Rechercher cette référence bibliographique sur Google Scholar