Article body

Introduction

La maîtrise de la langue de communication, à l’oral et à l’écrit, est généralement considérée comme un élément important de l’épanouissement personnel et de l’intégration sociale pour tous les citoyens. Le Programme de formation de l’école québécoise dans le domaine des langues du ministère de l’Éducation du Québec (MEQ)[1] signale à ce sujet que la maîtrise de la langue française par tous les élèves est un facteur primordial de la réussite scolaire et représente un défi majeur pour l’école québécoise (MEQ, 2004). Depuis plus de vingt ans, les publications du ministère de l’Éducation relèvent, de l’école primaire à l’université, des difficultés sur le plan de la qualité dans l’usage de la langue : de nombreuses fautes d’orthographe, une connaissance insuffisante de la grammaire, une pauvreté du vocabulaire, etc. (MEQ, 1992). Une étude transversale récente du ministère de l’Éducation, du Loisir et du Sport (MELS, 2008) portant sur les résultats obtenus par les élèves finissants du secondaire de 2002 à 2006 à l’épreuve unique d’écriture soulignait que certains élèves éprouvent de la difficulté dans la maîtrise de deux (la syntaxe et la ponctuation ainsi que l’orthographe) des six éléments liés aux critères de la grille d’évaluation[2] (MEQ, 2003).

La performance des élèves à l’écrit dépend de plusieurs facteurs. Parmi ceux-ci, certains sont individuels, tandis que d’autres sont reliés au contexte de la scolarisation. Malgré la présence de plusieurs communautés linguistiques dans les écoles de la région métropolitaine de Montréal, où le taux de décrochage scolaire dépasse les 35 %, le Ministère admet que l’école québécoise ne saurait prendre prétexte de cette situation sociale et culturelle difficile pour éviter de se poser la question de l’efficacité de ses propres pratiques en matière d’enseignement de la langue (MEQ, 1992). Au cours des dernières années, le Ministère a en conséquence mis en oeuvre deux plans d’action qui s’inscrivent dans le courant de recherche de l’« école efficace » (school effectiveness research) : d’une part, des mesures pour l’amélioration du français écrit et, d’autre part, des mesures pour la persévérance et la réussite scolaires.

Le modèle de base du mouvement de recherche sur l’« efficacité » des écoles a été proposé par Stufflebeam (1971). Scheerens, Glass et Thomas (2007) ont repris ce modèle, dont les principales composantes sont le contexte, l’intrant, l’extrant et le processus (CIEP). La figure 1 présente l’objectif principal de ce courant de recherche. Elle met en évidence les relations entre une variation hypothétique, le plus souvent une amélioration des conditions de l’environnement, et les résultats scolaires des élèves.

Figure 1.

Un modèle de base de l’environnement de l’école

Un modèle de base de l’environnement de l’école

-> See the list of figures

Dans ce modèle, le système éducatif est présenté comme une fonction de production qui transforme les intrants en extrants éducationnels. D’abord, les intrants représentent les ressources matérielles et financières. Les processus, quant à eux, représentent les structures organisationnelles et pédagogiques de l’établissement scolaire. Enfin, les extrants peuvent être considérés, par exemple, comme les résultats des élèves à des examens officiels.

La problématique exposée dans la présente recherche s’articule dans un certain sens sur le thème de l’« efficacité » des écoles, dans la mesure où nous cherchons à déterminer l’effet propre de certaines variables sur la performance des élèves par la modélisation des liens entre des variables associées au contexte éducatif, à l’intrant, au processus et au rendement des élèves à des épreuves officielles standardisées dont les résultats interpellent les acteurs du système éducatif québécois (Association des cadres scolaires du Québec, 2002). Cette étude se situe dans un cadre conceptuel bien déterminé que nous définirons dans les lignes qui suivent.

Cadre conceptuel

L’analyse écologique traite de l’interaction entre l’individu et son milieu, dont un grand nombre de variables sont susceptibles de rendre compte. Cette complexité rend a priori illusoire l’ambition d’une explication exhaustive du phénomène, mais amène au contraire l’idée que celui-ci peut être décomposé en sous-systèmes provisoirement autonomes, plus simples à analyser (Bressoux, Coustère, & Leroy-Audouin, 1997). Les modèles dans ce type d’analyse sont ainsi utilisés pour faciliter notre compréhension des phénomènes sociaux (Bradley & Schaefer, 1998). Modéliser, c’est construire une représentation générale et simplifiée du réel ; c’est ébaucher un plan, un schéma, à partir duquel seront essayées différentes fictions particulières, ou simulations, de la chose à représenter (Van der Maren, 1995). Dans le cadre de cette étude, la modélisation consistera, d’une part, à déterminer des variables caractéristiques de l’élève et de l’école susceptibles d’affecter les résultats scolaires des élèves et, d’autre part, à apprécier leur degré d’influence les unes par rapport aux autres, tout en mettant en relief, lorsqu’il s’avérera pertinent de le faire, leurs interrelations.

Par définition, l’école est un lieu d’interactions entre de nombreux acteurs aux prérogatives, aux pouvoirs et aux devoirs différents (Rouet, 1993). Tyack et Cuban (2001) décrivent le fonctionnement de l’école secondaire au quotidien comme suit : « Dans une école secondaire, les élèves sont regroupés à l’intérieur d’une classe souvent en fonction de leur âge. Chaque heure, ils changent d’une discipline à l’autre et d’un enseignant à l’autre » (p. 86). En réfléchissant sur la portée de cette définition, nous soulignons qu’au concept d’école en tant qu’entité institutionnelle se greffe celui de la salle de classe dans laquelle se retrouvent les enseignants et les élèves. Pour ce qui est de l’apprentissage que ces enseignants font effectuer aux élèves, les chercheurs se sont souvent posé la question suivante : L’école remplit-elle adéquatement la mission qui lui est assignée ?

La définition du concept d’« efficacité » d’une école ne fait pas consensus au sein de la communauté éducative. Cette situation est due en partie au fait que les chercheurs ne s’entendent pas sur les déterminants qui pourraient l’expliquer. Selon Cheong Cheng (1996), l’« efficacité » d’une école peut être appréciée à partir de deux types d’indicateurs : d’une part, selon le degré de satisfaction des personnes qui y sont associées, à savoir les parents, les élèves, le personnel de direction et les enseignants et, d’autre part, par la mesure des opérations internes à l’école, c’est-à-dire la capacité de l’établissement à utiliser de façon rentable ses ressources financières, matérielles et humaines. Mais, selon Bressoux, Coustère et Leroy-Audouin (1997), les indicateurs caractéristiques du milieu scolaire habituellement utilisés ne cernent pas les aspects les plus influents du milieu.

Une importante étude sur les politiques éducatives, intitulée Equality of Educational Opportunity (Coleman et al., 1966), mieux connue sous le nom de rapport Coleman, fut réalisée dans les années 1960. À l’aide de modèles mathématiques de régression linéaire par les moindres carrés ordinaires et de plus d’une centaine de variables, cette recherche utilise cinq groupes de tests pour évaluer la réussite scolaire des élèves : les tests (a) de performance verbale et non verbale, (b) de compréhension à la lecture, (c) de mathématiques, (d) de sciences de la nature, et (e) des arts et des humanités. Coleman et ses collaborateurs ont rapporté qu’entre 5 % et 35 % de la variance dans la performance des élèves étaient attribuables à des facteurs d’école. La méthode d’analyse de données du rapport Coleman n’était pas sans problème. Par exemple, la régression multiple qu’il utilisait ne permettait pas de calculer avec une grande précision les coefficients des variables et il aurait été approprié d’appliquer des modèles multiniveaux plus robustes pour l’analyse des données qui présentent une structure hiérarchisée.

Blais (2003) a étudié les différences entre les écoles secondaires du Québec quant aux résultats de leurs élèves à l’épreuve unique d’écriture pour le français. En utilisant des données sur une période de huit ans (de 1994 à 2001) provenant du Ministère et touchant approximativement 62000 élèves de 5e secondaire par année âgés de 15 à 18 ans du secteur francophone, l’auteur a eu recours à une modélisation à deux niveaux (élève, école) pour les données de l’année 2001. Il a intégré les variables « genre » (fille, garçon) et « âge » pour le premier niveau, celui de l’élève, et les variables « réseau » (public, privé) et « nombre d’élèves présents à l’épreuve » pour le second niveau, celui de l’école. Les résultats indiquent que le niveau de l’école contribue dans une mesure de 17 % à la variance totale observée, alors que le niveau de l’élève y contribue à 83 %. La recherche effectuée par Blais (2003) s’avère très utile pour la présente étude, étant donné qu’elle porte sur les résultats d’élèves finissants du secondaire au Québec et sur les variables caractéristiques de l’élève et de l’école que nous avons l’intention de modéliser. Il y aura lieu cependant de pousser davantage l’analyse en modélisant, parmi les composantes de l’examen du français écrit qui forment la note moyenne, celles pour lesquelles les élèves éprouvent le plus de difficultés, soit la syntaxe et la ponctuation ainsi que l’orthographe (MELS, 2008).

Dans le prolongement de la recherche de Blais (2003), Ouedraogo (2006) a modélisé des variables caractéristiques de l’environnement scolaire des élèves de la région métropolitaine de Montréal. Outre les variables relatives à l’élève (âge, genre), à l’école (réseau, taille) et au statut socioéconomique des parents, Ouedraogo a examiné la relation qui pourrait exister entre certaines variables spécifiques de la condition résidentielle et des résultats des élèves. En appliquant une modélisation hiérarchique à deux niveaux (élève, école), l’auteur a constaté l’importance de l’effet des variables caractéristiques de l’école par rapport à celles de l’élève dans la région métropolitaine de Montréal. Plus précisément, la part de variance associée au niveau de l’école compte pour 22 % à 26 % de la variance totale du rendement scolaire des élèves, alors que Blais (2003) montrait qu’elle accusait un poids de 17 % de la variance totale quant à la performance des élèves pour l’ensemble du Québec.

Les premiers travaux du mouvement de recherche sur l’école « efficace » (Coleman et al., 1966 ; Peaker, 1967) utilisaient des échantillons de sujets très grands, une quantité élevée de variables, des modèles mathématiques de régression par les moindres carrés ordinaires et des matrices de corrélation. Ces travaux ont montré que les facteurs relevant du statut socioéconomique des parents étaient plus importants dans le rendement scolaire de l’élève que les facteurs d’école. Les conclusions des études subséquentes qui utilisaient des méthodologies différentes se sont révélées contradictoires : Hanushek (1989) a établi que les ressources investies dans l’école n’avaient pas d’influence significative sur la performance des élèves, alors que Hedges, Greenwald et Laine (1994) ont soutenu le contraire.

Plus récemment, Bressoux, Coustère et Leroy-Audouin (1997), Raudenbush et Bryk (2002), Blais (2003) et Ouedraogo (2006) ont eu recours à des modèles multiniveaux univariés dans l’analyse des données éducatives. Ils ont tous utilisé la note moyenne de l’élève dans des épreuves uniques et la modélisation hiérarchique à deux niveaux (élève, école). Dans le cadre de cette étude, en tenant compte du caractère simultané de la collecte des données brutes sur les deux variables dépendantes (syntaxe et ponctuation, orthographe) et des considérations de la recension des écrits, nous pouvons justifier le choix des éléments suivants : la modélisation multiniveau multivariée à deux niveaux, les variables caractéristiques de l’élève (âge, genre, langue maternelle) et de l’école (réseau, proportion des élèves de langue maternelle française, taille, mixité). Le détail sur la justification de ces choix sera fourni dans la section sur la méthode.

Objectifs et questions de recherche

Dans les recherches portant sur l’« efficacité » des écoles, la question de l’importance des variables caractéristiques de l’élève et de l’école en rapport avec le rendement scolaire des élèves s’avère essentielle. Cependant, il n’a pas toujours été facile de déterminer non seulement les variables les plus pertinentes associées à l’« efficacité » d’une école, mais également de départager leurs effets en fonction des différents niveaux d’appartenance (élève, école), selon le rendement scolaire des élèves. L’objectif de la présente recherche est de modéliser les liens entre un certain nombre de variables indépendantes caractéristiques de l’élève (âge, genre, langue maternelle) et de l’école (réseau, proportion des élèves de langue maternelle française, taille, mixité) et le nombre d’erreurs des élèves finissants du secondaire de la région métropolitaine de Montréal, suivant deux critères spécifiques de correction (syntaxe et ponctuation, orthographe) de l’épreuve unique de français écrit du Ministère. Quelles seraient les variables plus sensibles à la différence des caractéristiques de l’élève et de l’école susceptibles d’être associées à l’«efficacité » d’une école secondaire dans les résultats des élèves ? Comment départager les effets propres de chacune de ces variables sur le nombre d’erreurs commises par les élèves en syntaxe et ponctuation et en orthographe en fonction de leur niveau d’appartenance (élève, école) ? De ces interrogations générales découlent d’autres problèmes de nature méthodologique, problèmes dont nous nous préoccupons également dans les sections suivantes.

Méthode

Cette section sur la méthode explique les éléments et les moyens mis en oeuvre pour la réalisation de la recherche. Ce sont (a) les considérations éthiques, (b) les sources de données, (c) les variables indépendantes caractéristiques de l’élève et de l’école, (d) les formes et les conditions de passation de l’épreuve, (e) l’analyse des données, (f) la modélisation multiniveau, et (g) la modélisation multiniveau multivariée.

Les considérations éthiques

Faisant suite à notre demande auprès de la Commission d’accès à l’information du Québec, la Direction de la statistique, de la recherche et de l’information du Ministère nous a fourni les données dont il demeure le dépositaire légal. L’autorisation est assortie de certaines exigences d’utilisation qu’il importe de signaler : les données doivent servir uniquement aux fins de la présente recherche ; il est formellement interdit de les croiser avec d’autres banques de données existantes ou futures ; et les données seront conservées une année après la fin de l’étude, puis elles seront détruites.

Les sources de données

Les fichiers de données originaux reçus du Ministère contiennent le nombre d’erreurs des élèves selon les deux critères spécifiques de correction de l’épreuve de français écrit (syntaxe et ponctuation, orthographe). Ces fichiers présentent aussi les données démographiques de ces élèves (âge, genre, langue maternelle) et les caractéristiques de l’école (effectif, nombre d’élèves de 5e secondaire présents à l’examen). Après le « nettoyage » des fichiers originaux, nous avons retenu pour l’analyse les élèves âgés de 15 à 18 ans et les écoles qui présentaient au moins 20 élèves à l’épreuve unique de français écrit du Ministère. L’effectif des établissements scolaires varie considérablement, soit de 105 à 2200 élèves.

Les analyses qui ont été effectuées reposaient sur les résultats de trois cohortes d’élèves soumis à l’épreuve unique de français écrit du Ministère durant les années 2006, 2007 et 2008. Le tableau 1 présente quelques statistiques sur la population d’élèves et d’écoles de la région métropolitaine de Montréal. Ce sont l’effectif, le nombre d’établissements scolaires (privés et publics), le nombre moyen d’erreurs des élèves pour chacun des deux critères de correction (syntaxe et ponctuation, orthographe) et la corrélation entre ces deux critères.

Tableau 1

Statistiques descriptives des données

Statistiques descriptives des données

-> See the list of tables

Les variables caractéristiques de l’élève et de l’école

La diversité des caractéristiques des élèves et des établissements d’enseignement dans la région métropolitaine de Montréal nous amène à analyser plusieurs des variables associées à l’élève : l’âge (15, 16, 17 et 18 ans), le genre (fille, garçon), la langue maternelle (français, autres), et à l’école : le réseau scolaire (public, privé), la proportion des élèves de langue maternelle française, la mixité de l’école (mixte, fille) et la taille de l’école.

Les variables caractéristiques de l’élève

L’âge : L’âge normal des élèves finissants du secondaire au 30 septembre de l’année où ils ont à passer l’examen de français écrit du Ministère est de 16 ans. Plusieurs chercheurs – dont Goldstein, Huiqi, Rath et Hill (2000) en Angleterre, Blais (2003) au Québec, Felouzis (2004) en France et Petrucci (2010) en Suisse – ont établi que l’âge de l’élève est un facteur significatif du résultat scolaire obtenu.

Le genre : Une étude de Blais (2003) pour le Québec a montré que les filles obtiennent de meilleurs résultats que les garçons à l’épreuve unique de français écrit du Ministère en 5e secondaire. Il y a lieu de vérifier plus en profondeur la relation entre le genre (garçon, fille) et les résultats des élèves de la région métropolitaine de Montréal aux deux critères spécifiques retenus pour notre recherche.

La langue maternelle : Selon le MELS (2005), la langue maternelle est la première langue apprise à la maison dans l’enfance et encore comprise par le recensé au moment du recensement du gouvernement fédéral canadien. Dans la province de Québec, la majorité des immigrants dont la langue maternelle n’est pas le français habitent la région métropolitaine de Montréal.

Les variables caractéristiques de l’école

Le réseau (public, privé): Au Québec, le secteur privé est très développé dans les régions urbaines, comme Montréal, où se concentrent la majorité des écoles de ce secteur (Blais, 2003). La présente recherche s’intéresse à la différence dans les résultats obtenus par les élèves finissants du secondaire pour chacun des deux critères de correction (syntaxe et ponctuation, orthographe) à l’épreuve unique de français écrit du Ministère en fonction du réseau d’appartenance de l’école (public, privé).

La proportion des élèves de langue maternelle française : Le Québec accueille de plus en plus d’immigrants en provenance de pays de cultures, de langues et de religions différentes. Certaines écoles de la région métropolitaine de Montréal comportent un pourcentage d’élèves immigrants qui dépasse les 50 % de leur effectif. Le pourcentage des élèves de langue maternelle française d’une école est calculé selon la langue maternelle déclarée par chaque élève de l’école : c’est le rapport entre le nombre d’élèves de langue maternelle française de l’école et l’effectif total de l’école.

La mixité (mixte, fille): La mixité de l’établissement scolaire est déterminée par le genre des élèves de chaque école, une information qui est consignée dans les fichiers de données reçus du Ministère. Si l’établissement scolaire accueille des élèves des deux sexes, il est catégorisé comme étant mixte. Autrement, il sera qualifié du genre des élèves qui le fréquentent. Les données reçues du Ministère nous indiquent qu’il n’y avait aucune école réservée aux garçons dans la région métropolitaine de Montréal. Cependant, une dizaine d’écoles sont réservées aux filles.

La taille : Dans la région métropolitaine de Montréal, certaines écoles secondaires présentent un effectif qui dépasse les 2000 élèves, alors que d’autres sont de plus petite taille, avec un effectif de moins de 500 élèves. Les résultats d’études récentes (Konstantopoulos, 2006) confirment l’existence d’une corrélation significative entre la taille de l’école et les résultats des élèves : les écoles de plus petite taille seraient plus performantes.

Les formes et les conditions de passation de l’épreuve

Rappelons que, bien des années avant le Renouveau pédagogique commencé en l’an 2000, le système scolaire québécois s’est doté d’une épreuve unique en français écrit à caractère certificatif. Cette épreuve vise à évaluer les connaissances et les compétences acquises par les élèves finissants du secondaire en fonction des objectifs d’apprentissage définis dans le Programme de formation de l’école québécoise (MEQ, 2003). La grille d’évaluation de l’examen de compétence à écrire un texte argumentatif, appelé Épreuve unique d’écriture du français, langue d’enseignement (MEQ, 2003), précise que les trois critères du code linguistique représentent 50 % de la pondération de la note de passage : l’utilisation du vocabulaire approprié compte pour 5 %, la syntaxe et la ponctuation pour 20 % et l’orthographe pour 25 %. Le Ministère a cependant ajouté depuis 2005 une disposition selon laquelle les correcteurs arrêtent de compter le nombre d’erreurs des élèves à partir de 24 erreurs pour la syntaxe et la ponctuation et de 35 erreurs pour l’orthographe. Cette disposition a eu pour effet de produire une fréquence anormalement élevée de ces valeurs.

L’analyse des données

L’analyse des caractéristiques des trois cohortes révèle que le pourcentage d’élèves, la valeur du coefficient de corrélation entre les deux variables dépendantes, la similitude des formes d’examen, les conditions de passation ainsi que la correction centralisée restent sensiblement les mêmes durant les années. C’est ce qui nous permet, en vue d’une plus forte robustesse des résultats, de regrouper les trois cohortes, qui totalisent 32 483 élèves. Le caractère atypique de la distribution des résultats des élèves nous amène cependant à envisager deux séries d’analyses. Une première série d’analyses est appliquée sur une sous-population qui comprend les élèves dont les résultats se situent entre 0 et 23 erreurs de syntaxe et de ponctuation et entre 0 et 34 erreurs d’orthographe ; et une seconde série d’analyses porte sur l’ensemble de la population, qui réunit tous les élèves. Dans chacun des cas, nous effectuons plusieurs modélisations multiniveaux multivariées à l’aide du logiciel MLwiN (Rasbash, Steele, Browne, & Goldstein, 2009).

La modélisation multiniveau

La plupart des données éducatives présentent une structure hiérarchique dans laquelle les élèves sont regroupés à l’intérieur d’une classe, et les classes à l’intérieur d’une école. Ce type de données est particulièrement adapté aux modèles multiniveaux. Ces derniers permettent d’introduire en même temps dans l’analyse les variables individuelles et les variables agrégées (Kreft & De Leeuw, 1998). Ces modèles rendent alors caduque la question du choix de l’unité d’analyse entre l’élève et l’école, qui se posait à l’époque du rapport Coleman (1966). L’utilisation de la modélisation multiniveau se justifie également par le fait qu’elle permet d’obtenir une meilleure précision dans l’analyse des données, particulièrement celles qui proviennent d’un système éducatif (Hill & Rowe, 1996 ; Plewis, 1997).

La modélisation multiniveau multivariée

Même s’il est possible d’analyser séparément chacun des deux critères de correction (syntaxe et ponctuation, orthographe) par des analyses multiniveaux univariées, Snijders et Bosker (1999) recommandent de les traiter conjointement par des analyses multiniveaux multivariées pour plusieurs raisons. Premièrement, cela permet de conclure sur l’importance de la corrélation entre les deux variables dépendantes, notamment en indiquant dans quelle mesure cette corrélation dépend des variables caractéristiques du niveau de l’élève ou du niveau de l’école. Deuxièmement, les tests des effets spécifiques sur chaque variable dépendante sont plus puissants dans les analyses multivariées. Cela est évident sous la forme d’une plus petite erreur type dans l’estimation des coefficients. Troisièmement, c’est seulement par les analyses multivariées qu’il est possible de vérifier si l’effet d’une variable indépendante xi sur une variable dépendante Y1 est plus important que sur une autre variable dépendante Y2 quand les données, partielles ou totales, sur les deux variables dépendantes ont été observées sur les mêmes individus, comme c’est le cas de nos données. Enfin, pour un test unique de l’effet conjoint d’une variable indépendante sur plusieurs variables dépendantes, la modélisation multivariée devient nécessaire. Tout compte fait, ce type de test permet d’éviter l’effet du hasard, qui est inhérent à l’utilisation d’un test spécifique pour chaque variable dépendante. Néanmoins, l’analyse d’une situation éducative par la modélisation multiniveau multivariée est plus compliquée que par la régression linéaire multiple. Les équations 1, 2, 3 et 4 représentent le modèle général multiniveau multivarié (Rasbash, Steele, Browne, & Goldstein, 2009) utilisé dans notre recherche.

Les variables dépendantes sont représentées par Yhij, où h = 1,2 (Y1ij, la syntaxe et la ponctuation, Y2ij, l’orthographe). Le premier niveau représente les élèves, où l’indice i = 1,…, nj, et le second les écoles, où j = 1,..., N. Les termes d’erreurs νhj et µhij, où h = 1 et 2, sont présumés avoir une moyenne de 0 et des variances respectives de σνj au niveau de l’école et de forme: 1983057n.jpg au niveau de l’élève. La covariance entre les deux variables dépendantes au niveau de l’école est exprimée par l’équation 5 :

Cette covariance peut être utilisée pour calculer la corrélation entre les deux variables dépendantes à l’intérieur de l’école. Elle est représentée par l’équation 6 :

Résultats

Cette section présente les résultats de quatre modélisations : la modélisation à vide à deux niveaux du nombre d’erreurs commises par les élèves sans le nombre élevé d’erreurs (Modèle 1) ; la modélisation à vide à deux niveaux du nombre d’erreurs commises par l’ensemble de la population (Modèle 2) ; la modélisation des variables caractéristiques de l’élève pour l’ensemble de la population (Modèle 3) ; et la modélisation des variables caractéristiques de l’école pour l’ensemble de la population (Modèle 4).

Le modèle 1 : la modélisation à vide pour la sous-population sans le nombre élevé d’erreurs

Le tableau 2 indique la part de variance attribuable à chacun des niveaux (élève, école) de la modélisation à deux niveaux à vide du nombre d’erreurs commises par les élèves sans les valeurs de 24 erreurs en syntaxe et ponctuation et de 35 erreurs en orthographe. Ces résultats indiquent que 82,37 % de la variance totale de la performance des élèves en syntaxe et ponctuation et 82,29 % en orthographe sont attribuables à l’élève. Nous relevons que 17,63 % de la variance totale de la performance des élèves en syntaxe et ponctuation de même que 17,71 % en orthographe sont attribuables à l’école.

Le modèle 2 : la modélisation à vide pour l’ensemble de la population

Le tableau 2 indique également la part de variance attribuable à chacun des niveaux (élève, école) de la modélisation à deux niveaux à vide du nombre d’erreurs commises par l’ensemble des élèves. Les résultats indiquent que 75,72 % de la variance totale de la performance des élèves en syntaxe et ponctuation et 74,91 % en orthographe se retrouvent au niveau de l’élève. De même, 24,28 % de la variance totale de la performance des élèves en syntaxe et ponctuation et 25,09 % en orthographe se retrouvent au niveau de l’école.

Tableau 2

Décomposition de la variance aux niveaux de l’élève et de l’école

Décomposition de la variance aux niveaux de l’élève et de l’école

-> See the list of tables

Pour l’ensemble des élèves, la valeur de la covariance entre les deux variables dépendantes est positive aux deux niveaux. Elle a un coefficient de 26,94 (erreur type de 0,30) au niveau de l’élève et de 14,68 (erreur type de 1,53) au niveau de l’école (voir Tableau 3). Dans les écoles où les élèves font en moyenne beaucoup d’erreurs de syntaxe et de ponctuation, ces derniers ont aussi tendance à commettre en moyenne beaucoup d’erreurs d’orthographe. À l’intérieur d’une école, l’élève qui fait peu d’erreurs de syntaxe et de ponctuation a également tendance à commettre peu d’erreurs d’orthographe.

Nous avons calculé la corrélation entre les deux variables dépendantes associées à chacun des deux niveaux : elle est de 0,86 au niveau de l’école et de 0,52 au niveau de l’élève. Ce résultat indique une plus forte corrélation entre le nombre moyen d’erreurs de syntaxe et de ponctuation et le nombre moyen d’erreurs d’orthographe au niveau de l’école que celle qui existe entre les élèves à l’intérieur d’une école. En d’autres termes, il y a plus d’homogénéité entre les écoles qu’entre les élèves à l’intérieur de l’école.

Le modèle 3 : la modélisation des variables caractéristiques de l’élève pour l’ensemble de la population

Cette nouvelle étape de nos analyses teste le modèle à deux niveaux (élève, école) avec les trois variables catégorielles indépendantes caractéristiques de l’élève : l’âge, le genre et la langue maternelle. Le coefficient des variables dichotomiques s’interprète ainsi : une valeur positive indique que c’est la catégorie de la variable codée par le chiffre 1 qui fait plus d’erreurs. Une valeur négative indique que c’est la catégorie de la variable codée par 1 qui fait moins d’erreurs. Une valeur proche de 0 indique que les deux catégories font sensiblement le même nombre d’erreurs. Dans la modélisation qui suit, le genre de l’élève est codé ainsi : le chiffre 1 représente les garçons et le chiffre 0 les filles. Pour la langue maternelle, la donnée des élèves ayant une langue maternelle différente du français est codée par le chiffre 0, alors que la donnée des élèves de langue maternelle française est codée par le chiffre 1. La variable âge comprend les élèves qui sont âgés de 15, 16, 17 et 18 ans. Lorsque le coefficient de cette variable est élevé, ce sont les élèves plus âgés qui font le plus de fautes. Dans ce cas, le coefficient s’interprète comme l’effet d’une augmentation d’un an de l’âge sur le nombre d’erreurs commises en syntaxe et ponctuation ou en orthographe. Les résultats de cette modélisation sont exposés au tableau 3. La valeur des coefficients est indiquée avec leur erreur type entre parenthèses.

L’analyse de la performance des élèves en syntaxe et ponctuation nous indique que l’effet le plus important est relié à la langue maternelle avec un coefficient de -2,08 (0,07) de désavantage pour les non-francophones, suivi de l’âge avec un coefficient de 1,78 (0,05) en faveur des élèves les plus jeunes, et du genre avec un coefficient de -0,34 (0,07) de désavantage pour les garçons. En orthographe, les résultats montrent que le genre affiche l’effet le plus important avec un coefficient de -3,04 (0,11) de désavantage pour les garçons, suivi de l’âge avec un coefficient de 2,29 (0,09) en faveur des élèves les plus jeunes, et de la langue maternelle avec un coefficient de 0,71 (0,11) en faveur des élèves non francophones. Ces résultats sont tous significatifs. Les variables caractéristiques de l’élève retenues expliquent cependant très peu la variance totale de la performance des élèves, soit 13,85 % en syntaxe et ponctuation et 9,81 % en orthographe.

Tableau 3

Estimations des coefficients et de leur erreur type des variables caractéristiques de l’élève et de l’école

Estimations des coefficients et de leur erreur type des variables caractéristiques de l’élève et de l’école

Note. Les valeurs sont exprimées en coefficient suivi entre parenthèses de l’erreur type. ET = erreur type ; PourcLang = pourcentage des élèves de langue maternelle française de l’école.

-> See the list of tables

Le modèle 4 : la modélisation des variables caractéristiques de l’école pour l’ensemble de la population

En plus des variables caractéristiques de l’élève, nous avons intégré les variables caractéristiques de l’école pour compléter l’analyse. Le modèle avec les variables caractéristiques de l’élève sans les variables d’école servira de référence pour l’analyse du modèle qui intègre les facteurs d’école : le réseau, la mixité, la taille et le pourcentage des élèves de l’école dont la langue maternelle est le français. Dans ce modèle, la variable réseau sera codée ainsi : le chiffre 0 représente le secteur privé et le chiffre 1 le secteur public. Pour la mixité, le chiffre 0 représente les écoles réservées aux filles et le chiffre 1 les écoles mixtes. La taille de l’école et le pourcentage des élèves de langue française seront modélisés avec leur valeur brute. Les résultats (voir Tableau 3) indiquent que le réseau obtient l’effet le plus important avec un coefficient de 5,63 (0,60) en orthographe et de 2,20 (0,37) en syntaxe et ponctuation au désavantage des écoles publiques, suivi du pourcentage des élèves de langue maternelle française avec un coefficient de -1,46 (0,70) en syntaxe et ponctuation en faveur des écoles qui comptent un haut pourcentage d’élèves francophones. En orthographe, l’effet du pourcentage d’élèves de langue maternelle française avec un coefficient de 0,43 (1,14) n’est pas significatif.

La taille et la mixité, avec des coefficients respectivement de 0,00 (0,00) et 0,02 (0,50) en syntaxe et ponctuation et de 0,00 (0,00) et -0,12 (0,81) en orthographe, présentent un poids plutôt négligeable. Les variables caractéristiques de l’école qui ont été modélisées expliquent à peine 3,65 % de la variance totale de la performance des élèves en syntaxe et ponctuation, et 6,42 % de la variance totale de leur performance en orthographe.

Discussion

Les résultats obtenus dans notre recherche concordent avec ceux des études précédentes menées au Québec (Blais, 2003 ; Ouedraogo, 2006) et ailleurs (Coleman et al., 1966 ; Bressoux, Coustère, & Leroy-Audouin, 1997). La part de variance totale de l’école dans la performance des élèves passe de 25 % pour l’ensemble de la population à 17 % pour la sous-population d’élèves sans le nombre élevé d’erreurs. Celle attribuable à l’élève passe de 75 % pour l’ensemble de la population à 83 % pour la sous-population d’élèves sans le nombre élevé d’erreurs. Le fait de retirer les données sur les élèves en difficulté neutralise dans une certaine mesure l’effet des facteurs d’école sur la performance des élèves attribuable à l’école. Conséquemment, dans la région métropolitaine de Montréal, le rôle de l’école serait donc plus important chez les élèves les plus faibles que chez ceux qui sont plus forts.

Les variables caractéristiques de l’élève

L’ordre d’importance des variables caractéristiques de l’élève sur sa performance en syntaxe et ponctuation quant à la quantité d’information qu’elles apportent ne suit pas l’ordre observé en orthographe. En syntaxe et ponctuation, l’effet le plus important est relié à la langue maternelle avec un coefficient de -2,08 (0,07) au désavantage des élèves non francophones, suivi de l’âge avec un coefficient de 1,78 (0,05) en faveur des élèves les plus jeunes, et du genre avec un coefficient de -0,34 (0,07) en faveur des filles. En orthographe, les résultats indiquent que le genre semble produire l’effet le plus important avec un coefficient de -3,04 (0,11) de désavantage pour les garçons, suivi de l’âge avec un coefficient de 2,29 (0,09) en faveur des élèves les plus jeunes, et de la langue maternelle avec un coefficient de 0,71 (0,11) en faveur des élèves non francophones.

La langue maternelle favorise davantage la performance des élèves francophones en syntaxe et ponctuation, et semble au contraire favoriser les non-francophones pour l’orthographe. Pourquoi les élèves de langue maternelle française performent-ils mieux en syntaxe et ponctuation qu’en orthographe ? Est-ce parce qu’ils font plus naturellement l’apprentissage de la syntaxe et de la ponctuation que de l’orthographe qui, elle, requiert plus de mémorisation ? Ce sujet demande une investigation plus poussée.

Les résultats montrent que les élèves les plus jeunes font moins de fautes de syntaxe et ponctuation et d’orthographe. Ces résultats sont conformes à ceux des études précédentes menées au Québec. Blais (2003) a montré que les élèves qui arrivent à l’âge normal, c’est-à-dire à 16 ans, en 5e secondaire au Québec réussissent mieux en français que ceux qui sont plus âgés. Également, selon McAndrew, Ledent et Ait-Said (2005), arriver à l’âge normal au secondaire, c’est-à-dire à 12 ans, s’avère un facteur de prédiction important de la réussite scolaire pour les élèves des communautés noires de Montréal. Dans le cadre de cette étude, les variables individuelles caractéristiques de l’élève (âge, genre, langue maternelle), qui montrent un poids de 13,90 %, influent davantage sur les résultats des élèves quant au nombre d’erreurs qu’ils font en syntaxe et ponctuation qu’en orthographe, critère pour lequel ces variables indépendantes indiquent un poids de 9,80 %.

Les variables caractéristiques de l’école

Au sujet des variables caractéristiques de l’école, les résultats indiquent que la variable réseau représente l’effet le plus important avec un coefficient de 5,63 (0,60) en orthographe et de 2,20 (0,37) en syntaxe et ponctuation en faveur des écoles privées. Dans la région métropolitaine de Montréal, notre étude dénombrait 20213 élèves au réseau public et 11252 au réseau privé. Cependant, une plus grande proportion d’élèves en difficulté fréquentent le réseau public : 10,61 % des élèves du réseau public faisaient 24 erreurs et plus de syntaxe et ponctuation contre 2,77 % des élèves du réseau privé. Il y avait 14,09 % des élèves qui faisaient 35 erreurs et plus d’orthographe dans le réseau public, contre 3,18 % des élèves du réseau privé. Cette analyse a mis en évidence les différences d’acquisition en syntaxe et ponctuation et en orthographe entre les établissements scolaires selon le réseau. Cependant, nous ne pouvons pas conclure si cette différence est due en partie à un effet des facteurs d’école analysés dans cette étude ou aux habiletés des élèves à l’entrée des écoles secondaires privées ou à vocation internationale publique, lesquelles appliquent des critères de sélection dès le début du secondaire.

L’effet du réseau est suivi de celui du pourcentage des élèves de langue maternelle française avec un coefficient de -1,46 (0,70) en syntaxe et ponctuation et de 0,43 (1,14) en orthographe en faveur des écoles qui comptent un nombre élevé d’élèves de langue maternelle française. L’effet des facteurs d’école sur la performance des élèves en orthographe n’est cependant pas significatif. Plusieurs autres études ont conclu, d’une part, à l’existence des « effets écoles » sur le rendement des élèves en fonction de leur origine ethnique (Coleman et al., 1966 ; Saunders, 1999 ; Meyer, 2002 ; Stevens, 2005) et, d’autre part, à une forte corrélation entre la proportion d’élèves immigrants dans une école et leur rendement scolaire (Coleman et al., 1966 ; Rumberger & Palardy, 2005 ; Konstantopoulos, 2006). L’effet de ce facteur d’établissement, soit le pourcentage des élèves de langue maternelle française, sur la performance scolaire est cependant relié à celui de la variable langue maternelle caractéristique de l’élève. Le facteur langue maternelle française favorise fortement la performance individuelle de l’élève et l’effet d’établissement scolaire en syntaxe et ponctuation. Ce facteur n’est cependant pas significatif dans la performance de l’élève en orthographe.

Les variables mixité et taille de l’école ne semblent pas présenter des relations significatives quant au nombre d’erreurs commises par les élèves en syntaxe et ponctuation et en orthographe. Plusieurs études révèlent l’existence d’un effet différentiel des écoles mixtes sur le rendement scolaire en faveur des filles (Saunders, 1999 ; Goldstein, Huiqi, Rath, & Hill, 2000 ; Meyer, 2002 ; Stevens, 2005 ; Konstantopoulos, 2006). Aux États-Unis, les résultats de l’étude de Konstantopoulos (2006) confirment l’existence d’une corrélation significative entre la taille de l’école et les résultats des élèves : les écoles de plus petite taille seraient plus performantes. Au Québec, Ouedraogo (2006) rapportait que la variable taille de l’école comptait pour une mesure de 4,2 % de la variance totale attribuable à l’école dans la région métropolitaine de Montréal. Blais (2003) a cependant montré qu’il faut user de prudence dans l’interprétation des relations entre la taille de l’école et les résultats des élèves. Compte tenu de leur projet éducatif et de la clientèle desservie, certaines écoles de petite taille présentent une moins bonne performance en termes de résultat moyen des élèves en français et en mathématiques. La performance des élèves selon la taille de l’école serait plutôt fonction de la mission éducative de l’école. En résumé, les variables caractéristiques de l’école (réseau, taille, mixité, proportion d’élèves de langue maternelle française), avec un pourcentage de 6,40 % en orthographe, influent davantage sur le nombre d’erreurs commises par les élèves qu’en syntaxe et ponctuation, critère pour lequel est obtenu un pourcentage plutôt faible de 3,65 %.

Conclusion et perspectives

L’étude que nous avons menée se rattache au mouvement de recherche sur l’école «efficace » (school effectiveness research). Elle visait à déterminer les relations entre, d’une part, les variables indépendantes caractéristiques de l’élève [âge (15, 16, 17 et 18 ans), genre (fille, garçon) et langue maternelle (français, autres)] et de l’école [secteur (public, privé), mixité (mixte, fille), proportion des élèves de langue maternelle française et taille] et, d’autre part, les deux variables dépendantes (syntaxe et ponctuation, orthographe) afin de vérifier dans quelle mesure le nombre d’erreurs commises par les élèves finissants du secondaire de la région métropolitaine de Montréal, selon ces deux critères de correction à l’épreuve unique de français écrit du Ministère, dépend de certaines caractéristiques individuelles des élèves, mais aussi de certaines caractéristiques de l’établissement dans lequel ils sont scolarisés.

La poursuite de ces objectifs nous a amené à présenter les faits saillants suivants :

  • Les écoles sont plus homogènes que les élèves à l’intérieur d’une école ;

  • Dans les écoles où les élèves font en moyenne beaucoup d’erreurs de syntaxe et de ponctuation, ceux-ci ont tendance à commettre également beaucoup d’erreurs d’orthographe ;

  • Dans les écoles où les élèves font en moyenne peu d’erreurs de syntaxe et de ponctuation, ceux-ci ont tendance à commettre également peu d’erreurs d’orthographe ;

  • Les variables caractéristiques de l’élève jouent davantage dans l’explication de la performance des élèves en syntaxe et ponctuation qu’en orthographe ;

  • Les variables caractéristiques de l’école interviennent davantage dans l’explication de la performance des élèves en orthographe qu’en syntaxe et ponctuation ;

  • En syntaxe et ponctuation, l’effet le plus important est relié à la langue maternelle en faveur des élèves francophones, suivi de l’âge en faveur des élèves les plus jeunes, et du genre en faveur des filles ;

  • En orthographe, le genre affiche l’effet le plus important en faveur des filles, suivi de l’âge en faveur des élèves les plus jeunes, et de la langue maternelle en faveur des élèves non francophones.

  • La mixité et la taille de l’école sont des facteurs peu significatifs dans la performance des élèves.

Les limites de l’étude

Nous sommes conscient du fait qu’un grand nombre d’autres variables auraient pu être étudiées, mais nous nous sommes intéressé à celles qui paraissaient les plus pertinentes à la problématique traitée et pour lesquelles nous avons obtenu des données du Ministère. Nous avons ainsi retenu des variables relatives à l’école (mixité, proportion des élèves de langue maternelle française), pour lesquelles nous avons déterminé les mesures selon les données disponibles. Certaines variables relatives à l’environnement scolaire, de prime abord importantes mais difficiles à mesurer, n’ont pas été retenues dans notre recherche : le climat de l’école, l’implication du personnel, l’adhésion du personnel au projet éducatif de l’école ainsi que les variables relatives au personnel enseignant et/ou à la salle de classe. Notre étude s’est ainsi limitée à la modélisation d’un nombre bien défini de variables quantitatives pour les deux niveaux (élève, école). Nous reconnaissons aussi que le fait d’ignorer un niveau intermédiaire dans une modélisation, comme la salle de classe, peut porter à surestimer l’importance de l’effet des variables des autres niveaux, comme l’école (Opdenakker & Van Damme, 2000).

Plusieurs auteurs, dont Goldstein, Huiqi, Rath et Hill (2000), Meyer (2002), Felouzis (2004) et Bressoux (2008), considèrent le résultat initial de l’élève à l’entrée du cycle secondaire comme étant un facteur de prédiction important de ses résultats futurs. Le fait ayant été admis pour la région métropolitaine de Montréal surtout pour les non-francophones (McAndrew et al., 2005), nous déplorons qu’il ne nous ait pas été possible de recueillir des données sur celui-ci. L’absence de tels renseignements pose donc une autre limite à la présente recherche, puisque nous ne sommes pas ainsi en mesure d’affirmer que les effets des variables caractéristiques de l’école introduites dans la modélisation correspondent à leur apport réel dans les résultats des élèves.

D’autre part, comme cela a été le cas dans les recherches précédentes (Bressoux, Coustère, & Leroy-Audouin, 1997 ; Blais, 2003 ; Ouedraodo, 2006), l’analyse des modèles mis en oeuvre dans cette recherche a révélé que la plus grande partie du phénomène, celle qui a trait aux relations entre des variables associées au contexte éducatif, à l’intrant, au processus et au nombre d’erreurs commises par les élèves par rapport aux deux critères spécifiques de correction à l’épreuve unique du Ministère, reste tout compte fait inexpliquée. Les variables caractéristiques de l’école (réseau, mixité, taille, proportion d’élèves de langue maternelle française) expliquent très peu la variance totale dans la performance des élèves, à peine 3,66 % pour la syntaxe et la ponctuation et 6,40 % pour l’orthographe. En tout état de cause, d’autres explications sur la performance des élèves finissants du secondaire par rapport aux deux critères de correction à l’épreuve unique de français écrit du Ministère doivent être recherchées non seulement aux deux niveaux de la structure éducative analysée (élève, école), mais aussi au niveau de la classe, tout en tenant compte des pratiques pédagogiques des enseignants.

De surcroît, les résultats des élèves de 5e secondaire sont tributaires d’un très long temps passé sur les bancs de l’école avec plusieurs enseignants. À propos de cette question qui se rapporte à la mobilité des élèves et à la rémanence des effets d’établissement, Bressoux, Leroy-Audouin et Coustère (1998) sont d’avis que les acquis mesurés à un temps t ne sont pas uniquement fonction des conditions de scolarité de ce temps. Ces acquis peuvent être également le fruit de conditions antérieures dont les effets peuvent être plus ou moins durables et marqués.

Même s’il est vrai que nous ne disposons pas de beaucoup d’information sur les écoles, il y a lieu de poursuivre et d’approfondir les travaux en vue d’expliquer pourquoi les élèves de langue maternelle française obtiennent de meilleurs résultats en syntaxe et ponctuation que ceux ayant une langue maternelle différente de la langue d’enseignement ; pourquoi la maîtrise de l’orthographe demeure pour eux plus difficile que celle de la syntaxe et de la ponctuation ; pourquoi les filles obtiennent systématiquement de meilleurs résultats que les garçons ; et, enfin, pourquoi les élèves plus jeunes obtiennent de meilleurs résultats que les plus âgés. Il faut espérer que d’autres études continueront d’enrichir le sujet et traceront des voies inédites aux recherches sur la place du français dans la formation des jeunes du Québec.