Corps de l’article

1. Introduction

Les élèves doivent développer, durant leur scolarité obligatoire, leur compétence scripturale, et l’apprentissage de l’écriture est ainsi un apprentissage constitutif de l’instruction obligatoire. Pour parvenir à cette fin, il est possible d’agir aux niveaux du système scolaire, des écoles, des enseignant⋅e⋅s, des élèves. Depuis les années 1980, plusieurs recherches qui s’inscrivent dans le paradigme des recherches processus-produit ont porté sur les effets de ces différents niveaux sur les apprentissages des élèves ; elles ont notamment montré que l’effet-école explique 6 % de la variance des performances des élèves (Bru, Altet et Blanchard-Lavile, 2004), que l’effet-classe en explique davantage, soit 10 à 20 % (Bressoux, 2001), que l’effet-classe est largement constitué d’un effet-enseignant⋅e, qui est lui-même surtout constitué de ce que l’enseignant⋅e fait en classe (Bressoux, 2001). Bien que les caractéristiques des élèves et de leur famille prédisent leurs performances (Van Damme, Opdenakker, Van Landeghem, De Fraine, Pustjens et Van de Gaer, 2009), celles qui ont le plus d’impact sur les performances des élèves, parmi les variables en jeu dans l’école, sont celles « les plus directement connectées au processus d’apprentissage », en comparaison avec les variables telle la gestion de l’établissement, « plus distales » (Van Damme et coll., 2009, p. 34). Les stratégies pédagogiques (nous utilisons ce terme au sens de Messier, 2014) utilisées par les enseignant⋅e⋅s en classe de français au secondaire québécois pourraient ainsi avoir une part à jouer dans les performances des élèves en écriture. Cependant, elles n’ont pas été mises en relation avec les performances des élèves en écriture à l’échelle québécoise, comme nous le voyons à la section 2 ; cet article s’emploie donc à identifier les stratégies pédagogiques que les enseignant⋅e⋅s déclarent utiliser en classe de français au secondaire québécois qui sont liées à l’écriture de meilleurs textes par les élèves.

2. Contexte théorique

2.1 La compétence scripturale et la description des performances en écriture

La compétence scripturale comprend 1) les connaissances du⋅de la scripteur⋅rice ; 2) ses représentations de l’écriture (son rapport à l’écriture) ; 3) ses processus (Dabène, 1991 ; groupe Description internationale des enseignements et des performances en matière d’écrits [DIEPE], 1995 ; Reuter, 1996). Ces processus sont, selon le modèle princeps de Hayes et Flower (1980), la planification (la production des idées, leur organisation et la définition de buts), la mise en texte (la production du texte, la formation des phrases et l’écriture des mots) et la révision (la relecture et la modification du texte, en corrigeant ses erreurs). Dans la dernière version du modèle de Hayes (2012), ces processus deviennent stratégies, qui peuvent être adoptées par un⋅e scripteur⋅rice pour écrire. Alors que le groupe DIEPE (1995) voit le produit de l’écriture comme une composante de la compétence scripturale, Reuter (1996), tout comme Dabène (1991), distingue l’ordre de la compétence scripturale et l’ordre des performances, qui comprend les versions préliminaires et définitives des textes (le performé) et les procédures et opérations (les performances). Comme Reuter, nous envisageons que le texte n’est pas une composante de la compétence scripturale, mais une des performances de la compétence scripturale parmi d’autres, soit le performé, et que l’évaluation des performances, et de façon plus réductrice des performés, est un des moyens d’apprécier la compétence scripturale, celui que nous retenons ici. Les dimensions du texte diffèrent d’une conceptualisation à l’autre, comme le montre Paradis (2012), tout comme diffèrent les phénomènes langagiers inclus dans chacune de ces dimensions. Les grilles d’évaluation des textes diffèrent aussi, soit par le nombre de critères, soit par le degré de finesse des indicateurs, soit par les indicateurs liés à chaque critère ; par exemple, une même erreur peut se voir attribuer des étiquettes différentes dans deux grilles différentes, selon le modèle de référence sous-jacent à la grille (Boivin et Pinsonneault, 2020). Peu d’évaluations de la validité de construits des grilles d’évaluation ont été effectuées (De Ketele, 2013 ; Germain, Netten et Séguin, 2004 ; Savard, Sévigny et Beaudoin, 2007), ce qui gagnerait à être fait, notamment pour valider les conceptualisations théoriques diverses et les critères qui en découlent, de manière à ce que les recherches en didactique de l’écriture s’appuyant sur l’évaluation des textes des élèves gagnent en validité.

2.2 Des stratégies pédagogiques utilisées en classe dans le but de développer la compétence scripturale

D’après Messier (2014), une stratégie pédagogique est un « ensemble d’opérations qui, tenant compte des caractéristiques inhérentes aux composantes d’une situation pédagogique, vise l’atteinte d’objectifs pédagogiques » (p.  211). Ce vocable a l’avantage de « rassembler sous un même générique tout moyen que met en place le professeur pour que ses étudiants apprennent » (Messier et Lafontaine, 2016, p. 40). De plus, il repose sur l’atteinte d’objectifs pédagogiques, ou l’intention pédagogique, qui est ici le développement de la compétence scripturale.

Du côté des stratégies pédagogiques utilisées par les enseignant⋅e⋅s de français du secondaire en classe pour développer la compétence scripturale, sept enquêtes par questionnaire décrivent les pratiques déclarées des enseignant⋅e⋅s depuis 1985 (Baribeau, Lacroix et Simard, 1996 ; Bibeau, Lessard, Paret et Thérien, 1987 ; Chartrand et Lord, 2010 ; Conseil des ministres de l’Éducation du Canada, 2003b ; groupe DIEPE, 1995 ; Lefrançois, Laurier, Lazure et Claing, 2008 ; Lusignan, Lebrun, Gagnon, Préfontaine et Fortier, 1996). Notre analyse des questions de ces enquêtes (plus de 1090 énoncés) montre d’abord le très grand nombre de stratégies pédagogiques pouvant être utilisées en classe pour développer la compétence scripturale des élèves. Elle montre ensuite que, même s’il est impossible de comparer les fréquences des énoncés de différentes enquêtes – les questions, les échantillons et les choix de réponses varient beaucoup d’une enquête à l’autre –, les stratégies pédagogiques que les enseignant⋅e⋅s de français déclarent utiliser semblent relativement stables depuis 1985, constat qui rejoint celui de Chartrand et Lord (2013). Ces stratégies pédagogiques comprennent l’enseignement magistral, l’enseignement inductif, l’enseignement explicite de stratégies d’écriture, faire écrire, faire écrire sur différents supports, faire écrire en recourant à des outils, faire écrire en mettant en place différentes formes d’étayage. Cet étayage peut s’opérer de diverses façons : en réduisant le nombre de processus à mettre en oeuvre ; en réduisant les dimensions du texte à prendre en compte ; en faisant utiliser des outils de facilitation procédurale ; en demandant aux élèves de reproduire un texte modèle ; en faisant écrire les élèves à plusieurs ; en les faisant écrire tout en accompagnant l’écriture (en offrant de l’aide pendant l’écriture ou en offrant de la rétroaction sur le texte produit).

Notre analyse des énoncés des questionnaires d’enquête montre aussi que les stratégies pédagogiques interrogées sont différentes et classées différemment d’une enquête à l’autre (quand les classifications sont explicitement présentées). Des liens peuvent tout de même être tissés entre les stratégies pédagogiques interrogées et 1) les dimensions du texte ou 2) les composantes de la compétence scripturale, dont les processus d’écriture font partie. Notre analyse montre enfin que les classifications utilisées explicitement ou implicitement dans les enquêtes ne sont pas spécifiques aux stratégies pédagogiques. En effet, si l’on utilise les processus d’écriture (le quoi) comme classification, ce qui est le plus fréquent dans les sept enquêtes, aucune classification propre aux stratégies pédagogiques (pour une synthèse de six typologies spécifiques aux stratégies pédagogiques, voir celle de Tremblay-Wragg, 2018, p. 57-75) n’est systématiquement utilisée pour déterminer quelles stratégies pédagogiques (le comment) questionner pour chacun des processus d’écriture, par exemple les différentes façons de travailler en classe le processus de planification du texte et de révision. D’ailleurs, aucune évaluation de la validité des construits de ces questionnaires (Vallerand, 1989) n’a été faite, ce qui reste donc à faire.

2.3 Des stratégies pédagogiques utilisées en classe qui participent au développement de la compétence scripturale

À notre connaissance, seule la recherche de Lefrançois et collaborateurs (2008) met en relation des stratégies pédagogiques utilisées en classe de français au secondaire québécois (hors d’un cadre quasi expérimental, sans qu’une stratégie pédagogique soit implantée en classe dans le cadre d’une recherche) et l’amélioration des performances en écriture des élèves. Les chercheur⋅e⋅s décrivent les liens entre les pratiques déclarées par questionnaire de quatre enseignant⋅e⋅s de français du secondaire québécois et l’amélioration de la composante linguistique de la compétence scripturale, mesurée par la diminution du nombre d’erreurs faites par les élèves dans leurs textes. Cette recherche repose sur une évaluation d’une seule composante des textes des élèves, la composante linguistique, et elle a été menée à petite échelle au secondaire.

Quelques recherches portent sur les liens entre des stratégies pédagogiques implantées en classe de français langue première au secondaire, dans le cadre d’un protocole quasi expérimental, et la qualité des textes écrits par les élèves. À notre connaissance, huit recherches quasi expérimentales répondent aux critères suivants : 1) les participant⋅e⋅s comprennent des élèves du secondaire (collège et lycée) d’une classe ordinaire de français langue première ; 2) les élèves ont rédigé, pendant la recherche, au moins un texte dont la qualité de l’ensemble ou de certaines des dimensions a été évaluée ; 3) au moins une stratégie pédagogique a été utilisée en classe pendant la recherche, par des chercheur⋅e⋅s ou des enseignant⋅e⋅s ; 4) le lien entre la qualité des textes des élèves et les stratégies pédagogiques mises à l’essai est décrit, qualitativement ou quantitativement. Il s’agit des recherches de Bélanger (2007), de Blain (2010), de Boivin et Pinsonneault (2014), de Désilets (2000), de Gauthier (2002), de Grégoire (2012), de Marcoux (1999) et de Nadeau et Fisher (2014). Nous observons d’abord que ces recherches sont de petite échelle (n = 1 à 5 enseignant·e·s) et qu’elles ne parviennent pas toujours à montrer qu’un traitement a un effet sur les performances des élèves en écriture (ou elles suggèrent qu’un traitement a un effet alors que des analyses statistiques supplémentaires auraient gagné à être effectuées pour que le degré de certitude des résultats soit plus grand (par exemple, Blain, 2010)). Nous observons ensuite qu’elles agglomèrent souvent, au sein d’un même traitement, plusieurs stratégies pédagogiques, ce qui ne permet pas d’isoler les effets de chacune. Par exemple, dans Grégoire (2012), pour vérifier l’effet de l’utilisation du traitement de texte dans le cadre du cours de français, les élèves du groupe quasi expérimental se distinguent des élèves du groupe témoin par le fait qu’elles·ils ont suivi une formation initiale à l’utilisation du traitement de texte, qu’elles·ils ont rédigé des textes (et le post-test) avec le traitement de texte et qu’elles·ils ont révisé ces textes au moyen d’outils informatiques. Enfin, ces huit recherches portent sur des stratégies pédagogiques différentes – l’utilisation d’un logiciel correcteur (Désilets, 2000), un enseignement de la littérarité au moyen des TIC (Bélanger, 2007), des dictées métacognitives (Nadeau et Fisher, 2014), des séquences didactiques qui articulent grammaire et écriture (Boivin et Pinsonneault, 2020), etc. – et cela rend toute comparaison difficile.

Contrairement aux recherches menées en classe de français, les recherches en classe de langues autres que le français sont très nombreuses, comme en témoigne la méta-analyse de Graham et Perin (2007). Pour répondre à la question « Quelles pratiques pédagogiques améliorent la qualité de l’écriture des élèves adolescent⋅e⋅s ? » (p. 446, traduction libre), Graham et Perin (2007) retiennent 123 recherches quasi expérimentales portant sur un traitement implanté en classe auprès d’élèves de la quatrième à la douzième année (en amalgamant les contextes de langue première et de langue seconde) et impliquant une mesure fiable de la qualité globale des textes des élèves, toute langue d’enseignement confondue. Les auteurs dégagent de ces 123 recherches 15 catégories de stratégies pédagogiques, puis calculent la moyenne pondérée des tailles d’effet (d de Cohen) pour chaque catégorie (ou taille d’effet moyenne) ; rappelons ici que la taille de l’effet peut être considérée comme grande si d ≥ 0,8, moyenne si 0,8 > d ≥ 0,5 et petite si 0,5 > d ≥ 0,2. Les catégories de stratégies pédagogiques ont les tailles d’effet moyennes suivantes : enseignement explicite de stratégies d’écriture (0,82) ; enseignement explicite de la production d’un résumé (0,82) ; aide des pairs lors de l’écriture (0,75) ; assignation d’objectifs pour le texte à produire (0,70) ; utilisation du traitement de texte (0,55) ; enseignement explicite de la combinaison de phrases (0,50) ; enquête – pour aider les élèves à développer des idées et du contenu pour le texte à produire (0,32) ; activités de préécriture (0,32) ; approche basée sur les processus d’écriture (0,32) ; étude de textes modèles (0,25), enseignement de la grammaire (-0,32) (traduction libre). Certaines tailles d’effet moyennes ne sont pas rapportées, par exemple celle de la stratégie pédagogique écriture supplémentaire (traduction libre). La taille d’effet moyenne négative de l’enseignement de la grammaire serait explicable, selon les auteurs, par le fait que ce sont toujours des groupes témoins qui ont servi à calculer l’effet de ce traitement ; ajoutons que l’évaluation des textes des élèves ne tenait peu ou pas compte des erreurs linguistiques. Cette méta-analyse a pour question de départ une question similaire à la nôtre et offre l’avantage de pouvoir rassembler les résultats d’une centaine de recherches liant l’utilisation d’une stratégie pédagogique et la qualité des textes écrits par les élèves, l’une des performances de la compétence scripturale. Cependant, transposer ces résultats à la classe de français langue première du secondaire québécois pose problème : les stratégies pédagogiques n’ont souvent pas été observées en classe, elles y ont été implantées (elles n’ont pas été choisies et utilisées par l’enseignant⋅e, qui connait ses élèves et leur contexte) et elles ont été utilisées en contexte de langue première ou de langue seconde, selon les recherches. De plus, la majorité des recherches analysées reposent sur une évaluation holistique des textes, qui implique que la personne qui évalue le texte en considère simultanément toutes les dimensions et juge de sa valeur globale « en tenant compte de facteurs tels que l’idéation, l’organisation, le vocabulaire, la structure de la phrase et le ton » (Graham et Perin, 2007, p. 447, traduction libre), sans nécessairement faire un décompte des erreurs linguistiques ou sans y accorder une certaine importance. Cela ne correspond pas à la conception de la compétence scripturale spécifique au contexte québécois francophone ni à la façon d’évaluer les textes au Québec, qui accorde une importance certaine aux erreurs linguistiques (Lefrançois et Brissaud, 2015).

Ce résumé des recherches corrélationnelles et quasi expérimentales menées en classe montre l’intérêt de mener des recherches qui identifient les stratégies pédagogiques que les enseignant⋅e⋅s déclarent utiliser en classe liées à l’écriture de meilleurs textes par les élèves, et ce, parce qu’elles permettent de vérifier des hypothèses quant aux stratégies pédagogiques qui participent à l’écriture de meilleurs textes et donc possiblement au développement de la compétence scripturale des élèves et qu’elles permettent de le faire à grande échelle, pour l’ensemble des dimensions des textes et en isolant chaque stratégie pédagogique des autres. Il montre aussi la pertinence que, si ces recherches portent sur les stratégies pédagogiques utilisées en classe de français au secondaire québécois, elles reposent sur une évaluation des textes cohérente avec la conception de la compétence scripturale spécifique au contexte francophone. Plusieurs enquêtes décrivent les stratégies pédagogiques que les enseignant⋅e⋅s déclarent utiliser en classe de français au secondaire québécois (voir section 2.2) et, parallèlement, plusieurs décrivent la qualité des textes écrits par des élèves québécois⋅es (par exemple, Boivin et Pinsonneault, 2018 ; Conseil des ministres de l’Éducation du Canada , 2002a ; groupe DIEPE, 1995 ; ministère de l’Éducation, du Loisir et du Sport, 2012). Cependant, à notre connaissance, les liens entre ces performances en écriture et les stratégies pédagogiques que les enseignant⋅e⋅s déclarent utiliser en classe de français n’ont jamais été évalués à l’échelle québécoise. Or, la recherche du groupe DIEPE a collecté des données sur les stratégies pédagogiques que les enseignant⋅e⋅s déclarent utiliser en classe de français et la qualité de textes écrits par des élèves québécois⋅e⋅s. Cette recherche avait trois objectifs : 1) décrire les performances en écriture des élèves de France, de Belgique, du Nouveau-Brunswick et du Québec et les comparer ; 2) décrire notamment les stratégies pédagogiques utilisées par leur enseignant⋅e et les comparer ; 3) identifier des caractéristiques de l’enseignement-apprentissage qui favorisent le développement de la compétence scripturale. Menée en 1993 auprès d’élèves de troisième secondaire, de leur enseignant⋅e de français et des directions d’écoles, cette recherche n’a jamais atteint son troisième objectif, faute de budget. Ses données sont cependant toujours disponibles. Les pratiques des enseignant⋅e⋅s de français demeureraient relativement stables, selon les résultats de la dernière enquête sur la question (Chartrand et Lord, 2013), qui remonte cependant à quelques années, et il n’existe pas, à notre connaissance, de données plus récentes à grande échelle permettant de mettre en relation les stratégies pédagogiques que les enseignant⋅e⋅s déclarent utiliser en classe de français au secondaire québécois (hors d’un cadre quasi expérimental, donc) et les performances des élèves en écriture. Cet article a comme objectif d’identifier, au moyen des données du groupe DIEPE (1995), les stratégies pédagogiques que les enseignant⋅e⋅s déclarent utiliser en classe de français au secondaire québécois qui sont liées à l’écriture de meilleurs textes par les élèves.

3. Méthodologie

Pour atteindre notre objectif, nous faisons une analyse secondaire en utilisant les données collectées par le groupe DIEPE. Bien qu’il existe plusieurs définitions de l’analyse secondaire, nous nous inscrivons dans la définition de Hakim (1982), selon qui l’analyse secondaire est une nouvelle utilisation de données (d’enquêtes) dont les résultats prolongent ceux de l’analyse originaire (ou primaire) et s’en distinguent. L’avantage principal de l’analyse secondaire est de permettre de répondre à une question de recherche sans nouvelle collecte de données, ce qui représente une économie de temps et de fonds ; son inconvénient principal est que le cadre théorique et les questions de l’enquête initiale ne peuvent être modifiés (Dale, 1993).

3.1 Sujets

Nous retenons l’une des quatre populations d’élèves de la recherche du groupe DIEPE, soit tou⋅te⋅s les élèves « à l’heure » de la 9e année (troisième secondaire) du Québec en avril-mai 1993. L’échantillonnage du groupe DIEPE a été effectué selon la technique jack-knife, similaire à la méthode du bootstrap, pour viser la représentativité de la population. Au Québec, 93,4 % des élèves sélectionné⋅e⋅s ont participé ; elles⋅ils provenaient de 93 écoles différentes. Ce sont 1859 élèves qui ont participé à l’épreuve d’écriture et qui composent notre échantillon d’élèves du Québec. L’échantillon d’enseignant⋅e⋅s est formé des enseignant⋅e⋅s qui enseignaient le français aux élèves participant⋅e⋅s. Des 320 enseignant⋅e⋅s du Québec sollicitée⋅s, 300 ont répondu au questionnaire. Elles⋅ils ont chacun⋅e de 1 à 22 élèves participant⋅e⋅s faisant partie de l’échantillon d’élèves.

3.2 Instrumentation

Les données utilisées pour notre analyse secondaire proviennent de trois des instruments de collecte conçus et administrés par le groupe DIEPE : le texte écrit par chaque élève, le questionnaire de l’enseignante et le questionnaire de l’élève.

Chaque élève de l’échantillon québécois a écrit, en avril-mai 1993, un seul texte, qui a été évalué au moyen d’une grille comportant 11 critères de correction organisés en quatre composantes découlant du cadre théorique du groupe de recherche : langue (4 critères), texte (3 critères), communication (3 critères) et qualités particulières (1 critère) – pour plus de détails sur les critères, voir le groupe DIEPE (1995, p. 29-30, 188-192). Un score allant de 1 à 4 points a été attribué à chacun des 11 critères par un⋅e membre de l’équipe de 12 correcteur⋅rice⋅s formé⋅e⋅s du Québec. Pour les critères qui impliquent le décompte des erreurs, les scores de 1 à 4 points sont établis au moyen des quartiles du nombre d’erreurs.

Le questionnaire de l’enseignant⋅e, complété en avril-mai 1993 sans contrainte de temps ou d’isolement, compte 152 énoncés. Nous utilisons les 49 énoncés relatifs aux stratégies pédagogiques : les énoncés retenus (voir Marcotte, 2020b, p. 268-270) sont ceux qui portent sur les moyens (le comment) qui ont été utilisés en classe (et non sur le quoi, qui représente les objets enseignés en classe). Ces énoncés sont tous associés à des échelles de type Likert à quatre niveaux, formulés en termes d’importance (« beaucoup » à « pas du tout ») ou de fréquence (de « très souvent » à « rarement ou jamais »).

Le questionnaire de l’élève compte 81 énoncés, portant entre autres sur les pratiques d’écriture personnelles, les pratiques d’écriture en classe, les processus utilisés pour écrire et les attitudes par rapport à l’écriture. Les élèves l’ont rempli immédiatement après l’épreuve d’écriture. Nous utilisons 5 énoncés comme variables de contrôle, que nous présentons à la section 3.3.

3.3 Méthode d’analyse des données

Pour déterminer quelles sont les stratégies pédagogiques que les enseignant⋅e⋅s déclarent utiliser en classe qui prédisent l’écriture de meilleurs textes par les élèves, nous effectuons des régressions linéaires à deux niveaux, qui ont l’avantage d’isoler les effets des niveaux des élèves et de l’enseignant⋅e, et, ce faisant, de raisonner toutes choses étant égales par ailleurs (Bressoux, Coustère et Leroy-Audouin, 1997), c’est-à-dire peu importe les caractéristiques des élèves (par exemple, le genre de l’élève) ou de l’enseignant⋅e (par exemple, l’effet de l’enseignant⋅e et l’effet des autres stratégies pédagogiques qu’elle⋅il utilise). Sont décrits ci-après la variable dépendante, les onze variables indépendantes, les cinq variables de contrôle et les deux niveaux de chaque régression multiple à deux niveaux effectuée et présentée dans cet article. Les résultats présentés ayant été obtenus à la suite d’un processus itératif d’analyse de données, nous présentons à la fois la méthode utilisée pour effectuer les régressions et les résultats des analyses qui les ont précédées.

La variable dépendante de chacune des régressions multiples à deux niveaux trouve sa source dans les critères de correction des textes des élèves. Comme mesure de la qualité globale du texte de chaque élève, le groupe DIEPE (1995) propose d’utiliser la somme du score obtenu (1 à 4 points) à chacun des 11 critères de correction (somme allant de 11 à 44 points), ce qui ne permet pas de rendre compte de l’organisation des 11 critères en 4 composantes et du poids relatif de chaque critère et de chaque composante. Nous avons tenté, à priori, une analyse factorielle confirmatoire avec le score obtenu pour chacun des textes d’élèves (n = 1859) à chacun des 11 critères de correction afin de valider l’organisation proposée par le groupe DIEPE, sans succès : l’organisation des données empiriques ne concordait pas avec le cadre théorique du groupe, « fondement théorique pour la confection d’instruments de mesure en vue de la comparaison des performances écrites des élèves » (Gagné, Lalande et Legros, 1995, p. 274). Comme nous le soulignons à la section 2.1, plusieurs conceptualisations des dimensions du texte coexistent ; nous avons donc ensuite effectué une analyse factorielle exploratoire pour déterminer les dimensions (ou facteurs) des textes à partir des données empiriques. Nous avons effectué cette analyse avec une matrice de corrélation polychorique (estimateur WLSMV, Muthén et Muthén, 2010b), adaptée aux variables ordinales (Bourque, Poulin et Cleaver, 2006), avec une rotation oblique Oblimin direct, avec une analyse parallèle (pour déterminer le nombre de facteurs à retenir) et avec, comme cluster, le code de la·du correcteur⋅rice (pour contrôler le biais de la⋅du la correcteur⋅rice), avec le logiciel Mplus, version 6 (Muthén et Muthén, 2010a). Les résultats de cette analyse nous font retenir non pas une mais trois solutions factorielles concurrentes (voir figure 1), c’est-à-dire trois organisations des critères de correction en dimensions (ou facteurs) de la qualité des textes (3 à 5 critères par dimension). Il était impossible de retenir une seule solution factorielle parce que les trois ont été jugées équivalentes lorsqu’évaluées au moyen de critères statistiques – pour l’évaluation de chaque modèle : khi-carré et valeur p associée, indices Tucker–Lewis et Root mean square error of approximation, résultats de l’analyse parallèle, ratio variables/facteur ; pour l’évaluation de chaque facteur : alpha de Cronbach, coefficient de saturation de chaque énoncé. Dans la figure 1, nous décrivons les organisations des 11 critères de correction (deuxième colonne) selon le cadre théorique du groupe DIEPE (première colonne) et selon chacune des 3 solutions factorielles (trois colonnes de droite), pour les comparer entre elles. Pour les résultats des analyses factorielles, voir Marcotte (2020b, p. 279-285).

Figure 1

Organisations des 11 critères de correction des textes d’élèves selon le groupe DIEPE (1995) et selon les trois solutions factorielles retenues

Organisations des 11 critères de correction des textes d’élèves selon le groupe DIEPE (1995) et selon les trois solutions factorielles retenues

-> Voir la liste des figures

Nous avons généré un score factoriel global, rendant compte de la qualité globale du texte de chaque élève, et des scores factoriels partiels, rendant compte de la qualité de chacune des dimensions du texte de chaque élève, au moyen d’une analyse factorielle confirmatoire pour chacune des trois solutions factorielles retenues. Par exemple, l’analyse de la solution factorielle 1 donne un score factoriel global pour la qualité globale du texte, un score factoriel partiel pour la qualité de la langue écrite (aspects graphiques), un score partiel pour la qualité de la langue (syntaxe, sémantique et pragmatique), un score partiel pour la cohérence du texte et un score partiel pour le respect de la consigne d’écriture. Nous utilisons, comme variable dépendante d’une régression multiple à deux niveaux, chaque score factoriel global et chacun des scores factoriels partiels des trois solutions. Nous utilisons aussi chacune des sommes proposées par le groupe DIEPE (1995) pour la qualité globale du texte et pour chacune de ses quatre composantes (langue, texte, communication et qualités particulières).

Les variables indépendantes de chacune des régressions trouvent leur source dans les énoncés relatifs aux stratégies pédagogiques du questionnaire de l’enseignant⋅e. Parce que plusieurs des 49 énoncés étaient liés aux mêmes construits et que cela était incompatible avec la régression – la régression postulant l’absence de multicolinéarité et permettant de prédire l’effet de chaque variable toutes choses étant égales par ailleurs – et parce que, comme nous l’avons vu à la section 2.2, aucune organisation des stratégies pédagogiques ne fait consensus, nous avons effectué, ici encore, une analyse factorielle exploratoire à priori avec Mplus version 6 (Muthén et Muthén, 2010a), cette fois avec les réponses des enseignant⋅e⋅s de français (n = 300) aux 49 énoncés relatifs aux stratégies pédagogiques du questionnaire du groupe DIEPE (1995). Cette analyse (Marcotte, 2020a) a conduit à une seule solution factorielle de 11 facteurs, qui correspondent chacun à une stratégie pédagogique distincte, comprenant chacun 2 à 6 énoncés du questionnaire (tableau 1).

Tableau 1

Nombre d’énoncés du questionnaire de l’enseignant⋅e compris dans chacun des 11 facteurs de la solution factorielle

Nombre d’énoncés du questionnaire de l’enseignant⋅e compris dans chacun des 11 facteurs de la solution factorielle

-> Voir la liste des tableaux

Onze scores factoriels ont été calculés au moyen d’une analyse factorielle confirmatoire avec Mplus version 6 (Muthén et Muthén, 2010a) pour rendre compte de l’utilisation déclarée par chaque enseignant⋅e de chacune des 11 stratégies pédagogiques ci-dessus. Ces scores factoriels sont utilisés comme variables indépendantes dans chaque régression multiple à deux niveaux. Plus la valeur d’un score est élevée, plus la fréquence déclarée d’une stratégie pédagogique est élevée (voir Marcotte, 2020b, p. 274-278 pour les distributions des scores factoriels).

Enfin, cinq variables de contrôle provenant du questionnaire de l’élève et liées aux caractéristiques individuelles des élèves sont incluses dans chaque régression : 1) leur genre ; 2) leur perception de l’importance de savoir bien écrire dans la société ; 3) leur perception de l’importance d’apprendre à s’exprimer de mieux en mieux par écrit ; 4) leur perception de la qualité de leur écriture ; 5) leur perception de la facilité avec laquelle elles⋅ils écrivent. La variable 1 a deux modalités (1 = garçon ; 2 = fille), les variables 2 et 3 en ont quatre (1 = pas important ; 2 = peu important ; 3 = assez important ; 4 = très important), tout comme la variable 4 (1 = très mal ; 2 = plutôt mal ; 3 = plutôt bien ; 4 = très bien) et la variable 5 (1 = plutôt difficile ; 2 = assez difficile ; 3 = assez facile ; 4 = plutôt facile).

Les régressions ont deux niveaux : le premier est celui de l’élève ; le deuxième, celui de l’enseignant⋅e. Elles sont effectuées avec le logiciel IBM SPSS Statistics 27.0 en suivant la procédure présentée par Field (2018). Les variables de contrôle ont leur plus petite valeur comme valeur de référence.

3.4 Considérations éthiques

Toutes les données utilisées ont été anonymisées par le groupe DIEPE ; il est impossible de retracer les individus, élèves comme enseignant⋅e⋅s, même en croisant les variables. Notre analyse secondaire a reçu un certificat d’approbation éthique de l’Université de Montréal (numéro de certificat : CPER-17-064-D).

4. Résultats

Nous présentons en parallèle, dans le tableau 2, les résultats des quatre régressions pour expliquer les variables relatives à la qualité globale des textes. Seuls les résultats des modèles pleins à deux niveaux sont présentés, pour des raisons de clarté, de concision et de comparabilité des régressions.

Tableau 2

Résultats des quatre régressions multiples à deux niveaux pour expliquer les variables relatives à la qualité globale des textes

Résultats des quatre régressions multiples à deux niveaux pour expliquer les variables relatives à la qualité globale des textes

Légende *** p < 0,001 ; ** 0,001 ≤ p < 0,01 ; * 0,01 ≤ p < 0,05 ; ⸼ 0,05 ≤ p < 0,10 ; B : coefficient Bêta (valeur du paramètre) ; ES : erreur standard ; C : variable de contrôle ; SP : stratégie pédagogique (variable indépendante) ; -2LL : -2 log-vraisemblance (-2 log-likelihood en anglais) ; AIC : indice du critère d’information d’Akaike (Akaike information criteria en anglais) ; AICc : indice corrigé du critère d’information d’Akaike (Akaike information criteria corrected en anglais) ; CAIC : indice du critère d’information d’Akaike consistant (Consistant Akaike information criteria en anglais) ; BIC : indice du critère d’information bayésien (Baysian information criteria en anglais).

-> Voir la liste des tableaux

Comme le montrent les cinq indices d’ajustement au modèle (-2LL, AIC, AICc, CAIC, BIC), tous ces indices étant jugés meilleurs lorsqu’ils sont plus bas (Field, 2018), l’ajustement aux données est similaire pour les trois régressions effectuées pour expliquer des scores factoriels globaux (solutions 1, 2, 3). De plus, l’ajustement aux données est meilleur pour expliquer les trois scores factoriels globaux qu’il ne l’est pour expliquer la somme des 11 critères de correction, soit la mesure de la qualité des textes proposée par le groupe DIEPE. En effet, lorsque nous comparons par exemple l’indice du critère d’information bayésien du premier modèle (1 986,38) et celui du dernier modèle, soit celui expliquant la somme proposée par le groupe DIEPE (10 609,96), l’indice du premier modèle est de toute évidence plus petit, ce qui témoigne de son meilleur ajustement aux données : ce modèle est plus précis et il prédit mieux la variabilité de la variable dépendante (ses résidus sont réduits).

Avant de poursuivre la présentation des résultats des régressions, nous explicitons les choix effectués pour interpréter et synthétiser plusieurs régressions. Nous ne retenons pas un seul seuil de signification statistique (valeur p), puisque le seuil de significativité est arbitraire (Bourque, Blais et Larose, 2009). Alors que Benjamin et 71 collaborateurs (2018) proposent de modifier le seuil de signification statistique par défaut de la valeur p, le faisant passer de 0,05 à 0,005, Trafimow et 53 collaborateurs (2018) répondent que ce nouveau seuil serait préjudiciable aux découvertes et aux progrès de la science, puisque trop strict, et que, de toute façon, « aucun des outils statistiques [la valeur p comme les autres] ne devrait être considéré comme la nouvelle méthode magique donnant des réponses mécaniques évidentes » (p. 2, traduction libre). Ainsi, réduire l’interprétation de la valeur p pour prendre une décision binaire, basée sur un seuil de 0,05, de 0,01, de 0,005 ou autre, serait, d’après eux, inacceptable ; il serait plutôt avisé de faire des inférences basées non seulement sur les résultats d’études uniques, mais « sur des preuves cumulatives de multiples études indépendantes » (p. 2, traduction libre). Dans cet article, puisque quatre mesures de la qualité globale des textes concourent – trois solutions factorielles et la somme proposée par le groupe DIEPE –, nous multiplions les régressions dont les variables dépendantes correspondent à un construit apparenté et diminuons ainsi les chances d’interpréter à tort un effet comme significatif sur la prémisse d’une seule mesure. Nous choisissons alors de ne pas retenir un seuil de significativité plutôt qu’un autre et nous comparons différents modèles de régressions relatifs à la qualité globale des textes, ou à une même dimension de la qualité des textes, au moyen de leurs indices d’ajustement et des valeurs p des variables indépendantes, que nous rapportons au moyen de différents seuils (p < 0,001, marqué par *** ; p < 0,01, marqué par ** ; 0,01 ≤ p < 0,05, marqué par * ; 0,05 ≤ p < 0,10, marqué par un petit x). Cela nous permet de poser un jugement sur le degré de confiance que nous avons dans le rejet de l’hypothèse nulle relative à chaque variable indépendante dans l’ensemble des modèles ; en d’autres mots, l’hypothèse nulle étant qu’il n’y a pas de relation linéaire entre les variables indépendantes et la variable dépendante, cela nous permet de poser un jugement sur la confiance que nous avons dans la présence d’un effet significatif d’une variable (par exemple une stratégie pédagogique) sur les performances des élèves en écriture. Le tableau 3 présente les conditions nécessaires que nous fixons pour chacun des quatre degrés de confiance que nous retenons. Nous donnons un poids moindre à la somme proposée par le groupe DIEPE, parce que cette mesure de la qualité des textes est moins ajustée aux données.

Tableau 3

Règles de décision pour synthétiser les résultats de plusieurs régressions

Règles de décision pour synthétiser les résultats de plusieurs régressions

-> Voir la liste des tableaux

Ces précisions faites, nous poursuivons la présentation des résultats du tableau 2 et leur synthèse en utilisant ces règles de décision. Pour ce qui est des prédicteurs de la qualité globale des textes des élèves, du côté des variables de contrôle, l’enseignant⋅e a toujours un effet significatif sur la qualité globale peu importe les stratégies pédagogiques qu’elle⋅il a déclaré utiliser en classe, comme le montrent les valeurs p associées aux paramètres de la constante sujet = enseignant⋅e. Les variables de contrôle liées aux caractéristiques des élèves ont toujours un effet significatif : les filles, les élèves qui accordent de l’importance à savoir bien écrire, les élèves qui accordent de l’importance à apprendre à s’exprimer par écrit, les élèves qui ont une bonne perception de la qualité de leur écriture et les élèves qui ont la perception d’avoir de la facilité à écrire sont des élèves qui écrivent des textes de plus grande qualité globale, et ce, peu importe l’enseignant⋅e et les stratégies pédagogiques utilisées en classe. Ces observations peuvent être faites avec un haut degré de confiance, puisque les valeurs p qui y sont associées sont, pour la majorité des variables et dans la majorité des régressions, très faibles (p < 0,001).

Du côté des variables indépendantes, la seule qui prédirait la qualité globale des textes des élèves est la stratégie pédagogique faire réécrire leur texte (SP4), et ce, peu importe l’enseignant⋅e, les caractéristiques des élèves et les autres stratégies pédagogiques que l’enseignant⋅e déclare utiliser. Nous avons un haut degré de confiance dans l’effet négatif de cette stratégie pédagogique sur les performances des élèves en écriture : elle prédirait significativement l’écriture de textes de moindre qualité tant pour les mesures de la qualité globale des textes s’appuyant sur des scores factoriels (p < 0,01) que pour celle s’appuyant sur une somme des critères de correction (p < 0,05). Avec un degré de confiance bas cette fois, la stratégie pédagogique faire écrire beaucoup (SP1) prédirait des textes d’élèves dont la qualité globale est plus grande. Seul le résultat de la régression pour expliquer la somme proposée par le groupe DIEPE est statistiquement significatif (p < 0,05), tandis que les résultats des trois régressions pour expliquer les scores factoriels globaux (des régressions mieux ajustées aux données) ont des valeurs p associées inférieures au seuil de 0,10. Ainsi, notre niveau de confiance en la présence d’un effet est plus grand pour la stratégie pédagogique faire réécrire leur texte (SP4) que pour faire écrire beaucoup (SP1). De façon moins certaine encore, faire de la grammaire (SP9) et aider individuellement pendant la rédaction de leur texte (SP3) tendraient vers la prédiction des performances des élèves en écriture : les conditions nécessaires pour avoir un degré de confiance bas en cet effet ne sont pas atteintes (2 valeurs p inférieures à 0,1 chacune).

Soulignons que les résultats de la régression effectuée pour expliquer la mesure de la qualité globale proposée par le groupe DIEPE (une somme des 11 critères de correction) diffèrent parfois de ceux des régressions effectuées au moyen des trois solutions factorielles, par exemple pour ce qui est de la stratégie pédagogique faire écrire beaucoup (SP1). Ainsi, ne considérer que la somme proposée par le groupe DIEPE mènerait à des résultats distincts, et moins ajustés aux données, comme le montrent les indices d’ajustement des quatre régressions du tableau 2.

La qualité globale d’un texte étant tributaire de la qualité de ses dimensions, nous avons effectué des régressions pour expliquer les variables relatives à chacune de ces dimensions. Nous synthétisons dans le tableau 4 les résultats de l’ensemble des régressions selon les dimensions de la qualité des textes en utilisant les règles de décision du tableau 3.

Tableau 4

Synthèse du degré de confiance dans la présence d’un effet significatif pour chacune des dimensions de la qualité des textes des élèves

Synthèse du degré de confiance dans la présence d’un effet significatif pour chacune des dimensions de la qualité des textes des élèves

Légende + : effet positif ; - : effet négatif ; vide : aucun effet observé ; forme: 2204137.jpg : haut degré de confiance ; forme: 2204138.jpg : assez haut degré de confiance ; forme: 2204139.jpg : degré de confiance moyen ; forme: 2204140.jpg : degré de confiance bas

-> Voir la liste des tableaux

Le tableau 4 synthétise, pour chaque variable de contrôle et chaque variable indépendante, les résultats des régressions en indiquant, au moyen de couleurs, le degré de confiance dans la présence d’un effet significatif et, au moyen des signes + et -, le sens de l’effet (positif ou négatif). Le détail des résultats de chaque régression est présenté dans Marcotte (2020b, p. 286-294). La deuxième colonne du tableau synthétise les résultats relatifs à la qualité globale du texte, déjà présentés dans le tableau 2, et les quatre colonnes suivantes synthétisent ceux relatifs à chacune des quatre dimensions de la qualité des textes. Plus une cellule du tableau est foncée, plus nous avons confiance dans la présence d’un effet significatif. Par exemple, concernant la qualité globale des textes (deuxième colonne), nous avons un haut degré de confiance que la stratégie pédagogique faire réécrire leur texte (SP4) a un effet négatif sur la qualité des textes, alors que nous avons un degré de confiance bas que la stratégie pédagogique faire écrire beaucoup (SP1) a un effet positif sur la qualité des textes.

Comme le montre le tableau 4, nous ne pouvons pas affirmer avec un haut degré de confiance qu’il y a présence d’un effet significatif de l’une des onze stratégies pédagogiques sur chacune des dimensions des performances en écriture des élèves ; aucune ne prédit systématiquement les performances des élèves en écriture, peu importe la mesure de la qualité des textes utilisée. Des tendances sont tout de même observables pour les stratégies pédagogiques faire écrire beaucoup (SP1) et faire réécrire leur texte (SP4).

5. Discussion des résultats

Nous discutons de l’effet de l’enseignant⋅e (section 5.1), des stratégies pédagogiques qui prédisent significativement la qualité des textes des élèves (section 5.2) et de la mesure des performances des élèves en écriture (section 5.3).

5.1 L’effet de l’enseignant⋅e

Toutes choses étant égales par ailleurs, l’enseignant⋅e aurait un effet significatif sur la qualité des textes écrits par les élèves à la fin de l’année scolaire, c’est-à-dire qu’elle⋅il aurait un effet peu importe les stratégies pédagogiques qu’elle⋅il a déclaré utiliser en classe, peu importe les caractéristiques des élèves, peu importe la dimension de la qualité des textes évaluée et peu importe la mesure de la qualité des textes utilisée.

Nos résultats font ainsi écho à ceux de recherches antérieures qui mettent en relation des pratiques déclarées par les enseignant⋅e⋅s et des performances des élèves, pour d’autres apprentissages que ceux relatifs à l’écriture, et qui montrent que l’enseignant⋅e a un effet significatif sur les apprentissages de ses élèves, qui constitue largement l’effet-classe, qui lui explique 10 à 20 % de la variance des performances des élèves (par exemple, voir Bressoux, 2001). Quant à la taille d’effet de l’enseignant⋅e et des autres variables, il nous est malheureusement impossible de nous prononcer clairement, même si nous devrions rapporter (et interpréter) à la fois les valeurs p et les tailles d’effet (Béland, Cousineau et Loye, 2016). En effet, il est difficile d’inférer les valeurs des échelles de type Likert (par exemple « très souvent ») à partir des valeurs des scores factoriels de manière à interpréter les coefficients Bêta du tableau 2 et à juger des tailles d’effet.

5.2 Les stratégies pédagogiques prédisant de meilleurs textes

Quelles sont les stratégies pédagogiques que les enseignant⋅e⋅s déclarent utiliser en classe de français au secondaire québécois qui sont liées à l’écriture de meilleurs textes par les élèves, c’est-à-dire des textes qui ont obtenu de meilleurs scores, lors de leur évaluation, pour l’ensemble de leurs dimensions et pour chacune d’elles (voir section 3.3) ? À la lumière de nos résultats, nous ne sommes pas en mesure d’affirmer avec un haut degré de confiance qu’une stratégie pédagogique a un effet significatif sur les performances des élèves en écriture, peu importe la mesure de la qualité des textes utilisée. Malgré les analyses effectuées et les efforts employés à faire ressortir des stratégies pédagogiques qui participeraient à de meilleures performances en écriture, les effets des variables rendant compte des stratégies pédagogiques que déclarent utiliser les enseignant⋅e⋅s ne sont pas convaincants lorsqu’évalués toutes choses étant égales par ailleurs, c’est-à-dire lorsque l’on considère chaque stratégie pédagogique isolément, peu importe l’utilisation des autres stratégies pédagogiques, l’enseignant⋅e et les caractéristiques des élèves, et ce, au moyen de plusieurs mesures des performances en parallèle. Il semble ainsi qu’il n’y ait pas, selon les résultats de nos analyses, une stratégie pédagogique qui participe particulièrement à l’écriture de meilleurs textes par les élèves, pas de recette gagnante.

Comment interpréter ce résultat ? Nous proposons deux hypothèses. Premièrement, nos résultats reposent sur les stratégies pédagogiques déclarées par les enseignant⋅e⋅s de français au moyen d’un questionnaire d’enquête. On le sait, les pratiques déclarées et effectives des enseignant⋅e⋅s diffèrent (Clanet et Talbot, 2012 ; Maubant, Lenoir, Routhier, Lisée et Hassani, 2005) ; il est ainsi fort probable que les enseignant⋅e⋅s interrogé⋅e⋅s aient eu une compréhension différente des stratégies pédagogiques incluses au questionnaire. De plus, le questionnaire étant basé sur la fréquence d’utilisation des stratégies pédagogiques et non sur la façon dont les stratégies pédagogiques sont utilisées en classe, il est possible que plusieurs enseignant⋅e⋅s aient déclaré la même fréquence d’utilisation d’une stratégie pédagogique tout en l’utilisant de différentes façons en classe et que certaines utilisations aient participé davantage au développement de la compétence scripturale des élèves que les autres : les effets différenciés de ces différentes utilisations auraient alors été amalgamés au sein d’une même variable dans nos modèles. Bressoux, Bru, Altet et Leconte-Lambert (1999) montrent la variabilité interindividuelle des pratiques observées chez plusieurs enseignant⋅e⋅s ayant la même stratégie pédagogique de référence. Notre hypothèse semble plausible étant donné nos résultats quant à la stratégie pédagogique faire écrire beaucoup (SP1), pour laquelle une interprétation commune est plus probable que pour les autres stratégies pédagogiques. Cette hypothèse montre donc, à notre avis, qu’il est nécessaire de décrire finement comment les stratégies pédagogiques sont utilisées en classe de français, la description des pratiques de classe étant par ailleurs devenue centrale en didactique du français (par exemple Chartrand et Lord, 2013 ; Schneuwly et Dolz, 2009).

Deuxièmement, nous pouvons interpréter nos résultats comme une invitation à remettre en question la pertinence de chercher – tant pour les chercheur⋅e⋅s que pour les administrateur⋅rice⋅s scolaires et les politicien⋅nes – une stratégie pédagogique qui participerait au développement de la compétence scripturale, tout contexte confondu. Ce pourrait plutôt être la diversification des stratégies pédagogiques qui participerait au développement de la compétence scripturale. En effet, comme le souligne Tremblay-Wragg (2018), l’utilisation systématique d’une stratégie pédagogique unique, quelle qu’elle soit, peut créer un effet de saturation chez les élèves, et ce, même chez ceux à qui cette stratégie pédagogique convenait très bien initialement. En effet, plusieurs chercheur⋅e⋅s soutiendraient le rôle important de la diversification des stratégies pédagogiques dans l’engagement et l’apprentissage des élèves, cette diversification permettant d’adapter les stratégies pédagogiques à différentes intentions pédagogiques et de profiter des avantages complémentaires de chacune. En ce qui concerne l’apprentissage de la langue écrite en particulier, ce ne serait pas l’utilisation d’une même stratégie pédagogique qui serait liée à la réussite des élèves, mais les variations interindividuelles et intra-individuelles dans l’utilisation de cette stratégie pédagogique (Bru, 1991). Pour l’enseignant⋅e au secondaire, cela implique, selon nous, de disposer d’un grand inventaire de stratégies pédagogiques, de varier les stratégies pédagogiques utilisées en classe et, surtout, d’exercer son jugement professionnel pour en choisir une adaptée à la situation et à l’objectif. Sur ce dernier point, une évaluation formative des élèves en écriture nous apparait bénéfique : elle permet à l’enseignant⋅e de juger des progrès et des besoins des élèves et il s’agit d’une occasion d’apprendre supplémentaire, impliquant de surcroit de faire écrire les élèves.

Bien que nos résultats suggèrent qu’aucune stratégie pédagogique ne participe de façon convaincante à l’écriture de meilleurs textes par les élèves, nous pouvons tout de même faire deux constats avec un degré de confiance moins grand quant aux stratégies pédagogiques faire écrire beaucoup (SP1) et faire réécrire leur texte (SP4), ainsi que deux constats avec un degré de confiance encore moins grand pour les stratégies pédagogiques aider individuellement pendant la rédaction de leur texte (SP3) et faire de la grammaire (SP9). Comme le montre le tableau 4, déclarer avoir fait écrire beaucoup pendant l’année scolaire, c’est-à-dire avoir demandé aux élèves de rédiger des textes ou des parties de textes plus souvent ou en plus grande quantité, prédirait des textes d’élèves qui seraient de plus grande qualité à la fin de l’année, soit des textes présentant une plus grande cohérence textuelle (une meilleure structuration sémantique et formelle ; des enchainements plus cohérents) et un plus grand respect de la consigne d’écriture (conclusion et introduction ; longueur et lisibilité ; aspects et côtés développés), ce que nous pouvons affirmer avec un degré de confiance moyen ou bas pour toutes les dimensions des performances mesurées. Parmi les recherches portant sur les effets de stratégies pédagogiques sur la qualité des textes des élèves du secondaire en français présentées à la section 2.3, aucune ne montre clairement un lien entre le fait de faire écrirebeaucoup (SP1) et l’écriture de meilleurs textes, mais ces recherches portent sur des stratégies pédagogiques qui impliquent de faire écrire davantage les élèves, ce qui menait souvent à l’écriture de meilleurs textes. Dans la méta-analyse de Graham et Perin (2007), aucune taille d’effet moyenne n’a été calculée parce que le nombre d’études sur cette stratégie pédagogique était trop petit. Difficile de dire donc, par ces résultats, qu’il n’existe pas de lien entre faire écrire beaucoup les élèves et l’écriture de meilleurs textes. En élargissant davantage, en première année du primaire, dans le cadre de la recherche Lire et écrire, Pasa, Crinon, Espinosa, Fontanieu et Ragano (2017) montrent un lien entre un indice de performance narrative à l’écrit et le fait que les enseignant⋅e⋅s avaient beaucoup fait écrire leurs élèves (des phrases surtout). D’après Landry et Allard (2002), qui font une analyse secondaire des données du Programme d’indicateurs du rendement scolaire de 1994 et de 1998, les élèves néobrunswickois⋅es de 13 et de 16 ans qui ont déclaré écrire beaucoup, en classe et hors classe, auraient de meilleures performances en écriture, mais l’effet de cette variable est très petit (moins de 1 % de la variance). Bref, il semble que faire écrire beaucoup (SP1) pourrait participer au développement de la compétence scripturale, mais des recherches restent à mener sur les manières dont les enseignant⋅e⋅s utilisent ces situations d’écriture comme des occasions d’apprentissage pour leurs élèves.

Au contraire, la stratégie pédagogique faire réécrire leur texte (SP4) – demander de faire plus d’un brouillon de leur texte ; demander de retravailler, en vue de l’améliorer, un texte qu’ils ont déjà produit ; donner des principes ou des règles pour récrire ou reformuler – prédirait l’écriture de textes de moindre qualité à la fin de l’année scolaire. Elle prédirait non seulement l’écriture de textes de moins grande qualité globale, mais aussi de textes dont la qualité de la langue serait moindre en ce qui concerne ses aspects graphiques – erreurs d’orthographe lexicale et grammaticale, erreurs de ponctuation – et ses aspects syntaxiques, sémantiques et pragmatiques. Nous pouvons affirmer cela avec un degré de confiance haut, moyen ou bas pour presque toutes les dimensions des performances mesurées. Nous n’avons pas d’informations quant à la manière dont les enseignant⋅e⋅s ont fait réécrire leurs élèves : les élèves ont-ils réécrit leur texte avant ou après avoir reçu une rétroaction ? ont-ils réécrit leur texte avec ou sans accompagnement ? ont-ils seulement réécrit leur texte « au propre » à partir du brouillon ? ont-ils seulement corrigé les erreurs encerclées par l’enseignante ou ont-ils réécrit le texte en profondeur pour l’améliorer ? dans quel but devaient-ils réécrire leur texte ? Une réécriture sans accompagnement et centrée uniquement sur la correction d’erreurs linguistiques, par exemple, serait susceptible de nuire au rapport à l’écriture, au sentiment de compétence et à la motivation des élèves. Ici encore, il apparait nécessaire de mener des recherches pour décrire comment est utilisée cette stratégie pédagogique en classe. Ce constat souligne aussi une limite importante de nos résultats : la qualité des textes n’a été évaluée par le groupe DIEPE qu’à la fin de l’année scolaire (une seule mesure). Ainsi, les variables dépendantes des modèles de régression ne représentent pas des progrès, mais un portrait des performances des élèves à un moment de l’année. Nos observations pourraient être les indices que les stratégies pédagogiques participent à la qualité des textes des élèves ou bien que la qualité des textes des élèves participe au choix des stratégies pédagogiques par les enseignant⋅e⋅s : faire réécrire leur texte pourrait être une stratégie pédagogique davantage utilisée quand les élèves éprouvent des difficultés et faire écrire beaucoup, quand les élèves ont de la facilité en écriture, ce qui pourrait expliquer les résultats obtenus pour ces deux stratégies pédagogiques.

5.3 La mesure des performances des élèves en écriture

Il existe plusieurs conceptualisations de la compétence scripturale, plusieurs conceptualisations des dimensions du texte et plusieurs grilles d’évaluation des textes (voir section 2.1). Le groupe DIEPE proposait, pour obtenir une mesure de la qualité globale des textes, d’additionner le score obtenu à chacun des 11 critères de correction et, pour obtenir une mesure de chaque dimension du texte (langue, texte, communication et qualités particulières), d’additionner le score obtenu à chacun des critères de correction entrant dans cette dimension. Nous ne sommes pas parvenues à valider son cadre théorique au moyen d’une analyse factorielle confirmatoire. Comme l’expliquent André, Loye et Laurencelle (2015), les méthodes de validation quantitative comme les analyses factorielles peuvent, oui, permettre de mettre en évidence la validité – bien qu’elles gagnent alors à être combinées à des méthodes de validation qualitative comme le panel d’experts (Loye, 2018) – mais aussi de peaufiner une théorie à mettre à l’épreuve empiriquement par la suite. Il est difficile de nous prononcer sur la raison pour laquelle l’analyse factorielle confirmatoire des critères de correction échoue : problème de validité de l’instrument de mesure de la performance en écriture (grille de correction, définition des critères), problème dans le cadre théorique même sous-jacent à cette mesure (composantes du texte) ou les deux. À la suite d’analyses factorielles exploratoires, nous retenons trois solutions factorielles, chacune mesurant les performances des élèves au moyen de facteurs différents, avec des poids différents (coefficients de saturation). Or, les résultats des régressions effectuées avec les scores factoriels ainsi obtenus montrent que le choix d’une mesure de la qualité des textes a des impacts 1) sur l’ajustement des modèles de régressions, comme en témoignent toujours les indices d’ajustement ; 2) sur les valeurs des paramètres et les valeurs p associées, et donc sur les effets observés des stratégies pédagogiques. De plus, les modèles utilisant une somme du groupe DIEPE sont toujours moins ajustés aux données que ceux utilisant un score factoriel, mais toutes les régressions utilisant un score factoriel ont systématiquement des ajustements équivalents : nous ne pouvons donc nous prononcer sur le modèle des dimensions du texte à retenir. Le fait que nos résultats diffèrent souvent selon la mesure de la qualité des textes montre la pertinence pour la didactique du français de revoir les dimensions du texte et de se doter de mesures des performances en écriture fiables et répondant aux principes de l’édumétrie. Ce constat rejoint celui de Marcotte, Champoux et Lefrançois (2018), formulé à la suite de l’analyse secondaire de critères de correction de Lefrançois et collaborateurs (2008). Des analyses factorielles exploratoires gagneraient à être menées au moyen de textes d’élèves corrigés avec des critères de correction plus nombreux, plus fins, mais surtout n’amalgamant pas d’emblée des phénomènes linguistiques différents (des critères unidimensionnels) pour ainsi valider statistiquement les cadres conceptuels en question, entreprise peu conduite jusqu’ici, à l’exception de De Ketele (2013), de Germain et collaborateurs (2004) et de Savard et collaborateurs (2007).

6. Conclusion

Nos analyses présentent plusieurs limites, notamment liées aux données disponibles. Les stratégies pédagogiques sont celles qui ont été déclarées par les enseignant⋅e⋅s : elles ne correspondent pas nécessairement aux stratégies pédagogiques qui seraient observées en classe et une même stratégie pédagogique peut avoir été utilisée de multiples façons en classe par l’ensemble des enseignant⋅es (variations interindividuelles), mais aussi par une seule et même enseignant⋅e (variations intra-individuelles). Les données ont été collectées en 1993 et les stratégies pédagogiques pourraient avoir changé depuis, bien que les pratiques des enseignant⋅e⋅s de français semblent relativement stables (voir section 2.2). Quant aux variables de contrôle, les données collectées par le groupe DIEPE (1995) ne permettent pas d’inclure aux modèles des informations quant à l’école et au milieu socioéconomique des élèves. Parmi les limites inhérentes aux analyses statistiques effectuées, mentionnons que les interactions n’ont pas été prises en compte dans les régressions et que chaque stratégie pédagogique a été considérée isolément ; il serait pertinent de tenir compte des interactions et des effets de différents profils d’utilisation des stratégies pédagogiques dans des recherches subséquentes. Soulignons ici que le fait que nous ne soyons pas en mesure d’affirmer avec un haut degré de confiance qu’une stratégie pédagogique participe à l’écriture de meilleurs textes par les élèves peut être interprété par la nature même des analyses effectuées et par la nature même des stratégies pédagogiques visant à développer la compétence scripturale : puisque le fait d’utiliser souvent, en classe, une stratégie pédagogique visant à développer la compétence scripturale implique en général de faire écrire les élèves plus fréquemment ou en plus grande quantité, inclure dans les régressions multiples la stratégie pédagogique faire écrire beaucoup (SP1) comme variable indépendante fait en sorte que cette variable est par la force des choses contrôlée, ce qui permet de connaitre les autres prédicteurs des performances des élèves en écriture toutes choses étant égales par ailleurs.

Malgré ces limites, notre recherche a permis de répondre en partie au troisième objectif envisagé par le groupe DIEPE et ainsi de contribuer aux connaissances en didactique du français, en analysant des données collectées à grande échelle auprès d’échantillons représentatifs de grande taille d’enseignant⋅e⋅s et d’élèves du secondaire québécois. Nous avons ainsi pu mettre en relation un certain nombre de stratégies pédagogiques qui sont utilisées en classe de français au secondaire québécois et différentes mesures des performances des élèves en écriture, cohérentes avec les pratiques québécoises en matière d’évaluation de l’écriture. Cela a aussi été l’occasion d’effectuer des analyses factorielles exploratoires pour proposer 11 facteurs de stratégies pédagogiques pour développer la compétence scripturale, une classification de stratégies pédagogiques basée sur l’analyse de pratiques déclarées. Des analyses factorielles exploratoires ont aussi permis de mettre en perspective le cadre conceptuel des dimensions du texte proposé par le groupe DIEPE (1995), souvent cité, de proposer d’autres dimensions du texte basées sur l’évaluation de 1819 textes d’élèves de troisième secondaire du Québec et de mettre en lumière les recherches à poursuivre pour mesurer les performances des élèves en écriture.