Article body

Introduction

Une variété de dispositifs

Pour l’UNESCO (1998), le défi de l’enseignement supérieur consiste en « l’amélioration et la préservation de la qualité de l’enseignement […] la pertinence des diplômes » (p. 1). Cette dernière « doit se mesurer à l’aune de l’adéquation entre ce que la société attend des établissements et ce qu’ils font. Cela requiert […] des capacités critiques » (p. 7). C’est un aspect particulier mais significatif de ces capacités critiques souhaitées des universités que le présent article étudie, celui de « l’approche client » (UNESCO, 2004, p. 34), qui place l’apprenant au coeur de la démarche qualité. Il convient alors de « considérer les étudiants comme des partenaires essentiels et des protagonistes responsables du processus de rénovation de l’enseignement supérieur » (UNESCO, 1998, p. 9), à travers leur participation à l’évaluation puis au renouvellement de la pédagogie universitaire. L’expression de leur point de vue par les usagers leur permet en outre de développer leur propre aptitude à la prise de responsabilité par le truchement d’une participation active à la vie de leur établissement (Unesco, 1998 ; voir aussi Coates, 2005, p. 26).

Cette préoccupation rejoint les dispositifs mis en place par le processus de Bologne qui, en plus de la définition d’un cadre commun de diplômes et outils, « encourage le développement d’une culture qualité au sein des universités européennes » (Sauvageot & Dalsheimer-Van Der Tol, 2010, p. 9), notamment à travers la création de l’ENQA (European Association for Quality Assurance in Higher Education). Ainsi, la conférence européenne des ministres chargés de l’enseignement supérieur a pu, dès 2005, demander aux établissements concernés « l’introduction systématique de mécanismes internes et leur corrélation directe avec la garantie de la qualité au plan externe » (p. 13), en particulier par un renforcement de la participation des étudiants. Cette injonction a connu des traductions nationales divergentes : à ce jour en France, les étudiants ne sont pas représentés dans les conseils des organismes nationaux d’évaluation (Agence d’évaluation de la recherche et de l’enseignement supérieur, Commission des titres d’ingénieur) – même s’ils sont appelés comme experts dans les comités d’évaluation –, alors que c’est le cas en Allemagne ou au Royaume-Uni par exemple. Ils doivent au contraire être consultés localement, comme dans le dispositif présenté et analysé ci-dessous.

Leur seul point de vue ne saurait certes suffire à décrire la qualité des formations développées par une université. Il convient de l’articuler à des données quantitatives, comme la durée et la variété des parcours d’étudiants, comme les taux de réussite aux examens, ou encore les taux d’accession à un emploi correspondant au diplôme acquis. Dans une récente étude, Rexwinkel, Haenen, et Pilot (2013) essaient de ce point de vue de définir à quelles conditions les notes obtenues par les étudiants peuvent servir d’indicateurs pertinents pour témoigner de la qualité d’un cursus.

Il est important cependant de ne pas négliger cette « qualité perçue » par les usagers, à la fois comme signe de l’atmosphère d’un établissement, comme témoignage de ce que vivent les étudiants, et les répercussions que cela a sur leur engagement dans les études, mais aussi comme donnée qui permet d’autres lectures extérieures de la qualité, répondant en particulier aux intérêts des lycéens et de leurs familles au moment des choix d’orientation (Tavenas, 2003). Ce qui est par exemple mis en évidence par Coates (2005) dans la sphère anglo-saxonne, pour l’Australie en l’occurrence : les étudiants ont besoin d’une information fiable pour faire leurs choix, les administrateurs également, à la fois pour gérer leurs établissements mais aussi pour en assurer la communication externe. Le pari qu’il fait est qu’en associant les usagers au suivi de la qualité des formations, on reconnaît aussi l’importance de leur engagement au sein de l’institution et au service de leurs apprentissages propres. L’accent est ainsi mis d’avantage sur les dispositifs d’acquisition de compétences que sur les ressources matérielles et financières des universités, ou que sur le seul point de vue des enseignants.

Une récente synthèse des options méthodologiques retenues en Europe (Sylin & Delausnay, 2006) pointe d’ailleurs, entre autres éléments à prendre en compte, l’importance d’une « orientation client » qui associe étudiants, financeurs et monde du travail, et son corollaire, une vision à long terme basée sur les leviers d’amélioration de la pédagogie universitaire qu’elle aura contribué à identifier.

Mais ce recours à la consultation des usagers et au débat sur la qualité des formations ne modifie-t-il pas « le registre de légitimation des politiques publiques » ? Ne s’agit-il que d’une mise en scène démocratique de la participation ? (Gauthier, 2008) C’est la question préalable que désirent soulever les auteurs pour justifier ensuite le dispositif méthodologique qu’ils ont retenu.

Client centrisme et service public

Signalons, pour commencer, que le client centrisme n’est pas l’apanage des établissements d’enseignement supérieur, mais qu’il est une démarche repérable dans bien des services publics. Il est l’un des effets de la contractualisation de ces services avec l’État (Giauque, Caron, & Barbey, 2006b), indicateur explicite de l’attention que ce dernier porte à la qualité. À la différence du secteur marchand, la notion de client y est cependant problématique. Il s’agit en effet de préserver l’égalité d’accès de tous les citoyens, quel que soit leur rang social ou leur capacité financière. Aucune sélection de l’usager-client n’est recevable, si ce n’est celle par le mérite dans les cas prévus par la loi. Aussi, les systèmes de valeurs développés par les agents publics les poussent à réclamer des outils de pilotage adéquats leur fournissant notamment une information valide et des moyens d’améliorer le service rendu à la collectivité (Giauque, Caron, & Barbey, 2006a). Ce sont par conséquent le climat social d’une organisation et les processus de pilotage organisationnel qu’elle met en oeuvre qui amènent les fonctionnaires à adopter une position favorable envers cette démarche (Giauque et al., 2006b). Il conviendrait, dans ces conditions, de toujours relire l’opinion de l’étudiant isolé, dont les frais de scolarité sont majoritairement assurés par la collectivité, dans le cadre plus vaste de la cohorte à laquelle il appartient, non pour se fonder sur un avis moyen, mais pour ne pas perdre de vue la variété des ressentis exprimés.

En effet, une université de qualité est d’abord une université qui remplit ses missions (Canard, 2006). Il y a lieu par conséquent d’interroger les étudiants sur la cohérence entre les objectifs annoncés pour une formation et le cursus effectivement proposé. Ce qui de plus favorisera le développement de leur esprit critique et de leur capacité à repérer et formuler les problèmes (ibid.), voire à participer à leur résolution.

Dans cet esprit, il a été décidé de ne pas leur imposer les critères de qualité des auteurs, mais de les associer à la démarche très en amont du dépouillement de leurs réponses, dès la construction des questionnaires. Les auteurs présenteront plus bas la technique de focus groups mise en oeuvre à cet effet. Soulignons pour l’instant qu’elle a été utilisée par d’autres, comme Telford et Masson (2005), qui ont cherché à comparer par ce moyen la congruence des positions des étudiants avec celles des enseignants et celles des responsables d’établissement. Mais les auteurs voudraient, pour finir cette problématisation initiale, s’interroger encore sur la valeur des opinions des usagers ainsi recueillies par le biais de dispositifs relevant du client centrisme.

Fiabilité des réponses

Les auteurs commencent par signaler que la littérature récente traitant de la pédagogie universitaire insiste sur l’importance qu’il y a de prendre en compte la perception que les étudiants ont de leurs cours (De Ketele, 2010) et plus largement, d’accroître la culture de l’évaluation chez les acteurs concernés (Rege-Colet & Durand, 2005). Cette position, qui va souvent à l’encontre des représentations spontanées des enseignants et des responsables de formation, peut être étayée en référence à un certain nombre de métaanalyses.

La plus ancienne en date, celle de Cohen (1980), insiste sur l’effet positif que l’évaluation des enseignements par les étudiants a sur l’amélioration des dispositifs de formation, et ce, d’autant plus qu’on lui adjoint un accompagnement pédagogique (voir aussi Rindermann, Kohler, & Meisenberg, 2007). Par la suite, Aleamoni (1999) met à mal un certain nombre de mythes qui ont cours sur ce sujet. Il rappelle notamment que les jugements des étudiants sur un même enseignement sont remarquablement stables d’année en année et ne dépendent donc guère de la subjectivité d’une promotion. Il montre également que ces usagers sont capables de faire la part des choses en distinguant en particulier les aspects relationnels des aspects organisationnels ou conceptuels ; il n’y a donc pas de prime à la popularité, elle est sans incidence sur la qualité perçue. Il souligne enfin que les étudiants les plus avancés expriment des opinions plus positives du fait de leur acclimatation à l’enseignement supérieur. C’est l’un des résultats que les auteurs tâcheront de confirmer plus bas, en essayant de préciser à propos de quels critères qualité cet effet s’exprime le plus fortement. Coates (2005) va dans le même sens quand il avance l’idée que la mesure de l’engagement de l’étudiant dans ses apprentissages, présentée comme facteur révélateur de la qualité d’une formation, peut être fondée, fiable et valide.

La dernière synthèse de recherches invoquée par les auteurs, celle de Barbeer (2004), fait état de la position actuelle du problème : la qualité d’un enseignement est multidimensionnelle et il est nécessaire d’identifier les poids respectifs des différentes dimensions invoquées. C’est ce que les auteurs envisagent de faire ci-dessous, en testant, auprès d’un large échantillon d’étudiants, différents items proposés par un panel représentatif de leurs pairs.

La validité de ces jugements (Abernot, Gangloff-Ziegler, & Weisser 2012) ne risque-t-elle pas cependant d’être entachée de subjectivité du fait de la fragilité de certains étudiants ? Il semble que non, et même qu’à l’inverse, le fait de les associer au fonctionnement d’un dispositif qualité pourrait déboucher sur un affermissement de leur autonomie. Boujut et Bruchon-Schweitzer (2007), par exemple, dans leurs travaux sur les caractéristiques déterminant la réussite en fin de première année de licence, mentionnent comme facteurs favorables l’intégration au groupe et l’attitude (d’affrontement plutôt que d’évitement) face aux problèmes posés par la situation vécue. L’évaluation des formations par les étudiants puis leur participation à des cercles qualité va dans ce sens. Une autre recherche sur une thématique proche, celle de la persévérance à l’université (Schmitz et al., 2010), souligne à son tour « l’importance des expériences institutionnelles et de l’intégration de l’étudiant » (p. 44). L’identification de ce dernier aux normes du système académique, facteur de persistance de son engagement dans les études, est facilitée quand il est associé à leur définition et à l’opérationnalisation des objectifs qui aident à les respecter. « Les expériences sociales et académiques influencent la perception par l’étudiant des différentes facettes de la vie universitaire, comme la qualité de l’établissement, la satisfaction des cours, les relations avec les enseignants » (p. 46) : l’engagement institutionnel est alors un excellent prédicteur de la persistance à l’université.

Ces aspects proprement éducatifs des dispositifs d’évaluation des formations par les étudiants, gages de la qualité de leurs réponses, sont repérables dans une troisième source. Il s’agit de l’étude de Vieira et Coimbra (2008) sur la transition entre l’enseignement supérieur et l’emploi. Ce temps du passage s’inscrit pour eux dans un processus plus long d’orientation professionnelle de l’individu, fait d’anticipations, de préparation à l’accès au monde du travail. Les parcours réussis le sont grâce à un sentiment d’autoefficacité accru : estimer avoir une possibilité d’influer sur ce qui lui arrive aide l’individu à faire des choix éclairés en matière d’orientation. Et parmi les stratégies avancées par les auteurs pour accroître ce sentiment d’autoefficacité personnelle, certaines peuvent être prises en charge par un dispositif d’évaluation des formations par les étudiants, comme la réalisation de projets représentant autant de défis, comme l’examen des réussites antérieures, ou comme l’explicitation des réussites actuelles, toujours si on place dans la perspective qui est la nôtre, celle d’un continuum qui va de la définition des critères de qualité par les étudiants pour l’élaboration d’un questionnaire de satisfaction, à la mise en place d’un suivi de la pédagogie universitaire, en passant bien entendu par l’analyse des réponses des différentes cohortes à ces questionnaires.

Une université professionnalisante

Ce dernier point de vue peut encore être spécifié au cas de l’université dans laquelle a été menée la présente étude (Université de Haute-Alsace, Mulhouse et Colmar). Cet établissement est en effet réputé être très professionnalisant. Sur ses huit composantes, il compte deux Instituts universitaires de technologie et deux Écoles d’ingénieurs. Ses quatre Unités de formation et de recherche proposent, quant à elles, nombre de Masters Professionnels. Or, il apparaît que tous les diplômes figurent désormais règlementairement dans le Répertoire national de la certification professionnelle. Sont-ils pour autant tous professionnels ? Quelle est leur légitimité de ce point de vue ? (Maillard, 2007) Les formations généralistes, en particulier les licences, risquent-elles de pâtir dans les jugements des étudiants d’un manque de reconnaissance par le monde du travail, voire du caractère souvent peu explicite des compétences qu’elles permettent d’acquérir ?

Cette question est tout à fait d’actualité quand on sait par ailleurs qu’un quart des sortants de l’enseignement supérieur ne valident pas leur troisième année de licence (Gury, 2007). Ces formations inachevées (L1/L2) et peu lisibles par les employeurs potentiels seraient alors dévalorisées aux yeux des usagers, et sans doute plus encore dans une période initiale de doute : ai-je choisi la bonne orientation ? l’orientation que j’ai acceptée / subie est-elle porteuse d’avenir ?

Les auteurs choisissent deux directions complémentaires pour approfondir ce questionnement : le type de formation, sélective ou non, et l’ancienneté de l’étudiant dans son cursus. Ces options ont déjà été retenues dans d’autres cadres. Au sujet de la comparaison des filières académiques, il est possible de citer la recherche déjà ancienne de Marsh (1987) qui, dans son souci de prêter attention aux variables contextuelles qui pourraient constituer autant de biais méthodologiques de l’évaluation des enseignements par les étudiants, passe en revue les effets de la variation des disciplines, de l’ancienneté, du statut et du sexe de l’enseignant (voir aussi Centra & Gaubatz 1999 sur ce dernier point), du caractère obligatoire ou facultatif du cours, […]. Les recherches montrent qu’en règle générale, les scores d’évaluation par les étudiants sont supérieurs en sciences humaines et sociales, par rapport aux sciences de la nature et de l’ingénieur (Aleamoni, 1999 ; Centra & Gaubatz, 2000 ; Detroz, 2008 ; Zahn & Schramm, 1992). Il est de fait, par exemple, que les sciences humaines requièrent sans doute une plus grande dose d’interactivité enseignant-étudiants que la chimie ou la biologie ; est-ce pour autant un signe de qualité moindre ? Toujours est-il que la plupart des recherches citées concerne l’évaluation des enseignements par les étudiants, et même parfois l’évaluation des enseignants, dans les pays où ce genre de critère est pris en compte pour l’évolution de leur carrière. La présente recherche, quant à elle, s’interroge sur l’évaluation d’une formation par les étudiants, ce qui rend un certain nombre de critères classiques (comme en particulier la description des caractéristiques d’un enseignant) non pertinents.

Le deuxième axe d’enquête concerne le degré d’avancement dans le cursus. Là encore, la littérature peut proposer un certain nombre de résultats. Il a été montré (Donaldson, Flannery, & Ross-Gordon, 1993) que plus le niveau académique s’élevait, plus l’évaluation était positive. Ce qui pourrait s’expliquer par le fait que l’apprenant avancé est devenu un parfait indigène de l’enseignement supérieur et que, par conséquent, son fonctionnement le surprend moins. À l’inverse, on pourrait cependant imaginer qu’avec le temps l’esprit critique devient plus acéré. Aleamoni (1999), dans sa métaanalyse, fait ainsi état de huit études concluant à une absence de corrélation entre sévérité de l’évaluation et grade académique, et de dix-huit autres qui, au contraire, débouchent sur le constat d’un lien positif. Detroz (2008), dans une autre revue de synthèse, va dans le même sens d’un lien ténu mais favorable. Il est à noter de plus que certaines de ces études concernent non pas le niveau atteint par l’étudiant, mais son âge, et essaient de percevoir des différences selon qu’il s’agit d’un parcours en formation initiale ou en formation continue (cette dénomination semble plus juste que celle d’« adultes », par opposition à « étudiants traditionnels » retenue par Donaldson et al. (1993) : dans l’enseignement supérieur, tous les apprenants sont adultes). C’est le cas de derniers auteurs cités, ou encore de Cranton (1992) et de son modèle de transformational learning. Il s’agit pour finir de savoir si le diplôme ouvre effectivement un accès au marché de l’emploi, puisque c’est sa finalité affichée.

Les hypothèses de recherche s’énoncent comme suit :

  1. La qualité d’une filière est jugée meilleure par les étudiants quand l’accès y est sélectif.

  2. La qualité d’une filière est jugée meilleure par les étudiants les plus avancés dans le cursus.

La population d’étude se définira par conséquent à partir de deux variables dichotomiques :

  1. Filières sélectives (IUT) versus non sélectives (UFR).

  2. Étudiants néophytes (DUT1 ou L1) versus chevronnés (L Pro ou Master 2).

Dans ce qui suit, les auteurs vont présenter leur dispositif d’évaluation, en commençant par décrire leur méthode de construction du questionnaire d’évaluation des formations par les étudiants, puis en explicitant les dimensions de la qualité qu’il a été possible de relever, pour finir par présenter les caractéristiques des participants. Ils procéderont ensuite à l’analyse des résultats avant de les discuter au regard des deux hypothèses.

Méthodologie : de la construction du questionnaire au dépouillement des réponses

Le souci premier, au moment de la réalisation du questionnaire d’évaluation des formations par les étudiants, a été d’éviter les biais de validité : l’instrument retenu mesure-t-il effectivement ce qu’il prétend étudier ? (Detroz, 2008) Il s’agit tout d’abord d’échapper aux biais culturels signalés par Barbeer (2004) quand l’on importe un outil adapté à des situations trop différentes. Leur existence est bien réelle, pour preuve les conclusions de Carayon et Gilles (2005) : pour transposer dans la sphère francophone un questionnaire qui mesure le degré d’adaptation de l’étudiant à l’université tout en lui gardant ses qualités métrologiques, ils ont été amenés à redistribuer les items selon de nouvelles dimensions de la variable.

Les auteurs ont désiré aller plus loin dans la construction de leur outil de recueil d’information, en prenant acte du fait qu’un tel questionnaire ne mesure pas, à proprement parler, la qualité des formations dispensées par une université, mais la perception qu’en ont les étudiants à partir de leurs propres représentations. Aussi, plutôt que de leur imposer les critères des auteurs ou de reprendre ceux proposés par la littérature, il a été décidé de les associer dès l’élaboration du questionnaire. Il doit sans doute être possible de considérer que les étudiants ne sont pas des clients passifs dans l’attente d’une simple satisfaction, et qu’ils sont bien plutôt des partenaires de la relation pédagogique, qui construisent leur expérience par le fait même d’apprendre (Ramsden, 2009). La signification qu’ils attribuent à leurs apprentissages est, pour une bonne partie, déterminée par la perception qu’ils ont de leurs conditions d’études (Paivandi, 2010).

Les auteurs ont donc procédé par focus groups. Chaque entretien collectif a duré entre quarante-cinq minutes et une heure, réunissant un groupe homogène d’une dizaine de participants. Les panels ont été constitués sur la base des composantes de l’université (quatre UFR, deux IUT, deux Écoles d’ingénieurs) et de l’ancienneté des étudiants (groupes de L1 ou de M2 pour les UFR ; groupes de DUT1 ou de Licence professionnelle pour les IUT ; groupes de première année ou de troisième année pour les Écoles d’ingénieurs), soit seize groupes en tout. Ces entretiens ont permis d’identifier la manière dont les étudiants se représentent leurs propres attentes face à une formation et, ce faisant, les différentes dimensions et items de la qualité telle qu’elle est perçue par eux. Trois questions leur ont été posées :

  • à quoi reconnaissez-vous que les contenus de la formation sont de qualité ?

  • à quoi reconnaissez-vous que l’organisation de la formation est de qualité ?

  • à quoi reconnaissez-vous que les compétences construites sont de qualité ?

Dans le dépouillement des réponses, les auteurs de la présente étude ont été attentifs à préserver autant que faire se peut la variété des positions. Les attentes des étudiants peuvent être regroupées autour de trois dimensions.

La première concerne la structure des formations. Les étudiants demandent à être correctement informés quant au contenu, à l’organisation, aux objectifs et aux modalités d’évaluation de la formation. Ils souhaitent que les différences de niveaux soient prises en compte au départ et qu’un accompagnement soit mis en place. La répartition des cours doit être perçue comme cohérente et les méthodes apprises doivent être réutilisables. Les ressources mises à disposition doivent être adaptées. Il leur paraît important que le diplôme préparé soit reconnu aussi bien en interne par les enseignants que par les autres établissements en France ou à l’étranger. Il faut que la formation laisse du temps pour le travail personnel requis. Ils attendent qu’elle leur ouvre des possibilités d’orientation suffisantes et qu’ils en soient informés. Ils considèrent enfin que l’ambiance générale dans la formation est un élément qui influe sur sa qualité.

La deuxième dimension regroupe différentes attentes en matière de relations avec les professionnels pendant le temps de formation, qu’il s’agisse de l’apport des intervenants extérieurs ou des applications professionnelles, comme le travail sur des projets ou les stages. Ils veulent tester leur opérationnalité et la prouver aux employeurs, mais sans doute tout autant à eux-mêmes.

Enfin, la troisième dimension englobe différents critères qui se fondent sur les relations avec le monde professionnel et les interactions avec « le monde extérieur ». Il s’agit alors, pour les apprenants, de savoir s’ils sont en mesure de relever les compétences acquises, si leurs compétences sont adaptées au marché du travail et reconnues par les employeurs et socialement. Enfin, il faut que le diplôme ouvre un accès à l’emploi parce qu’il en est la finalité affichée.

Le questionnaire a finalement été rédigé en respectant ces trois grandes parties, complétées de quelques données relatives au profil de l’étudiant (les variables indépendantes). Une bonne moitié des questions prend la forme d’échelles de Likert.

Q10 : D’après vous, les différences initiales de niveau entre étudiants ont-elles été prises en compte ? Tout à fait/Plutôt/Plutôt pas/Pas du tout. Les autres proposent comme réponses la variété des positions relevées lors des focus groups.

Q11 : Sous quelles formes cette différenciation a-t-elle eu lieu ? Groupes de remis à niveau/Différenciation durant les cours/Aide personnalisée/ Parcours distincts/Autres/Pas de différenciation.

Le chapeau introductif rappelle que l’objectif de l’enquête est de contribuer à l’amélioration de la qualité des formations. Les conseils de perfectionnement propres à chaque diplôme relaient l’information.

Les étudiants ont fait apparaître à travers ces entretiens toute leur expertise et leur maturité et cela légitime le fait de les consulter dès la conception du questionnaire. Ce questionnaire a finalement été mis en ligne et les étudiants ont été invités à y répondre en fin d’année universitaire. Pour les besoins de la présente enquête, les auteurs ont retenu les résultats concernant une UFR (Faculté de Lettres, Langues et Sciences humaines : 190 participants) et un IUT (221 participants). Il sera ainsi possible, dans ce qui suit, de rechercher les différences de positionnement par dimension ou par item selon les deux variables retenues : sélectivité de l’orientation, ancienneté dans le cursus.

Résultats : selon la sélectivité de l’orientation

En DUT et en licence générale

Premièrement, concernant la sélectivité de filières, l’analyse croisée des résultats portant sur les étudiants de DUT (173 étudiants de Carrières juridiques, Génie thermique et énergie, Réseaux et télécommunications) et de licence générale (127 étudiants en Lettres, Langues, Sciences humaines) a permis de comparer leurs niveaux de satisfaction. Les données ont été soumises au test du chi-carré afin de vérifier leur significativité.

Concernant la première dimension relative à l’organisation de la formation, les étudiants inscrits en DUT ou en licence générale ne s’estiment pas significativement plus informés sur leur formation (χ² = 1,112 ; ddl = 3 ; NS). Alors que leur perception de la prise en compte des différences de niveaux ne fait pas apparaître de variation significative (χ² = 2,057 ; ddl = 3 ; NS), la manière dont elles sont traitées est très significativement autre (χ² = 25,355 ; ddl = 5 ; p<0,01). En effet, en DUT ce sont essentiellement les groupes de remise à niveaux qui sont mentionnés, alors qu’en licence ce sont l’aide personnalisée ainsi que la différenciation à l’intérieur des cours. L’individualisation est ressentie comme plus forte en licence qu’en DUT. Mais cela peut également être lié au fait que les entrants en DUT sont sélectionnés : il paraît logique d’en déduire que les niveaux peuvent alors être plus homogènes. Que les étudiants soient issus d’une filière ou d’une autre, ils estiment de manière très approchante (χ² = 2,998 ; ddl = 3 ; NS) qu’ils acquièrent des méthodes réutilisables, qu’il y a une cohérence dans la répartition des cours (χ² = 1,311 ; ddl = 3 ; NS) et que les ressources disponibles sont de qualité (χ² = 5,014 ; ddl = 3 ; NS). Il n’y pas de différence marquée de perception selon les filières pour ces critères.

En revanche, les DUT, soumis à un contrôle continu, sont proportionnellement plus nombreux à être satisfaits de l’information reçue sur les modalités d’obtention du diplôme, même si l’avis est également majoritairement positif en licence (χ² = 12,278 ; ddl = 3 ; p<0,01).

Dans les deux filières, beaucoup d’étudiants ignorent si leur diplôme est reconnu dans d’autres pays. Les inscrits en licence sont cependant significativement (χ² = 6,767 ; ddl = 2, p<0,05) plus nombreux à ne pas répondre sur ce point que leurs camarades d’IUT, alors même que, pour ces derniers, leur diplôme ne s’inscrit pas directement dans le schéma LMD. Les étudiants de licence affirment à près de 90 % avoir suffisamment de temps pour réaliser du travail personnel, alors que les étudiants de DUT ne sont que près de 64 % à avoir ce sentiment. La différence est statistiquement très significative (χ² = 31,561 ; ddl = 3 ; p<0,01). Cette situation peut apparaître logique face à une charge horaire annuelle plus lourde en IUT qu’en licence générale.

L’ambiance de la formation est elle-même, de manière très significative (χ² = 29,789 ; ddl = 3 ; p<0,01), plus appréciée en DUT qu’en licence. Il conviendrait cependant de confirmer ce trait par une étude sur plusieurs promotions d’étudiants et sans doute de mener des entretiens afin de comprendre les causes de cette différence.

Les étudiants des deux types de filières font état d’un accompagnement en cours de cursus et le tutorat est le type d’accompagnement privilégié, quelle que soit la formation. Toutefois, en DUT, il s’agit d’un tutorat réalisé par des enseignants, alors que les étudiants de licence font plutôt référence à une prise en charge par leurs pairs (χ² = 66,91 ; ddl = 2 ; p<0,01). Les deux mentionnent également un soutien informel entre étudiants, mais plus rarement en DUT. Et chaque groupe dit préférer le type d’accompagnement qu’il cite principalement et s’en estime satisfait (χ² = 57,175 ; ddl = 2 ; p<0,01).

Enfin, pour conclure relativement à cette dimension de l’organisation de la formation, les inscrits en DUT se disent très significativement plus satisfaits quant aux orientations offertes par leur formation (χ² = 18,742 ; ddl = 3 ; p<0,01) même s’ils apprécient dans une mesure équivalente l’information obtenue sur ce sujet (χ² = 2,841 ; ddl = 3 ; NS).

Concernant la deuxième dimension, à propos des relations avec les professionnels, les éléments apparaissent plus difficilement exploitables dans une étude visant à comparer les deux types de formation. Les étudiants de DUT sont plus conscients de l’apport des intervenants extérieurs qui les aident à faire le lien entre leur formation et l’emploi (χ² = 10,406 ; ddl = 3 ; p<0,05).

Les autres questions étant liées au stage ou au projet ne sont pas comparables dans la mesure où, en licence générale, ces dispositifs ne sont pas systématisés, d’où un fort taux de non-réponses. Pourtant, les étudiants de DUT soulignent l’utilité de ces applications professionnelles qui, comme évoqué ci-dessus, permettent de (se) prouver l’utilité de leur formation.

Enfin, concernant la troisième dimension portant sur les relations avec le marché de l’emploi et sur la reconnaissance de l’utilité de leur formation par le « monde extérieur », les données sans doute les plus intéressantes sont recueillies, toutes très significatives même si, pour plusieurs questions, des écarts plus notables encore avaient été imaginés.

Les étudiants de DUT sont significativement (χ² = 9,624 ; ddl = 3 ; p<0,05) plus nombreux à dire savoir préciser les compétences acquises, même si malgré tout et d’une manière sans doute un peu inattendue pour des formations qui ne se présentent pas comme professionnalisantes, 71 % des étudiants de licence générale se reconnaissent également dans ce cas. Les étudiants de DUT estiment de manière très significativement supérieure (χ² = 55,846 ; ddl = 3 ; p<0,01) que leur diplôme est bien ou très bien perçu au sein de la société, qu’ils sont bien informés sur les débouchés proposés par leur formation (χ² = 18,097 ; ddl = 3 ; p<0,01), que leurs compétences sont adaptées au marché du travail (χ² = 51,042 ; ddl = 3 ; p<0,01) et leur permettent un accès à l’emploi (χ² = 59,292 ; ddl = 3 ; p<0,01).

Même si les différences dans le niveau de satisfaction sont très significatives, les étudiants de licence sont malgré tout majoritairement satisfaits sur la plupart de ces critères et 46 % d’entre eux considèrent que la licence permet un accès à l’emploi, alors qu’ils estiment avoir un déficit d’information sur les débouchés professionnels et qu’ils sont tout de même 48,4 % à considérer que les compétences acquises durant leur formation ne sont pas trop, voire pas du tout adaptées au marché du travail. Néanmoins, en croisant cette question avec celle sur la satisfaction relative aux orientations offertes, les deux filières considèrent qu’elles sont globalement mieux informées sur les débouchés existants que sur les orientations proposées.

Ces différences peuvent cependant autant être liées au caractère plus ou moins professionnalisant de la formation ou à la durée du cursus, qu’à sa sélectivité. Les auteurs relèveront également qu’ayant fait la même analyse avec les primo-entrants de licence et de DUT (voir ci-dessous), les réponses sont très proches, ce qui révèle que les perceptions initiales évoluent peu sur la durée d’un même cursus.

En licence professionnelle et en master

En passant à un niveau de cursus supérieur au sein des mêmes composantes, licence professionnelle (LP : 23 étudiants) en IUT et master en UFR de Lettres et Sciences humaines (M2 : 68 étudiants), il peut être intéressant de voir si les différenciations entre les perceptions évoluent d’une filière à l’autre. Dans les deux cas, il s’agit de diplômes en principe terminaux regroupant des étudiants qualifiés de chevronnés. Il est à noter que très peu d’étudiants de M1 n’accèdent pas au M2 après avoir validé leur année. La principale sélection s’opère par le biais de la moyenne annuelle et ne diffère donc pas en cela du fonctionnement des passages L1/L2 ou L2/L3.

À propos de la première dimension, les étudiants de LP se disent très significativement plus satisfaits de l’information reçue sur leur formation (χ² = 13,611 ; ddl = 3 ; S, p<0,01) et considèrent que les différences de niveaux sont plus prises en compte qu’en master (χ² = 13,348 ; ddl = 3 ; S, p<0.01). S’ils n’ont pas plus apprécié la qualité des ressources mises à disposition (χ² = 5,325 ; ddl = 3 ; NS), ils ont par contre été davantage sensibles à l’ambiance entre étudiants (χ² = 11,084 ; ddl = 3 ; p<0,01). Par ailleurs, il n’y a pas non plus de différence dans le sentiment d’avoir acquis des méthodes réutilisables (χ² = 3,454 ; ddl = 3 ; NS), même si proportionnellement ce sentiment est plus fort cette fois-ci en master. Les étudiants des deux cursus considèrent, sans différence significative (χ² = 3,744 ; ddl = 3 ; NS), qu’ils ont été semblablement informés quant aux modalités d’obtention du diplôme et quant aux orientations offertes (χ² = 1,791 ; ddl = 3 ; NS). Ils sont dans l’ensemble satisfaits de ces dernières. Ils s’entendent par ailleurs pour estimer qu’ils ont été aussi peu accompagnés les uns que les autres (χ² = 0,086 ; ddl = 1 ; NS). Ils reconnaissent dans les deux cas disposer de suffisamment de temps pour leur travail personnel (χ² = 1,269 ; ddl = 3 ; NS) et considèrent de façon proche qu’il y a une cohérence dans la répartition des cours tout au long de l’année (χ² = 3,494 ; ddl = 3 ; NS).

La deuxième dimension portant sur les relations avec les professionnels marque peu de différences d’un cursus à un autre (χ² = 2,333 ; ddl = 3 ; NS). Contrairement à l’analyse précédente (DUT/licence générale), tous les étudiants mentionnent ici le fait que les intervenants extérieurs leur permettent de faire le lien entre la formation et l’emploi. Les maquettes pédagogiques des masters prévoyant des stages et des projets, à la différence de celles des licences généralistes, ces étudiants, comme ceux de LP, soulignent l’utilité de ces applications professionnelles (Master : χ² = 1,146 ; LP : χ² = 0,879 ; ddl = 3 ; NS et NS) et l’accord entre les missions confiées et la formation (χ² = 0,311 ; ddl = 3 ; NS). Ils indiquent avoir été accompagnés pour ces applications d’une manière équivalente, qualifiée majoritairement de suffisante (Master : χ² = 0,024 ; LP : χ² = 0,096 ; ddl = 3 ; NS et NS).

Enfin la troisième dimension touchant aux relations avec le marché de l’emploi montre que les étudiants des deux filières se disent, d’une manière semblable, capables d’identifier les compétences acquises (χ² = 1,333 ; ddl = 3 ; NS) et correctement informés sur les débouchés professionnels (χ² = 0,0008 ; ddl = 3 ; NS). Ils relèvent encore, et là aussi sans différence significative, que la formation est adaptée aux besoins du marché du travail (χ² = 3,29 ; ddl = 3 ; NS). Pourtant, il reste des différences significatives dans l’image qu’ils se font de la perception de leur formation au sein de la société (χ² = 15,626 ; ddl = 3 ; p<0,01). Elle est plus positive en LP qu’en master, malgré la différence de niveau (bac +3 versus bac +5). En revanche, les étudiants de LP ne sont pas significativement plus nombreux à estimer que leur diplôme favorise l’accès à l’emploi (χ² = 7,697 ; ddl = 3 ; NS) : il s’agit, dans les deux cas, de diplômes terminaux. Ces traits devront être confirmés par des comparaisons avec d’autres Unités de formation et de recherche, afin d’affiner l’influence du type de formation sur les représentations des étudiants.

En conclusion de cette comparaison, il est possible de constater des différences notables entre les formations sélectives ou non. Les étudiants des formations sélectives apparaissent globalement plus satisfaits de leur cursus, quelle que soit leur année d’inscription. Ils démontrent ainsi une confiance plus importante dans la valeur de leur diplôme sur le marché de l’emploi, où ils considèrent qu’il sera mieux reconnu. Ils sont plus conscients de l’utilité de leur formation, utilité qu’ils voulaient pouvoir (se) prouver et faire reconnaître. Ces différences s’atténuent cependant en fin de parcours, au moment de l’obtention de diplômes professionnalisants.

La deuxième hypothèse est de considérer que l’ancienneté peut être influente sur le niveau des attentes et donc de satisfaction des étudiants.

Résultats : selon l’ancienneté dans le cursus

En Faculté : première année de licence (L1) versus seconde année de master (M2)

Dès lors que sont comparés les étudiants néophytes et chevronnés au sein même de la Faculté des Lettres et Sciences humaines (66 L1 versus 68 M2), peu de différences significatives sont observées. Mais lorsqu’elles existent, c’est majoritairement à propos de la première dimension, relative à l’organisation de la formation. Les M2 considèrent plus largement que les L1 avoir acquis des méthodes réutilisables (χ² = 9,755 ; ddl = 3 ; p<0,05) et être mieux informés sur les modalités d’obtention du diplôme (χ² = 8,57 ; ddl = 3 ; p<0,05). Mais ils sont moins satisfaits des ressources mises à disposition (χ² = 6,696 ; ddl = 3 ; p<0,05), peut-être parce qu’ils ont su développer un esprit critique, mais aussi parce qu’ils ont vraisemblablement des attentes d’un niveau supérieur. Les M2 se perçoivent comme moins accompagnés que les L1 (χ² = 19,42 ; ddl = 1 ; p<0,01), malgré la mise en place de suivis des mémoires et le fait que généralement les enseignants consacrent plus de temps individuellement aux étudiants de M2. Ils ont manifestement là encore des demandes plus exigeantes. D’une manière sans doute surprenante, ils s’estiment identiquement insuffisamment informés à propos des orientations offertes par leur formation, tout en s’en disant majoritairement satisfaits (χ² = 0,187, NS).

La deuxième dimension est moins révélatrice parce que, même si les M2 admettent que les intervenants professionnels leur permettent significativement mieux de faire le lien entre l’emploi et la formation (χ² = 7,912 ; ddl = 3 ; p<0,05), l’absence de stage et de projet en L1 ne permet pas de comparer leurs représentations à ce propos.

Enfin, concernant la troisième dimension, les M2 disent être capables de découvrir les compétences acquises, perception qu’ils partagent avec une majorité de L1 (χ² = 3,998 ; ddl = 3 ; NS). Ils sont de même aussi conscients les uns que les autres du degré d’adaptation de leur diplôme au marché (χ² = 6,439 ; ddl = 3 ; NS), ils estiment de façon équivalente que leur formation est globalement bien perçue par la société (χ² = 3,729 ; ddl = 3 ; NS). Cependant, les M2 comme les L1 émettent des doutes importants sur la question de savoir si leur diplôme leur permet l’accès à l’emploi (χ² = 0,675 ; ddl = 3 ; NS) et sont mécontents de l’information obtenue sur les débouchés (χ² = 0,813 ; ddl = 3 ; NS). Cela démontre un pessimisme latent qui évolue peu entre la L1 et le M2, non pas à propos de la qualité des cursus proposés, mais sur la difficulté qu’il y aura à faire valoir les compétences acquises sur un marché du travail atone.

En IUT : première année de DUT (DUT1) versus licence professionnelle (LP)

La comparaison au sein d’un même IUT entre les étudiants inscrits en première année de DUT (106 répondants) et en licence professionnelle (23 répondants) révèle une grande uniformité des perceptions malgré la différence de niveau entre deux formations qui sont toutes deux de type sélectif et professionnalisant.

Concernant la première dimension, les étudiants de DUT1 et ceux de LP partagent la même position quant à l’information donnée sur leur formation (χ² = 5,845 ; ddl = 3 ; NS). Les uns comme les autres affirment n’avoir pas pu bénéficier d’un dispositif d’accompagnement durant leur cursus (χ² = 16,858 ; ddl = 1 ; NS). À l’inverse, le sentiment d’avoir suffisamment de temps pour effectuer un travail personnel apparaît plus fort en LP qu’en DUT1 (χ² = 8,163 ; ddl = 3 ; p<0,05).

La deuxième dimension porte sur les relations avec les professionnels et aucune distinction significative ne peut être notée. Les intervenants permettent de faire le lien entre la formation et l’emploi autant en LP qu’en DUT1 (χ² = 3,059 ; ddl = 3 ; NS). Quelle que soit la formation, il y a un stage et un projet et seule une faible différence, non significative, dans leur recherche a pu être relevée (χ² = 3,814 ; ddl = 1 ; NS).

La même tendance peut être identifiée à propos de la troisième dimension qui concerne les relations avec le marché de l’emploi. Ils s’estiment informés sur les débouchés, de la même manière (χ² = 0,239 ; ddl = 3 ; NS).

Pour conclure à propos de cette deuxième série de comparaison, il semblerait que les différences entre étudiants néophytes et chevronnés restent peu marquées. Dans les deux cas, l’accompagnement est perçu comme moins satisfaisant par les étudiants d’un niveau supérieur et il est probable que cela révèle plutôt une élévation du niveau des attentes. Ce qui apparaît le plus marquant, en observant ces analyses, est que le niveau de confiance ressenti par les étudiants quant à la reconnaissance de leur diplôme sur le marché de l’emploi, induit par le type de formation suivi, semble peu évolutif d’un niveau à l’autre de formation, alors que l’écart apparaît marqué d’une composante à une autre.

Discussion : de l’influence du mode d’orientation et de l’ancienneté dans le cursus sur la perception de la qualité d’une formation

La majorité des positions n’évolue pas si l’on considère la variable « ancienneté », on vient de le voir à l’instant, ce qui confirme un certain nombre des résultats évoqués par Aleamoni dès 1999. Ceci témoigne d’une homogénéité de la perception de la qualité à l’intérieur d’une composante. Conformément aux conclusions de Detroz (2008), l’affiliation progressive au métier d’étudiant serait de ce point de vue de peu d’effet, l’appartenance à un établissement constituant un facteur plus important.

Quelques différences significatives ont cependant pu être mises en évidence, comme chez Cranton (1992). Les néophytes se sentent mieux accompagnés et se disent plus satisfaits des moyens d’étude mis à leur disposition. Les étudiants chevronnés se démarquent, quant à eux, sur le versant de la professionnalité, d’une part en ce qui concerne les méthodes et compétences acquises, d’autre part à travers la relation privilégiée qu’ils construisent avec les intervenants professionnels, gage pour eux de l’adaptation de leur diplôme au marché du travail. Les nuances dans la définition de la qualité d’une formation selon l’ancienneté dans le cursus ne s’observent donc pas dans l’évaluation globale, plutôt stable, mais à travers quelques items particuliers.

C’est la variable « sélectivité des cursus » qui apparaît comme générant le plus de différences significatives, à ancienneté égale. Dans ces cas, les étudiants inscrits dans des filières triées sont systématiquement plus positifs dans leur perception de la qualité. Et ce, principalement sur les aspects de personnalisation de la formation (prise en compte des différences de niveau) et sur la clarté de l’information portant à la fois sur les possibilités d’orientation future et sur les modalités de validation du diplôme. Ils ne se plaignent finalement que d’un manque de temps pour leur travail personnel, conséquence du degré d’encadrement plus fort dont ils bénéficient.

Rappelons, par ailleurs, que ces questionnaires de satisfaction ont été mis en ligne en toute fin d’année universitaire et que, par conséquent, tous les étudiants qui ont abandonné en cours d’année n’ont pu être consultés. Quand on sait que les démissions sont plus fréquentes en licence qu’en DUT, on voit combien les cursus non sélectifs (UFR) pâtissent d’une image connotée négativement.

Un certain nombre de différences significatives entre licence et DUT ne le sont cependant plus entre master et licence professionnelle. Les cursus de master, perçus comme préparant à l’entrée dans le monde professionnel, présentent aux yeux des étudiants les mêmes signes de qualité, et avec la même intensité, que les licences professionnelles : lien entre formation et emploi, utilité des applications professionnelles lors des stages, compétences identifiables et valorisables.

Il est donc possible de dire en conclusion que les processus de sélection au moment de l’orientation sont plus clivants que l’acquisition du métier d’étudiant. C’est le sentiment d’appartenir à une composante dont l’accès n’est pas automatique qui emporte les suffrages. Tout au plus voit-on chez les étudiants en fin de formation un resserrement des positions, principalement dans leur degré d’exigence envers l’institution et dans l’attention qu’ils portent à leur professionnalisation. L’Université est donc perçue par la majorité de ses étudiants comme un lieu de formation professionnelle, plus que comme une communauté scientifique fédérée par la production et la transmission du savoir.

Ces diagnostics méritent cependant d’être encore affinés, précisés. Tout d’abord en élargissant la population d’étude par une systématisation de l’évaluation des formations par les étudiants. Ceci permettra des comparaisons entre composantes non sélectives (une UFR de Sciences humaines est-elle perçue comme une UFR de Sciences et Technologie ? de Droit, Économie et Gestion ? – voir Aleamoni, 1999 ; Detroz, 2008 ; Zahn & Schramm, 1992), et entre composantes sélectives (un IUT est-il apprécié comme une École d’ingénieurs ?). Une autre précision sur ces diagnostics peut être obtenue également en sondant les étudiants néophytes dès le premier semestre, pour recueillir l’avis de ceux qui sont en voie d’abandon et ainsi relever les sources d’insatisfaction qui motivent leur départ prématuré. Enfin, ces diagnostics seront précisés avec l’évaluation des formations par les étudiants par des indicateurs quantitatifs (taux de passage en année supérieure ; typologie des parcours et leurs flux ; taux d’accès à l’emploi) et la recherche d’éventuelles corrélations.

Quoi qu’il en soit, un tel dispositif ne bénéficiera de l’implication suivie des usagers (Centra & Gaubatz, 2000) que si l’institution leur donne la preuve de son utilité. Ce qui signifie que les étudiants doivent pouvoir bénéficier d’un retour systématique sur les résultats de telles enquêtes et soient ensuite associés aux processus d’amélioration pédagogique engagés. Au vu de ces premières données, il peut être ainsi envisagé de collaborer avec eux selon trois axes. Premièrement, sur l’optimisation de l’orientation, pour ne pas (ne plus ?) s’inscrire en licence par défaut, en communiquant sur les possibilités de professionnalisation progressive dès la L1 et en adoptant dès le début d’un parcours universitaire des modalités de contrôle de connaissance plus proches de situations professionnelles mettant en jeu des compétences que d’examens scolaires contrôlant des contenus disciplinaires. Ensuite, sur le renforcement de la prise en compte des individus. La différenciation pédagogique et le travail autonome, quand il est possible et reconnu, recueillent en effet tous les suffrages, ainsi que le tutorat par les pairs et l’amélioration de l’ambiance au sein de la promotion qu’il induit. Enfin, et c’est là un chantier qui semble très important pour les auteurs, en travaillant sur l’explicitation des compétences. La perception plus négative de certaines formations découle sans doute pour partie du fait que l’étudiant peine à reconnaître ce que son travail lui a apporté en termes de savoir-faire transférables à des situations professionnelles. Cela passe au premier chef par la rédaction des maquettes de formation sous forme de référentiel de compétences, comme le stipule d’ailleurs la CNCP. Cela demande également que les acquis de chaque étape d’un cursus soient systématiquement valorisés, dans un supplément au diplôme progressivement renseigné, par exemple. Le témoignage d’anciens étudiants en situation d’emploi pourrait constituer un autre point d’appui.

L’exigence sociale d’une plus grande équité de traitement, d’une plus grande accessibilité des formations reconnues, ne pourra être satisfaite sans une prise en compte accrue de la perception que les usagers se font du service qui leur est proposé. Les impliquer ensuite dans l’amélioration continue des formations dont ils bénéficient permettra de consolider chez eux une attitude de responsabilité, de participation active à la vie de l’établissement.