Article body

Introduction

Les politiques publiques bénéficient des avancées de la recherche réalisée dans plusieurs disciplines des sciences sociales car celle-ci, utile à plus d’un égard, permet notamment d’appuyer et de fonder scientifiquement certaines actions gouvernementales (Andrews et Boyne, 2010, p. 314), comme les réformes administratives, et d’aider ainsi à mieux gouverner nos sociétés (Mansbridge, 2014, p. 8). Peu importe que la recherche soit qualitative, quantitative ou mixte, la qualité des résultats est tributaire des méthodes mobilisées. En Administration publique comme dans les autres disciplines, c’est de la méthodologie que découlent en partie la rigueur et la fiabilité des analyses empiriques qui instruisent les mises en oeuvre de programmes et politiques publics (Milward et coll., 2016, p. 329). Chaque méthode présente des forces, et certaines, comme les entrevues, les groupes de discussion, les questionnaires, les études de cohortes, les essais randomisés et les entrevues, sont reconnues en particulier comme des méthodes plus propices pour répondre aux questions de recherche sur l’acceptabilité, l’efficacité, l’efficience ou la prégnance (Petticrew et Roberts, 2003, p. 528). Comme d’autres disciplines, l’Administration publique est riche d’une diversité de cultures méthodologiques, dont cette étude vise à faire un bilan en s’inscrivant dans l’approche épistémologique d’oecuménisme promue par Riccucci (2010). Une méthode n’a pas, en soi, plus ou moins de valeur qu’une autre ; chacune présente des forces et des faiblesses dont le chercheur tente de tirer le meilleur parti selon sa problématique. Ainsi, même si les questions déterminent les méthodes, à l’échelle d’une discipline la diversité des méthodologies mobilisées permet d’examiner plus ou moins diversement l’éventail des questions possibles.

Récemment, une analyse menée par Groeneveld et collègues (2015), et intégrant plus d’un millier d’articles parus dans quatre revues influentes en Administration publique durant les années 2000, souligne que la recherche dans ces organes de publication tend à devenir de plus en plus quantitative (Groeneveld et coll., 2015, p. 61), mais juge en revanche que la diversité des cultures méthodologiques y est « sous-développée » par rapport à d’autres disciplines. Les études qualitatives ayant longtemps dominé en Administration publique (ibid., p. 73), on pourrait s’attendre à observer ce courant mondial d’une plus grande diversité méthodologique au Canada. Notre étude, qui s’est penchée sur les pratiques méthodologiques dans les deux revues phares d’Administration publique du Canada et de l’Australie, révèle que ces revues ne reflètent pas ce courant.

Dans ces deux revues, on observe un penchant marqué pour les techniques et pratiques qualitatives, en particulier les études de cas unique et à petit n et les entrevues. Certes, ces revues ne représentent pas l’entièreté de la recherche en général en Administration publique dans ces deux pays[3]. En ce sens, cet article s’intéresse principalement à la contribution de la revue phare d’Administration publique à la discipline canadienne, et dans une moindre mesure, à titre comparatif, à la contribution de la revue phare australienne à sa propre discipline nationale. En outre, afin d’apprécier les disciplines canadienne et australienne dans un panorama élargi des sciences sociales, nous établissons des comparaisons avec d’autres disciplines connexes ou d’autres traditions de publication.

Le penchant américain constaté dans la discipline par Moynihan (2008), par exemple, varie lorsqu’on tient compte des préférences méthodologiques des chercheurs canadiens dans d’autres disciplines (Béland et Blais, 1989 ; Platt, 2006 ; Montpetit, Blais et Foucault, 2008), où les analyses quantitatives étaient rares il y a une décennie. Dans sa comparaison États-Unis–Canada des méthodes recensées dans les revues de sciences politiques, Héroux-Légault (2017, p.128 et134) remarque par ailleurs qu’on publie plus de travaux mobilisant des méthodes qualitatives classiques, comme les entretiens semi-dirigés et les études de cas, ou d’autres méthodes qualitatives, dans les revues canadiennes que dans les revues américaines. Ces points de comparaison aident à mieux situer en général la contribution des revues analysées.

Il n’existe actuellement aucune étude qui dresse un panorama des choix méthodologiques en Administration publique canadienne, ni australienne par ailleurs. La présente étude souhaite contribuer à un tel panorama et l’enrichissement par la communauté scientifique est encouragé. Dans l’objectif d’inscrire celle-ci dans cette tradition d’études, nous avons reproduit l’étude comparative Canada–États-Unis de Héroux-Legault en science politique, faisant ainsi le bilan d’un segment des méthodes courantes de recherche contemporaine en Administration publique, soit celui de la revue Administration publique du Canada (APC) en comparaison de l’Australian Journal of Public Administration (AJPA). Le tableau 1 présente le cadrage de notre étude.

Tableau 1

Cadrage des comparaisons de cette deuxième réplication de Goertz et Mahoney (2012)

Cadrage des comparaisons de cette deuxième réplication de Goertz et Mahoney (2012)

Note : Les données des six revues américaines (ii) proviennent de Goertz et Mahoney (2012); celles de la CJPS (i) sont tirées de Héroux-Legault (2017).

-> See the list of tables

Tel que mentionné dans la section méthodologique de cet article, la comparaison des revues phares canadienne et australienne nous permet d’isoler si c’est la composante géographique (comparaison A-B) ou disciplinaire (comparaison A-i) qui explique le mieux l’utilisation des méthodes en Administration publique canadienne.

C’est un exercice parfois vexant, comme le souligne Daigneault, Jacob et Ouimet (2012, p. 276), puisque bon nombre de recherches en sciences sociales sont évasives eu égard aux méthodologies mobilisées. La section Méthodes et données présente la démarche méthodologique qui sous-tend cette analyse.

Pour étudier ce segment de la recherche canadienne à la lumière du segment correspondant d’un autre pays, nous avons retenu l’Australie pour ses similitudes avec le Canada. Candler (2014, p. 1076) souligne le lien des deux pays avec la Couronne britannique, leur régime parlementaire westminstérien, l’imposant territoire géographique que chacun occupe, leur faible densité de population et, emboîtant le pas à la Grande-Bretagne, le Nouveau management public qu’ils ont tous deux embrassé. Montpetit, Rothmayr-Allison et Engeli (2016, p. 772), qui s’attardent aux recherches parues dans cinq revues d’importance en politiques publiques de 1980 à 2015, comparent eux aussi les articles canadiens et australiens pour « la similitude entre les deux pays en termes de culture universitaire et de taille, et parce que la comparaison avec l’Australie semble plus juste qu’avec les États-Unis ou le Royaume-Uni[4] » (ibid, p. 772), dont les revues sont souvent plus prestigieuses et attractives.

Dans cet article, nous analysons l’évolution des méthodes de recherche quantitatives, qualitatives et mixtes employées de 2009 à 2017 inclusivement dans les pages des deux revues amirales en Administration publique du Canada et de l’Australie. Deux objectifs guident cette recherche. Le premier, inédit, est de documenter systématiquement les méthodes utilisées au Canada dans la revue amirale de l’Administration publique : APC. Ce bilan permettra d’apprécier les méthodes utilisées au Canada à l’aulne de celles pratiquées internationalement. Le second objectif est de réaliser une comparaison de la part relative de ces différentes méthodes avec le pendant australien d’APC : AJPA. Une des propositions formulées (mais non testées) par Charbonneau, Bernier et Bautista-Beauchesne (2018, p. 380) pour expliquer les différences d’influences entre la recherche canadienne et australienne en Administration publique était l’absence, du côté canadien, d’un renouveau « dans le raffinement des méthodes et analyses transcendant les approches traditionnelles pratico-descriptives en Administration publique » (Hood, 2011, p. 132). Nos questions de recherche sont les suivantes : les méthodologies mobilisées dans les travaux de recherche contemporains en Administration publique parus dans ces deux revues nationales du Canada et de l’Australie présentent-elles des différences notables ? Le cas échéant, est-ce que le recours aux pratiques méthodologiques observé dans l’Administration publique canadienne s’explique principalement par des caractéristiques disciplinaires ou géographiques ?

Notre recherche contribue ainsi au développement des connaissances de deux manières. Premièrement, en offrant un état des lieux des pratiques méthodologiques qui ont cours en Administration publique au Canada et en Australie dans ces deux revues nationales, ce bilan aidera les chercheurs concernés à mieux situer leur travail. Bien que ce bilan ne soit que partiellement représentatif de ces deux champs nationaux, il permettra en revanche d’éclairer les orientations prises par les programmes universitaires canadiens, et australiens il va sans dire, quant à la formation des futurs praticiens et chercheurs émergents afin de favoriser leur participation active à la conversation de pointe qui se déroule mondialement, mais aussi de mieux faire rayonner notre discipline. Deuxièmement, du fait de son mode comparatif, cette analyse exposera les degrés de similitude des méthodes utilisées dans l’une et l’autre revue d’Administration publique au Canada et en Australie, entre elles d’une part, et d’autre part avec celles employées internationalement. Pour mieux nuancer ce bilan, en particulier au bénéfice des départements universitaires concernés du Canada, nous étalonnons également les méthodes privilégiées en Administration publique canadienne sur celles qui ont cours en science politique canadienne. En effet, l’Administration publique, considérée par certains comme un champ de la science politique (Cornut et Larivière, 2012, p. 73) au Québec, voire comme partie intégrante de celle-ci au Canada (Henderson, 2009, p. 280), présente d’importantes affinités ontologiques avec la science politique.

Du reste, l’article se déroule comme suit. Une revue de littérature brosse d’abord un tableau général de la recherche sur les méthodologies mobilisées en Administration publique. Sont ensuite présentés la démarche méthodologique et analytique qui a guidé cette recension systématique des articles et notes de recherche publiés dans APC et AJPA, puis les résultats d’analyse, lesquels dressent le bilan des méthodes utilisées dans ces deux organes de diffusion. L’analyse se conclut par une discussion des résultats obtenus au regard de la littérature.

1. Le rôle de la méthodologie dans les APC et AJPA

Les revues d’Administration publique dites nationales comme APC et AJPA, publiées par des instituts nationaux, jouent un rôle crucial en consignant les études sur les pratiques administratives propres à leur pays et à ses secteurs publics. Les méthodes mobilisées permettent quant à elles de concrétiser les objectifs de la recherche (Perry et Kraemer, 1986, p. 215).

1.1 La place de la méthodologie en Administration publique : un état de la situation

En Administration publique, la recherche a longtemps reposé sur les études de cas unique et les analyses transversales (ibid., p. 127) malgré les limites connues de ces méthodes. Les études de cas, fort nombreuses dans ce champ disciplinaire, mais dont la rigueur, fréquemment, ne répond pas aux exigences de l’analyse savante, posent un problème en raison le plus souvent de l’absence de sens critique vis-à-vis de la norme de preuve qu’il importe d’atteindre (Gow et Seymour Wilson, 2014, p. 131). Dans leur manifeste méthodologique, publié il y a bientôt vingt ans, Gill et Meier (2000, p. 193) constataient que l’étude de cas et la description dominaient la recherche en Administration publique, et que la crédibilité de cette recherche s’en trouvait minée. Cette discipline, avançaient-ils, était à la remorque de l’économie, de la science politique, de la psychologie et de la sociologie (ibid.), mais ce retard représentait aussi l’occasion pour ses chercheurs de souscrire à des méthodes et pratiques plus performantes. Sans nécessairement suivre les pistes proposées par Gill et Meier (2000), une tendance marquée s’est dessinée dans les années 2000 en Administration publique, les méthodes quantitatives y ayant gagné du terrain et atteignant la parité dans les études empiriques (Raadschelders et Lee, 2011, p. 27 ; Moynihan, 2008, p. 483 ; Groeneveld et coll., 2015, p. 61) parues dans les revues les plus prestigieuses du champ.

Pourtant, comparée à d’autres disciplines, l’Administration publique est qualifiée de sous-développée en méthodologie quantitative (Groeneveld et coll., 2015, p. 62). Ainsi, dans une analyse des méthodologies rapportées dans 1 605 articles parus dans Journal of Public Administration Research and Theory (JPART), Governance, Public Administration Review (PAR) et Public Administration (PA) entre 2000 et 2010, des méthodes quantitatives avancées sont recensées, telles les séries temporelles, alors que le modèle linéaire généralisé s’avère rare par rapport à d’autres méthodes utilisées abondamment, comme les enquêtes (ibid., p. 62). Une étude systématique comparée en Administration publique analysant 151 articles publiés dans 28 revues de 2000 à 2009 (Fitzpatrick et coll. 2011, p. 826) révèle, elle aussi, une forte proportion de méthodes qualitatives à petits échantillons et reposant fréquemment sur des données gouvernementales ou tierces. Peu de ces articles recourent à la statistique descriptive (35 %), à la corrélation (16 %) ou aux procédés multivariés (15 %) ; les méthodes d’analyse qualitatives, souvent non spécifiées, y formaient les deux tiers (66 %) des articles publiés (ibid, p. 825).

En ce qui concerne les enquêtes par questionnaires, une étude publiée en 2004 sur la mesure des méthodes quantitatives en Administration publique pointe dans la même direction (Wright, Manigault et Black, 2004, p. 754). Bien auparavant, dans une recherche menée entre 1988 et 1991, 83 % des articles quantitatifs sélectionnés en Administration publique faisaient appel à des techniques peu sophistiquées (Cozzetto, 1994, p. 341).

Les méthodes qualitatives utilisées en Administration publique affichent aussi un retard méthodologique. Ospina, Esteve et Lee (2018) se sont intéressés aux méthodes qualitatives en Administration publique mobilisées dans six revues influentes : Governance, JPART, PAR, International Public Management Journal (IPMJ), PA et Public Management Review (PMR). Leur échantillon de 2010 à 2014 comprend 129 articles. Les auteurs constatent des lacunes importantes quant aux échantillonnages de cas et aux interviews ainsi qu’aux questions posées. Dans plus de la moitié des études, les processus d’interprétation à partir des données brutes y sont opaques (ibid., p. 7-8).

Comme chacun sait, le choix méthodologique dépend principalement du problème de recherche, mais aussi de la position philosophique des chercheurs (Groeneveld et coll., 2015, p. 81 ; Lewis-Beck et Bélanger, 2015, p. 182). Des différences culturelles, de socialisation universitaire, mais aussi de cursus méthodologique dans les universités (Dion et Stephenson, 2017, p. 287-288) peuvent aussi expliquer les affinités méthodologiques.

1.2 Les méthodologies utilisées au Canada et en Australie : une revue de littérature

Parmi les revues de littérature analysant les méthodes empiriques au Canada, l’une d’elles s’est intéressée à la sociologie canadienne (Platt, 2006). Son échantillon provient des quatre revues canadiennes en sociologie publiées entre 1961 et 2001 : Cahiers canadiens de sociologie, Revue canadienne de Sociologie et d’Anthropologie, Recherches sociographiques (RS) et Sociologie et Sociétés (SS). Globalement, Platt (2006) soutient que les chercheurs francophones ont plus fréquemment eu recours à l’analyse qualitative, tandis que l’analyse quantitative a été privilégiée par les chercheurs anglophones, et que celle-ci a également dominé dans les revues sociologiques de 1960 à 1990.

Dans le champ des politiques publiques, lorsqu’on compare les articles canadiens et australiens publiés entre 1990 et 2000 selon les résultats de l’étude menée par Montpetit, Rothmayr Allison et Engeli (2016), on remarque qu’une plus grande proportion d’articles australiens est basée sur des méthodes explicatives par rapport aux articles canadiens, qui sont plus nombreux à faire intervenir des méthodes descriptives. Cependant, entre 2000 et 2015, il se produit une inversion : les articles canadiens deviennent plus explicatifs que les articles australiens (ibid., p. 778). Ces mêmes auteurs rapportent une proportion relativement stable des études basées sur des cas uniques qui sont réalisées par les chercheurs canadiens et australiens (ibid., p. 779).

En science politique maintenant, Montpetit, Blais et Foucault (2008) ont comparé la totalité des 1 860 articles publiés par 480 politologues canadiens entre 1985 et 2005 dans les revues indexées au SSCI (Social Sciences Citation Index), toutes sciences sociales confondues. Seuls 286 articles, soit moins de 16 %, étaient de nature quantitative. Plus récemment, Héroux-Legault (2017) a analysé 144 articles choisis aléatoirement entre 1968 et 2015 (trois par année) dans la Revue canadienne de science politique (RCSP). Reprenant la typologie définie par Goertz et Mahoney (2012) pour leurs propres analyses de 216 articles dans six revues, il présente l’évolution des pratiques méthodologiques en science politique au Canada, puis les compare aux résultats d’analyses obtenus par Goertz et Mahoney (2012) sur de grandes revues de science politique et de sociologie basées aux États-Unis. Contrairement aux revues scientifiques américaines, les analyses qualitatives demeurent dominantes dans RCSP. Les études quantitatives contemporaines en science politique au Canada qui sont publiées dans cette revue mobilisent des méthodologies semblables à celles qu’on retrouve dans les revues américaines, alors que les méthodologies qualitatives les plus populaires au Canada (entretiens et analyses qualitatives de contenu) sont moins pratiquées aux États-Unis (Héroux-Legault, 2017, p. 137).

Les études de Goertz et Mahoney (2012) et de Héroux-Legault (2017) ne s’intéressent cependant pas à l’état contemporain de l’Administration publique, ni au Canada, ni ailleurs. En Administration publique canadienne, la seule mention des méthodes utilisées dans APC provient de Borins (2003, p. 253), qui compare en une phrase les articles d’un numéro d’APC, PAR et JPART : 25 % des articles du numéro d’APC avaient recours à des analyses quantitatives, comparativement à presque 50 % dans PAR et à 80 % dans JPART. En revanche, une étude récente révèle que les recherches qui sont relayées dans les revues systématiques de littérature relatives à des recherches internationales en administration publique ne recourent que faiblement aux données empiriques canadiennes (Charbonneau, Bernier et Bautista-Beauchesne, 2018, p. 374). Qu’en est-il réellement des pratiques méthodologiques contemporaines de l’Administration publique canadienne ? Comment se caractérisent-elles au Canada, en Australie et l’une par rapport à l’autre ?

2. Méthodes et données

La présente analyse reproduit celle qu’a conduite Héroux-Legault (2017) en analysant les méthodologies de 150 articles parus dans la Revue canadienne de science politique sur une période de 50 ans. Pour notre part, nous analysons 304 articles, soit la moitié de tous les articles publiés dans deux revues d’Administration publique dans deux pays, à l’exclusion des numéros thématiques. À l’aide des mêmes mesures et analyses que Héroux-Legault et Goertz et Mahoney, nous procurons donc une généralisation empirique (Mezias et Regnier, 2007) sur une population différente. En outre, cette étude constitue une reproduction scientifique (Hamermesh, 2007, p. 716) en reprenant la grille de codage de Héroux-Legault (2017), laquelle s’inspirait de la grille plus étendue de Goertz et Mahoney (2012, p. 227-229), récente et reconnue pour permettre une analyse détaillée des méthodologies employées en sciences sociales. Le premier volet de cet instrument de mesure opère d’abord une distinction entre les études non empiriques et les méthodologies qualitatives, quantitatives et mixtes. Son second volet caractérise ensuite chaque article suivant une liste non exclusive de méthodes spécifiques.

Faisant intervenir une technique d’échantillonnage aléatoire stratifiée standard, l’analyse rétrospective des méthodes contemporaines porte sur les articles et les notes de recherche publiés les cinq années impaires de la décennie 2009-2018 dans APC et AJPA (2009, 2011, 2013, 2015 et 2017)[5]. Notre échantillon est ainsi plus dense que celui de l’étude de Héroux-Legault, mais son échelle longitudinale est en revanche plus courte. Chacun des 304 articles a été codé de manière indépendante par deux codeurs, après quoi les divergences ont été arbitrées par un troisième codeur, de façon à limiter les biais individuels et à assurer plus d’objectivité. Toutes les divergences ont été résolues par ce troisième codeur, qui a arbitré les différences à la lecture des détails contenus dans les articles. Mentionnons aussi qu’au terme de cet exercice intensif de codage, la concordance des codes était de 100 %. Notre recherche souligne les différences entre les approches méthodologiques adoptées en recherche contemporaine dans ces deux revues institutionnelles, ainsi que leurs particularités communes les plus révélatrices. Les auteurs à l’origine de ces travaux, des chercheurs et parfois des praticiens, ont eu recours à une pluralité de méthodes. Une description détaillée de la distribution des articles est offerte à la prochaine section pour les 135 articles d’APC et les 169 d’AJPA. Lorsque c’est possible, nous comparons l’Administration publique aux données de science politique pour mieux situer le champ disciplinaire.

3. Résultats

Des 135 articles tirés de la revue APC, il ressort que 34,1 % sont non empiriques, 45,9 % sont qualitatifs, 14,8 % sont quantitatifs et 5,2 % utilisent des méthodes mixtes. Des 169 articles parus dans la revue AJPA, 37,3 % sont non empiriques, 40,8 % sont qualitatifs, 14,8 % sont quantitatifs et 7,1 % utilisent des méthodes mixtes. Définir le caractère non empirique d’un article pose certains défis, même lorsque celui-ci découle de l’expérience directe ou de l’observation, comme le soulignent Daigneault, Jacob et Ouimet (2012, p. 275). Pour les besoins de la présente étude et dans le sillage de l’étude de Héroux-Legault, nous désignons comme articles non empiriques les essais qui présentent des évènements ou des concepts, mais sans générer de nouveau concept, ni mobiliser de sources de données, ni recourir à une méthodologie de recherche explicite. Il ne se dégage aucune différence statistiquement significative entre l’une et l’autre revue durant la décennie couverte quant aux proportions des types de méthodologies utilisées. Pourtant, les nuances ne sont pas sans importance.

Comme nous pouvons le voir au tableau 2, les méthodes qualitatives dominent dans APC et dans AJPA par rapport aux méthodes quantitatives, à la différence de la Revue canadienne de science politique, où les méthodes qualitatives et quantitatives sont quasiment à parité dans la période 2008-2015 (Héroux-Legault, 2017, p. 128).

Tableau 2

Fréquences relatives des méthodologies employées dans APC et AJPA

Fréquences relatives des méthodologies employées dans APC et AJPA

Chi2(3) = 1,11 Pr = 0,78

-> See the list of tables

Le tableau 2 indique le pourcentage des articles quantitatifs, qualitatifs, mixtes et non empiriques publiés dans APC et AJPC, incluant les contributions distinctes comme les notes de recherche ou les contributions axées sur la pratique (par exemple, Professional Perspectives et From the Field). Lors du second stade de codage et de l’arbitrage, neuf et quinze articles respectivement ont été exclus. Ceux-ci, considérés à prime abord comme des études de cas, omettent toutefois de présenter clairement les données sur lesquelles ils sont fondés et ne comprennent aucune section « données » ou « méthodologie ». Le poids relatif de ce type d’écrit dans la recherche contemporaine en Administration publique australienne et canadienne est considérable. Il n’est pas sans rappeler celui (40,4 %) des études non empiriques dans l’Administration publique italienne recensées par Cepiku (2011, p. 136). Héroux-Legault (2017, p. 127) choisit d’en faire abstraction en raison de leur fréquence peu significative dans la Revue canadienne de science politique. Quant à la faible proportion des études mixtes, elle étonne aussi considérant que celles-ci sont prisées pour leur grand potentiel en sciences sociales (Héroux-Legault, 2017) et encouragées par plusieurs auteurs (Adcock et Collier, 2001 ; Raimondo et Newcomer, 2017).

Les techniques qualitatives pratiquées dans le monde des sciences humaines sont nombreuses et variées. Notre codage rassemble les plus communes sous sept catégories, suivant Goertz et Mahoney : le développement d’un nouveau concept à l’aide de données qualitatives (important pour le développement théorique), l’analyse qualitative de contenu de documents, l’entrevue et l’élaboration de typologies (utile pour formaliser des connaissances ou synthétiser des idées), l’analyse contrefactuelle, le retraçage de processus (process tracing) et l’équifinalité, permis par des analyses qualitatives comparatives (QCA) ou la théorie des ensembles flous (fuzzy sets).

Figure 1

Fréquences relatives des méthodes qualitatives employées dans APC et AJPA 2009-2018, mais aussi dans CJPS (2000-2015) et six revues phares américaines en science politique et sociologie (2000-2011), en pourcentage

Fréquences relatives des méthodes qualitatives employées dans APC et AJPA 2009-2018, mais aussi dans CJPS (2000-2015) et six revues phares américaines en science politique et sociologie (2000-2011), en pourcentage

Note : Les données des six revues américaines proviennent de Goertz et Mahoney (2012); celles des CJPS sont tirées de Héroux-Legault (2017).

-> See the list of figures

Une inspection visuelle de la figure 1 révèle que les contributeurs d’APC partagent plus avec leurs vis-à-vis australiens en Administration publique qu’avec leurs collègues canadiens en science politique. Les parutions dans APC ont en outre peu en commun avec les articles publiés dans American Journal of Sociology, American Sociological Review, American Political Science Review, Comparative Politics, International Organization ou World Politics, selon ce que rapportent Goertz et Mahoney (2012). Le recours aux entrevues et à l’analyse qualitative de contenu, méthodes de loin les plus courantes dans notre échantillon d’APC et d’AJPA, est nettement supérieur à ce qui s’observe dans la RCSP, et ces méthodes ont pratiquement disparu des six revues américaines dans la période 2000-2011. Les méthodes contrefactuelles, qui permettent l’équifinalité, par exemple les analyses qualitatives comparatives (QCA) ou les ensembles flous (fuzzy sets), demeurent en revanche peu fréquentes dans l’Administration publique canadienne et australienne. La figure 1 y révèle par ailleurs une faible diversité des méthodes.

À ce sujet, une comparaison de nos résultats en Administration publique canadienne avec ceux de Héroux-Legault (2017) en science politique canadienne est révélatrice. L’auteur constate en effet qu’après un cycle de trente ans, de 1968 à 1997, le développement de nouveaux concepts semble céder le pas aux entrevues dans les travaux publiés au Canada, l’analyse qualitative de contenu demeurant quant à elle stable longitudinalement autour de 25 %. Contrairement à ce pronostic de la science politique canadienne, à tout le moins dans la Revue canadienne de science politique (RCSP), notre échantillon tiré des revues phares d’Administration publique canadienne et australienne, qui représente la décennie 2009-2018, annonce un faible intérêt pour le développement conceptuel au Canada comme en Australie.

Par ailleurs, les études de cas étant historiquement très courantes en Administration publique, nous les avons classées en fonction du nombre de cas examinés et, lorsque cela est nécessaire, de leur démarche comparative, toujours suivant la grille de codage de Héroux-Legault (2017) fondée sur celle plus étendue de Goertz et Mahoney (2012). Le tableau 3 indique qu’en général, les études de cas unique et à petit n (soit n = 1 et 1 < n < 10) sont numériquement supérieures et que les études de cas à moyen n sont peu fréquentes. Les cas uniques constituent 54,1 % de l’ensemble des études (20 études) dans APC et 54,9 % (28 études) dans AJPA. Ainsi, dans l’échantillon canadien, les études de cas composent 27,4 % de la totalité des articles, alors que dans l’échantillon australien d’AJPA, elles forment 30,8 % de l’ensemble. APC semble donc assez apparenté à son pendant australien AJPA à ce chapitre.

Il est pertinent de souligner que certaines méthodes, comme les analyses comparatives qualitatives (QCA) ou encore les ensembles flous (fuzzy sets), qui sont utiles pour identifier les conditions nécessaires ou suffisantes pour déterminer l’appartenance de cas multiples, ne sont utilisées qu’à une seule occasion au cours de la période étudiée. De même, une seule mention d’analyse contrefactuelle a été relevée (en 2017), mais elle s’est avérée ne pas être une application de la méthodologie annoncée. Notre étude se limitant à APC et à AJPA, il est possible que l’approche contrefactuelle ait fait son entrée dans le vocabulaire ou l’attirail méthodologique canadien mobilisés dans d’autres organes de publication d’intérêt pour l’Administration publique.

Soulignons que lorsqu’on s’intéresse de plus près au nombre de sources de données employées dans les études de cas (tableau 3), ce portrait change. En effet, il arrive fréquemment que les articles annoncent une étude de cas sans que celle-ci ne soit fondée sur des données. Afin de vérifier cet étonnant résultat, nous avons isolé les études de cas des autres travaux qualitatifs, puis les avons caractérisées par nombre de sources de données, soit au moins une source ou bien aucune source de données.

Tableau 3

Fréquences relatives des études de cas employées dans APC et AJPA, selon le nombre de sources

Fréquences relatives des études de cas employées dans APC et AJPA, selon le nombre de sources

Chi2(1) = 0,28 Pr = 0,58

-> See the list of tables

Or, au moins une fois sur quatre – 24,3 % dans CPA et 29,4 % dans AJPA – l’étude de cas annoncée se révèle ne pas en être une puisque, dans les faits, aucune source de données n’est mobilisée. Si l’on ajoutait ces études de cas déclarées à la catégorie des articles non empiriques présentée au tableau 2 (ce qui n’a pas été fait), la proportion de cette catégorie s’élèverait en conséquence. Le tableau 3 range les études de cas en deux catégories libellées « Fondées » (au moins une source empirique) ou « Opaques » (aucune mention des données utilisées dans la section méthodologique). Cette dernière catégorie rassemble des analyses descriptives ne contenant aucune précision sur les données mises à profit dans les études. Ces études de cas qui, en termes scientifiques, relèvent de l’anecdote informée ou du commentaire, se sont révélées moins nombreuses dans APC que dans AJPA.

Les techniques quantitatives prévues par notre structure de codage étaient destinées à refléter la diversité des ressources qui ont cours chez les chercheurs. Les statistiques descriptives, composant élémentaire de la plupart des travaux quantitatifs, jouent un rôle important pour le lecteur en permettant l’appréciation synoptique non seulement des données, mais également de la répartition et de la fréquence des observations. Leur utilité va de l’analyse en composantes principales à l’introduction de données précédant l’application d’autres techniques plus complexes. Nous avons pris en compte les statistiques descriptives, aussi bien lorsqu’elles jouaient un rôle élémentaire que lorsqu’elles donnaient lieu à des analyses statistiques plus complexes. Également prévus par la grille de codage étaient les tests du chi-carré et les analyses de corrélation, notamment à l’aide des coefficients de Pearson, de Spearman et autres. Les techniques des moindres carrés ordinaires (régressions linéaires) et la famille des régressions logistiques ont également été codées, ainsi que la présence d’analyses factorielles, de termes d’interactions et d’expérimentations. Toutes ces techniques sont également présentes dans les études conduites par Goertz et Mahoney (2012) et par Héroux-Légault (2017) sur les méthodes en science politique, et que reproduit notre étude. Nous pensions naturellement les retrouver en Administration publique, ne serait-ce qu’en proportions inférieures. Or, cela ne s’est pas toujours avéré, comme le démontre le tableau 4, qui décrit les méthodes quantitatives principalement utilisées dans les revues CPA et AJPA. Soulignons, plus encore que dans l’analyse des travaux qualitatifs, la répartition très faible et inégale des techniques quantitatives.

Tableau 4

Fréquences relatives des méthodes quantitatives et mixtes employées dans APC et AJPA 2009-2017, en pourcentage

Fréquences relatives des méthodes quantitatives et mixtes employées dans APC et AJPA 2009-2017, en pourcentage

-> See the list of tables

Il ressort que nombre de recherches quantitatives s’en tiennent à présenter des moyennes et des proportions sans aucune forme d’analyse plus élaborée. Lorsque des régressions sont analysées, elles sont principalement linéaires, et moins souvent logistiques ou probites. Les analyses de chi-carré, le test du t de Student et ANOVA sont relativement fréquents, bien qu’ils ne s’inscrivent pas toujours dans un devis expérimental[6]. En science politique dans RCSP, les données de Héroux-Legault montrent, pour le segment 2007-2015 (2017, p. 131-133), un déclin des méthodes classiques de description statistique, de corrélation et de test du chi-carré par rapport à la période antérieure, en même temps qu’une augmentation des techniques des moindres carrés ordinaires (MCO), de régression logistique et même des modèles linéaires hiérarchiques.

Les analyses factorielles étaient présentes dans 10 % des articles de RCSP entre 2000 et 2015 (Héroux-Legault, 2017). On trouvait des régressions linéaires dans 23 % des articles des revues de sciences politiques américaines entre 2000 et 2011, et dans 43 % des articles de RCSP entre 2000 et 2015. Pour ce qui est des régressions logistiques/probit, les proportions étaient respectivement de 37 % et de 33 % dans les six revues américaines analysées par Goertz et Mahoney (2012) et dans RCSP analysée par Héroux-Legault (2017). Absentes d’APC et d’AJPA, les termes d’interactions étaient pratiqués dans 10 % des articles des six revues américaines et dans 14 % des articles de RCSP (Goertz et Mahoney, 2012 ; Héroux-Legault, 2017, p. 138). Il faut se souvenir que les termes d’interactions sont utilisés dans les modèles de régression. En l’absence de ces derniers, il est moins surprenant que les termes d’interactions soient rares dans les deux revues analysées. Enfin, les devis expérimentaux, fréquents actuellement dans les pages de revues comme Journal of Public Administration Research and Theory, Public Administration Review et Public Management Review, sont en revanche absents des articles publiés dans APC et ne sont présents qu’une fois dans AJPA. Comme le soulignait Doberstein (2017), ces méthodes sont peu usitées chez les chercheurs canadiens et peu enseignées dans nos départements d’universités canadiennes.

Nous nous sommes par ailleurs interrogés sur l’éventualité d’une culture scientifique distincte chez les chercheurs anglophones et francophones ayant publié dans APC, comme le suggère Platt (2006), ou encore Lewis-Beck et Bélanger, selon qui les politologues français auraient publié peu d’analyses quantitatives et mixtes entre 1998 et 2013, s’en tenant à des méthodes quantitatives rudimentaires (Lewis-Beck et Bélanger, 2015, p. 180). Dans son article sur le bilinguisme dans la Revue canadienne de science politique, Godbout (2017, p. 6) soupçonne quant à lui les chercheurs francophones de pratiquer un bilinguisme sélectif en publiant leurs meilleurs travaux en anglais et leurs travaux secondaires en français. Dans notre étude, le pourcentage des articles publiés en français dans APC est de 12,6 %, soit 17 sur les 135. Une analyse fine des choix méthodologiques révèle que les études francophones sont analogues aux études anglophones quant aux proportions d’études qualitatives, quantitatives, mixtes ou non empiriques (Chi2=0,44, Pr=0,51) dans cette revue.

Dans la prochaine section, nous considérons la portée et les implications de ces résultats pour le champ de l’Administration publique au Canada et le rayonnement mondial des chercheurs canadiens.

4. Discussion

Nos résultats révèlent que les méthodes utilisées dans les deux revues amirales d’Administration publique du Canada et de l’Australie, APC et AJPA, se ressemblent étroitement. Au niveau méthodologique, la revue canadienne phare en Administration publique ressemble plus à son pendant australien qu’à son pendant canadien en science politique. Les résultats de la présente étude montrent aussi que les méthodes diffèrent nettement de celles employées sur le plan international et dans d’autres disciplines connexes.

Dans leur essai sur la création des connaissances en Administration publique, Gow et Seymour Wilson (2014, p. 131) signalaient que même s’il est fréquent que « les études de cas n’atteignent pas les standards rigoureux d’analyse savante, elles rassurent [tout de même] les lecteurs sur la faisabilité des idées dans le contexte des services publics et elles sont d’utiles outils d’enseignement ». Si les études de cas ont perdu la cote en sciences sociales, elles demeurent utiles et leur présence dans les pages d’APC en témoigne. Néanmoins, la diffusion d’un plus grand nombre d’études de cas comparatives, sélectionnées de manière à dégager des résultats causaux (Gerring et Cojocaru, 2016) et des résultats généralisables (Weller et Barnes, 2014), serait d’une grande utilité aux praticiens et inspirerait confiance aux chercheurs.

Le retraçage de processus, méthode qualitative efficace pour répondre à certaines questions causales par des études de cas, est si courant que le terme s’est généralisé, au point de devenir un buzzword (Trampusch et Palier, 2016, p. 440) dans certaines disciplines. Il est cependant à peu près absent d’APC et d’AJPA. Sont aussi inaccoutumées dans ces deux revues les études quantitatives, à devis expérimental ou corrélationnelles, pourtant particulièrement efficaces pour répondre à des questions causales ou pour évaluer l’efficience ou l’efficacité. Les méthodes quantitatives contribuent aussi à l’adoption de pratiques fondées sur les résultats, en demande croissante dans les États démocratiques (Dion et Stephenson, 2017, p. 281).

Décrivant l’état de la recherche en Administration publique il y a cinquante ans, Kernaghan (1968, p. 306) suggérait que « les chercheurs en sciences sociales de l’après-guerre, munis d’outils quantitatifs et méthodologiques plus sophistiqués, pourraient vérifier les idées reçues et les hypothèses sur la nature des fonctions administratives au Canada au moyen de techniques de mesure plus précises ». Nous renouvelons ici cet appel, non pas pour alimenter le débat stérile entre les approches quantitatives et les approches qualitatives, mais bien pour encourager la fructueuse diversité d’approches requise pour répondre à un large éventail de questions de recherche. Étonnamment, les essais qui ne sont pas fondés sur une analyse empirique sont fréquents dans notre échantillon d’AJPA et dans celui d’APC. Selon une étude parue dans les années 1970, la proportion des articles non empiriques était de 24,6 % dans Public Administration Review (PAR) et de 78,2 % dans Administration publique du Canada (Bowman et Hajjar 1978, p. 225). Sur la décennie contemporaine étudiée, le pourcentage d’essais non empiriques dans APC et AJPA n’est pas sans rappeler celui (38,3 %) des 295 articles en Administration publique provenant des pays en développement entre 1996 et 2008 (Gulrajani et Moloney, 2012, p. 83). Il est en outre supérieur au pourcentage relevé dans PAR il y a quatre décennies (Bowman et Hajjar, 1978, p. 225). Le constat que font Williams et Gemperle (2017, p. 121) d’une croissance soutenue des études mixtes en sciences sociales ne s’avère pas en ce qui concerne notre échantillon.

En résumé, les articles publiés dans APC et AJPA au cours de la dernière décennie sont principalement des études qualitatives, des essais et parfois des études quantitatives ou mixtes. Les études qualitatives reposent essentiellement sur des entrevues et de l’analyse qualitative de contenu de documents. La description statistique y constitue l’approche dominante en recherche quantitative. Ces résultats recouvrent la totalité des 135 articles parus dans CPA et des 169 articles parus dans AJPA aux cinq intervalles d’années impaires sur la décennie courant de 2009 à 2018.

4.1 Limites

Il va sans dire que notre étude comporte des limites. Premièrement, le portrait que nous brossons de la dernière décennie ne tient nullement compte de tendances qui caractérisent les décennies 2000, 1990 et 1980. Deuxièmement, nous limitons notre comparaison à une revue comparable, AJPA, et non aux revues les plus influentes en recherche. En contrepartie, notre reproduction permet de comparer nos résultats à sept autres revues supplémentaires. Troisièmement, outre APC et AJPA, les chercheurs en administration publique du Canada publient aussi dans d’autres revues internationales d’administration publique ou des revues d’autres disciplines, nationales et internationales, si bien que ces deux revues ne sont pas les seules avenues de publication de tous les chercheurs canadiens. Quatrièmement, l’analyse des méthodes présentée dans ce travail ne répond pas aux questions de causalité qui sont importantes pour la pratique et que nous soulevons. Notre objectif étant d’offrir un état des lieux des méthodologies courantes en Administration publique au Canada, ainsi qu’en Australie, et de dynamiser la discussion sur la diversité des méthodes de recherche au Canada, il nous fallait privilégier une démarche descriptive. Cinquièmement, notre étude ne s’attarde pas à mesurer la qualité des études et des méthodologies recensées. Elle ne permet donc pas de poser un jugement ou une appréciation quant à la rigueur méthodologique ou la qualité des articles. Ceci aurait permis, par exemple, d’évaluer la relation entre les questions de recherche et les méthodes appliquées, ou l’adéquation de la méthodologie à la question de recherche des articles publiés. Finalement, la grille de Goertz et Mahoney (2012), réutilisée par Héroux-Legault (2017), inclut des méthodes, mais aussi des éléments méthodologiques qui ne sont pas nécessairement des méthodes à proprement parler. De plus cette grille ne tient pas compte des dernières avancées en matière de méthodes qualitatives et quantitatives. Si nous avions conçu notre propre grille maison, nous aurions pu éviter ces limites, mais sans pouvoir enrichir notre étude de comparaisons : ainsi, le cumul des connaissances s’en serait trouvé amoindri.

Cela étant dit, cette étude est la première depuis 1978 à présenter les tendances méthodologiques en Administration publique canadienne. À l’avenir, d’autres études pourront poursuivre cette tradition de reproduction en y incluant d’autres revues comme Analyse de politiques, la revue Gouvernance ou la Revue canadienne d’évaluation de programme.

Conclusion

L’Administration publique est une science sociale appliquée et les praticiens y occupent une place importante. Le recours à des méthodologies de pointe ou complexes pourrait ralentir l’essentielle collaboration entre praticiens et chercheurs et nuire au développement de la discipline. Ceci n’explique pas, en revanche, la nature conservatrice des méthodologies relevées, tant qualitatives que quantitatives, ni l’opacité des sections dédiées à la méthodologie, qui nuit à l’intelligibilité des travaux alors qu’ils se destinent souvent aux praticiens. Comme le souligne Meier (2015, p. 15) : « Pour être utiles, pertinentes, les recommandations formulées par l’Administration publique doivent être valides empiriquement, elles doivent reposer sur des bases scientifiques solides. La validité scientifique est une condition nécessaire à la pertinence sur le terrain ». Les auteurs dans ces deux revues se garderaient-ils de recourir à des méthodologies qualitatives ou quantitatives plus sophistiquées, pourtant fréquentes dans d’autres sciences sociales, par courtoisie pour les praticiens canadiens ou australiens ? Cette possibilité mérite d’être explorée. L’Atlas of public policy and management (Clark et coll., 2015) recense le cursus d’une soixantaine de maîtrises en Administration publique et d’une soixantaine en politiques publiques, sur un indicateur d’intérêt : la part des cours obligatoires dédiés aux méthodes analytiques et quantitatives. La part moyenne de ces cours dans les quatorze programmes canadiens est de 11,6 %, alors que dans les six programmes australiens elle est de 9,4 %. Pour leur part, les 33 programmes américains et les 16 programmes européens dédient respectivement 16,9 % et 14,5 % de leurs cursus aux méthodes analytiques et quantitatives. Les programmes australiens et canadiens sont ceux qui consacrent le moins de cours à l’enseignement de ces méthodes. Les différences sont statistiquement significatives entre le Canada ou l’Australie et les États-Unis ou l’Europe. Elles sont susceptibles de refléter tant le degré de préparation méthodologique des diplômés des programmes de maîtrise en Administration publique que les valeurs des corps professoraux qui ont élaboré ces programmes. Par conséquent, il se pourrait simplement que nos résultats reflètent le raisonnement des contributeurs canadiens et australiens, qui savent d’expérience que nombre de praticiens, n’ayant pas été familiarisés avec ces méthodes dans le cadre de leur formation, pourraient ne pas être en mesure de tirer parti de travaux trop pointus méthodologiquement.

Quoi qu’il en soit, il est permis de croire, à la lumière de la faible diversité des méthodes observée actuellement, que certains pans de la recherche en Administration publique demeurent inexplorés par les chercheurs canadiens. Diversifier les méthodes de recherche permettrait de répondre à un éventail élargi de questions. Le recours à des méthodologies sophistiquées, autant qualitatives que quantitatives, qui ont été éprouvées pour l’étude de questions et d’enjeux d’Administration publique à l’étranger, ou qui sont utilisées couramment dans d’autres sciences sociales, permettrait de documenter sous de nouveaux angles les programmes et les politiques qui sont adoptés au Canada.