L'accès à la plateforme Érudit connaît actuellement un ralentissement, dû à un incident chez notre prestataire technique. Nous sommes désolés de ce désagrément et collaborons activement à rétablir le service. L'information sera mise à jour sur notre pageTwitter

Le dossier

Évaluation métrologique de la Mesure de l’offre active de services sociaux et de santé en français en contexte minoritaire

  • Jacinthe Savard,
  • Lynn Casimiro,
  • Josée Benoît et
  • Pier Bouchard

…plus d’informations

  • Jacinthe Savard
    Erg. aut. (Ont.), Ph. D., Professeure adjointe, École des sciences de la réadaptation et Clinique universitaire interprofessionnelle en soins de santé primaires, Université d’Ottawa
    Membre du Groupe de recherche sur la formation professionnelle en santé et en service social en contexte francophone minoritaire (GReFoPS)

  • Lynn Casimiro
    PT, Ph. D., Directrice de l’enseignement, Hôpital Montfort et professeure auxiliaire, École des sciences de la réadaptation, Université d’Ottawa
    Membre du Groupe de recherche sur la formation professionnelle en santé et en service social en contexte francophone minoritaire (GReFoPS)

  • Josée Benoît
    Ph. D., Associée de recherche, École de service social et École des sciences de la réadaptation, Université d’Ottawa
    Membre du Groupe de recherche sur la formation professionnelle en santé et en service social en contexte francophone minoritaire (GReFoPS)

  • Pier Bouchard
    Ph. D., professeure titulaire, Département d’administration publique, Université de Moncton
    Membre du Groupe de recherche sur la formation professionnelle en santé et en service social en contexte francophone minoritaire (GReFoPS)

Couverture de L’accès aux services sociaux et de santé en français et la formation des professionnelles et professionnels en situation francophone minoritaire canadienne, Volume 20, numéro 2, automne 2014, p. 10-276, Reflets

Corps de l’article

Introduction

Plusieurs études (Evans, Barer et Marmor, 1996; Organisation mondiale de la santé, 2008) montrent l’influence de certains déterminants sociaux, tels l’éducation, le revenu et la position sociale, sur l’état de santé d’une personne. Plus récemment, Bouchard, et collab. (2012) ont démontré que la langue et l’appartenance à un groupe linguistique minoritaire font également partie des déterminants sociaux de la santé au Canada. Communiquer dans une langue qui n’est pas sa langue maternelle peut être particulièrement difficile pour une personne qui doit interagir avec une professionnelle ou un professionnel de la santé. De fait, dans cette interaction, la qualité de la communication est essentielle et ne pas recevoir des soins et des services dans leur langue prédominante peut avoir des conséquences néfastes pour l’adhérence au traitement et pour la sécurité des clientes ou des clients (pour une discussion plus exhaustive sur le sujet, voir Drolet, et collab., 2014; Savard, et collab., 2014). C’est ainsi que l’accès à des services sociaux et de santé en français dans les communautés francophones en situation minoritaire devient une priorité pour le gouvernement canadien, non seulement pour se conformer aux droits linguistiques, mais surtout pour assurer la sécurité et la qualité des services sociaux et de santé offerts à toute la population du pays (Santé Canada, 2007). C’est dans cette optique que l’augmentation du nombre et de la disponibilité de personnel pouvant s’exprimer en français devient importante et que le Consortium national de formation en santé (CNFS) a été créé, avec la mission d’assurer la mise en oeuvre d’un réseau postsecondaire élargi de formation et de recherche en français pour appuyer les institutions qui offrent, ou pourraient offrir, une formation dans le domaine de la santé dans les communautés francophones en contexte minoritaire (CNFS, 2011).

Par ailleurs, une personne vulnérable peut se sentir intimidée si elle doit revendiquer le respect de ses droits linguistiques; elle peut éprouver une gêne, voire une peur, à demander des services dans sa langue quand les ressources sont déjà limitées (Bouchard, et collab., 2012; 2009; Consortium pour la promotion des communautés en santé, 2011; Drouin et Rivet, 2003). Après plusieurs décennies sans services de santé en français, il peut même se créer chez les personnes en situation linguistique minoritaire une conviction qu’il est impossible d’en recevoir (Société santé en français, 2007). Le concept de l’offre active devient donc un outil essentiel pour accroître l’accessibilité aux services en français. Selon Bouchard, et collab. (2012, p. 46), « l’offre active peut être considérée comme une invitation, verbale ou écrite, à s’exprimer dans la langue officielle de son choix. L’offre de parler dans sa langue officielle de son choix doit précéder la demande de services ».

Dans le contexte du présent projet, le concept d’offre active se concrétise par les éléments suivants : 1. les services en français sont visibles, disponibles et facilement accessibles à la clientèle; 2. le personnel informe les clientes ou clients qu’ils peuvent s’adresser à eux et se faire servir dans les deux langues officielles; 3. les particularités linguistiques et culturelles de chaque client sont prises en compte; 4. le personnel et les organisations appliquent cette approche dans tout le continuum de soin (accueil, prise en charge, intervention, soutien et aiguillage), sans que la responsabilité incombe seulement au client d’en faire la demande. L’offre active permet aux clientes et clients de se sentir à l’aise d’utiliser la langue officielle de leur choix lorsqu’ils reçoivent des services. De plus, le grand public est convaincu que s’il utilise la langue officielle de son choix, il recevra des services et des soins de qualité.

Ainsi, offrir activement des services en français dépasse le simple affichage d’offre de services bilingues. Il s’agit de poser des actions adaptées à la culture linguistique minoritaire pour que les francophones se sentent à l’aise avec les services offerts dans leur langue. Un exemple d’action possible de la part du personnel consiste à adresser aussi en français les messages d’accueil pour démontrer qu’il est lui-même ouvert à s’exprimer dans cette langue (Comité des services en français de Fredericton, 2006). Un autre exemple est de proposer de la documentation imprimée conjointement dans les deux langues afin que la personne qui est plus à l’aise en français dans certains sujets et en anglais dans d’autres — ou la personne francophone dont l’aidant principal est plus à l’aise en anglais — plutôt que de devoir choisir l’une ou l’autre version, puisse avoir accès aux deux.

Si l’importance de recevoir des services dans sa langue est déjà bien documentée, les écrits scientifiques sur le concept d’offre active et les facteurs expliquant la mise en place de services dans les deux langues officielles sont plus rares, tant dans le domaine de la santé (Forgues, et collab., 2011) que dans d’autres domaines, comme celui de la justice (Cardinal et Sauvé, 2010). De plus, ce concept est parfois confondu avec le bilinguisme (Vézina, et collab., 2014), ce qui laisse à penser que des études sur les pratiques d’offre active seront d’une grande utilité.

Les défis de l’offre active de services en français

Outre le manque de personnel en santé et en services sociaux pouvant s’exprimer en français, il appert que même le personnel francophone ou bilingue rencontre des obstacles au moment de mettre en pratique des mécanismes d’offre active de services en français (Bouchard et Vézina, 2009). Parmi ces obstacles, on retrouve la difficulté de maintenir sa compétence linguistique en français lorsque la langue de travail est l’anglais (Bouchard et Vézina, 2009); la nécessité de composer avec une clientèle diversifiée quant à la langue et à la culture; le besoin de traduire ou d’adapter des ressources puisqu’il existe peu d’outils d’évaluation, de traitement, d’information et d’éducation en français; le fait d’être souvent sollicité par des collègues pour effectuer de la traduction ou agir en tant qu’interprète, ce qui peut mener à une surcharge de travail (Bouchard et Vézina, 2009; Drolet, et collab., 2014); et le manque formation sur les particularités des communautés francophones en contexte minoritaire, sur les enjeux liés à l’offre active et sur les gestes à poser afin d’améliorer la situation (Benoît, et collab., 2014; Bouchard et Vézina, 2009).

La responsabilisation et le leadership des gestionnaires sont souhaités afin d’instaurer des orientations claires sur les services en français et de fournir au personnel des outils nécessaires à leur mise en pratique (Bouchard et Vézina, 2009; Bouchard, et collab., 2012; Charland, 2011). Ce soutien organisationnel n’est toutefois pas toujours présent pour faciliter la prestation de services en français par le personnel francophone ou bilingue. Même dans les situations où une intervenante ou un intervenant bilingue a été embauché pour ses compétences professionnelles et linguistiques, il arrive que les gestionnaires n’en fassent que peu d’usage et qu’ils exigent, par exemple, que les différentes communications entre les membres du personnel se fassent en anglais afin d’éviter l’exclusion d’une intervenante ou d’un intervenant unilingue anglophone (Bouchard et Vézina, 2009).

Il semble donc qu’une meilleure préparation du personnel à mettre en pratique les mécanismes d’offre active serait nécessaire, tout comme une meilleure sensibilisation des gestionnaires. De fait, la valorisation et l’outillage des ressources humaines pour la qualité et la sécurité des services en français figurent parmi les priorités du plan d’action de la Société santé en français pour 2013-2018 afin d’améliorer l’accès aux services de santé en français et l’état de santé des francophones au Canada (Santé société en français, 2012). Considérant les efforts investis dans l’amélioration de l’offre active de services en français (CNFS, 2012; Dubouloz, et collab., 2014 [accepté]; Santé société en français, 2012), il est entendu qu’il faudra évaluer les effets de ces activités. Dans l’élaboration de programmes de formation, le CNFS et ses institutions membres et partenaires communautaires ont besoin de tels outils pour évaluer les interventions qui stimulent l’engagement des étudiantes et des étudiants et celui des intervenantes et des intervenants envers la communauté francophone.

Tenant compte des connaissances entourant l’offre active de services en français, des défis qui y sont associés et des efforts actuels pour offrir de la formation dans le domaine, notre équipe, constituée de membres du Groupe de recherche sur la formation professionnelle en santé et en service social en contexte francophone minoritaire (GReFoPS), s’est interrogée sur les façons de mesurer l’offre active.

Mesurer l’offre active

Comment peut-on mesurer l’impact des actions entreprises pour améliorer l’offre active de services sociaux et de santé en français dans les communautés francophones en situation minoritaire? Comment peut-on en étudier les déterminants, c’est-à-dire les facteurs qui favorisent la mise en pratique de ses mécanismes? Il y aurait lieu de pouvoir mesurer l’offre active pour identifier les situations où elle est plus présente. Les consultations et la recension des écrits ont révélé l’existence d’aucun outil permettant de quantifier les comportements d’offre active observés chez les intervenantes ou intervenants en santé et en services sociaux. Toutefois, une vingtaine de documents clés décrivaient des exemples d’actions ou de politiques entreprises par les établissements locaux ou les gouvernements provinciaux pour la favoriser dans les services sous leur juridiction, ainsi que quelques grilles d’évaluation à l’intention des milieux qui souhaitent améliorer leur offre de services en français (Charland, 2011; Comité santé en français de Fredericton, 2006; Gouvernement de l’Île-du-Prince-Édouard, 2011; Gouvernement du Manitoba, 2011; Réseau de santé en français de l’est de l’Ontario (2010); Société Santé en français, 2010; Société Santé et mieux-être en français du Nouveau-Brunswick (s. d.).

Ce constat a conduit les auteurs du présent article à mettre au point la Mesure de l’offre active de services en français en contexte minoritaire suivant un processus adapté de celui proposé par Bradburn, Sudman et Wansink (2004), où les items du questionnaire sont générés à partir de ce qui est retrouvé dans les écrits et à la suite de consultations menées auprès d’expertes et d’experts. En s’inspirant des documents clés sur l’offre active de services en français, notamment de pratiques innovatrices en la matière, il a été possible d’extraire diverses actions organisationnelles qui pouvaient être transposées à l’action individuelle pour établir une première liste de comportements observables chez les personnes qui s’y adonnent. La consultation menée auprès d’expertes et d’experts au sujet de cette liste de comportements individuels a fait ressortir que les personnes qui travaillent dans un milieu où un nombre important d’actions sont réalisées par les employeurs ou les établissements pour démontrer une volonté d’offre active de services en français seraient plus portées à faire des efforts pour offrir activement ces services et qu’il serait important de mesurer simultanément ces indicateurs de soutien organisationnel à l’offre active. Il en est résulté la création d’un questionnaire en deux sections, l’une portant sur les comportements individuels d’offre active chez les intervenantes ou intervenants et l’autre sur leur perception du soutien organisationnel face à cette dernière.

La validité de contenu de cet outil a été examinée au moyen d’un sondage Delphi pancanadien. La démarche, décrite plus en détail dans Savard, et collab. (2014 [accepté]), a conduit à la création de la version expérimentale du questionnaire dont l’évaluation métrologique est rapportée dans le présent article.

L’évaluation métrologique d’un outil de mesure

Le processus d’évaluation métrologique d’un outil de mesure s’effectue généralement en plusieurs étapes. La validité de contenu par un groupe d’expertes et d’experts est un préalable important à l’acceptation d’une mesure. Toutefois, le jugement des pairs n’est pas suffisant et des preuves empiriques doivent démontrer que l’outil mesure bien ce qu’il prétend mesurer (la validité). De plus, avant de juger de la validité d’un outil, il importe de vérifier s’il démontre une reproductibilité dans les réponses obtenues (la fidélité) (Streiner et Norman, 2008).

Bradburn, et collab. (2004) suggèrent d’effectuer d’abord un test pilote auprès d’un petit échantillon (entre 20 et 50 personnes) représentatif de la population auprès de laquelle la mesure sera utilisée. Ce premier test permet d’éliminer les questions qui n’apportent aucune information discriminante ou qui ne paraissent pas apporter le type d’information recherchée et de réviser les questions qui ont causé des difficultés aux répondantes et répondants (par exemple, celles qui ont de faibles taux de réponse). Il permet aussi une première évaluation métrologique de l’outil. Puis, Bradburn, et collab suggèrent d’effectuer un nouveau test pilote si les révisions sont substantielles, et de soumettre la nouvelle version du questionnaire à un échantillon plus important pour confirmer ses propriétés métrologiques.

Parmi les propriétés métrologiques d’un outil d’évaluation, la fidélité représente la reproductibilité de la mesure, c’est-à-dire la probabilité que la mesure donne des résultats similaires à différentes occasions ou lorsque mesurée de différentes manières. Un coefficient de fidélité représente la proportion de la variabilité des résultats qui est due à la vraie différence entre les personnes (Streiner et Norman, 2008). La consistance interne est une forme de fidélité qui représente l’homogénéité ou le degré de constance des réponses aux divers items ou énoncés d’une mesure. Elle est fondée sur l’hypothèse que si un questionnaire comporte plusieurs items qui mesurent la même dimension, il devrait y avoir une forte corrélation entre chacun des énoncés. Une consistance interne élevée est nécessaire pour chacune des échelles pour lesquelles on souhaite calculer un score total afin que ces résultats signifient réellement une plus grande quantité des dimensions évaluées (Gardner, 1995; Sylverstein, et collab., 1992). Une autre forme importante de fidélité est la stabilité temporelle des résultats (ou fidélité test-retest). La stabilité temporelle est la corrélation entre deux passations de l’outil d’évaluation, lorsqu’aucun changement n’est survenu entre les deux passations par le même sujet. Cette propriété, observée en l’absence d’intervention, augmente la confiance qu’un changement observé dans les résultats à la suite d’une intervention soit réellement dû à l’intervention.

La validité est la capacité d’un outil à bien refléter le concept que l’on veut mesurer. Elle est une question de degré plus qu’une propriété fixe. C’est l’accumulation de résultats de recherches qui informent sur la validité d’un outil d’évaluation. La validité de contenu se rapporte au choix des items d’un outil d’évaluation. Le contenu doit être représentatif de toutes les facettes du phénomène à l’étude. De plus, il ne doit pas contenir d’éléments qui ne sont pas reliés à ce phénomène. La validité de construit vise à confirmer le cadre théorique sous-jacent à la mesure et à vérifier les hypothèses quant aux liens entre les indicateurs retenus et le phénomène que l’on cherche à mesurer (Tremblay, et collab., 2004).

Le but de la présente recherche était d’effectuer une première évaluation empirique de la Mesure de l’offre active de services en français en contexte minoritaire et d’améliorer l’outil à partir des résultats obtenus. Les objectifs spécifiques étaient les suivants :

  • Déterminer la fidélité de la version expérimentale de l’outil, en particulier sa consistance interne et sa stabilité temporelle;

  • Réviser l’outil (création de la version 1.0) en éliminant ou modifiant les énoncés qui semblaient problématiques en fonction de trois critères : le taux de non-réponse, la consistance interne et la stabilité temporelle;

  • Déterminer la fidélité de la nouvelle version 1.0, en particulier sa consistance interne et sa stabilité temporelle;

  • Amorcer l’examen de la validité de construit de l’outil (version 1.0) en examinant les liens entre les comportements individuels d’offre active et le soutien organisationnel perçu en lien avec l’offre active.

Méthode

Il s’agit d’une étude de type métrologique qui était incluse dans une étude plus large des déterminants possibles de l’offre active de services en français. L’étude a reçu l’approbation du comité de déontologie de la recherche de l’Université d’Ottawa.

Population à l’étude et échantillon

L’ensemble des professionnelles ou professionnels de la santé et des services sociaux capables d’offrir des services en français et travaillant dans des milieux où le français n’est pas la langue principale représentait la population cible pour cette étude. L’échantillon étudié était constitué d’un sous-ensemble de cette population, soit les diplômées et diplômés des cinq dernières années des programmes de formation en santé et en service social des universités d’Ottawa et de Moncton. Il s’agissait d’un échantillon de convenance pouvant facilement être recruté par les bureaux des anciens des deux universités participantes. Par ailleurs, la période postdiplôme de cinq ans représentait un seuil jugé approprié afin que les répondantes et répondants puissent participer à l’étude plus large portant sur les déterminants de l’offre active qui nécessitait des expériences de formation et de travail rapprochées.

Les critères d’inclusion précis étaient de détenir un diplôme d’un programme CNFS de l’Université d’Ottawa ou de l’Université de Moncton depuis cinq ans ou moins; travailler ou avoir travaillé dans une province autre que le Québec; y avoir occupé un emploi lié à la santé ou aux services sociaux.

Collecte de données

La collecte de donnée comportait un questionnaire de données sociodémographiques, la Mesure de l’offre active de services en français en contexte minoritaire et un questionnaire des déterminants possibles de l’offre active. Ce dernier questionnaire était inclus pour les besoins de l’étude plus large. Les questionnaires ont été mis en ligne à l’aide du logiciel FluidSurveys, pour la période allant du 5 décembre 2012 au 21 janvier 2013. Au total, on a estimé que répondre aux trois questionnaires prendrait de 45 à 60 minutes.

Une invitation a été envoyée par courriel aux diplômés des cinq dernières années des programmes de formation ciblés par le CNFS des universités d’Ottawa (n=986) et de Moncton (n=1010) par le bureau des anciens de ces universités, accompagnée du lien Internet pour accéder aux questionnaires. Toutefois, à l’Université d’Ottawa, lorsque le programme est disponible dans les deux langues officielles, les dossiers du bureau des anciens ne contenaient pas nécessairement la langue des études. On a fait parvenir le lien aux diplômés des programmes ciblés qui avaient indiqué le français comme langue préférée de communication avec l’université, ce qui peut être différent de la langue des études. Un courriel de rappel a aussi été envoyé à toutes ces personnes au début du mois de janvier 2013. De plus, afin d’augmenter la participation, l’étude a été annoncée dans les médias sociaux suivants : la page Facebook de l’équipe de recherche, celle du CNFS, le bulletin hebdomadaire du Réseau des services de santé en français de l’Est de l’Ontario (Réseau Express) et le bulletin du Regroupement des intervenantes et des intervenants de la santé et des services sociaux de l’Ontario (RIFSSSO).

Afin de procéder à l’étude de la stabilité temporelle de l’outil, à la fin des questionnaires, on demandait aux participantes et aux participants s’ils accepteraient d’y répondre une seconde fois et, dans l’affirmative, d’indiquer leur adresse courriel. Les 26 personnes qui ont répondu positivement ont reçu une deuxième invitation par courriel entre le 15 février et le 1er mars 2013, comportant un lien les dirigeant uniquement vers la Mesure de l’offre active de services en français en contexte minoritaire.

Mesure de l’offre active de services en français en contexte minoritaire

La Mesure de l’offre active de services en français en contexte minoritaire est un questionnaire d’autoévaluation où la personne cote elle-même la fréquence de ses comportements d’offre active et sa perception de la présence de soutien organisationnel à cette dernière dans son milieu de travail. La version expérimentale de la mesure utilisée dans cette recherche était constituée d’une première section portant sur les comportements individuels d’offre active qui comportait 27 énoncés et 3 questions ouvertes, regroupés en 3 dimensions ou sous-échelles, et d’une deuxième section portant sur la perception du soutien organisationnel qui contenait 42 énoncés regroupés en 5 dimensions ou sous-échelles. Chaque énoncé évaluait la fréquence du comportement décrit sur l’échelle allant de 1 (jamais) à 4 (toujours). Les répondantes et répondants pouvaient aussi indiquer que le comportement ne s’appliquait pas à leur situation. Les questions ouvertes leur permettaient d’indiquer s’ils utilisaient d’autres mécanismes d’offre active. Enfin, pour détecter les biais de réponses systématiques, la version expérimentale de l’outil comportait quatre énoncés formulés négativement : répéter souvent le comportement en question indiquait une absence d’offre active. De plus, deux questions étaient cotées sur une échelle différente : la première sur la fréquence à laquelle des formations sont offertes en français et la seconde sur les obstacles perçus à l’offre de services en français.

Analyse

Distribution des réponses et calcul d’un score total pour chaque sous-échelle

Dans un premier temps, la distribution des réponses de chaque énoncé de la Mesure de l’offre active de services en français en contexte minoritaire a été examinée à l’aide de statistiques descriptives. Une variabilité dans les réponses est souhaitée pour que l’instrument soit discriminant. Les faibles taux de réponse peuvent dénoter une difficulté quant à la formulation d’un énoncé ou un manque de pertinence chez ce dernier. Ainsi, les énoncés ayant obtenu un taux de réponse inférieur à 25 % ont été examinés. Pour cette analyse, le choix de réponse « ne s’applique pas » a été considéré comme une absence de réponse. Dans le calcul d’un score total, il était difficile de déterminer si la réponse « ne s’applique pas » reflétait une situation clinique où le comportement ne serait jamais approprié ou s’il indiquait une absence du comportement pouvant découler d’un manque d’offre active. Par exemple, pour l’énoncé « Je veille à ce qu’il y ait des documents informatifs et des outils de divertissement en français (p. ex., dépliants, revues, journaux, radio, télévision, jeux) dans les aires communes (salle d’attente ou autre) », la réponse « ne s’applique pas » peut refléter deux choses différentes : 1. le fait d’avoir un environnement de travail où il n’y a pas d’aire commune ne constitue pas un manque d’offre active ou 2. la répondante ou le répondant ne croit pas que ce soit sa responsabilité de vérifier ce que contiennent les aires communes, reflétant ainsi un moins grand comportement d’offre active. Deux scores totaux ont donc été calculés pour chaque échelle ou sous-échelle : un score brut attribuant une note de « 0 » à chaque réponse « ne s’applique pas » ou à chaque réponse manquante et un score pondéré, qui ne considérait que les énoncés notés par la répondante ou le répondant.

Enfin, les réponses aux questions ouvertes ont été examinées pour vérifier la présence de comportements d’offre active qui ne seraient pas inclus dans les énoncés du questionnaire.

Consistance interne de la version expérimentale

La consistance interne du questionnaire a été évaluée à l’aide du coefficient alpha de Cronbach (α). Un coefficient entre 0,7 et 0,9 est recommandé par Streiner et Norman (2008), alors qu’un résultat supérieur à 0,9 pourrait indiquer la présence d’un grand nombre d’items redondants. Le coefficient α total pour l’ensemble des énoncés de chaque sous-échelle a été calculé. Il a ensuite été recalculé en retirant un énoncé à la fois afin de vérifier si la consistance interne de la sous-échelle s’améliorait. Lorsque c’était le cas, les énoncés contribuant à une diminution de la cohérence interne de leur sous-échelle ont été examinés pour déterminer s’ils étaient plus en lien avec une autre sous-échelle ou s’ils devaient simplement être retirés du questionnaire.

Stabilité temporelle de la version expérimentale

La stabilité temporelle du questionnaire expérimental a d’abord été examinée par la comparaison des scores moyens pour chacune des deux passations puis à l’aide de deux coefficients, soit le coefficient kappa pour la fidélité de chaque énoncé individuel et le coefficient de corrélation intraclasse (CCI modèle 3,1 — modèle à effets mixtes à deux facteurs, cohérence absolue, mesures uniques) pour la fidélité des résultats totaux de chaque échelle. Ce modèle est approprié lorsque des sujets s’autoévaluent à deux occasions (Schuck, 2004). Les énoncés qui ont obtenu un coefficient kappa inférieur à 0,20 (pauvre selon l’échelle de Landis et Koch, 1977) ont été examinés afin de déterminer s’ils devaient être modifiés ou éliminés du questionnaire. Pour les scores totaux, un CCI de moins de 0,60 est jugé insuffisant, de 0,60 à 0,70 suffisant et de plus de 0,70 bon, lorsque les résultats sont utilisés pour comparer des groupes dans un contexte de recherche (Nunnally et Bernstein, 1994).

Révision de l’outil : création de la version 1.0

Les énoncés qui semblaient problématiques sur ces trois critères (fort taux de « ne s’applique pas », faible stabilité temporelle et ne contribuant pas à la consistance interne de leur échelle) ont été examinés par les trois premières auteures. La décision de conserver ou de rejeter un énoncé reposait sur la grandeur de son effet sur la consistance interne (α) et la fidélité (CCI) de chaque sous-échelle, tout en retenant un nombre suffisant d’énoncés pour bien représenter les diverses facettes de l’offre active.

Évaluation de la version 1.0 : fidélité et validité de construit

À la suite de cette démarche, la consistance interne (α) et la stabilité temporelle (CCI) de la nouvelle version de l’outil ont été réexaminées. L’examen de la validité de construit de l’outil a été amorcé en calculant les corrélations entre le score de chaque sous-échelle et le score total de son échelle. Si chaque échelle mesure une dimension distincte de l’offre active, on s’attendra à des corrélations de faibles à modérées entre les sous-échelles et à des corrélations fortes entre chaque sous-échelle et le score total. Les corrélations entre les comportements individuels d’offre active et le soutien organisationnel perçu ont aussi été étudiées. De l’avis du groupe d’expertes et d’experts ayant participé à la validité de contenu de l’outil, le soutien organisationnel à faire de l’offre active devrait être un prédicteur important des comportements individuels d’offre active. On s’attend donc à une corrélation positive modérée entre les deux questionnaires, puisqu’ils mesurent des concepts apparentés, mais distincts. Toutes ces corrélations ont été mesurées à l’aide des coefficients de corrélation de Pearson.

Résultats

Caractéristiques des participantes et participants

Comme illustré à la Figure 1, après avoir éliminé certains répondantes ou répondants qui n’avaient jamais travaillé dans le domaine des services sociaux et de la santé ou à l’extérieur du Québec, l’échantillon final pour cette étude était composé de 60 participantes et participants. Parmi eux, un sous-groupe de 22 personnes (sur les 26 qui avaient accepté qu’on les sollicite une 2e fois) a rempli la Mesure de l’offre active de services en français en contexte minoritaire à deux reprises pour l’analyse de sa stabilité temporelle.

Le Tableau 1 présente les principales caractéristiques des participantes et des participants. On peut voir que ce sont majoritairement des personnes dont la langue maternelle est le français qui ont répondu au questionnaire. Provenant principalement de l’Ontario et du Nouveau-Brunswick, elles exerçaient diverses professions (Tableau 1) et représentaient un large éventail de milieux de pratique (non illustré). Un petit nombre (13 %) travaillait au Québec au moment de l’étude, mais pouvait se référer à une expérience de travail dans une autre province (Tableau 2). Parmi les personnes qui répondaient pour une expérience en Ontario, 45 (75 % de l’échantillon total) étaient de la région d’Ottawa et des environs. Comme on peut le constater au Tableau 3, la majorité des participantes et des participants (83,3 %) travaillaient dans des milieux offrant des services dans les deux langues officielles. De plus, 40 % d’entre eux ont indiqué offrir des services en français à plus de 60 % de leur clientèle. Pour un autre 30 % de participantes ou participants, les francophones constituaient environ la moitié de la clientèle.

Figure 1

Constitution de l’échantillon

Constitution de l’échantillon

-> Voir la liste des figures

Tableau 1

Caractéristiques des participantes et des participants

Caractéristiques des participantes et des participants

-> Voir la liste des tableaux

Tableau 2

Provenance des participantes et participants

Provenance des participantes et participants
*

Après répartition des participantes et participants qui travaillent au Québec en fonction de la province où ils ont déjà travaillé et à laquelle ils se réfèrent pour répondre au présent questionnaire.

-> Voir la liste des tableaux

Tableau 3

Caractéristiques linguistiques du milieu de travail

Caractéristiques linguistiques du milieu de travail
*

La question était posée aux répondantes ou répondants, sans préciser si le terme s’engager signifiait une obligation légale ou une volonté de l’employeur.

-> Voir la liste des tableaux

Évaluation de la version expérimentale de l’outil

L’analyse de la distribution des réponses révèle chez elles une bonne variabilité : aucun énoncé n’a obtenu une réponse unique et il n’y a que quatre énoncés pour lesquels seuls 2 des 4 choix (« souvent » et « toujours ») ont été sélectionnés. L’analyse des scores totaux et de leurs écarts-types, pour les deux méthodes de calcul (scores bruts et scores pondérés), démontre aussi une bonne variabilité des réponses. L’analyse a aussi révélé que 18 des énoncés de la version expérimentale de l’outil ont obtenu des taux de non-réponse supérieurs à 25 % et 14 énoncés ont démontré une pauvre stabilité temporelle (coefficient kappa < 0,20). Ces faibles stabilités temporelles avaient un impact sur deux sous-échelles, Comportements : accueil et prise en charge et Comportements : intervention, pour lesquelles les coefficients de corrélation intraclasse étaient inférieurs à 0,60. L’étude des scores bruts et pondérés de chacune des passations ne révèle pas de différences statistiquement significatives entre les scores de la première passation et ceux de la seconde, sauf dans le cas de la sous-échelle Comportements : accueil et prise en charge où les résultats de la seconde passation étaient plus faibles. Ce biais systématique semble attribuable au fait que les participantes et participants ont été plus critiques lorsqu’ils répondaient à certaines questions une seconde fois. Plusieurs énoncés, qui étaient jugés comme n’étant pas applicables dans leur contexte lors de la première passation, obtenaient des réponses à la seconde passation, indiquant dans la plupart des cas une faible occurrence du comportement.

De plus, la consistance interne de deux sous-échelles, Soutien organisationnel : soutien et aiguillage et Soutien organisationnel : gestion et gouvernance, n’était pas satisfaisante (coefficient α < 0,70). L’étude démontrait que 11 énoncés ne contribuaient pas bien à la sous-échelle où ils avaient été placés puisque les retirer de la sous-échelle faisait augmenter son coefficient α. Enfin, l’utilisation de choix de réponses différents pour deux groupes d’énoncés, « formation en français » et « obstacles », a créé des difficultés pour le calcul de scores totaux par sous-échelle et l’impossibilité d’inclure ces énoncés dans le calcul de la consistance interne.

Les réponses aux questions ouvertes ont fourni des précisions sur la façon d’effectuer certains comportements d’offre active inclus dans le questionnaire, mais n’ajoutaient pas de nouveaux comportements qui auraient pu suggérer l’ajout de nouveaux énoncés.

Création de la Mesure de l’offre active de services en français en contexte minoritaire, version 1.0 (voir Annexe)

Tableau 4

Modifications apportées au questionnaire

Modifications apportées au questionnaire

-> Voir la liste des tableaux

Le Tableau 4 présente les changements apportés à la suite de l’évaluation de la version expérimentale de l’outil. Parmi les quatre énoncés formulés négativement, deux obtenaient une faible stabilité temporelle. Puisque nous n’avons pas observé de phénomène de réponses automatiques (aucun répondante ou répondant n’ayant choisi la même réponse à tous les énoncés ou des réponses contradictoires à un énoncé formulé négativement et à son contraire formulé positivement), tous les énoncés formulés à la négative ont été retirés de l’échelle. Deux autres énoncés problématiques pour la stabilité temporelle ont été retirés, ce qui ne nuisait pas à la cohérence interne de la sous-échelle et permettait d’en améliorer la stabilité temporelle.

De même, un énoncé problématique pour la cohérence interne de sa sous-échelle initiale a été éliminé, car le déplacer n’améliorait pas les qualités de l’outil. Cinq énoncés ont été déplacés dans une sous-échelle différente de celle où ils avaient été placés initialement. Ce changement faisait augmenter la consistance interne de sous-échelle initiale ou améliorait celle de leur sous-échelle de destination, ou les deux.

Puisque plusieurs énoncés qui étaient jugés comme n’étant pas applicables lors de la première passation obtenaient des réponses à la seconde passation, forcer une réponse pourrait probablement augmenter la stabilité temporelle du questionnaire. En effet, on observe que les scores pondérés ont en général une meilleure stabilité temporelle que les scores bruts (vrai pour 7 sous-échelles sur 10). Ainsi, il a été décidé de retirer le choix de réponse « ne s’applique pas » et de créer des échelles facultatives pour les interventions spécialisées et l’aiguillage, car ces activités ne font pas partie des tâches de toutes les intervenantes et de tous les intervenants en santé ou en service social. Cinq énoncés ont été déplacés dans cette nouvelle sous-échelle intitulée « interventions spécialisées », sous-échelle facultative à l’image de celle sur le soutien et l’aiguillage qui n’était remplie que par les personnes qui faisaient ce type d’intervention.

Enfin, certains énoncés ont été reformulés (changements indiqués en caractères italiques dans l’Annexe), les questions ouvertes ont été éliminées et les questions sur l’offre de formation en français et sur les obstacles ont été reformulées pour qu’on y réponde sur la même échelle que l’ensemble des autres énoncés, ce qui facilitera l’analyse des résultats dans le futur.

Évaluation de la Mesure de l’offre active de services en français en contexte minoritaire, version 1.0

Les caractéristiques métrologiques de chacune des nouvelles sous-échelles ont été calculées avec les énoncés tels qu’ils ont été répondus par nos participantes et participants, c’est-à-dire, sans les reformulations et les modifications aux choix de réponses proposés. Les résultats sont présentés au Tableau 5.

Tableau 5

Caractéristiques de la Mesure de l’offre activede services en français en contexte minoritaire, version 1.0

Caractéristiques de la Mesure de l’offre activede services en français en contexte minoritaire, version 1.0

1 Exemple du calcul, pour une personne qui a fourni 8 réponses sur 10 énoncés dans l’échelle et pour laquelle la somme des 8 réponses est de 25

  • le calcul du score brut est : 25/40 (où 40 est le maximum de l’échelle et la réponse manquante se voit attribuer la cote « zéro »)

  • le calcul du score pondéré est : 25 x 40 = 31,25/40

     32

     (où 32 est le maximum possible en n’utilisant que les énoncés notés)

2 Le score brut pour cette sous-échelle ne signifie pas absence d’offre active, mais absence des tâches incluses dans l’échelle. Le score pondéré sera un meilleur indicateur des comportements d’offre active.

3 On recommande un nouveau choix de réponse pour le 8e énoncé de la sous-échelle de développement continu, mais comme nous n’avons pas de données empiriques à ce sujet, les calculs ici ont été faits avec 7 énoncés.

4 On recommande un nouveau choix de réponse pour toute la sous-échelle des obstacles, mais comme nous n’avons pas de données empiriques à ce sujet, les calculs n’ont pu être refaits.

-> Voir la liste des tableaux

Les changements ont permis d’améliorer les qualités métrologiques de l’outil. La consistance interne est maintenant acceptable (α entre 0,70 et 0,90) pour toutes les sous-échelles, à l’exception de la sous-échelle facultative sur les interventions spécialisées. La stabilité temporelle est améliorée pour les deux sous-échelles qui étaient au départ les plus problématiques. Il n’y a plus d’indication de biais systématiques. Les résultats obtenus demeurent inférieurs aux valeurs souhaitées (CCI >0,60) pour certains scores bruts ou pondérés, mais s’en rapprochent à l’exception du score pondéré de la sous-échelle « Soutien organisationnel : soutien et aiguillage ». Il est possible que les modifications proposées à certaines formulations et aux choix de réponses améliorent la stabilité des échelles, mais pour le vérifier il faudrait une nouvelle étude où le nouveau questionnaire serait soumis à un groupe de répondantes et de répondants.

Les analyses de corrélation soutiennent la validité de construit du questionnaire. Les corrélations entre le score de chaque sous-échelle et le total de son échelle sont toutes supérieures à 0,70, à l’exception de la sous-échelle de soutien et aiguillage du soutien organisationnel qui est plus faiblement corrélée au total du soutien organisationnel (0,32 pour le score pondéré — résultats non montrés). Des corrélations modérées sont observées entre les résultats de l’échelle des comportements d’offre active des intervenantes et des intervenants et celle du soutien organisationnel perçu, ce qui signifie que ces échelles mesurent des concepts apparentés, bien que différents (Tableau 6). Ce résultat est conforme à ce qui était attendu en théorie.

Tableau 6

Corrélations entre les sous-échelles de comportements d’offre active et les sous-échelles correspondantes du soutien organisationnel

Corrélations entre les sous-échelles de comportements d’offre active et les sous-échelles correspondantes du soutien organisationnel

-> Voir la liste des tableaux

Discussion

Le but de la présente étude était d’effectuer une première évaluation empirique de la Mesure de l’offre active de services en français en contexte minoritaire et de bonifier l’outil en fonction des résultats obtenus. Ces derniers ont permis de créer une mesure qui présente certaines forces dont une bonne consistance interne pour chacune des sous-échelles, une indication de sa validité de construit par des corrélations modérées entre les comportements individuels et les indicateurs de soutien organisationnel en lien avec ces mêmes comportements, ainsi qu’une bonne variabilité des réponses et l’absence d’effet plafond. En effet, le résultat moyen n’atteint jamais le maximum possible pour l’échelle malgré un échantillon très francophone qui travaille majoritairement dans des milieux s’engageant à offrir des services en français.

Les analyses utilisant le score pondéré suggèrent que la stabilité temporelle de l’outil est satisfaisante pour 8 des 10 sous-échelles, mais demeure mitigée pour deux d’entre elles. Il faudra être prudent dans l’interprétation de ces résultats. En raison de la faible proportion de répondantes ou de répondants ayant répondu au questionnaire à deux reprises, ainsi qu’en raison des modifications apportées à l’outil (élimination du choix « ne s’applique pas »), il sera utile de poursuivre les études de sa stabilité temporelle afin d’augmenter la confiance envers les résultats obtenus. La poursuite de l’étude de cette propriété auprès d’un plus grand échantillon, soit une cinquantaine de participantes ou participants, permettrait de déterminer les coefficients de fidélité avec une plus grande précision ainsi que le changement minimal qui peut être considéré comme un changement réel plutôt que comme une erreur de mesure (Lexell et Downham, 2005; Streiner et Norman, 2008). Il faut aussi noter que les coefficients de corrélation intraclasse sont sensibles à la variance de l’échantillon et que les coefficients obtenus peuvent être artificiellement bas lorsque les variances entre la première et la seconde passation ne sont pas similaires (Schuck, 2004), ce qui pourrait avoir une légère influence dans le cas de la présente étude.

Cette étude démontre que le développement d’un tel outil présente certains défis et confirme la nécessité de procéder en plusieurs étapes, comme mentionné dans les écrits méthodologiques (Bradburn 2004; Streiner et Norman, 2008). S’il est souhaité de disposer d’un outil permettant de mesurer l’évolution des comportements d’offre active à la suite d’activités de formation ou de changements organisationnels en faveur de services en français, d’autres études sont nécessaires avant de pouvoir utiliser à cette fin la Mesure de l’offre active de services en français en contexte minoritaire. Dans l’état actuel de son développement, cette dernière peut être utilisée comme un outil d’autoévaluation pour les personnes qui souhaiteraient se situer par rapport à un ensemble possible de comportements d’offre active. Cette autoévaluation peut entrainer une première sensibilisation aux mécanismes de l’offre active qui peut conduire à l’amélioration de ses propres comportements ou à des interventions auprès de son organisation visant l’implantation de pratiques qui la facilitent.

Il sera aussi utile de disposer d’une mesure valide de l’offre active de services en français afin d’en étudier les déterminants. En effet, les résultats de notre recension d’écrits nous amènent à croire que des éléments de soutien organisationnel (Bouchard, et collab. 2009; 2010), de vitalité ethnolinguistique, d’identité, de motivation langagière (Landry, et collab., 2006; 2008), de compétences linguistiques et culturelles (Betancourt, et collab., 2003) pourraient influencer la propension d’une personne à s’afficher comme parlant français et à offrir activement des services en français. Ces éléments constituent des déterminants probables de l’offre active de services en français. Pouvoir mesurer quantitativement et simultanément la présence de comportements d’offre active et la présence de ces déterminants probables permettrait une meilleure connaissance de l’impact de ces derniers sur le comportement des professionnelles et professionnels de la santé et des services sociaux. Cela devrait contribuer à mieux cibler les éléments sur lesquels il est possible d’agir pour mieux les outiller et cette connaissance pourrait alimenter les efforts de création de nouveaux contenus de formation. C’est ce que visait l’étude plus large mentionnée au début du présent article. Cette dernière n’a toutefois pas donné tous les résultats escomptés puisque l’échantillon était trop homogène, entre autres, sur le plan du profil psycholinguistique. Il a donc été impossible de vérifier l’impact de différents profils psycholinguistiques sur la propension vers l’offre active. Par ailleurs, certaines différences ont été observées dans les caractéristiques des milieux de travail des répondantes et des répondants. Ainsi, dans une analyse secondaire des données recueillies par notre équipe, Brulé, et collab. (2013) ont pu étudier les liens entre des caractéristiques suivantes et les comportements d’offre active de la part des intervenantes et des intervenants : province de travail, langue du milieu de travail, stratégie la plus utilisée pour servir la clientèle francophone, rôle principal (clinique ou administratif) et score total pondéré du soutien organisationnel à l’offre active. Lorsque l’influence de ces variables a été analysée simultanément dans une analyse de régression linéaire, seul le total pondéré du soutien organisationnel est ressorti comme déterminant des comportements d’offre active des intervenantes et intervenants. Ce facteur expliquait 35 % de la variance observée dans les comportements individuels. Ces résultats sont à mettre en lien avec ceux qu’avaient obtenus Bouchard et Vézina (2009), de manière qualitative, auprès d’intervenantes et intervenants francophones oeuvrant en milieu anglo-dominant. Les attitudes ambigües ou négatives de l’employeur ou des collègues représentaient des défis importants pour mettre en pratique l’offre de services en français par ces francophones. Cela met en évidence le rôle de leadership que sont appelés à jouer les gestionnaires afin de mieux répondre aux besoins des francophones vivant en situation minoritaire. Par des formations, des activités de sensibilisation ou par leurs attitudes, ils peuvent favoriser le développement de compétences linguistiques et culturelles et contribuer à transformer considérablement la culture organisationnelle. Le soutien organisationnel perçu est d’ailleurs reconnu comme un déterminant important de l’engagement affectif d’un employé envers l’organisation pour laquelle il travaille (Vandenberghe, 2005) et est donc essentiel à toute organisation qui voudrait améliorer son offre de services en français en contexte minoritaire.

Limites de l’étude

La plus grande limite de l’étude est certainement son faible taux de réponse. Si le nombre de répondantes et de répondants est suffisant pour l’étude de la distribution des réponses et de la consistance interne, il est plus faible pour l’étude de la stabilité temporelle de l’outil. De plus, cette faible participation des personnes sollicitées pour répondre au questionnaire affecte la représentativité des données. Bien que nous ne disposions pas de données précises sur les caractéristiques de l’ensemble des personnes à qui le questionnaire a été envoyé, il est permis de croire que ce groupe de diplômées ou de diplômés comporte des gens d’origine un peu plus variée que celle des répondantes ou répondants. La relative homogénéité du groupe sur le plan linguistique limite la possibilité de généraliser les résultats à d’autres groupes. Il est intéressant de constater que 40 % des participantes et participants (50 % de ceux provenant du Nouveau-Brunswick et 38 % de ceux de l’Ontario) ont indiqué offrir des services en français à plus de 60 % de leur clientèle. En Ontario du moins, aucune communauté n’a une proportion de 60 % de francophones. L’étude a donc rejoint majoritairement des personnes qui travaillent déjà beaucoup à servir leurs concitoyens francophones. Il n’est pas certain qu’un échantillon constitué de personnes francophiles moins exposées au français ou de francophones travaillant dans des milieux plus typiquement anglophones réagiraient de la même façon devant les énoncés qui leur sont proposés, ou même qu’ils les comprendraient de la même façon.

De plus, l’échantillon comportait 8,3 % de participantes ou participants provenant de milieux qui offrent exclusivement des services en français. Bien que dans ces milieux l’intervenante ou l’intervenant n’a pas à faire l’effort d’offrir des services en français puisqu’ils sont déjà offerts dans cette langue, ces services doivent tout de même être adaptés à une clientèle en contexte minoritaire. Pour ces répondantes ou répondants, certaines questions de la section « accueil et prise en charge » étaient peut-être moins pertinentes. Par contre, la majorité des questions demeurent justifiées, comme celles liées à l’adaptation du niveau de langue ou à l’aiguillage des clientes ou clients vers des services en français. La participation de ces personnes a pu augmenter la variabilité des contextes représentés, ce qui est un atout pour l’évaluation des qualités métrologiques de l’outil.

Enfin, les consignes de certaines questions sur les caractéristiques sociodémographiques des participantes et des participants pouvaient être ambigües. Par exemple, bien que nous ayons demandé aux 13,3 % de personnes qui travaillent au Québec de se référer à une expérience dans une autre province, nous n’avions aucun moyen de le vérifier et devions nous fier à leur bonne compréhension. De même, la question qui demandait dans quelle(s) langue(s) officielle(s) leur milieu de travail s’engage à offrir des services peut avoir été perçue de différentes façons. Ces limites réduisent la précision de la description de l’échantillon, mais ne devraient pas modifier de façon substantielle les résultats relatifs aux qualités métrologiques de l’outil.

Malgré ces limites, cette étude constitue à notre connaissance une première tentative d’évaluation des comportements d’offre active de services en français de la part d’intervenantes et d’intervenants de la santé et des services sociaux. Bien que réalisée auprès d’un échantillon partiellement représentatif, l’étude a permis de déceler certains des problèmes de la version expérimentale et de proposer une version améliorée.

Conclusion

Cette démarche a permis d’examiner la fidélité, en particulier la consistance interne et la stabilité temporelle, d’un outil susceptible d’aider les professionnelles et professionnels, les éducateurs et éducatrices, les gestionnaires ainsi les chercheuses et chercheurs à mesurer les comportements d’offre active. Elle a aussi permis de corriger les erreurs de conception de l’outil qui nuisaient au calcul d’un score total et de proposer une version améliorée de la Mesure de l’offre active de services en français en contexte minoritaire. Si l’outil peut encore être amélioré, il s’avère que cette version fournit des informations clés pour la poursuite de la recherche sur la mesure et l’évolution de ces comportements.

Pour l’avenir, l’étude de la stabilité temporelle de la nouvelle version de l’outil présenté dans cet article est certainement à l’ordre du jour. De plus, notre équipe mène actuellement une nouvelle recherche pour tenter d’identifier les liens possibles entre les profils psycholinguistiques et les comportements d’offre active, cette fois-ci auprès de résidents en médecine. En recrutant les participantes et participants auprès de trois universités ayant des contextes linguistiques diversifiés, nous espérons obtenir la variabilité nécessaire à la conduite des analyses des déterminants de l’offre active de services en français. Enfin, la Mesure de l’offre active de services en français en contexte minoritaire a été conçue sous la forme d’une autoévaluation. Dans des recherches subséquentes, il serait aussi intéressant de créer des grilles d’observation des comportements d’offre active qui pourraient être utilisées par les précepteurs et préceptrices de stage ou encore en salle de classe lors d’activités de jeux de rôle ou scénarios simulés. Les énoncés contenus dans la Mesure de l’offre active de services en français en contexte minoritaire pourraient servir de point de départ pour ces recherches puisqu’elle fournit de bons exemples de comportements d’offre active. Si de telles grilles d’observations sont créées, elles devront subir une évaluation de leurs propriétés métrologiques dans un contexte de formation. De telles études sont nécessaires dans le contexte des efforts d’amélioration des pratiques de l’offre active de services en français au sein des communautés francophones en situation minoritaire. Il existe encore plusieurs lacunes dans la prestation et l’organisation de ces services auxquelles il faudra remédier au cours des prochaines années.

Parties annexes