Interrater Reliability of a Tool Measuring the Quality of Nursing Triage in the Emergency Department Fidélité interjuges d’un outil mesurant la qualité des triages infirmiers au département d’urgence

Abstract

Introduction: Triage plays an essential role in the Emergency Department (ED), helping maintain a safe patient flow. Although assessing the quality of the triage process is crucial, to date, there has been no metrological testing of a tool measuring the quality of nursing triage. Objective: This study aimed to assess the interrater reliability of the Audit Triage Tool (ATT) in Quebec, Canada. Methods: This retrospective cohort study took place in a regional ED. Fifty triages were selected using a systematic random sampling technique with quotas of 10 triages grouped under 5 chief complaints: chest pain, abdominal pain, neurological problems, major blunt trauma and fever. A total of 4 auditors individually applied the 49 criteria of the ATT to 50 triages. The interrater reliability was measured with the intraclass correlation coefficient (ICC), percentage of unanimity (PU) and percentage of agreement (PA). Results: Based on the ICC, 33/49 criteria showed fair (ICC 0.60, comparatively to only 2/26 implicit criteria. Discussion and conclusion: Findings showed that a quarter of the ATT criteria had poor interrater reliability according to various statistical tests. Solutions to improve the reliability of the ATT, mostly regarding the implicit criteria, are needed. Finally, future methodological research on triage quality assessment should focus on a thorough validation of the ATT.

Keywords:

• triage,
• reliability,
• quality improvement,
• audit,
• emergency department

Résumé

Introduction : Le triage joue un rôle essentiel dans les départements d’urgence, permettant de prioriser adéquatement le traitement des patients. À ce jour, il n’existe aucun instrument de mesure de la qualité du triage dont la valeur métrologique est reconnue. Objectif : Cette étude visait à évaluer la fidélité interjuges de l’Audit Triage Tool (ATT) au Québec, Canada. Méthodes : Cette étude de cohorte rétrospective s’est déroulée dans une urgence régionale. Cinquante triages ont été sélectionnés à l’aide d’une technique d’échantillonnage aléatoire avec quotas de 10 triages pour chacun des 5 motifs de consultation : douleur thoracique, douleur abdominale, problèmes neurologiques, trauma, fièvre. Un total de 4 auditeurs ont appliqué individuellement les 49 critères de l’ATT aux 50 triages. La fidélité interjuges a été mesurée par le coefficient de corrélation intraclasse (CCI), le pourcentage d’unanimité (PU) et le pourcentage d’accord (PA). Résultats : Basés sur les résultats du CCI, 33/49 critères ont montré une fidélité interjuges faible (CCI 0,60 comparativement à seulement 2/26 critères implicites. Discussion et conclusion : En somme, le quart des critères de l’ATT présentaient une mauvaise fidélité interjuges. Des solutions pour améliorer la fidélité de l’ATT, principalement concernant les critères implicites, sont nécessaires. Les futures recherches portant sur l’évaluation de la qualité des triages devraient se concentrer sur une validation approfondie de l’ATT.

Mots-clés :

• triage,
• fidélité,
• amélioration continue de la qualité,
• audit,
• département d’urgence