Analytic rubric scoring versus comparative judgment: a comparison of two approaches to assessing spoken-language interpreting

Abstract

In this article, we report on an empirical study conducted to evaluate the utility of analytic rubric scoring (ARS) vis-à-vis comparative judgment (CJ) as two approaches to assessing spoken-language interpreting. The primary motivation behind the study is that the potential advantages of CJ may make it a promising alternative to ARS. When conducting CJ on interpreting, judges need to compare two renditions and decide which one is of higher quality. Such binary decisions are then modeled statistically to produce a scaled rank order of the renditions from “worst” to “best.” We set up an experiment in which two groups of raters/judges of varying scoring expertise applied both CJ and ARS to assess 40 samples of English-Chinese consecutive interpreting. Our analysis of quantitative data suggests that overall ARS outperformed CJ in terms of validity, reliability, practicality and acceptability. Qualitative questionnaire data helped us obtain insights into the judges’/raters’ perceived advantages and disadvantages of CJ and ARS. Based on the findings, we tried to account for CJ’s underperformance vis-à-vis ARS, focusing on the specificities of interpreting assessment. We also propose potential avenues for future research to improve our understanding of interpreting assessment.

Keywords:

• analytic rubric scoring,
• comparative judgment,
• spoken-language interpreting,
• rater-mediated assessment,
• interpreting quality assessment

Résumé

Dans cet article, nous rendons compte d’une étude empirique menée pour évaluer l’utilité de la notation analytique (ARS) par rapport au jugement comparatif (CJ) en tant que deux approches pour évaluer l’interprétation en langue parlée. La principale motivation derrière l’étude est que les avantages potentiels du CJ peuvent en faire une approche prometteuse par rapport à l’ARS. Lors de la conduite de CJ sur l’interprétation, les juges doivent comparer deux interprétations et décider laquelle est de meilleure qualité. Ces décisions binaires sont ensuite modélisées statistiquement pour produire un ordre de classement à l’échelle des rendus du « pire » au « meilleur ». Nous avons mis en place une expérience dans laquelle deux groupes d’évaluateurs/juges de différentes expertises de notation ont appliqué CJ et ARS pour évaluer 40 échantillons d’interprétation consécutive anglais-chinois. Notre analyse des données quantitatives suggère que l’ARS globale a surpassé CJ en matière de validité, fiabilité, praticité et acceptabilité. Les données du questionnaire qualitatif nous aident à obtenir un aperçu des avantages et des inconvénients perçus par les juges/évaluateurs de CJ et ARS. Sur la base des résultats, nous avons essayé de tenir compte de la sous-performance de CJ vis-à-vis de l’ARS, en nous concentrant sur les spécificités de l’interprétation de l’évaluation. Nous proposons également des pistes de recherche futures pour améliorer notre compréhension de l’évaluation de l’interprétation.

Mots-clés :

• notation des rubriques analytiques,
• jugement comparatif,
• interprétation de la langue parlée,
• évaluation par un évaluateur,
• évaluation de la qualité en interprétation

Resumen

Este artículo expone un estudio empírico acerca de la utilidad de la notación analítica (ARS) con relación al juicio comparativo (CJ) como enfoques para evaluat la interpretación en lengua hablada. Se justifica este estudio por las ventajas potenciales del CJ comparado con ARS. Al llevar a cabo un CJ en interpretación, los jueces deben comparar dos interpretaciones y decidir cuál es mejor. Luego se modelizan estadísticamente estas decisiones binarias para generar un orden de clasificación de las producciones de la «peor» a la «mejor». Hemos realizado un experimento en el cual dos grupos de evaluadores/jueces expertos en distintas formas de notación emplearon CJ y ARS para evaluar 40 interpretaciones consecutivas del inglés al chino. El análisis de los datos cuantitativos sugiere que ARS superó globalmente CJ en cuanto a validez, confiabilidad, practicidad y aceptabilidadmatière de validité, fiabilité, praticité et acceptabilité. Los datos del cuestionario cualitativo contribuyen a observar las ventajas e inconvenientes percibidos por los evaluadores/jueces de CJ y ARS. A partir de los resultados, hemos intentado considerar el menor despeño de CJ con relación a ARS, concentrándonos en las especificidades de la interpretation de la evaluación. Igualmente proponemos pistas de investigación para mejorar nuestra comprensión de la interpretación de la evaluación.

Palabras clave:

• notación de los rubros analíticos,
• juicio comparativo,
• interpretación de la lengua hablada,
• evaluación mediante un evaluador,
• evaluación de la calidad en interpretación