Reliability and Validity of a Scale-based Assessment for Translation Tests

Abstract

Are assessment tools for machine-generated translations applicable to human translations? To address this question, the present study compares two assessments used in translation tests: the first is the error-analysis-based method applied by most schools and institutions, the other a scale-based method proposed by Liu, Chang et al. (2005). They have adapted Carroll’s scales developed for quality assessment of machine-generated translations. In the present study, twelve graders were invited to re-grade the test papers in Liu, Chang et al. (2005)’s experiment by different methods. Based on the results and graders’ feedback, a number of modifications of the measuring procedure as well as the scales were provided. The study showed that the scale method mostly used to assess machine-generated translations is also a reliable and valid tool to assess human translations. The measurement was accepted by the Ministry of Education in Taiwan and applied in the 2007 public translation proficiency test.

Keywords:

• translation test,
• error-analysis,
• assessment scales,
• translation evaluation,
• evaluation criteria

Résumé

Les outils d’évaluation des traductions automatiques sont-ils applicables à la traduction humaine ? Pour répondre à cette question, la présente étude compare deux modalités d’évaluation : la première est la méthode d’analyse des erreurs utilisée par la plupart des écoles et des institutions, la seconde fait appel à une échelle basée sur la méthode proposée par Liu, Chang, et al. (2005). Ces auteurs ont adapté les échelles d’évaluation de la qualité des traductions de Caroll. Dans la présente étude, douze évaluateurs ont été invités à ré-évaluer les textes utilisés dans les travaux de Liu, Chang, et al. (2005) par différentes méthodes. Sur la base des résultats obtenus et des commentaires des évaluateurs, un certain nombre de modifications ont été apportées à la méthode de mesure ainsi qu’aux échelles. L’étude a montré que la méthode fondée sur l’échelle principalement utilisée pour évaluer les traductions automatiques constitue un outil fiable pour évaluer les traductions humaines. Cette méthode a été acceptée par le ministère de l’Éducation de Taïwan et appliquée en 2007 pour les tests du certificat de traduction.

Mots-clés :

• tests de traduction,
• analyse des erreurs,
• échelles d’évaluation,
• qualité des traductions,
• critères d’évaluation