The Good Guys and the Bad Guys: The Behavior of Lenient and Demanding Translation Evaluators

Abstract

The behavior of demanding and lenient evaluators is analyzed and discussed. Little is known about the process of translation evaluation, specifically on how different types of evaluators perform. The 88 subjects of this study were classified as demanding or lenient on the basis of the average quality judgments they made on 48 translated texts. Their profiles were outlined according to a series of parameters and categories starting from the observation of their products, i.e., the evaluated texts. Lenient evaluators carried out more actions on the text, were fairly product-oriented, showed a fairly steady performance, seemed to be more confident, and were probably more committed to the evaluation assignment they were given in this research. Demanding evaluators intervened less, were usually feedback-oriented, preferred to carry out actions in certain segments and text parts, expressed less certainty, and were possibly more aware of the particular circumstances surrounding the experiment. While demanding evaluators appear better suited for professional environments and advanced level teaching, lenient evaluators seem more suited to research and teaching at initial stages. The present work might pave the way for further research into evaluative profiles.

Keywords:

• evaluation,
• translation assessment,
• level of demand,
• empirical studies,
• process research

Résumé

Le comportement d’évaluateurs qualifiés d’exigeants ou d’indulgents fait l’objet du présent article. On possède très peu de données sur le processus d’évaluation, plus particulièrement sur la façon dont différents types d’évaluateurs procèdent. Les 88 sujets de cette étude ont été dits exigeants ou indulgents à partir de la moyenne des jugements de valeur qu’ils ont portés sur 48 textes traduits. Leur profil a été déterminé en fonction d’une série de paramètres et de catégories établis à partir de l’analyse des textes évalués. Les évaluateurs indulgents sont davantage intervenus sur le texte, se préoccupaient de la qualité du produit, présentaient un rendement régulier, semblaient plus sûrs d’eux et s’étaient probablement plus impliqués dans l’évaluation qui leur avait été confiée. Les évaluateurs exigeants sont moins intervenus sur le texte, retournaient en général des commentaires, ne sont intervenus que dans certains passages, exprimaient moins de certitude, et semblaient plus conscients du caractère expérimental de la recherche. Tandis que les évaluateurs exigeants paraissent mieux convenir à un contexte professionnel et aux formations avancées, les évaluateurs indulgents semblent être plus appropriés pour la recherche et l’enseignement aux débutants. Le présent travail pourrait ainsi ouvrir la voie à des recherches portant sur les profils d’évaluateurs.

Mots-clés :

• évaluation,
• évaluation de la traduction,
• niveau de la demande,
• études empiriques,
• processus de recherche