Volume 46, numéro 2, juin 2001 Évaluation : paramètres, méthodes, aspects pédagogiques / Evaluation: Parameters, Methods, Pedagogical Aspects Sous la direction de Hannelore Lee-Jahnke

FR :

Une méthode rigoureuse d'évaluation des traductions est nécessaire à l'historien tout comme au pédagogue de la traduction. En nous inspirant des travaux théoriques d'Henri Meschonnic, nous tenterons de démontrer que l'évaluation des traductions du passé — des textes littéraires principalement — ne saurait se faire à partir des règles édictées par les traducteurs-théoriciens auteurs de traités sur la manière de traduire, et que l'analyse philologique et la linguistique différentielle ne suffisent pas non plus pour apprécier la réussite ou l'échec d'un texte traduit. L'historien de la traduction cherchera plutôt à savoir si l'œuvre traduite a l'historicité de l'œuvre originale, si la traduction-recréation a inventé sa propre poétique et remplacé les problèmes de langue par des solutions de discours. Traduire uniquement le sens d'une œuvre comporte le risque d'escamoter sa littérarité et sa poétique, ce qui aboutit à la production d'un non-texte.

EN :

For both historians and pedagogues of translation, stringent evaluation methodology is an important requirement. Drawing on the theoretical works of Henri Meschonnic, this article attempts to show that it is impossible to evaluate older translations — particularly literary texts — using the rules established by translator-theoreticians who authored works on translation techniques; nor are philological analysis and contrastive linguistics sufficient to assess the adequacy or otherwise of a translated text. The historian of translation is more interested in determining whether the translated work has the same historicity as the original, and whether the translation-recreation invents its own poetics and replaces problems of language with discourse solutions. Merely translating the sense of a text may wipe out its literary value and poetics, which, in the end, would produce a non-text.

EN :

The article deals with the role of equivalence (parameters) in evaluating translated texts. After briefly portraying the controversy over the equivalence concept, it is proposed that this concept be considered on two levels: a system level on which Equivalence criteria are established and a text level on which a set of text-specific criteria is selected for evaluation purposes and the ranking of these criteria (from the evaluators point of view) with respect to their relevance in translating a particular text is made explicit. On a systems level it is suggested that the semantic network-based text and translation parameters of coherence, thematic and/or isotopic patterns be included in the catalogue of potential evaluation criteria. On a text level, possible motivations for translation variances in these parameters are discussed.

FR :

Cet article traite du rôle des paramètres d'équivalence dans l'évaluation de traductions. Après un rapide survol des discussions inhérentes au concept même de l'équivalence, nous proposons d'examiner ce concept sur deux niveaux : celui du système à la base duquel les critères d'évaluation sont établis et, celui du texte qui permet la sélection des critères spécifiques pour évaluer le texte en question ainsi qu'une hiérarchisation de ces critères (du point de vue de l'évaluateur). Au niveau du système nous proposons d'inclure dans le catalogue des critères d'évaluation les paramètres de cohérence et de réseaux thématiques et/ou isotopiques. Au niveau du texte nous allons discuter quelques variances de traductions inhérentes à ces paramètres.

EN :

The paper first reports on three different approaches to translation evaluation which emanate from different concepts of “meaning” and its role in translation. Secondly, a functional-pragmatic model of translation evaluation is described, which features a distinction between different types of translations and versions, and stresses the importance of using a “cultural filter” in one particular type of translation. Thirdly, the influence of English as a worldwide lingua franca on translation processes is discussed, and finally the important distinction between linguistic analysis and social judgement in translation evaluation is introduced, and conclusions for the practice of assessing the quality of a translation are drawn.

FR :

L'article présente d'abord trois approches différentes de l'évaluation de la traduction, laquelle prend source dans diverses notions du concept de « sens », et de son rôle en traduction. On passe ensuite à la description d'un modèle fonctionnel-paradigmatique de l'évaluation de la traduction, lequel distingue plusieurs types de traductions et de versions et souligne l'importance de l'emploi d'un « filtre culturel » dans un certain type de traduction. Ensuite, on procède à l'examen de l'influence de l'anglais à titre de lingua franca internationale sur les procédés traductionnels avant de terminer par un rappel de l'importante distinction à faire entre analyse linguistique et jugement social en évaluation de la traduction ainsi que par l'énoncé de conclusions utiles à la pratique de l'évaluation de la qualité en traduction.

FR :

Partant de l'adage pédagogique qu'on ne saurait bien faire que ce dont on comprend parfaitement l'objectif, notre propos est de montrer des approches novatrices dans les trois domaines suivants : 1. Différentes méthodes pour sensibiliser les étudiants à l'évaluation en général ; 2. L'évaluation « formative » telle qu'elle est pratiquée dans nos cours ; 3. Projet sur une évaluation « sommative ».

EN :

It is pedagogically axiomatic that true quality can only be achieved if the goal is made perfectly clear to the student. This paper discusses a fresh approach to the following issues:1. Various methods to highten awareness of students perception of evaluation; 2. formative evaluation as used in our courses; 3. Ongoing research in sommative evaluation.

EN :

On the whole, most research into assessment in translation only concentrates on one area — evaluation of translations of literary and sacred texts — and other areas are ignored. In fact, this field of research includes two other areas, each with its own characteristics: assessment of professionals at work and assessment of trainee translators.Starting with this presupposition, we describe the three areas and analyze the notion of translation assessment, so as to define the characteristics of each area: objects, types, functions, aims and means of assessment. Next, we discuss the question of translation competence, and the concepts of translation problems and translation errors, in order to reach a general principle that should be applied in all assessment. Finally, we suggest assessment instruments to be used in teaching translation and make suggestions for research in assessing translator training, an area that has long been neglected and deserves serious attention.

FR :

Hormis quelques exceptions, la plupart des travaux consacrés à l'évaluation en traduction ne tiennent compte que d'un seul domaine de la traduction, celui des textes littéraires et sacrés. Or, ce champ de recherche concerne aussi deux autres domaines qui, comme le précédent, ont leurs particularités : l'évaluation dans l'exercice de la profession et l'évaluation dans l'enseignement de la traduction. Après avoir procédé à une délimitation de ces trois domaines, nous proposons une analyse de la notion d'évaluation en traduction afin d'en déterminer pour chaque domaine les objets, les types, les fonctions, les objectifs et les moyens en rapport avec l'évaluation. Nous abordons en- suite la question de la compétence en traduction, c'est-à-dire les connaissances et les aptitudes requises, les notions de problème et d'erreur de traduction. Nous discutons ensuite des principes qui devraient soustendre toute évaluation. Enfin, nous proposons des instruments d'évaluation et nous suggérons des orientations de recherche en évaluation dans la didactique de la traduction, qui est à notre avis un aspect des études traductologiques encore trop négligé.

EN :

Well aware of the difficulties involved in integrating translating models and quality systems, we offer an overview of relevant developments in the field. Particular emphasis is placed on the pragmatic connotations of translation and on the methodological aspects of the Quality Paradigm, an approach to documentary translation that focuses activity on the target user.

FR :

Parce que nous sommes consciente des difficultés pour intégrer les modèles de traduction et systèmes de qualité, nous présentons un échantillon des développements récents, tout particulièrement en ce qui concerne la traduction pragmatique et les aspects méthodologiques en assurance de qualité.

FR :

Partant du constat qu'aucune traduction ne saurait être évaluée hors contexte et sans référence à sa finalité, afin d'augmenter le degré d'objectivité de l'évaluation et de préparer l'étudiant à l'environnement professionnel, il est proposé d'apprécier les traductions entreprises par les étudiants pendant l'année scolaire en fonction du cahier des charges établi préalablement par le professeur et les étudiants.

EN :

All translations should be assessed with regard to their context and aim. Therefore, and in order to objectivize the assessment as well as to prepare the students for the professional environment, the assessment of students' translations should be based on specifications which have been worked out by the professor or lecturer and students beforehand.

EN :

This article examines the criterion-related validity of the results obtained by the application of four different methods of assessment to the correction of a second-year exam of translation into the foreign language (Spanish-English) done by 64 university students. These four methods are based on types currently used by university teachers, and the validation study is based on 17 external criteria taken from six different sources. In spite of this variety, a factor analysis reveals the presence of one main factor which is clearly identifiable as Translation Competence . The hypotheses regarding differences between the validity of the methods are verified as null, since all the systems, whether based on error analysis or a holistic approach, prove to correlate significantly with this main factor.

FR :

Cet article porte sur la validité des résultats obtenus à partir de l'application de quatre méthodes d'évaluation différentes à la correction d'un examen de thème (espagnol-anglais) fait par 64 étudiants inscrits en deuxième année de traduction. Les quatre méthodes se fondent sur les systèmes d'évaluation utilisés aujourd'hui par des professeurs d'université, et l'étude de la validité des méthodes repose sur 17 critères externes puisés dans six sources. Malgré cette variété, une analyse de facteurs révèle la présence d'un facteur principal qui peut s'identifier, de toute évidence, comme la compétence de traduction . Les hypothèses concernant les différences entre la validité des méthodes sont nulles, parce que les méthodes, aussi bien celles qui s'appuient sur l'analyse des erreurs que celles qui s'appuient sur une approche holistique, démontrent une corrélation significative avec ce facteur principal.

EN :

Translation quality assessment (TQA) models may be divided into two main types: (1) models with a quantitative dimension, such as SEPT (1979) and Sical (1986), and (2) non-quantitative, textological models, such as Nord (1991) and House (1997). Because it tends to focus on microtextual (sampling, subsentence) analysis and error counts, Type 1 suffers from some major shortcomings. First, because of time constraints, it cannot assess, except on the basis of statistical probabilities, the acceptability of the content of the translation as a whole. Second, the microtextual analysis inevitably hinders any serious assessment of the content macrostructure of the translation. Third, the establishment of an acceptability threshold based on a specific number of errors is vulnerable to criticism both theoretically and in the marketplace. Type 2 cannot offer a cogent acceptability threshold either, precisely because it does not propose error weighting and quantification for individual texts. What is needed is an approach that combines the quantitative and textological dimensions, along the lines proposed by Bensoussan and Rosenhouse (1990) and Larose (1987, 1998). This article outlines a project aimed at making further progress in this direction through the application of argumentation theory to instrumental translations.

FR :

Les modèles d'appréciation de la qualité des traductions peuvent se diviser en deux groupes principaux : (1) les modèles quantitatifs, tels que le SEPT (1979) et le Sical (1986), et (2) les modèles non quantitatifs et textologiques proposés par Nord (1991) et House (1997), entre autres. D'une part, le premier type accuse plusieurs lacunes importantes, qui découlent de l'approche microtextuelle (échantillonnage et analyse intraphrastique) et de la quantification des fautes, dimensions inhérentes au modèle. En effet, (1) en raison des contraintes de temps, il ne peut servir à porter un jugement sur le texte entier que sur la base de probabilités statistiques, (2) l'analyse microtextuelle entrave forcément l'évaluation du contenu global de la traduction, et (3) en établissant un seuil d'acceptabilité fondé sur un nombre précis de fautes, on prête le flanc à la critique sur le plan théorique et sur le marché de la traduction. D'autre part, le deuxième type ne présente pas de seuil convaincant non plus, parce qu'il n'intègre pas la pondération ou la quantification des fautes à l'analyse d'une traduction donnée. Il faut donc viser un modèle qui s'inspire, à l'instar de ceux proposés par Bensoussan et Rosenhouse (1990) et Larose (1987,1998), des deux dimensions quantitative et textologique. Le présent article résume l'un des principaux axes d'un projet en cours qui proposera quelques pistes de solution grâce à l'application de la théorie de l'argumentation aux textes pragmatiques.

EN :

Translation evaluation is undoubtedly one of the most difficult tasks facing a translator trainer. It is unlikely that there will ever be a ready-made formula that will transform this task into a simple one; however, this article suggests that the task can be made somewhat easier by using a specially designed Evaluation Corpus that can act as a benchmark against which translator trainers can compare student translations.

FR :

L'évaluation d'un texte traduit est probablement l'une des tâches les plus difficiles qui soit pour le professeur de traduction, et il y a peu de chances qu'une formule miracle simplifie un jour celle-ci. Le présent article laisse toutefois entrevoir un début de solution, qui consisterait à se servir d'un « corpus d'évaluation » comme norme de référence à laquelle comparer les choix traductionnels des étudiants.

EN :

This article examines interpreter assessment and draws attention to the limits of a lexico-semantic approach. It proposes using features of discourse theory to identify some of the competencies needed to interpret and suggests developing assessment instruments with the technical rigour common in other fields. The author gives examples of discursive features in interpretation and shows how these elements might be used to construct a rubric for assessing interpreter performance.

FR :

Dans cet article, l'auteur expose les limites d'une approche lexico-sémantique en interprétation. À l'aide de la théorie du discours, il identifie certaines compétences nécessaires à l'interprétation et il propose l'élaboration d'un instrument d'évaluation basé sur la rigueur technique apportée à d'autres professions. L'auteur démontre également comment les éléments discursifs dans une situation d'interprétation peuvent servir de compétences dans une grille descriptive de niveaux de rendement.

FR :

L'évaluation de la qualité de l'interprétation en cours de formation diffère de l'évaluation professionnelle essentiellement en raison de sa fonction d'orientation et de la part importante qu'elle accorde au processus d'interprétation, par opposition au seul discours d'arrivée. Il est proposé de faire appel à une évaluation orientée processus en début de formation, en raison de ses avantages psychologiques aussi bien que pour son efficacité dans l'orientation des étudiants. Il faudra toutefois passer progressivement à une évaluation orientée produit afin de rendre plus puissante l'action de l'enseignant sur le parachèvement du produit et pour préparer les étudiants aux tests d'aptitude de fin de parcours. L'éventuelle différence entre les normes des enseignants et celles du marché ne pose pas de problème fondamental tant qu'elle porte sur le niveau requis, plus élevé en formation, et non pas sur les normes et stratégies de l'interprète.

EN :

In-training interpretation quality assessment essentially differs from assessment in the field due to its guiding function and to the importance it allocates to the interpreting process as opposed to the quality of the product. A process-oriented assessment is recommended for the early part of the training syllabus in view of its psychological advantages and its efficiency in guiding students. A gradual migration towards product-oriented assessment is however necessary so as to increase the efficiency of the instructors' intervention in helping students optimize the product and in preparing them to graduation tests. Potential discrepancies between the instructors' norms and market norms are not fundamentally problematic as long as they reflect higher standards in the training environment rather than differences in interpretation strategies and norms.

EN :

What do the recipients of interpretation mean by “good interpretation”? What are the features they consider most important and what do they find irritating? Following a brief overview of user expectation surveys, the paper contends that the target audience is an essential variable in the interpretation equation. Quality of interpretation services is evaluated by users in terms of what they actually receive in relation to what they expected. Consequently, measurements of service quality that do not include user expectations miss the point.

FR :

Que veut dire un auditeur qui qualifie une interprétation de « remarquable » ? Quelles sont les caractéristiques qu'il juge indispensables et qu'est-ce qui l'irrite ? Après un bref résumé des études consacrées aux attentes des auditeurs, l'auteur formule l'hypothèse que l'auditoire cible est une variable essentielle dans l'équation de l'interprétation. La qualité des services d'interprétation est évaluée en termes de comparaison entre service fourni et service attendu. Par conséquent, tout système valable d'évaluation de la qualité de l'interprétation doit impérativement inclure parmi ses variables les expectations de l'utilisateur.

EN :

On the assumption that interpreting can and should be viewed within a conceptual spectrum from international to intra-social spheres of interaction, and that high standards of quality need to be ensured in any of its professional domains, the paper surveys the state of the art in interpreting studies in search of conceptual and methodological tools for the empirical study and assessment of quality. Based on a selective review of research approaches and findings for various aspects of quality and types of interpreting, it is argued that there is enough common ground to hope for some cross-fertilization between research on quality assessment in different areas along the typological spectrum of interpreting activity.

FR :

L'interprétation peut et devrait être placée dans un champ conceptuel qui comprend des sphères d'interaction allant de l'international à l'intrasocial. La bonne qualité du travail de l'interprète doit être garantie dans tous les domaines professionnels. Partant de ces hypothèses, cet article résume le panorama de la recherche actuelle en interprétation ciblée sur les instruments conceptuels et méthodologiques pour évaluer et étudier de façon empirique la qualité d'une prestation. Se fondant sur un compte rendu sélectif des approches d'investigation et des résultats concernant les différentes composantes de la qualité et les types d'interprétation, l'auteur constate qu'il existe une base commune assez solide pour encourager un dialogue enrichissant entre les recherches sur l'évaluation de la qualité réalisées dans les différents domaines de la gamme typologique de l'activité d'interprétation.

FR :

Toute pratique pédagogique ne peut réussir sans mettre à l'épreuve les acquis des apprenants. Cette mise à l'épreuve requiert des instruments d'évaluation qui permettraient à l'enseignant, d'une part, de diagnostiquer les difficultés d'apprentissage et à l'apprenant, d'autre part, de comprendre ses erreurs et de les corriger. Cet article présente une stratégie d'évaluation suivie dans le cadre d'un cours d'initiation à la recherche documentaire et terminologique qui tente d'unir les deux approches sommative et formative pour aboutir à une évaluation objective des activités des apprenants.

EN :

A teaching method can only succeed when students are tested on what they learned. It can be done by using evaluation tools which enable the teacher to diagnose the learning difficulties and the students to better understand their mistakes and be able to correct them. This article presents an evaluation strategy that is used in the Introductory course to Documentary and Terminology Research which relies on both the summative and formative approaches to evaluate objectively the students work.

EN :

The aim of this article is to describe the quality assessment procedures in a large, national translation company. The company is more than ten years old, but the past five years' growth rates have been rapidly increasing. The growth in turnover can be attributed both to a high degree of customer loyalty based on a high level of efficiency and trust, and on high, well-defined and transparent quality standards. The company is based on the idea that translators should function in a working environment based on full-term employment. Consequently the increase in turnover has involved recruiting a large number of translators and support services in the IT-department. This is why quality assessment procedures are no longer an individual responsibility, but have become a corporate issue. Quality procedures must therefore be part of the daily routines and involve all aspects of the business. To understand the conditions of the translation market today, the author provides an overview of the market based on the ASSIM-study and information on the new economy. After that she presents the case of Translation House of Scandinavia and finally she discusses some of the possible quality assurance systems that are available today and are used by the translation industry.

FR :

Cet article cherche à décrire les démarches de l'évaluation de la qualité dans un grand bureau de traduction d'envergure nationale. Fondé il y a plus de dix ans, ce bureau a connu un taux de croissance en rapide augmentation au cours des cinq dernières années. Il est possible d'imputer l'accroissement du chiffre d'affaires autant à une très solide fidélité de la clientèle, due à une efficacité et une relation de confiance hors pair, qu'à des normes de qualité élevées, bien définies et transparentes. L'esprit de l'entreprise veut que les traducteurs puissent travailler dans un environnement où l'on offre des contrats à durée déterminée. Par conséquent, le chiffre d'affaires accru a permis le recrutement d'un grand nombre de traducteurs et de services de soutien pour le service informatique. C'est pourquoi les procédures en évaluation de la qualité ne sont plus la responsabilité d'une seule personne mais bien de toute l'entreprise. Ces procédures doivent donc faire partie des routines quotidiennes et intégrer tous les aspects de l'entreprise. Afin de bien comprendre la situation du marché actuel de la traduction, l'auteur brosse un panorama du marché en s'appuyant sur l'étude et sur l'information ASSIM portant sur la nouvelle économie. L'auteur présente ensuite le cas de Translation House of Scandinavia avant de terminer par l'examen des systèmes potentiels de contrôle de la qualité qui sont actuellement disponibles et utilisés par l'industrie de la traduction.