L’évaluation des systèmes de traduction automatique dans le cadre d’un service de traduction

Résumé

Cet article considère le problème de l'évaluation d'un système de traduction automatique du point de vue de la personne chargée d'un service de traduction important, qui se demande si son service tirerait profit de l'installation d'un système. L'article montre qu'une analyse du type de travail effectué par le service est une première étape essentielle et insiste sur l'importance du contexte dans lequel le système doit s'intégrer. Une méthodologie pour l'évaluation est ensuite esquissée, d'abord par l'établissement de critères particuliers au contexte, et ensuite par les manières de réunir les données servant de base au jugement porté sur la capacité d'un système à répondre à ces critères. Les techniques de collection de données sont brièvement décrites avec une indication de leurs qualités et défauts respectifs.

Abstract

This article considers the problem of evaluating a machine translation system from the viewpoint of the head of a large translation service which is considering whether his service could benefit from the introduction of a system. It is suggested that an analysis of the type of work done by the service is an essential first step, and the importance of the context into which the system is to be integrated is emphasized. A methodology for the evaluation is then sketched out, starting with the establishment of criteria relevant to the particular context, and going on to meet those criteria. The data collection techniques are briefly described, and an indication is given of their strengths and weaknesses.