Article body

1. Introducción

La evaluación es un elemento central en todos los procesos de enseñanza-aprendizaje y también debería serlo en la formación universitaria de los futuros traductores. Existe consenso en la literatura actual sobre lo beneficioso que resulta para el aprendizaje adoptar una visión amplia de la evaluación que no se limite, como es frecuente en algunos contextos, a la tarea de corrección y/o calificación de las traducciones de los alumnos. El problema surge cuando se persigue un acuerdo sobre el modo de hacerlo, porque «podría decirse que la situación actual al respecto es de desconcierto y división entre profesores, investigadores y otros expertos» (Conde 2009: 232). Los estudiantes no se incluyen en los colectivos mencionados, pero dado que son los «usuarios» de la evaluación, es necesario aproximarse tanto a sus percepciones como a las necesidades que expresan. El análisis de estas percepciones constituye el objetivo principal de este trabajo. Las percepciones de los estudiantes sobre la docencia y la evaluación que esperan recibir se fundamentan en creencias, es decir, en estimaciones subjetivas sobre la realidad que son la base de sus expectativas y valores, y es preciso conocerlas si se quiere incidir en ellas. En nuestro caso, se trata de las ideas que los estudiantes han desarrollado intuitivamente sobre la naturaleza tanto del conocimiento como del aprendizaje (Ruiz 2020: 255), que no tienen necesariamente que coincidir con la «realidad».

El estudiante es el protagonista del proceso de enseñanza-aprendizaje. Este postulado, hoy en día difícilmente cuestionable, supone que la instrucción esté orientada no a que el profesor enseñe sino a que el alumnado aprenda. La evaluación es, desde el punto de vista de la teoría sociocultural (Lantolf 2000 y 2002), un elemento más de ese proceso que debe acompañar recurrentemente al alumno, en tanto que orienta y contribuye a mejorar la adquisición de las distintas competencias. Por consiguiente, si en el ámbito académico lo situamos como protagonista, también podemos hacerlo en la investigación sobre procesos de enseñanza-aprendizaje de la traducción, sobre todo, porque las conclusiones que se alcancen podrán contribuir a mejorar sus aprendizajes. A partir de estas premisas, pretendemos aproximarnos a las percepciones que tienen los estudiantes sobre la evaluación en las asignaturas de traducción.

2. La evaluación de traducciones en el contexto educativo

En los últimos veinte años, la didáctica de la traducción se ha consolidado como campo de investigación en los Estudios de Traducción y ha experimentado notables avances, puesto que «ya no solo se elaboran propuestas didácticas, sino que se recogen datos empíricos para que se ajusten mejor a la realidad del contexto en que se quieren aplicar y, además, se busca su validación mediante pruebas empíricas» (Hurtado 2019: 69). En este contexto, la evaluación de la calidad de las traducciones constituye uno de los temas que más literatura científica suscita, después de la enseñanza y el aprendizaje de la disciplina (Yan et al. 2015: 272).[1] En particular, como señala Orozco-Jutorán (2006: 47), el interés se ha centrado principalmente en el análisis del error y en la elaboración de baremos de corrección. Ello se debe a la propia naturaleza subjetiva de la traducción y al lógico deseo de diseñar sistemas de evaluación más objetivos que palíen la falta de criterios universalmente aceptados.

Cuando hablamos de evaluación en el contexto educativo emergen tres conceptos transversales que, a menudo, se usan indistintamente: evaluación, calificación y examen. A pesar de que docentes y estudiantes usan los términos de manera indiscriminada, no es lo mismo «evaluar» que «calificar» (Álvarez 2005; López 2004). Para Richards et al. (1985: 130), la evaluación es «the systematic gathering of information for purposes of decision making». Esta recogida sistemática de información puede tener lugar tanto mediante métodos cuantitativos (exámenes o pruebas), cuyo objetivo es dar cuenta de los resultados obtenidos, como mediante métodos cualitativos (observaciones, valoraciones). El fin último es obtener información sobre el proceso de enseñanza-aprendizaje, emitir un juicio y, en última instancia, tomar decisiones tanto para aprender como para calificar (Sanmartí 2020: 119). La calificación, en cambio, supone materializar el juicio emitido gracias a esa recogida y análisis de información en términos cuantitativos, es decir, en una nota alfanumérica o de otro tipo. «Calificación» y «nota» se suelen utilizar como sinónimos en el habla cotidiana.

La diferencia entre evaluación y calificación es clara, desde el punto de vista teórico, cuando es sabido que existen situaciones en las que los procesos de evaluación no conllevan necesariamente una calificación. Por ejemplo, el docente puede evaluar el trabajo de un estudiante mediante el uso de una rúbrica sin necesidad de transformar su análisis en una calificación. Mientras que la calificación es potestad única de los docentes, todos los participantes en el proceso de enseñanza-aprendizaje pueden intervenir en la evaluación; es más, resulta muy importante la que el estudiante hace de su propio aprendizaje, puesto que es una acción indispensable para alcanzar la autonomía, un objetivo transversal de los estudios universitarios más importante aún en la formación de traductores, ya que les prepara para su futuro profesional. En palabras de Costa (1989): «We must constantly remind ourselves that the ultimate purpose of evaluation is to enable students to evaluate themselves» (Costa 1989: 2). En este sentido, el término más habitual para referirse a la evaluación que una persona realiza sobre sí misma o sobre un proceso y/o resultado personal es el de «autoevaluación» (o «self-assessment», en la literatura anglófona). Cuando la evaluación se lleva a cabo entre estudiantes, ya sea de forma individual o grupal, suele hablarse de «coevaluación» o «peer-assessment», mientras que, si el proceso lo realizan personas distintas del estudiante o sus iguales, normalmente el docente, suele utilizarse el término «heteroevaluación» (López-Pastor y Pérez-Pueyo, 2017: 42 y 74).

Finalmente, el examen es un medio de evaluación que sirve esencialmente para medir el grado de adquisición de habilidades, conocimientos o actuaciones (Richards et al., 1985). Con el término «medio de evaluación», nos referimos a aquellas «pruebas o evidencias que sirven para recabar información sobre el objeto a evaluar» (Rodríguez e Ibarra 2011: 71-72). Estas evidencias, actuaciones o producciones realizadas por los estudiantes, entre las que se encuentra el examen, son los medios que informan al docente sobre los resultados de aprendizaje y que utiliza el evaluador para tomar las decisiones correspondientes. Aunque los exámenes pueden adoptar distintas formas, en el caso de las asignaturas de traducción suelen ser pruebas escritas que consisten esencialmente en la traducción de uno o más textos. En la universidad española siguen siendo muy frecuentes para decidir si se han superado o no las distintas asignaturas de los grados.

En general, la tendencia actual en el ámbito de la didáctica de la traducción es tratar de desarrollar una evaluación que supere la función certificadora y que fomente su componente formativo. A favor de este enfoque se pronuncian autores como Kiraly (2000), González Davies (2004), Kelly (2005), Colina (2008) o Hurtado (2019), entre otros muchos. De hecho, desde los enfoques constructivistas, se considera que la evaluación constituye una parte esencial del proceso de enseñanza-aprendizaje. Según Lantolf (2002), la distinción tradicional entre enseñar y evaluar debe ser abandonada, puesto que desarrollo y evaluación del desarrollo son inseparables. De ahí que se fomente la necesidad de que el alumnado conozca no solo los objetivos de las asignaturas sino también el sistema de evaluación que se empleará y en el que se han de concretar, de modo preciso y comprensible, los indicadores de logro correspondientes a las distintas competencias. Dicho de otro modo, la evaluación debe ser formativa: aplicada para hacer un seguimiento del proceso de aprendizaje del alumno, orientada a la autorregulación y concebida, por lo tanto, como un elemento más del proceso de enseñanza-aprendizaje (Hortigüela et al. 2019; Hurtado 2019).

Un aspecto importante de la evaluación formativa es que se concibe «como un acto de comunicación entre las partes implicadas con el que se busca ante todo mejorar el proceso de lo que está siendo objeto de evaluación y, en consecuencia, el producto resultante del mismo» (Martín et al. 2008). Esta función comunicativa y dialógica se desarrolla principalmente mediante la retroalimentación (feedback) que generan, sobre todo, los docentes.

Desde una perspectiva constructivista, se considera que la retroalimentación es un tipo concreto de ayuda pedagógica cuyo objetivo es facilitar al estudiante la construcción de conocimiento y la autorregulación de su aprendizaje (Espasa y Meneses 2010). Aunque no son numerosos los estudios específicos sobre retroalimentación en el ámbito de la didáctica de la traducción, algunas investigaciones recientes apuntan a un creciente interés por su función en el desarrollo de la competencia traductora (Dollerup 1994; Neunzig y Tanqueiro 2005; Pietrzak 2014 y 2017; Washbourne 2014; Conde 2016; Way 2019, por citar algunos).

Cabe precisar, finalmente, que los resultados obtenidos en numerosos estudios empíricos apuntan a la influencia positiva de la utilización de sistemas de evaluación formativa en la mejora del rendimiento académico del alumnado (Fraile et al. 2013). Con todo, la introducción de este modelo no supone eliminar o marginar la evaluación sumativa, cuyo objetivo último en el contexto de la educación superior es la certificación de las competencias adquiridas. En la actualidad, parecen indiscutibles los beneficios de una evaluación sumativa de tipo multidimensional, con medios variados de recogida de datos sobre el desempeño competencial de los estudiantes, como traducciones sintéticas, traducciones argumentadas, revisión de traducciones, comparación de traducciones o cuestionarios sobre una traducción (Kelly 2005; Orozco-Jutorán 2006; Martín 2010). Este planteamiento brinda una mirada más amplia sobre el proceso y el producto, algo que no puede lograrse con un examen tradicional exclusivamente (Galán-Mañas y Hurtado 2015; Hurtado y Pavani 2018: 26-27).

3. Descripción de la investigación

En los apartados siguientes describimos el contexto académico de la investigación, así como los objetivos y la metodología del estudio.

3.1. Contexto académico

La investigación se enmarca en el Grado en Traducción e Interpretación de la Universidad Pompeu Fabra de Barcelona (España) y, más concretamente, se centra en las creencias respecto a la evaluación que tienen los estudiantes de las asignaturas (obligatorias u optativas) de traducción. Estas materias se imparten a lo largo de cuatro cursos y tienen por objetivo principal la adquisición y el desarrollo de la competencia traductora general o especializada. Los estudiantes traducen desde el inglés, el francés, el alemán o la lengua de signos catalana hacia el catalán y el español.

La docencia de estas asignaturas es trimestral, con alternancia de sesiones plenarias (o «grupo grande») y sesiones en grupo reducido (o «seminario»). El número de grupos grandes y seminarios que se despliegan en cada una depende del volumen de matriculados y la combinación lingüística, por lo que también es diverso el número de docentes que participan en ellas y su perfil, que puede ser académico o profesional. El responsable último de la asignatura siempre es el profesor que tiene asignado el grupo grande, que se encarga del diseño, la planificación, el seguimiento y la evaluación de la asignatura, así como de la coordinación de todos los profesores implicados.

Los profesores responsables de asignatura deben publicar antes de empezar el curso un Plan Docente de Asignatura (PDA) con la siguiente información: presentación, competencias asociadas (generales y especificas), resultados de aprendizaje, prerrequisitos, contenidos, metodología docente, evaluación (actividad, ponderación sobre la nota final, posibilidad y forma de recuperación), bibliografía y recursos de información. El grado de especificación de cada ítem depende del docente.

La información sobre la evaluación que se explicita en el PDA de las asignaturas se corresponde con las directrices plasmadas en el proyecto EDvolución de la Universidad Pompeu Fabra:

El modelo de evaluación de la Universidad Pompeu Fabra se basa en la evaluación continua y centrada en el estudiante, lo que implica que el estudiante hace diversas actividades evaluables a lo largo del trimestre, y que recibe retroacción de estas actividades también a lo largo del trimestre. Las actividades evaluables de las asignaturas combinan de forma equilibrada la evaluación formativa, que permite que el estudiante detecte durante el trimestre las posibles dificultades y las pueda corregir, y la evaluación sumativa, que valora los resultados obtenidos al final de un proceso

Universitad Pompeu Fabra 2018[2]

Desde esta perspectiva, la evaluación continua implica que la calificación de las asignaturas se obtiene mediante «diversas actividades evaluables» a lo largo del trimestre que serán los medios que el docente responsable decida para determinar si se han alcanzado los objetivos de aprendizaje previstos. Es decir, la evaluación continua solo supone el uso de una pluralidad de medios de recogida de información; dependerá de cada docente decidir si esta recogida de información tiene o no un objetivo formativo. El sistema de evaluación que se aplica es, pues, sumativo: cada «actividad evaluable» tiene una ponderación u otra para el cálculo de la calificación final.

Para definir el contexto de la investigación, hemos recopilado todos los PDA de las asignaturas de traducción del grado en Traducción e Interpretación, publicados en la web de la facultad (https://www.upf.edu/web/traduccio/traduccio-i-interpretacio). En total, son 39 PDA que se corresponden con asignaturas obligatorias y optativas de primero a cuarto curso, con las lenguas de partida siguientes: alemán, francés, inglés y lengua de signos catalana; las lenguas meta son el catalán y el español. Todos los informantes están matriculados, como mínimo, en una de estas asignaturas.

Los informantes fueron reclutados aleatoriamente gracias a la contribución de los estudiantes de una asignatura de introducción a la investigación impartida por una de las autoras: cada estudiante de esta asignatura escogió libremente a una persona que dio su consentimiento para ser entrevistada. Las edades de los informantes van de los 18 a los 34 años, siendo la media de 20,2 años. En cuanto al número de créditos cursados, es variable puesto que no todos los informantes estaban en el mismo curso; como la entrevista tuvo lugar durante el segundo trimestre del curso académico, podían haber superado entre 20 y 200 créditos ECTS.

Globalmente, los PDA muestran que casi en el 75% de las asignaturas, la evaluación continua se corresponde, como mínimo, con el 50% de la calificación final. Únicamente en 10 asignaturas de las 39 analizadas (26%) se otorga a la evaluación continua un porcentaje inferior al 50%.

Cabe señalar, finalmente, que en la Universidad Pompeu Fabra no existe la posibilidad de que el estudiante se acoja a una evaluación única, con un examen final como medio exclusivo de calificación, una opción que sí se contempla en otras universidades españolas.

3.2. Objetivos y metodología

El corpus recogido para esta investigación está formado por 46 entrevistas semidirigidas a estudiantes del grado en Traducción e Interpretación, que se desarrollaron durante el curso 2020‑2021 (cf. anexo 1). La mayoría de los entrevistados se encontraba en el tercer curso del grado (28 estudiantes) o en cuarto (11 estudiantes), mientras que los 7 restantes se repartían entre primero y segundo. Todos tenían el inglés como lengua adicional; además, cursaban francés, alemán o lengua de signos catalana. Las entrevistas fueron grabadas y transliteradas. Los informantes, que conocían el objetivo de la actividad, dieron su consentimiento para ser grabados. La duración total de las grabaciones alcanza las 6,52 horas.

Hemos analizado las entrevistas con el programa QDA [Qualitative Data Analysis] Atlas-ti, mediante la técnica conocida como análisis de contenido, que Krippendorf (2004) define en estos términos: «Content analysis is a research technique for making replicable and valid inferences from texts (or other meaningful matter) to the contexts of their use» (Krippendorff 2004: 18).

Las preguntas de investigación que nos proponemos responder son las siguientes:

  1. ¿Qué percepciones tienen los estudiantes de los sistemas de evaluación aplicados en las asignaturas de traducción?

  2. ¿Qué percepciones tienen sobre cómo corrigen y/o evalúan sus traducciones los docentes?

  3. ¿Qué percepciones tienen sobre la retroalimentación que reciben?

  4. ¿Cómo perciben los estudiantes la subjetividad inherente a la evaluación de traducciones?

  5. ¿Cuál es su valoración global de los procesos de evaluación en las distintas asignaturas?

En el siguiente apartado estudiaremos los datos recogidos según la metodología expuesta para tratar de responder de forma preliminar a las preguntas de investigación. Citaremos las palabras de los informantes sin modificar las transliteraciones obtenidas, sin corregir tampoco los posibles errores de normativa y/o expresión.

4. Resultados: las percepciones de los estudiantes

Abordaremos seguidamente la cuestión más general, esto es, las creencias o percepciones que manifiestan los estudiantes respecto a los procesos de evaluación de las asignaturas cursadas y, a continuación, centraremos la atención en tres aspectos concretos dentro del marco general de los procesos de evaluación: la corrección, la retroalimentación y la subjetividad, para concluir con la valoración global que expresan los estudiantes.

4.1. Sistema de evaluación

Como se ha mencionado ya, la Universitad Pompeu Fabra promueve un sistema de evaluación continua donde se considera el uso de distintos medios para evaluar, sin descartar que uno o más de esos medios sea un examen. El análisis de los PDA revela que, para determinar los niveles de logro de los estudiantes, lo más habitual es recurrir a dos o tres prácticas[3] calificables, que pueden hacerse dentro o fuera del aula, junto con un examen final. Algunas asignaturas incluyen en clase, control de asistencia y participación en el aula, o ejercicios de traducción a la vista. En los últimos cursos del grado se proponen también defensas de traducciones, traducciones comentadas y presentaciones orales en clase sobre temas diversos. Sin embargo, los estudiantes no mencionan estos medios para evaluar y centran su atención exclusivamente en las prácticas calificables y el examen final.

4.1.1. Evaluación continua

Todos los estudiantes se muestran favorables a la inclusión de la evaluación continua tal y como acabamos de describirla. Los argumentos esgrimidos para sustentar esta percepción positiva son diversos. En primer lugar, mencionan la organización trimestral de la universidad, que asocian a una carga de trabajo importante: «después de ver cómo funcionan en esta universidad (…), yo creo que es mucho mejor una continua porque yendo por trimestres nos exigen tanto trabajo que, al final, el examen final es lo menos importante», indica [E27][4].

En este sentido, un volumen de trabajo considerable repartido de manera equilibrada durante tres trimestres les parece uno de los factores que inclinan la balanza a favor de la evaluación continua.

En segundo lugar, consideran adecuado este sistema de evaluación por el carácter práctico del grado y, en particular, de las asignaturas de traducción, ya que «la traducción es un trabajo que se basa en la práctica» [E15]. De esta percepción se desprende que los estudiantes consideran la teoría como un aspecto de menor peso en estos estudios, una opinión que parece coherente con la información de los PDA, donde muy pocas asignaturas mencionan preguntas teóricas en los exámenes o en las prácticas. Asimismo, los estudiantes establecen una oposición entre asignaturas teóricas, para las cuales un examen podría ser un instrumento de evaluación adecuado, y asignaturas prácticas, como las materias de traducción que hemos analizado:

En una carrera de traducción (…) no tiene sentido la evaluación única, más que nada porque, (…) ¿cómo vas a demostrar todo lo que has aprendido en un examen? Entonces, yo pienso que la continua es lo mejor, al final.

E29

Las críticas a los exámenes también inciden en su dependencia de factores personales y circunstanciales como el nerviosismo, la presión, el estrés o la falta de concentración, por lo que los estudiantes consideran más «justo» contar con diferentes notas para la calificación final de la asignatura: «Yo creo que lo más importante es el trabajo diario (…), realmente es lo más justo» [E41].

En general, las opiniones de los estudiantes revelan dos grandes tendencias en su percepción positiva de la evaluación continua. Por un lado, la relacionan con mayores posibilidades de éxito:

Yo, evaluación continua porque en la [evaluación] única te lo juegas todo a un solo examen y en la continua, tal vez, si un examen parcial o una práctica la tienes suspendida, la otra la puedes aprobar y puedes remontar.

E1

Y, por otro lado, aunque se trata ciertamente de una tendencia minoritaria, hay estudiantes que la vinculan con su aprendizaje:

La [evaluación] continua quizás tiene la ventaja de que, al estar más ligada al trabajo que se va haciendo día a día… Tiene dos ventajas, tal vez. Por un lado, está más estrechamente ligada con el progreso y con el trabajo que se va haciendo. Y el alumno la percibe como más (…) más integrada en su formación. Y tiene más sentido desde el punto de vista formativo.

E16

Estos estudiantes ponen el foco en la dimensión formativa de la evaluación continua y conciben el aprendizaje como un proceso donde va adquiriéndose conocimiento de manera gradual.

4.1.2. Examen

34 de los 39 PDA analizados contemplan el examen como uno de los distintos medios de evaluación continua. A menudo consisten en traducciones escritas de textos o fragmentos textuales, que se realizan de forma presencial en el aula. Asimismo, pueden incluir alguna pregunta teórica sobre problemas de traducción del propio texto o bien sobre algún fenómeno trabajado en clase, como ilustra este fragmento:

A menudo tenemos un par de prácticas o tres donde se ha hecho una traducción de diferentes tipologías de textos y, entonces, hay un examen donde nos preguntan cuestiones que se han comentado en clase o problemas de traducción que hemos tratado en seminario o en clase y entonces un texto que lo podemos traducir o bien con recursos o bien sin, depende de la asignatura.

E2

La mayor parte de los PDA no detalla las características del examen, como tampoco se describen en este documento los recursos de los que podría disponer el estudiante para hacerlo. Cuando el docente sí incluye esta información, se observa que en un 25,6% de las asignaturas se permite el uso de recursos (por lo general, un diccionario monolingüe o bilingüe en papel) y solo en 2 asignaturas se prohíbe expresamente la consulta de materiales. Los estudiantes mencionan en las entrevistas la variabilidad de las situaciones de examen:

Por ejemplo, yo he hecho exámenes con ordenador, que tienes acceso pues a todo. Puedes buscar tanto en el diccionario, como en textos paralelos, etc. Y, por tanto, digamos que es más exigente la puntuación porque tienes acceso a más cosas. Y en cambio, he hecho exámenes que son sin diccionario y en papel, y se basan en tus conocimientos del idioma y de lo que hayas trabajado en clase.

E42

En general, los estudiantes relacionan un mayor nivel de exigencia con los exámenes donde se permite acceder a fuentes de información y documentación, mientras que cuando carecen de recursos, consideran que los docentes se muestran «un poco más benévolos» [E46] en sus juicios.

Aunque solo en el 26% de las asignaturas el examen tiene más peso en la calificación final que el resto de medios de evaluación continua, los estudiantes tienden a sobredimensionar su importancia, al afirmar que «lo que tiene más peso es el examen final, en la mayoría de los casos» [E42].

4.2. Sistema y criterios de corrección

Antes de seguir exponiendo los resultados del análisis, es preciso concretar algunos de los términos que emplean los estudiantes en las entrevistas. A menudo, «evaluación» y «corrección» son empleados como sinónimos: el estudiante puede entregar al docente la traducción de un texto para «ser corregido» (más concreto), pero raramente dicen para «ser evaluado» (más general). Lo que el docente hace con los textos es variable: puede limitarse a indicar los errores (marcándolos de algún modo), puede corregirlos aportando una «versión correcta», puede valorar positivamente determinadas soluciones y resumir (o no) su valoración con una calificación (una nota). Los estudiantes consideran «retroalimentación» todas las intervenciones que el docente incluye en el texto que le ha sido entregado. También puede darse el caso que la «corrección» se produzca en el aula; en este caso se comentan oralmente entre todos los participantes las distintas posibilidades de traducción del texto y se valoran de forma conjunta.

Numerosos estudiantes afirman que el sistema de corrección de las traducciones que entregan se basa esencialmente en la penalización de los errores, que van restando puntos de la calificación final según su gravedad, como expresa [E38]:

Las faltas leves, como pueden ser de cambios de sentido pero que no se alejan mucho del original, se puntúan más bajo y, luego, las faltas graves, como son las de ortografía o las faltas de sentido más grandes, restan más nota.

E38

En contadas ocasiones, las soluciones más adecuadas reciben una valoración positiva que incrementa la nota, aunque según los estudiantes, «cuesta mucho que algo sume» [E32], una circunstancia que no les agrada.

Las correcciones que reciben no siempre resultan útiles para el proceso de aprendizaje, porque no siempre saben interpretarlas:

Las correcciones (…) no me suelen ser útiles porque creo que no están muy explicadas. Te marcan algo que no es natural, pero ni te proponen una solución. Y a veces no sabes ni por qué te han marcado que eso no es natural.

E32

Como los PDA no suelen incluir información sobre los criterios de evaluación que aplicarán los docentes, parece razonable pensar que los estudiantes accederán a esta información por otras vías (aula virtual de la asignatura, calendario semanal de actividades o información transmitida oralmente en las clases). Sin embargo, se lamentan de una cierta falta de transparencia a este respecto, puesto que afirman no conocer los criterios hasta que sus producciones son calificadas por primera vez:

Los criterios de evaluación, hay veces que tú haces una práctica o una traducción y no sabes demasiado qué reglas seguirá [el/la docente] hasta que ya te ha evaluado. Normalmente, hay que esperar una traducción o una práctica para saber cómo te evalúa, qué quiere exactamente (…) deberían dejarlo más claro desde el principio o bien colgando algún documento explicando cómo lo corregirían o bien explicándolo en clase. Para dejarlo más claro o que se entendiera mejor, si lo explican.

E11

A pesar de todo, la mayoría son capaces de identificar unos criterios generales que se repiten en las distintas materias de traducción y confieren una cierta homogeneidad a la evaluación: comprensión del texto original, fidelidad, coherencia y cohesión del texto traducido, y corrección ortográfica. Estos elementos pueden resumirse en aquellos aspectos relacionados con la adecuada comprensión del texto original y la reexpresión del sentido en el texto meta, como sintetiza [E16]:

Hay profesores que tienen rúbricas y las muestran antes, incluso, al alumnado. Y cuando lo hacen, bueno, son rúbricas que normalmente evalúan, por un lado, todo lo que tiene que ver con el traslado del sentido de una lengua a la otra o el traslado de los rasgos culturales, es decir, las relaciones entre una y otra lengua. Y, por otra parte, siempre evalúan lo que tiene que ver con la expresión en la lengua de llegada.

E16

Sin embargo, a pesar de estos criterios generales, los estudiantes mencionan factores que contribuyen a su variabilidad: el tipo de texto, el grado de especialización de la traducción o la combinatoria lingüística de trabajo. A modo de ejemplo, los estudiantes mencionan la exigencia de mayor rigor terminológico en la traducción especializada con respecto a la traducción literaria, donde suelen valorarse más aspectos como la creatividad.

4.3. Retroalimentación

De acuerdo con los informantes, los procesos de retroalimentación en la práctica docente de las asignaturas de traducción pueden adoptar diversas formas, en función del profesor que imparta la asignatura:

Hay de todo… O sea, hay profesores que sí que te hacen muchos comentarios de lo que está bien, de lo que podrías mejorar y todo eso. Y profes que solo marcan lo que está mal, no te dicen ni por qué, ni nada…

E45

A pesar de esta variabilidad, una práctica bastante habitual parece ser una retroalimentación escrita directa (Washbourne 2014: 242), en la que el docente, una vez identificado el error de traducción, indica al estudiante en el texto una solución adecuada. Sin embargo, los estudiantes perciben como más enriquecedores para su formación aquellos comentarios en los que, además, se incluye una explicación de la causa del error, principalmente porque son conscientes de que esta retroalimentación significativa favorece la adquisición de la competencia traductora:

Depende mucho de cómo te hagan la corrección y de quien te la haga. Porque mira, por ejemplo, una profesora de alemán… […]. Esa profesora cuando te corrige te explica por qué te has equivocado, por qué ella lo pondría de otra forma, y no te sabe mal que te corrija, no te sabe mal haberte equivocado porque la corrección te la hace muy bien y de verdad aprendes con esa corrección.

E10

Algunos estudiantes muestran un nivel de reflexión más profundo, al señalar las limitaciones de la mera corrección de errores (marcar las propuestas de traducción incorrectas y/o aportar una solución válida) para el desarrollo del aprendizaje y subrayan la necesidad de recibir información sobre su nivel de dominio competencial en las actividades evaluables:

Sí que creo que se debería integrar, en algunos casos, concretos, un poco la valoración de qué competencias son las que no se ha llegado a demostrar que se dominan en los exámenes y en los trabajos. Porque si sólo se utiliza la corrección de errores, pasa eso, que el alumno no siempre sabe cómo arreglarlo.

E16

Además de incidir en la identificación de debilidades y en la mejora del aprendizaje, los estudiantes también perciben que una retroalimentación rica les ayuda a saber cómo actuar en situaciones similares que se les presenten en un futuro: «es a partir de los errores como se aprende, así que siempre te servirá para futuras traducciones», indica [E37]. Este tipo de retroalimentación que permite entender cuál es el problema de traducción, qué debe hacer y por qué para resolverlo contribuye a que el estudiante interiorice la información proporcionada por el docente y sepa aplicarla a problemas similares que le puedan surgir en otros contextos. En este sentido, los estudiantes consideran que cuando el docente ofrece una traducción «modelo», más centrada en el texto que en el proceso de aprendizaje, no está favoreciendo la autonomía del aprendiz, como señala [E24]:

Yo soy más de este tipo de corrección con feedback, que el profe se lo lleve a casa, se lo lea, lo corrija y te diga: «Aquí, esto bien; cuidado con esto», que te diga un poco también su opinión y qué piensa, porque el profesor al final es una persona que se dedica a esto, que tiene bastante más experiencia que los alumnos que estamos aquí estudiando y, bueno, para mí, las opiniones siempre me sirven más que no un texto que me dé, que a lo mejor lo tengo todo del revés, todo diferente de aquel texto, pero que podría estar bien también.

E24

Además de la función orientadora que perciben en la retroalimentación del docente, los estudiantes aprecian poder reforzarla de forma conjunta en el aula, por lo que reconocen como positivo el papel fundamental de la interacción en la construcción del conocimiento:

Porque siempre está bien tener un feedback de tu trabajo, ¿no?, de lo que has hecho. Aunque, si luego se hace una corrección conjunta en clase, pues aún mejor porque así, en mi opinión, queda todo muchísimo más claro.

E6

La interacción les resulta provechosa cuando tiene lugar también en tutorías individualizadas, pues permiten una retroalimentación personalizada. Por otra parte, los grupos reducidos propician la participación de los alumnos en la interacción con el docente:

Traducción es una asignatura donde hay que ir a clase porque son momentos donde se comparten… también depende del profesor y depende de los métodos, pero, en general, se comparten opciones. Entonces, es muy enriquecedor ver una misma frase traducida de quince o dieciséis maneras diferentes y como cada persona lo ha entendido, como cada persona reproduce los fenómenos que estamos tratando. Y también te enseña eso, que las traducciones no son perfectas y que, al final, es como un poco hacer una traducción general, la profesora también da su opinión, eso está claro, pero no siempre es la correcta y, a veces, la cambia. De hecho, las traducciones de modelo que nos entregan, al final, muchas veces sufren modificaciones durante las clases por o gracias a las aportaciones del resto de los compañeros y considero que eso hace que aprendamos todos mucho.

E31

Intervenciones como la de [E31] ponen de relieve el valor que otorgan los estudiantes a la construcción del conocimiento en cooperación y al aula de traducción como espacio social de diálogo y aprendizaje (Mercer, 2004).

4.4. Subjetividad y evaluación

Los estudiantes son plenamente conscientes de la dificultad que supone corregir y/o evaluar una traducción, que atribuyen al carácter subjetivo de esta actividad:

Creo que el trabajo de traducir, igual que el de corregir traducciones es un trabajo complicado, ya que por más que haya unos criterios, nunca se perderá este punto de subjetividad. Ya que, además, cada traductor tiene sus maneras de expresarse y sus maneras de construir las frases.

E15

A este factor añaden la falta de criterios y modelos universales para corregir y evaluar una traducción. Ello explica, en su opinión, que los docentes apliquen criterios propios en unas correcciones que inevitablemente acaban siendo personales:

Bueno, desde mi punto de vista, igual es un poquito arriesgarme decirlo, pero considero que es una evaluación bastante subjetiva por parte del profesorado, a veces. No digo que quien tenga que evaluar esto sea poco profesional, pero sí que pienso que a veces el punto de vista de una persona a la hora de evaluar una traducción como ejercicio creativo, sí que puede influir bastante.

E21

Aunque ven como algo inevitable que las evaluaciones se contaminen de ese punto de vista personal, los estudiantes no dudan de la profesionalidad de los docentes. Sin embargo, reivindican el valor de las soluciones por las que optan en las traducciones y reprochan a los docentes que no siempre las tomen en consideración, pues la versión del profesor se convierte en modelo de validez:

Creo que a veces es un poco injusto el hecho de que los profesores imponen su criterio o lo que ellos utilizarían como traducción, sin evaluar quizás si nuestra solución es válida. Es decir, a veces prefieren que actúes como ellos y creo que no son objetivos con los alumnos.

E2

De opiniones como la de [E2] podría inferirse que los estudiantes no reciben suficientes explicaciones sobre sus errores, una crítica recurrente como ya hemos visto. La afirmación «prefieren que actúes como ellos» tiene por consecuencia que el estudiante acaba adaptándose a la forma de traducir del profesor. De ahí que, a menudo, prima «contentar» al docente para aprobar la asignatura y no tanto avanzar en el proceso de aprendizaje: «yo, por ejemplo, no hago ninguna traducción igual. Yo, depende de la asignatura, hago un tipo de traducción u otra, porque sé cada profesor qué tipo de traducción quiere» [E36].

A pesar de criticar la primacía de la versión del docente como vara de medir, los estudiantes reconocen el valor de sus aportaciones, por tratarse de profesionales con conocimiento y experiencia, y las erigen en modelos de actuación válidos:

También hay una parte que es muy subjetiva, que depende de lo que le guste al profesor, pero bueno. Esto puede parecer un poco abstracto, pero sí es verdad que son personas con experiencia y, en general, tienen criterios que, aunque sean subjetivos, son buenos y no son nada… que no tengan sentido, es decir, todo lo que traducen, aunque se basen en su propio criterio, tiene un sentido.

E43

Finalmente, algunos estudiantes agradecen disponer de una traducción con comentarios del docente como referencia, por lo que, como vemos, prefieren tener cuantas más «miradas» posibles sobre su trabajo, y completar este modelo con otras versiones también adecuadas para alcanzar una visión de su desempeño lo más amplia posible.

4.5. Valoración global: ¿satisfechos o insatisfechos?

Los estudiantes se muestran globalmente satisfechos con el sistema de evaluación que se aplica en las asignaturas estudiadas («lo veo bien así» [E6]; «yo, personalmente, no cambiaría nada» [E1]; «sí que es verdad que hay cosas que se podrían hacer mejor, pero en general estoy bastante satisfecha» [E20]). Consideran que tanto el sistema de evaluación como las correcciones que reciben los ítems calificables son «justos» [E37].

La idoneidad del sistema de evaluación se vincula, en todos los casos, con las calificaciones obtenidas, puesto que ninguno de los entrevistados alude a su relación con el proceso de aprendizaje. Entre los aspectos más valorados, destaca el número elevado de actividades evaluables que, además de ayudar a superar la asignatura, como ya hemos comentado, refleja el ritmo de trabajo de los traductores profesionales:

En general, me gusta en el sentido de que se hacen muchos exámenes y se entregan muchos trabajos. O sea, se hacen muchas de ambas cosas y eso me gusta. Hay que hacer muchas cosas para estar acostumbrado a… bueno, al ritmo de trabajo de la vida profesional.

E16

Consideran provechoso para su formación un ritmo intenso de trabajo porque les ayuda a familiarizarse con los plazos ajustados del mundo laboral. Algunos incluso llegan a establecer una relación entre el hecho de verse sometidos a criterios y sistemas de evaluación diferentes y lo que les ocurrirá cuando ejerzan como traductores profesionales:

Creo que está bien, porque en la vida real, en el mundo profesional, también habrá gente que valorará más un tipo de aspecto, gente que valorará más otro tipo de aspecto… y, bueno, yo considero que está bien porque así si ya te has encontrado con anterioridad un poco de todo, siempre ayuda a que el día de mañana, cuando salgas a trabajar y encuentres un trabajo, entenderás mejor por qué te pueden decir unas cosas y por qué te dicen otras.

E24

A pesar de todo, algunos expresan percepciones negativas que se corresponden con tres temas generales: los exámenes, la evaluación continua y la actuación de los docentes en la evaluación. En cuanto a los exámenes, la imposibilidad de utilizar recursos de consulta en el examen final de la mayoría de asignaturas es, con diferencia, la cuestión que suscita mayor rechazo, como expone [E22]:

Con esto no estoy muy de acuerdo porque realmente yo creo que deberíamos poder utilizar recursos externos (…) precisamente nos están preparando para ello. Tenemos asignaturas que tratan de cómo utilizar los recursos que necesitamos y que, profesionalmente, se utilizan. Por lo tanto, encuentro un poco absurdo que en los exámenes no nos dejen utilizar recursos como diccionarios o bases de datos o Internet directamente porque son fuentes que necesitamos y que son fuentes reales que se utilizan en el mundo real.

E22

Los estudiantes consideran que prohibir el uso de recursos no se corresponde con una situación de traducción real donde saber hacer uso de ellos constituye una parte importante de la competencia traductora.

Algunos estudiantes opinan que la modalidad de examen consistente en una traducción y un número variable de preguntas sobre el texto o sobre cuestiones teóricas tratadas en el aula no evalúa adecuadamente la adquisición de la competencia traductora. Tampoco que el texto no tenga la extensión que ellos consideran adecuada:

Creo que no es suficiente para evaluar en un examen un pequeño texto para saber cuál es tu capacidad traductora, o si nos preguntan cuestiones que hemos hecho en clase creo que es una buena forma de evaluar si hemos ido a clase o no, pero no está evaluando tu capacidad traductora, sino las cuestiones trabajadas en clase.

E2

Por lo tanto, los datos sacan a relucir la creencia de algunos estudiantes según la cual un examen en una asignatura de traducción ha de evaluar exclusivamente la adquisición de la competencia traductora mediante una traducción y no puede abordar otras competencias como la capacidad de analizar y resolver de forma razonada problemas de comprensión, divergencias lingüísticas o culturales, que también suelen contemplarse habitualmente en los PDA, sobre todo en los cursos finales del grado.

En el 30% de las asignaturas se impone el requisito de aprobar el examen para superarla. A pesar de que el porcentaje es bajo, constituye otra de las características del sistema de evaluación que mayor rechazo suscita: «pienso que es una tontería hacer evaluación continua para después tener que aprobar sí o sí los exámenes para pasar la asignatura. Al fin y al cabo, es como si fuera evaluación única», afirma [E13].

De algún modo, este requisito resta importancia al resto de medios de evaluación continua, a pesar de que el porcentaje de estos últimos sea mayor en el cómputo de la calificación final. Los medios de evaluación continua suelen ser mayoritariamente traducciones que los estudiantes realizan fuera del aula. El esfuerzo que implican, en opinión de algunos, no siempre se traslada al peso que tienen en la calificación final. El estudiante [E48], por ejemplo, expresa insatisfacción porque se atribuye la misma ponderación a prácticas que no implican la misma carga de trabajo:

A veces me ha parecido descompensado la proporción de nota que suponía una traducción con el trabajo que suponía una traducción. Es decir, hay veces que una traducción de una página valía un 30% de la nota, pero a la vez una traducción de 10 páginas también contaba un 30% de la nota. Y creo que en este sentido esto estaba desproporcionado.

E48

La organización de las asignaturas, propia de la facultad en la que estudian los informantes, con grupos plenarios a cargo de un docente y grupos reducidos a cargo de otros docentes, también provoca alguna disfunción en la evaluación. El estudiante [E31], por ejemplo, se lamenta de una supuesta desigualdad en función de los docentes responsables de los dos tipos de sesiones de clase, una desigualdad con incidencia directa en las calificaciones:

He tenido (…) dos asignaturas, en la que el profesor de grupo grande y el profesor de seminario tenían maneras de hacer muy, muy variadas y, entonces, parece que cuesta más seguir una única línea. Hay un poco esta división, el dilema de «tengo que entregar una traducción en el seminario que se tendrá que adaptar a mi profesor de seminario y será diferente que la traducción que hemos visto en grupo grande». Y, a aparte de esto, los profesores cuentan con todo lo que han explicado de cara a la evaluación de los exámenes, por lo tanto, se crea como una especie de pequeña ventaja entre los grupos de seminario que tienen el profesor de grupo grande.

E31

En general, los estudiantes prefieren tener en el grupo reducido al docente del grupo plenario, para poder acceder a todos los contenidos que se evaluarán posteriormente. Además, el tener un único profesor no les obliga a tener que «adaptarse» a las diferentes maneras de traducir de los distintos profesores que, como ya hemos mencionado, pueden tomar su versión de la traducción como único modelo válido.

5. Discusión

El análisis de los datos nos permite dar una primera respuesta a nuestras preguntas de investigación. En primer lugar, nos hemos interesado por las percepciones de los estudiantes sobre los sistemas de evaluación de las asignaturas de traducción que cursan o han cursado. Del análisis del contexto, se desprende que la evaluación continua se contempla en todas las asignaturas. Esto coincide con las orientaciones de los expertos, que apuntan a la necesidad de utilizar más de un medio de evaluación para obtener información contrastada de cada alumno (Lafitte 1993 o Martínez-Melis 2001, citados en Orozco-Jutorán 2006; Kelly 2005 o Hurtado y Pavani 2018). Los estudiantes lo valoran positivamente porque les facilita aprobar la asignatura y, lo que es más importante, les ayuda a avanzar en su proceso de adquisición de la competencia traductora.

Paralelamente, la mayoría de las asignaturas contemplan un examen final entre los medios para evaluar, pero sólo en el 26% de ellas tiene mayor peso en la calificación que el resto de actividades de evaluación continua. Sin embargo, los estudiantes sobredimensionan su importancia siguiendo así la tendencia social generalizada que señala Díaz (1994) cuando afirma que el examen aparece como un espacio «sobredeterminado». Incide en esta percepción el hecho de que, a menudo, el examen es un requisito para aprobar la asignatura. Ello enlaza con la idea de que algunos docentes siguen considerando el examen final como la prueba privilegiada para evaluar la adquisición de la competencia traductora, de acuerdo con la creencia general según la cual el examen ofrece un conocimiento «objetivo» sobre el saber de cada estudiante (Díaz 1994: 163).

Asimismo, el examen se realiza en unas condiciones temporales y materiales distintas de las demás actividades de traducción, y ello implica que los estudiantes critiquen no poder utilizar los recursos que emplean habitualmente para traducir. Consideran estas condiciones excesivamente alejadas de los escenarios profesionales a los que se van a incorporar. Coinciden, por lo tanto, con los resultados de Li (2006), quien constató que los estudiantes de traducción criticaban que sus programas de formación no reflejaran la realidad del mercado laboral.

En segundo lugar, nos hemos interesado por cómo perciben los estudiantes la corrección de las traducciones calificables por parte de los docentes y los criterios que estos aplican. Como hemos visto, los PDA son documentos públicos que sintetizan los aspectos principales de las asignaturas, por lo que no incluyen información detallada sobre los criterios de evaluación. Los datos no permiten afirmar que estos criterios se comuniquen de forma sistemática en el aula y ello comporta que los estudiantes aludan a una cierta opacidad. Aunque algunos de los criterios son compartidos por la mayoría de los docentes, los estudiantes perciben una gran variabilidad entre profesores. Esta percepción coincide, pues, con la ingente cantidad de investigadores que considera la subjetividad como el problema fundamental de la evaluación de traducciones (Conde 2008: 71-76). El problema que se plantea podría resumirse en estas palabras de House (1997): «Different views of translation lead to different concepts of translation quality and hence different ways of assessing it» (House 1997: 1). Esta circunstancia genera procesos de adaptación a las preferencias de los docentes que deberían ser estudiados para ver si contribuyen a mejorar las habilidades traductoras de los estudiantes.

Por otra parte, el error sigue siendo central en la evaluación, corrección y calificación de las traducciones. Esta actitud «punitiva» de los docentes es percibida negativamente por los estudiantes que reclaman que no sólo se les marquen los errores, sino que también se justifiquen y se propongan orientaciones para mejorar su competencia traductora.

En una concepción de la evaluación como la que hemos defendido en este trabajo (cf. §2, supra), los criterios de evaluación –entendidos como una descripción precisa de los parámetros que se valoran positivamente en una actividad de aprendizaje– son imprescindibles para facilitar una mejor resolución de la tarea y, por lo tanto, deben ser explicitados desde el principio. Si los docentes se limitan a aportar modelos y señalar y/o corregir errores, los alumnos serán excesivamente dependientes de ellos y difícilmente alcanzarán el control de su propio proceso de aprendizaje (Kartchava 2016).

En tercer lugar, hemos indagado en la percepción de los estudiantes sobre la retroalimentación que reciben y hemos constatado que reclaman una retroalimentación significativa, precisa y ajustada a sus necesidades, tanto en las traducciones corregidas como en el aula. Además, el retorno del docente debería ser contingente, a saber, una interacción dialógica en la que se guie a los estudiantes en su razonamiento para que ellos mismos logren establecer conexiones entre los conocimientos previos y los nuevos, en un proceso interactivo de construcción del conocimiento. En palabras de Van Lier (1996: 174): «Contingencies draw upon what we know and connect this to what is new. It is this part of the essence of learning».

Los informantes también intuyen que una retroalimentación rica promueve aprendizajes significativos que son capaces de aplicar después a situaciones diferentes de las trabajadas en el aula y con un nivel distinto de complejidad. Ello implica que perciben que aprenden cuando poseen capacidad de transferencia (Sanmartí 2020: 103).

Estas preferencias sobre la retroalimentación coinciden, en esencia, con los resultados del estudio de Neunzig y Tanqueiro (2005) y con los postulados de base constructivista de Kiraly (2000). Resulta necesario, pues, como señala Pietrzak (2014), promover la contribución activa de los estudiantes de modo que se genere la co-construcción de conocimiento y se fomenten los procesos de autorregulación, indispensables para su futuro como traductores profesionales.

Finalmente, hemos sondeado el grado de satisfacción de los estudiantes con los sistemas de evaluación que se aplican en las asignaturas estudiadas. La satisfacción generalizada que han manifestado parece vinculada, sobre todo, a las calificaciones que reciben[5] y al sistema de evaluación de las distintas asignaturas, que les «obliga» a un trabajo continuado, cercano a sus condiciones profesionales futuras. También es relevante constatar la confianza que depositan en los docentes, considerados todos como profesionales expertos.

6. Conclusiones

Nuestra investigación contribuye al desarrollo de la didáctica de la traducción mediante un estudio empírico centrado en las creencias de los estudiantes sobre el proceso de enseñanza-aprendizaje de la traducción. La novedad del trabajo es precisamente analizar los procesos de evaluación como parte indisoluble del proceso de enseñanza-aprendizaje y hacerlo a través de la mirada de los aprendices, desde un enfoque cualitativo de investigación.

De los datos se extraen conclusiones pertinentes para orientar futuras investigaciones. En primer lugar, hemos constatado que la heteroevaluación es predominante y que el docente continúa asumiendo el control del proceso. Las actividades de coevaluación y de autoevaluación son claramente minoritarias, aun cuando, como señala Kiraly (2000), es imprescindible que la responsabilidad de la evaluación sea compartida si se persigue el empoderamiento de los futuros profesionales. Con todo, cabe recordar que para ello es imprescindible que el docente aporte al aula los instrumentos de mediación adecuados: criterios claros y detallados y una retroalimentación de calidad (tanto oral como escrita), puesto que, como afirman Wanner y Palmer (2018), autoevaluación y coevaluación exigen un diseño y una aplicación elaborados para ser herramientas eficaces en los procesos de evaluación formativa.

Los datos muestran la necesidad que tienen los estudiantes de recibir más y mejor retroalimentación, ya que gracias a ella pueden progresar en la adquisición de la competencia traductora. Es indispensable, pues, que la investigación en didáctica de la traducción se ocupe de describir las características de este procedimiento, especialmente el papel que desempeña la retroalimentación formativa en la transferencia de los aprendizajes. Como afirma Washbourne (2014: 252): «If feedback in translation studies is to move past its present teacher-oriented, intuition-based and remediative conceptions, we need to systematise this aspect of assessment through the study of empirical data». Paralelamente, también nos parece importante seguir profundizando en la incidencia de la retroalimentación en el progreso de los estudiantes, siguiendo la línea apuntada por Neunzig y Tanqueiro (2005): «[There is] lack of a research tradition on the teacher’s role in translator training and the absence of work analysing the effect of teacher feedback in translation studies».

Hemos constatado también que, en el marco de la evaluación, los futuros traductores valoran muy positivamente las discusiones que tienen lugar en el aula a partir de sus propuestas de traducción. Este tipo de dinámica de enseñanza-aprendizaje es muy habitual en el aula de traducción, pero no parece haber suscitado un interés prioritario por parte de los investigadores. Por lo tanto, es preciso profundizar en los procesos de interacción que posibilitan la construcción conjunta del conocimiento entre docentes y discentes, para aumentar así el conocimiento de cómo se adquiere y se desarrolla la competencia traductora.