Recursos sobre evaluación en la enseñanza/aprendizaje de lenguas

El Language Acquisition Resource Center y el Center for Advanced Language Proficiency Education and Research (CALPER) de la Pennsylvania State University están organizando una serie de webinars dedicados a la evaluación en la enseñanza y aprendizaje de LE. Todos los webinars hasta la fecha están disponibles en un canal en vimeo. Además en la web del LARC hay otros materiales adicionales (presentaciones, documentos, audios de las sesiones, etc.) sobre cada webinar.

El programa cubre bastantes los aspectos de la evaluación: evaluación de destrezas, evaluación formativa, rúbricas, etc. Un recurso útil en vista de que la evaluación es quizá uno de los puntos más desantendidos de la formación del profesorado de lenguas.

Anuncios

Propuestas de evaluación en cursos abiertos

Recopilación sobre el tema de la evaluación abierta.

  1. Diego Leal publica un borrador acerca de las actividades de evaluación de los cursos abiertos que ha diseñado y facilitado. La propuesta de Leal se basa en modelos de madurez y en una propuesta mixta de evaluación sumativa y formativa. Hay una autoevaluación que se hace a través de una rúbrica al inicio y al final del curso para ver la evolución experimentada durante el curso. Hay un producto final que es evaluado por el docente. Y también se rastrea la contribución de cada participante al grupo a través de las entradas y comentarios en blogs.
  2. Luz Pearson recoge varias formas de evaluación que ha puesto en práctica en diferentes cursos. Ofrece varios ejemplos de evaluación entre pares, plantea la dependencia que tienen los alumnos de la evaluación del docente como experto y lo más interesante es que recoge un ejercicio de evaluación del profesor por parte de los alumnos que tienen que responder en qué medida la labor del profesor ayudó a su proceso de formación. Parte importante de estas propuestas es que se orientan hacia la cohesión del grupo.
  3. Claudia Guerrero habla sobre una experiencia como alumna basada en una especie de meritocracia basada en la evaluación entre pares. Los participantes valoran los aportes de cada uno al aprendizaje de los demás. Los docentes diseñaron un pormenorizado sistema de recuento y recompensas que iba construyendo el “karma” de cada participante. Todo ello fue implementado con una plataforma open source de preguntas y respuestas. También se aportan ejemplos en torno a preguntas y respuestas recompensados por insignias. Muy interesante.
  4. Leigh Blackall proporciona ejemplos de evaluación que ha llevado a cabo en diferentes cursos. Los ejemplos se basan en objetos de conocimiento que se hacen públicos en palataformas basadas en commons (wikiversity) y en la evaluación p2p. Todo queda documentado en la red de forma que la evaluación es transparente, verificable y demanda una alta responsabilidad  del docente y del alumno.
  5. Cathy Davidson ha escrito bastante sobre la evaluación como proceso de revisión entre pares (aquí y aquí, por ejemplo). En estas entradas cuenta algunos detalles de cómo lleva a cabo este proceso en el que se da gran libertad a los alumnos no sólo para evaluar, sino también para establecer los criterios con los que se va a evaluar. Esto me parece muy importante porque supone entregar la responsabilidad a los alumnos. A veces les damos unos criterios y les pedimos que los apliquen pensando en que están haciéndose responsables de la evaluación cuando en realidad están siendo el brazo ejecutor de lo pensado por otros.
  6. Evaluación basada en el peer review académico. Es una posibilidad para cursos basados en la creación de objetos de conocimiento y orientados a replicar las mismas prácticas que tienen lugar en las comunidades de práctica a la que pertenece la materia que se está enseñando. Por ejemplo, en un curso de ciencias sociales se trabaja en torno a un paper porque la práctica discursiva dominante en ese campo son los papers y se propone una revisión entre pares similar a la que se hace en ese campo. Se puede tomar del procedimiento de cualquier revista y adaptarlo más o menos de acuerdo a las necesidades y objetivos. Puede incluir diversas iteraciones con el fin de mejorar el producto final. En este enlace hay una detallada descripción de un proceso de revisión entre pares y varias referencias en las que se basa. Por supuesto es sólo uno de los ejemplos posibles.

Cosas en común:

  • Evaluación transparente. En muchos casos porque se hace en cursos abiertos donde todo el proceso es público y transparente. Esto implica que cualquiera puede verificar la evaluación.
  • Evaluación que involucra a todos los participantes (profesores, interesados, compañeros) en varios niveles: autoevaluación, heteroevaluación. La evaluación entre pares tiene un gran protagonismo.
  • Predominantemente es una evaluación cualitativa y formativa.
  • Microevaluación realizada a través de la valoración de microtareas de los pares. Se lleva a cabo con insignias, “karmas”, etc. Los participantes acumulan “valor” otorgado por los compañeros y se puede valorar cualquier cosa (el abanico de cosas evaluables es mucho mayor que en la evaluación tradicional).

 

Teacher effectiveness for language learning

Más recursos para profesores de idiomas. Esta vez se trata de la web Teacher Effectiveness for Language Learning Project. Se trata de:

The Teacher Effectiveness for Language Learning (TELL) Project is a collection of products and processes that can be used to enhance the effectiveness of world language teachers. TELL, which emanates from an understanding that student achievement is influenced more by an effective teacher than any other factor, attempts to synthesize work from the general education arena regarding those things that effective teachers do and make that information specific to the work of language teachers. The heart of the TELL Project is the Teacher Effectiveness for Language Learning Framework, which is supported by the TELL Tools.

 

El objetivo de este proyecto es mejorar la calidad del aprendizaje mejorando la calidad de los profesores. Para ello han diseñado un marco de siete dominios: entorno de aprendizaje, planificación, actuación en la clase, evaluación, recursos, colaboración y profesionalidad. Este marco viene acompañado por una serie de recursos que ayudan a comprenderlo, implementarlo y evluarlo. Básicamente estas herramientas son cuadros de evaluación que pueden ser usados en diferentes modalidades de evaluación: autoevaluación, evaluación entre pares, etc. Cada dominio está organizado en torno a una pregunta a la que siguen varios descritores que son una suerte de “buenas prácticas” o “práctica ideal”. Cada uno de estos descriptores están acompañado  de varias referencias bibliográficas donde uno puede encontrar información sobre el asunto en cuestión. Las referencias tienen una clara orientación práctica. Además hay indicaciones sobre diferenes currículos nacionales o estudios de casos (todavía por desarrollar).

Desde mi punto de vista, el proyecto se centra demasiado en estas listas de evaluación y descriptores. Uno tiene más la sensación de estar siendo evaluado que de estar aprendiendo. Por otra parte la cantidad de dominios y descriptores hace que la consulta sea difícilmente abarcable. Por eso creo que puede ser más útil si uno va eligiendo descriptores aislados de los dominios que más le interesen en función de sus preferencias. Otra cuestión a tener en cuenta es que está centrada en la enseñanza de los EE. UU. Las referencias a los currículos nacionales y a las cuestiones de los hablantes de herencia no serán pertinentes en otros contextos.

A pesar de esta visión centrada en la evaluación, puede ser útil para tener una visión amplía de los múltiples aspectos que intervienen en la enseñanza, pensar en ellos y obtener algunas referencias interesantes para abordarlos. Un buen punto de partida para repensar algunos de las cosas básicas de la profesión.

Curso de evaluación

El fin de semana pasado estuve en un curso de evaluación celebrado en el Instituto Cervantes de Budapest a cargo de Joaquín Moreno Artesero. Esto no es, ni mucho menos un resumen, sino más bien unas notas  de lo que más me llamó la atención.

***

¿Necesidad de una examen para evaluar la competencia plurilingüe tal y como se define en el Marco? ¿Sería un examen trans-nivel? Aquí hay un gran tema de investigación y un gran reto: diseñar ese examen para evaluar la competencia plurilingüe.

***

Ítems de comprensión oral

Trabajar directamente con el audio y no con la transcripción.

Esto nos da la posibilidad de tener en cuenta pronunciación sonidos, entoncación, pausas, inflexiones, etc.

Es importante para tener en cuenta la progresión temática del discurso y la interrelación con la entonación (pausas, acentos). Esto que parece tan difícil, se ve intuitivamente si vamos dividiendo el texto en bloques de unos 30 segundos aproximadamente.

Una forma de redactar ítems es ir anotando todo el contenido informativo del texto en frases breves. Esto nos da las unidades informativas del texto. Después se usan esas frases para redactar los enunciados de los ítems reescribiendo las frases anteriores de la forma más clara posible y teniendo en cuenta el nivel de los alumnos.

***

Preparar exámenes tiene que ser un trabajo en equipo. Para evitar que esto se convierta en una discusión sin fin emplear herramientas concretas. Por ejemplo: mapas de ideas de los textos orales y escritos o fichas de validación.

Un mapa de ideas es una lista de las unidades informativas de un texto. Cada lector del texto hace un mapa propio y después se comparan los mapas de los diferentes lectores. Se identifican las unidades informativas comunes. A partir de estas ideas comunes se empieza a trabajar en la redacción de los ítems. Se supera así la subjetividad de la interpretación y trabajar con las partes más ambiguas del texto.

Una ficha de validación es una check list donde se va anotando diferente información sobre el texto (nivel, dificultad, contenido, para qué tipo de preguntas se presta, redudancia y relevancia de la información, género, etc.). Después se hace una puesta en común para tener un punto común desde el que empezar a redactar ítems.

***

El examen como un proceso abierto que siempre puede ser cambiado y mejorado.