Propuestas de evaluación en cursos abiertos

Recopilación sobre el tema de la evaluación abierta.

1. Diego Leal publica un borrador acerca de las actividades de evaluación de los cursos abiertos que ha diseñado y facilitado. La propuesta de Leal se basa en modelos de madurez y en una propuesta mixta de evaluación sumativa y formativa. Hay una autoevaluación que se hace a través de una rúbrica al inicio y al final del curso para ver la evolución experimentada durante el curso. Hay un producto final que es evaluado por el docente. Y también se rastrea la contribución de cada participante al grupo a través de las entradas y comentarios en blogs.
2. Luz Pearson recoge varias formas de evaluación que ha puesto en práctica en diferentes cursos. Ofrece varios ejemplos de evaluación entre pares, plantea la dependencia que tienen los alumnos de la evaluación del docente como experto y lo más interesante es que recoge un ejercicio de evaluación del profesor por parte de los alumnos que tienen que responder en qué medida la labor del profesor ayudó a su proceso de formación. Parte importante de estas propuestas es que se orientan hacia la cohesión del grupo.
3. Claudia Guerrero habla sobre una experiencia como alumna basada en una especie de meritocracia basada en la evaluación entre pares. Los participantes valoran los aportes de cada uno al aprendizaje de los demás. Los docentes diseñaron un pormenorizado sistema de recuento y recompensas que iba construyendo el «karma» de cada participante. Todo ello fue implementado con una plataforma open source de preguntas y respuestas. También se aportan ejemplos en torno a preguntas y respuestas recompensados por insignias. Muy interesante.
4. Leigh Blackall proporciona ejemplos de evaluación que ha llevado a cabo en diferentes cursos. Los ejemplos se basan en objetos de conocimiento que se hacen públicos en palataformas basadas en commons (wikiversity) y en la evaluación p2p. Todo queda documentado en la red de forma que la evaluación es transparente, verificable y demanda una alta responsabilidad  del docente y del alumno.
5. Cathy Davidson ha escrito bastante sobre la evaluación como proceso de revisión entre pares (aquí y aquí, por ejemplo). En estas entradas cuenta algunos detalles de cómo lleva a cabo este proceso en el que se da gran libertad a los alumnos no sólo para evaluar, sino también para establecer los criterios con los que se va a evaluar. Esto me parece muy importante porque supone entregar la responsabilidad a los alumnos. A veces les damos unos criterios y les pedimos que los apliquen pensando en que están haciéndose responsables de la evaluación cuando en realidad están siendo el brazo ejecutor de lo pensado por otros.
6. Evaluación basada en el peer review académico. Es una posibilidad para cursos basados en la creación de objetos de conocimiento y orientados a replicar las mismas prácticas que tienen lugar en las comunidades de práctica a la que pertenece la materia que se está enseñando. Por ejemplo, en un curso de ciencias sociales se trabaja en torno a un paper porque la práctica discursiva dominante en ese campo son los papers y se propone una revisión entre pares similar a la que se hace en ese campo. Se puede tomar del procedimiento de cualquier revista y adaptarlo más o menos de acuerdo a las necesidades y objetivos. Puede incluir diversas iteraciones con el fin de mejorar el producto final. En este enlace hay una detallada descripción de un proceso de revisión entre pares y varias referencias en las que se basa. Por supuesto es sólo uno de los ejemplos posibles.

Cosas en común:

• Evaluación transparente. En muchos casos porque se hace en cursos abiertos donde todo el proceso es público y transparente. Esto implica que cualquiera puede verificar la evaluación.
• Evaluación que involucra a todos los participantes (profesores, interesados, compañeros) en varios niveles: autoevaluación, heteroevaluación. La evaluación entre pares tiene un gran protagonismo.
• Predominantemente es una evaluación cualitativa y formativa.
• Microevaluación realizada a través de la valoración de microtareas de los pares. Se lleva a cabo con insignias, «karmas», etc. Los participantes acumulan «valor» otorgado por los compañeros y se puede valorar cualquier cosa (el abanico de cosas evaluables es mucho mayor que en la evaluación tradicional).

 

participar/querer/poder/colaborar

Diego Leal publicaba hace unos días una entrada reflexionando en voz alta sobre el funcionamiento de una actividad que estaba llevando a cabo. Como muchas de sus propuestas, es una actividad en abierto donde puede participar cualquier y consistía en un grupo de lectura en torno a un artículo de Stephen Downes sobre conocimiento conectivo. La actividad proponía la lectura atenta del artículo, la reflexión en blogs y la participación en sesiones sincrónicas semanales. En un determinado momento, Diego Leal se queda solo porque los participantes abandonan. Este es el contexto que da pie a sus reflexiones.

Estas reflexiones y las respuestas que se ha originado en los comentarios en el blog en twitter y en esta entrada de Luz Pearson, me han hecho pensar y he escrito unas notas que tienen un valor relativo porque yo no he estado participando en la actividad y solo la he seguido muy de lejos y no me siento autorizado a debatir con los participantes. Si me decido a publicarlas es porque me han hecho pensar en cosas que a mí mismo me preocupan y he querido conservar estos pensamientos. Valen, por tanto, más como pensamiento en voz alta que como aportación al debate.

Por supuesto, estas notas no son una evaluación del curso, de los participantes ni del facilitador y hay mucho información que desconozco por lo que, quizá, muchas de las cosas que he escrito no sean muy pertinentes. Insisto en que no habría que tomarlas como un intento de solucionar posibles problemas.

Tiempo

Todo el mundo coincide en el factor tiempo. No hay tiempo. Por más que nos pese, no podemos llegar a todo: trabajo(s), familia, descanso, ocio…

Por otra parte, todos estamos convencidos de lo importante que es la formación. Mejorar la capacitación, aprender en el trabajo, la formación continua, mejorar la fuerza de trabajo, aumentar el capital humano, etc. De hecho los sistemas educativos más exitosos del mundo cuentan con programas de formación continua de sus profesores que son claves en el éxito. Si todo eso es aceptado por todo el mundo, ¿por qué no se reserva un tiempo para que los profesores se formen? Si los profesores tienen que valorizarse en tanto que fuerza de trabajo por qué no recompensar esa valorización.

He visto “resistencia” a la formación en muchos profesores por diversas razones: falta de tiempo, pésimas condiciones laborales, formarse además de trabajar y no mientras se trabaja, falta de recompensas, etc. Comparto muchas de ellas e, incluso, me sorprende que no haya todavía más resistencia a la formación.

Prácticas

Muchos de los comentarios de los participantes que he podido leer hablan de comunidades de aprendizaje y comunidades de práctica. Creo que estas comunidades funcionan mejor si se construyen en torno a “prácticas” que si se construyen sobre lo puramente “conceptual”. Este grupo de #Explorartic es más bien una profundización teórica y conceptual que una serie de actividades en torno a “prácticas” (compartirlas, aplicarlas, revisarlas, replicarlas, inventarlas…).

 Creo que las barreras que pone la densidad conceptual del texto de Downes son difíciles de franquear. Yo me sorprendí cuando vi esa lectura propuesta y me dije a mí mismo “va a estar bien ver cómo se las arreglan con eso”. El interés en este tipo de discusiones es muy muy limitado. Esto reduce la cantidad de gente que se va a registrar en el grupo, aumenta las posibilidades de abandono y dificulta los aportes. Un texto como el de Downes y la elaboración conceptual que requiere, hay que reconocerlo, no son los mejores aliados para reclutar un gran número de participantes. No es lo mismo ver una presentación en slideshow donde aparece cinco veces la palabra conectivismo que leer el artículo de Downes o, incluso, el libro de Siemens. Es cierto que no hay tiempo, es cierto que requiere de conocimientos previos que no todo el mundo tiene y, también, es cierto que somos perezosos. No hay más que ver lo que le esta pasando al conectivismo que se ha convertido en una buzzword y la falta de rigor, de perspectiva crítica y de “alegría” con la que se usa espantan. ¿Cuántos se tomaron la molestia de leer los artículos filosóficos de Downes o el libro de Siemens?

En los mismitos MOOCs sobre conectivismo estamos viendo esto. El grupo central de gente que está participando de una forma activa edición tras edición es muy reducido y está compuesto por académicos interesados en investigar sobre los MOOCs. Es algo endogámico y autorreflexivo. No han podido salir de ese círculo. Luego hay un montón de gente que repite palabras vacías sin rigor alguno.

Ahora bien, me quedo pensando en si es posible plantear algo que ayude a solventar estas dificultades conceptuales, de tiempo y de esfuerzo. Un diseño hecho no a pesar de las dificultades, sino para superarlas. Me digo “tiene que ser posible”. Pero ¿cómo?

Colaboración y autonomía

El diseño de #explorartic se presenta como un espacio de colaboración. Colaboración en un sentido amplío, sin ninguna definición técnica. Al mismo tiempo se construye sobre y se fomenta la autonomía de cada participante: puede participar todo el que quiera (es abierto), puede participar de la forma que quiera (activo o pasivo; mucho o poco; escribiendo o grabando un audio; hablando en las sesiones sincrónicas o simplemente escuchándolas al día siguiente; etc.). Entonces entre la necesidad de colaborar y el ejercicio de esta autonomía hay que buscar un equilibrio que funcione como el nivel de compromiso mínimo necesario para mantener el espacio de colaboración en marcha. Hay que comprometerse hasta cierto nivel y ser capaz de mantenerlo. Este compromiso podría venir dado por las reglas del curso, por la obligación que impone la institución, por ser un requisito exigido por el facilitador o, también, podría formar parte del mismo diseño colaborativo del curso. Es decir los participantes siendo realistas y honestos deberían llegar a un acuerdo para seguir adelante. Ese acuerdo debería tener consecuencias en el diseño mismo de la actividad.

Granulidad

La granulidad es un fenómeno ampliamente documentado y bien estudiado en estos espacios de colaboración en red y consiste en los diferentes grados de participación que existen. Se sabe que un pequeño número de personas hace la mayor parte del trabajo y que un gran número de personas realizan pequeñas tareas o incluso miran sin participar en absoluto. La granulidad no es ni buena, ni mala. Todas las aportaciones son valiosas y todas contribuyen al resultado final. ¿Cómo determinar ese núcleo de participación intensa y activa? ¿Cómo alcanzarlo?

Cuando se diseña algo como #explorartic se debe contar con la granulidad muy en serio en el sentido de que va a estar ahí, se va a dar y hay que lidiar con este fenómeno. Además la granulidad es consecuencia de la misma naturaleza de la actividad. Digamos que viene dada por ser una actividad abierta a la participación de cualquiera, no reglada ni certificada y basada en la autonomía del participante.

Teniendo en cuenta esto, mis preguntas son si es posible diseñar espacios de colaboración en red a partir de la granulidad o si esta siempre se va a presentar como algo que va a minar el éxito de la actividad y si es posible diseñar una actividad que funcione para los más variados niveles de participación sin que se resienta y ofreciendo oportunidades de aprendizaje a todos los participantes.

explorARTIC

Como parte de formación de profesores del Plan Ceibal, Diego Leal inicia la próxima semana una nueva experiencia abierta de aprendizaje llamada explorARTIC. Se trata de

un espacio que, operando bajo la lógica de un curso abierto, comprende una serie de grupos de estudio mensuales que llevaremos a cabo en lo que resta del año, y que nos permitirán explorar y profundizar un poco más en las motivaciones, referentes conceptuales e implicaciones de concebir espacios de aprendizaje que ponen en juego un pensamiento de red. Nuestra selección para este año incluye materiales sobre conectivismo, conocimiento conectivo, aprendizaje autodirigido, ciberinfraestructura personal y los cambios de gran escala en nuestras sociedades (leer aquí).

El curso está abierto a todo el que quiera y se articula a través de una lista de correo, videoconferencias semanales y los blogs de los participantes. Se puede encontrar toda la información en la wiki del curso.

Yo estaré siguiendo, un poco de lejos, los primeros grupos de estudio a la espera de tener algo más de tiempo.

Radio Reaprender: participación abierta

El 20 de diciembre estuve con Diego Leal y Andrés Chiappe en el programa de Radio Reaprender dedicado a la participación abierta. Esta forma de participación consiste en seguir cursos abiertos en línea de forma libre y gratuita sin recibir a cambio certificación o retroalimentación de un tutor. Intenté aportar mi experiencia como participante con diferentes grados de implicación que van desde la implicación total como si de un alumno formal se tratase a ser un mero visitante que de tanto en tanto consulta algún recurso.

Fue más de hora y media de charla, donde intentamos definir en qué consiste la participación abierta, qué desafíos plantea al tutor, a los alumnos que siguen el curso en modalidad formal o al propio diseño del curso y planteamos diferentes maneras de participación abierta de acuerdo al grado de participación y de actividad que desarrolla el alumno. Es cursioso que, a pesar de que un participante en modalidad abierta no es evaluado ni recibe certificación, hablamos sobre la relación que todavía se plantea entre la evaluación y certificación y este tipo de participación. En la segunda parte, la conversación se fue hacia las competencias que se necesitan para particpar en uno de estos cursos y a la cuestión del control. Más concretamente a los desafíos que ofrecer un curso abierto presenta a las instituciones, a los tutores y a las culturas de aprendizaje más tradicionales. Aquí se puede leer una descripción de los temas tratados con indicaciones de tiempo y se puede descargar siguiendo este enlace.

Como pueden suponer, hay muchos más temas porque la conversación se fue abriendo y ramificando en mil direcciones diferentes y quedaron abiertos muchos interrogantes. Quizá se pueda volver sobre algunos de ellos en próximos programas.

Aprovecho para dar las gracias a Diego Leal por la invitación y para recomendar a todo el mundo interesado en el aprendizjae abierto, en las experiencias educativas innovadoras y en el aprendizaje sin más, los programas de Radio Reaprender que se pueden oír en directo al tiempo que se participa en el chat, descargar desde la web o suscribirse mediante RSS o iTunes.

Objetos sociales y objetos de conocimiento

En el artículo de Diego Leal titulado “Malla de gestión de contenidos educativos: Ideas de base” me encuentro con el concepto de “objeto social” que Leal relaciona con los contenidos que forman parte de una comunidad. Esos contenidos, según Weller, son cosas que facilitan la interacción y las relaciones entre personas. Por ejemplo, en Flickr las fotos serían objetos sociales en torno a los cuales la gente establece diferentes tipos de interacciones sociales de forma que Fkicr no es solo una plataforma con fotos, sino una plataforma de gente usa las fotos para establecer relaciones.

¿Podríamos hablar de objetos de conocimiento cuando se trata de objetos que están en redes de aprendizaje? La wiki del proyecto PK-Lab define un artefacto de conocimiento de la siguiente forma:

These products are created, developed or used by individuals, groups of people or the learning community, where both their conceptual or epistemic aspects (they embed knowledge) and material qualities (they are some sort of entities with certain material characteristics) are emphasized. An artefact becomes a knowledge artefact in that it fulfills a particular epistemic function (type of mediation) within the knowledge creation process. A knowledge artefact might be used to elicit different perspectives on the knowledge object, to structure what is known of a knowledge object, to probe whether certain assumptions regarding the knowledge object hold in practices, and so on.

Typical examples of knowledge artefacts are documents, models, graphs, visualizations, notes, etc. Within KP-Lab a central form of knowledge artefacts is those appearing in a digital form (appearing, e.g. in the KPE) but as important are other kinds of knowledge artefacts (e.g. documents or plans in a paper format, or material prototypes). The specific characteristic of the use of knowledge artefacts in the context of trialogical learning is that these artefacts immediately serve the creation and finalization of the solution or product that some knowledge community is working on. One connotation of ‘knowledge artefacts’ is that they are usually dynamically produced and modified by a human being or a group of people. The term ‘knowledge artefact’ is meant in concrete terms to refer particular entities produced and modified (Trialogical Glossary).

A partir de esta cita, señalo como características de los objetos de conocimiento:

• Son entidades materiales.
• Son entidades flexibles que son producidas y modificadas de forma continua y dinámica.
• Alojan (embed) conocimiento.
• Desempeñan una función epistémica y esta función espistémica es siempre un tipo de mediación.
• Son usados para la resolución de problemas y la creación de artefactos de conocimiento.

Si consideramos los contenidos educativos como objetos de conocimiento, estos no serían:

• Cosas que se transmiten o comunican aunque pueden formar parte de interacciones comunicativas.
• Cosas que en sí mismas contienen la solución a un problema o la información correcta o adecuada.
• Cosas acabadas sin posibilidad de transformación archivadas de alguna forma.
• La parte más importante del proceso de enseñanza-aprendizaje porque se considere que son “el conocimiento”.

Los objetos de conocimiento:

• Son objetos sociales en torno a los cuales se establecen relaciones sociales orientadas hacia el aprendizaje.
• Son ensamblajes de personas-herramientas-objetos (¿mediación?) que se usan para solucionar problemas o generar conocimiento.
• Son objetos los suficientemente flexibles y maleables para permitir la apropiación por parte de las personas en función de necesidades, objetivos, contextos, relaciones, etc.
• Redefinen la distinción entre personas, contenidos y herramientas.
• Dan un nuevo sentido a la expresión “compartir conocimiento” que quizá podría ser reescrita como “compartir objetos de conocimiento”.

Para seguir leyendo:

Littlejohn, A. The Dynamics of Learning Ecosystems: literacies and resources.

Leal, D. Malla de gestión de contenidos educativos: Ideas de base.

Knorr Cetina, K. 2001. Objectual Practice.

Paavola, S., Engeström, R. y Hakkarainen, K.  Trialogical approach as a new form of mediation.

Pk-Lab Project. «Knowledge artefact».

Weller, M.  The social objects in education.