Evaluación formadora y formativa

Hace unos días finalicé la lectura de un libro de Neus Sanmartí, Evaluar y aprender: un único proceso, publicado por Octaedro en 2020. Creo que puede ser útil compartir en esta entrada algunas de mis anotaciones sobre este libro.

La autora articula su libro sobre el concepto de evaluación formadora (que proviene de la pedagogía francesa évaluation formatrice) que vincula con el aprendizaje: «no se puede separar el aprendizaje de la evaluación» (p.10). Es decir, se trata de una evaluación cuyo fin es reconocer las dificultades de aprendizaje y hallar caminos y soluciones para superarlas. Y esta concepción de evaluación formadora queda ligada indisolublemente a la autoevaluación, metacognición y autorregulación. De hecho, la diferencia entre evaluación formadora vs. evaluación formativa reside en que en la evaluación formadora es el alumno quien toma las decisiones de mejora (se autorregula), mientras que «en la evaluación formativa es el profesorado quien le dice dónde se ha equivocado y qué ha de hacer para mejorar» (p. 16).

1.- La autorregulación metacognitiva, elemento central de la evaluación formadora, consiste en que el aprendiz tome «conciencia de la tarea que tiene que hacer, de las estrategias que aplica para llevarla a cabo y de la calidad de sus decisiones (p. 36). Son tres las condiciones básicas que que favorecen este proceso de autorregulación: representación de los objetivos de las actividades; planificación de las actividades y apropiación de los criterios de evaluación.

Sostiene la autora que sin conocer los objetivos, para qué se realizan las tareas, no pueden codificar y almacenar esa información para establecer esquemas en la memoria a largo plazo. Incluso indica que la verbalización del objetivo por el alumno, al final de un proceso de aprendizaje, es una prueba de la profundidad de su aprendizaje:» un alumno ha aprendido cuando al final de un proceso de aprendizaje verbaliza, con sus propias palabras, objetivos que coinciden con los del profesorado» (p. 39).

De otra parte, la segunda condición básica de la autorregulación, la anticipación y planificación de la acción, identifica al experto: «las personas expertas en aprender son aquellas que dedican mucho tiempo planificando cómo realizar una actividad dependiendo de su objetivo, y, en comparación, empleando poco tiempo en hacerla» (p. 42). Cada aprendiz debe formular la base de la orientación de la acción (BO). Para su elaboración es preciso: a) explicitar el tipo de tarea, así como el tipo de conocimiento asociado, para conectarla con conocimientos previos y b) representarse el producto final esperado y las acciones, secuenciadas, con el fin de poder elaborar dicho producto (p. 44). Hay diferentes herramientas que permiten explicitar la base de orientación: cartas de estudio; diagramas de flujo; mapa conceptual; visual thinking

Finalmente, la apropiación de los criterios de evaluación permiten reconocer al alumnado la calidad con la que realizan una determinada tarea. En la evaluación formadora se diferencia entre el criterio de evaluación de realización y criterios de evaluación de calidad o de resultados. Realizar una tarea implica llevar a cabo todas las acciones planificadas (evaluación de realización) y conocer si se están realizado bien (evaluación de calidad). O en otras palabras, cómo tengo que hacer la tarea (realización) y cómo sé que la estoy haciendo bien (calidad). Evidentemente, en una autorregulación cognitiva el criterio de evaluación (de realización y de calidad) debe construirse con el alumnado y comprobar que son capaces de representarlos y aplicarlos en sus producciones.

Jorba, J. y Sanmartí, N. 1997. La evaluación como instrumento para mejorar el proceso de aprendizaje de las ciencias. En L. Del Carmen et alii., La enseñanza y el aprendizaje de las ciencias de la naturaleza en la educación secundaria, 155-198. Barcelona: ICE UB y Editorial Horsori.

2.- De otra parte, plantea un concepto de evaluación ligado al aprendizaje que articula en tres fases: recoger datos; análisis y toma de decisiones.

2.1.En el marco de un aprendizaje competencial la recogida de datos debe permitir registrar un pensamiento complejo del alumno que se aplica a situaciones reales y a su propia actuación. Y para promover la autoevaluación el alumno «debe poder analizar los datos tantas veces como haga falta» (p.21). En el libro «datos» equivale a evidencias o todo tipo de producciones, «relacionados con la forma en que se representan los objetivos (…), cómo anticipan y planificación la acción y cómo explicitan los criterios de evaluación» (p. 59). Asimismo, evidentemente, esos datos deben permitir valorar cómo realizan las tareas, cómo autocontrolan su ejecución y, finalmente, cómo se transfieren a situaciones diferentes. Respecto de la validez de los datos recogidos para valorar el aprendizaje, su utilidad se medirá en relación a si es útil para reconocer en qué se está avanzado y qué hay que mejorar .

Además, establece una serie de «condiciones para una correcta recogida de datos» (p. 62):

a) Relacionados los datos con los objetivos de aprendizaje competencial. Los objetivos de aprendizaje conllevan, por lo general, saberes de nivel cognitivo alto. En este punto, a modo de ejemplo, contrasta la autora una prueba de gramática que mide la identificación de categorías y funciones frente a una prueba en la que se le indique que trate de mejorar el uso de los pronombres, por ejemplo, en un texto dado. De ese modo, es claro que el conocimiento gramatical está al servicio de la mejora de la capacidad comunicativa del alumno.

b) Relacionadas con saberes competenciales. Los datos necesarios para evaluar en qué medida se logra una competencia y promover su autorregulación han de ser actuaciones, contextualizadas en situaciones reales, productivas- aplicar saberes en situaciones distintas– y complejas (activar tipos de saberes diferentes), vinculadas a conocimientos, pero no limitadas a ellos: habilidades prácticas y sociales, valores, estrategias de pensamiento, propuestas de actuación y de cambios, argumentaciones, …

c) Diversidad de modos comunicativos (p. 66). No deben limitarse los datos a producciones escritas: medios orales, visuales, gráficos, dibujos, vídeos…

d) Diversidad de protagonistas en la recogida de datos. Además del docente, es necesario que los aprendices tengan protagonismo en el diseño y recogida de sus propios datos de aprendizaje. Propone que en algunas situaciones de aprendizaje, como los trabajos en equipo, varios alumnos actúen como observadores-evaluadores de sus compañeros que realizan un debate, resuelven un problema o realizan un experimento… Evidentemente, la finalidad de estas observaciones es la de aprender, no la de calificar.

Para finalizar este análisis sobre la recogida de datos, Neus Sanmartí describe una serie de instrumentos de recogida de datos: cuestionarios; comunicaciones escritas, orales o visuales (trabajos monográficos, cuentos, maquetas, infografías, vídeos, páginas web, conferencias, portafolios, diarios de clase, informes de laboratorio…); organizadores gráficos (mapas conceptuales, mentales; líneas de tiempo, diagramas de flujo, dianas, semáforos…); observaciones del trabajo fuera y dentro del aula, entrevistas.

2.2.Por otra parte, el análisis de esos datos (Cap. 4º), que es la fase segunda de la evaluación, está guiado por los criterios de evaluación. Ciertamente, en una evaluación formadora que pone el acento en la autoevaluación del propio alumno, esos criterios de evaluación han de ser discutidos y consensuados con el alumnado, de tal modo que puedan aplicarlos en el análisis de sus propias producciones: identificar los aciertos, determinar las dificultades y comprender el proceso para la mejora. En este enfoque el error no desanima al aprendiz porque entiende sus causas y puede superarlo. De igual modo, pone el foco en que el criterio de evaluación debe «referirse también a aspectos en los que hay que pensar o a qué hay que hacer para alcanzar un buen resultado» (p. 84 y ss.). La primera condición para lograr esa concreción de los criterios de evaluación es relacionarlos con los objetivos. Ha de responderse a tres tipos de preguntas para concretar los criterios de evaluación: a) el fin de la evaluación (¿por qué evaluamos? ¿para quién? ¿para hacer qué? , evaluación formadora vs. evaluación calificadora); b) la coherencia con el objetivo (los criterios que se aplican, ¿son coherentes con el objetivo?); c) la enseñanza competencial (¿requerirá que el alumnado demuestre que sabe transferir el aprendizaje a nuevas situaciones y otros espacios y tiempos?).

Como instrumentos de evaluación competencial y para la autorregulación y la coevaluación, describe las redes sistémicas (relacionan imágenes y conceptos), las tablas de criterios de evaluación (checklist o listas de cotejo o escalas de valoración descriptivas o numéricas), los contratos de evaluación (qué hace bien, qué debe mejorar y a qué se compromete para la mejora) y las rúbricas, a saber, una tabla de doble entrada con los criterios de evaluación de realización (primera columna) y los criterios de evaluación de calidad: siguientes columnas y estos pueden considerar la pertinencia, la completitud, la exactitud, el volumen de conocimientos aplicados, la transferencia a situaciones diferentes, la creatividad, la autonomía ( p. 102). Con independencia de la herramienta, el alumno debería, a partir del criterio, saber responder (p. 88) a ¿qué debo hacer para realizar esta tarea? -criterio de evaluación de realización- y ¿cómo puedo saber si lo hago bien? (criterio de evaluación de calidad). En ese proceso de construcción de los criterios de evaluación con el alumnado pueden tomarse como modelos realizaciones de cursos anteriores.

2.3. La tercera de las fases señalada es la toma de decisiones (cap. 5º). Insiste en que más allá de la evaluación sumativa (o calificativa, o acreditadora), la evaluación ha de ser reguladora, es decir, orientada a la mejora. Para autorregularse, para tomar buenas decisiones, considera fundamental «recibir un buen retorno o retroalimentación» (p. 112). De hecho, subraya que «el éxito en los aprendizajes depende en buena parte del feedback» (p.134).

Y esa retroalimenación o feedback debe ofrecer recursos para la mejora, para avanzar y para que el alumno elabore un plan de acción. Dada la sobrecarga de un feedback individual para el docente, pone en valor la coevaluación. Los feedbacks entre alumnos suelen ser muy eficientes (concretos y precisos), aunque más simples. Es útil también para el alumno que realiza el feedback porque reflexiona sobre la tarea propia y ajena y desarrollan otras competencias de carácter social (p. 124).

Las condiciones (p. 114 y ss.) que debe reunir un buen feedback son: a) centrados en la tarea y no en el alumno (análisis de datos y propuesta para la mejora); b) crear un clima de aula en que el error se perciba como algo positivo (asertividad y empatía en la coevaluación); c) los errores hay que regularlos de uno en uno (si son muchas las dificultades, carece de sentido un feedback de todas ellas a la vez); d) prevenir antes que curar (el feedback tiene sentido cuando hay posibilidad de cambio o mejora); e) cuidar el lenguaje (el feedback debe comunicar información para entender los aciertos y las razones de las dificultades, «muy bien» o «muy mal» dicen poco); f) limitar el feedback con calificaciones para actividades muy específicas (tras muchas retroalimentaciones y la autorregulación). Junto al qué del feedback, apunta el cuándo (en el momento muy cercano a la realización de la tarea) y el cómo (ser creativos, empáticos, eficientes…).

Como otros autores a los que cita, advierte no mezclar «notas» y feedback: «solo se fijarán en la calificación y no leerán los comentarios», p. 122. Señala que «evaluamos para dar retroalimentaciones y promover la autorregulación de manera continua, y para calificar solo cuando existen probabilidades de éxito» (p. 123). Además, subraya que la calificación solo es obligatoria al final del curso y para las evaluaciones trimestrales. Calificar sin cesar trabajos no incentiva el esfuerzo de los alumnos por aprender. En lugar de «perder el tiempo» en la recogida de muchos datos para calificar «objetivamente», propone triangular: instrumentos de recogida (expresión escrita, oral, dibujos…); los análisis y valoraciones de las personas (alumnos, docente, otros profesores, familiares…). En todo caso, el alumno en la calificación debe saber qué, por qué y cómo se le ha calificado, qué ha aprendido y qué la falta por aprender. Cualquier prueba de evaluación debe tener un uso formativo.

Considera «instrumento perfecto» (p.132) para la toma de decisiones a partir de la reflexión metacognitiva el portafolios. Este instrumento permite al estudiante reconocer qué y cómo esta aprendiendo, los obstáculos que vence y qué le falta por mejorar, así como al docente realizar un seguimiento del progresos del aprendizaje. Además, a diferencia del tradicional cuaderno de clase, el portafolios es selectivo: solo recoge alguna evidencia de aprendizaje, junto con metarreflexiones y prácticas de evocación (mapas, esquemas, bases de orientación…).

3. El último capítulo del libro versa sobre compartir la evaluación con las familias. Evidentemente, propone reorientar la información que reciben las familias sobre la evaluación de sus hijos, de tal modo que esta se vincule no con la calificación, sino con el aprendizaje. Las familias demandan qué pueden hacer para ayudar a sus hijos, cómo y cuál puede ser su contribución a la mejora (p. 139). Como en las estrategias de autorregulación, las familias deben estimular a sus hijos para conocer cuáles son los objetivos, cómo anticipar y planificar la realización de la tarea y cómo saber si lo están haciendo bien. En consecuencia, aunque no sea el único canal de comunicación con las familias, es necesario repensar forma y finalidad del tradicional «informe» o «boletín de notas» trimestral. Propone, incluso, un modelo diferenciado de informe, según el trimestre (p. 143 y ss.).

Para finalizar, es este un librito de Neus Sanmartí que, lógicamente, integra e incorpora publicaciones previas suyas y que sintetiza, de modo ameno, ágil y con abundante ejemplificación de experiencias de aula, conceptos clave de la evaluación formadora: la autorregulación y la metacognición (objetivos, planificación y criterios); la relevancia del feedback para el éxito en los aprendizajes; la necesaria diversidad en la recogida de datos y también en el análisis de los datos…

Anuncio publicitario

Evaluación formativa

El adjetivo «formativa» es un adjetivo relacional que acompaña en nuestro currículo educativo oficial al término «evaluación», junto a otros como «continua», «diferenciada» y «objetiva». Vid. por ejemplo lo que se dice en el art. 37.3 de la Orden de 15 de enero de 2021, por la que se desarrolla el currículo correspondiente a la etapa de Educación Secundaria Obligatoria en la Comunidad Autónoma de Andalucía. Más allá de conocer el sentido de «formativo» en este contexto ( una evaluación cuyo sentido es proporcionar información para «formar», es decir, mejorar el aprendizaje del alumnado y de los métodos de enseñanza), pocos efectos reales, me parece, produce en la práctica de enseñanza en las aulas esta concepción de la evaluación formativa.

Sin embargo, en este curso, concretamente con un grupo de 2º de Bachillerato, mi instituto es centro piloto en un proyecto de investigación europeo (Digital Assess Learning) de la European Schoolnet que trata de desarrollar en las aulas este concepto de evaluación formativa, más concretamente, la evaluación formativa digital. Lamentablemente, aún no están disponibles libremente en la web del proyecto que os he enlazado los recursos, estrategias y modelos a los que sí tenemos acceso los centros participantes. Una vez finalice la investigación, supongo que serán accesibles a todo el mundo.

Evidentemente, como es lógico, una de las referencias en las que se apoya este proyecto europeo es la obra Dylan Wiliam, una autoridad reconocida sobre esta cuestión. La definición de evaluación formativa que nos ofrece es más rica que la que aparece en los boletines oficiales de la que hemos hablado más arriba: «Usamos el término general evaluación para referirnos a todas aquellas actividades realizadas por los profesores- y por sus estudiantes cuando se evalúan a sí mismos- cuyo fin es proveer de información que se usará como retroalimentación (feedback) para modificar la enseñanza y actividades de aprendizaje. Tal evaluación se convierte en evaluación formativa cuando la evidencia realmente se utiliza para adaptar la enseñanza para satisfacer las necesidades de los estudiantes» (Black y Wiliam: 2010, traducción mía).

O en términos más simples, la evaluación es formativa cuando no se limita a calificar (la denominan evaluación sumativa) el final del proceso de aprendizaje, sino que proporciona información del progreso del alumnado cuando hay posibilidad de mejorarlo, mediante cambios en el proceso de aprendizaje y en la enseñanza. Si la evaluación se realiza al final del proceso de aprendizaje del alumnado (evaluación sumativa), la información extraída, cuantitativa o descriptiva, sobre los resultados del aprendizaje del alumnado no permitirán cambiar o mejorar el desempeño del alumnado, si no hay posibilidad de volver sobre esos contenidos.

Asimismo, Dylan Wiliam (2018) propone cinco estrategias para mejorar la práctica docente y el rendimiento de los estudiantes:
1. Clarificar, compartir y comprender los objetivos de aprendizaje y sus criterios de éxito.
2. Diseñar discusiones, tareas y actividades efectivas que provean evidencias de aprendizaje.
3. Entregar retroalimentación que permita que los estudiantes avancen.
4. Impulsar a los estudiantes a que se vean a sí mismos como un recurso de aprendizaje para otros.
5. Impulsar a que los estudiantes se visualicen como dueños de su propio aprendizaje.

Un esquema similar propone la OCDE: OCDE (2005) Formative Assessment: Improving Learning in Secondary Classrooms, OECD, Paris.

Para dejar la teoría, voy a describir algunas prácticas reales en mi clase que se relacionan con las últimas estrategias que propone D. Wiliam: más concretamente, con la 3ª y la 5ª, pero no con la 4ª, vinculada al aprendizaje cooperativo y a la coevaluación que, debo reconocerlo, apenas practico en clase de 2º de Bachillerato. Pero antes de ello, puesto que vamos a centrarnos básicamente sobre el feedback, conviene indicar que esta estrategia es un procedimiento eficaz y eficiente para la mejora del aprendizaje. De hecho, se sitúa en el top 5 de las estrategias1 de enseñanza más eficaces (Hattie y Temperley 2007:83).

De otro lado, vincular el feedback a la evaluación formativa parece lógico, puesto que son estos comentarios sobre la tarea o el proceso los que indicarán al aprendiz el camino que debe seguir para mejorar una próxima realización de la tarea. Además, ese comentario, personalizado, es una base sólida para la reflexión sobre su propio aprendizaje (metacognición o autorregulación de su propio proceso de aprendizaje): qué hago bien, en qué debo mejorar, qué aspectos son básicos, qué me falta, qué me sobra… O en los términos (que he adaptado) de Hattie y Temperley (2007): adónde voy, dónde estoy y cómo llegar al destino.

Hattie, J. y Temperley, H. 2007. The Power of Feedback. Review of Educational Research 77, 1, p. 87

Los ejemplos propios de feedback se refieren a tareas y procesos específicos de la materia Lengua castellana y Literatura de 2º de Bachillerato. En este curso terminal reiteramos el mismo tipo de prueba, según modelo PEVAU, casi desde el principio de curso. Por tanto, la evaluación formativa cobra todo su sentido, dado que todas estas pruebas (evaluables y no evaluables; en casa o en la clase para un examen) deben servir para la mejora constante y existe la posibilidad revisar, corregir, modificar… cualquier aspecto. Como les digo a ellos, no debe preocupar que se cometan errores si de ellos aprendemos y las únicas dificultades que no será posible resolver serán las de la última prueba del curso.

Y tanto sobre la tarea como sobre el proceso mi alumnado recibe comentarios o feedback por escrito, además de orales, lógicamente, durante las clases. Tal como aparece en la imagen, se refieren a diversos aspectos, tanto de la tarea como del proceso: ortográficos, estilísticos, de comprensión, de interpretación del texto, de pertinencia de argumentos…

Además de estos feedback, cada pregunta de la prueba se valora mediante una rúbrica que, como toda rúbrica, asocia un nivel de desempeño con una determinada calificación. Como ya he indicado, no siempre estas pruebas son calificadas. En ocasiones, son voluntarias y no se valoran mediante un número. La finalidad de la rúbrica, claro está, es orientar la realización de cada una de las partes de la prueba. Por ello, se detallan y descomponen en varios ítems por cada pregunta. Normalmente, para 4-5 preguntas cuentan 12-14 criterios o ítems de evaluación. Además, una vez reciben el feedback concreto, es útil la rúbrica para redundar la valoración del feedback y comprobar en qué grado se encuentra y en qué grado debe mejorar.

Para facilitar la autorregulación, también, regularmente (al finalizar cada prueba, sea de examen o de trabajo en casa), publico, como modelo, la respuesta a las diferentes preguntas redactada por mí. No recurro a la selección de modelos entre los escritos por el alumnado, que serían más próximos, por evitar la exposición pública. Cuando lo he hecho, los modelos eran de otras promociones y los presentaba anonimizados.

Asimismo, y por la misma razón (no exponerlos públicamente), si bien con menor regularidad, listo anónimamente los errores más frecuentes que he advertido en la última corrección:

Y tal como indican Hattie y Temperley (2007), procuro evitar los comentarios directos, escritos u orales, sobre su desarrollo personal, salvo que refuercen su autoestima: «Sé que te está planteando dificultades el análisis sintáctico; pero, si te concentras, podrás superarlo» o «Pese a las correcciones que te he indicado, la riqueza de argumentos es notable y con esas sugerencias, mejorarás rápidamente».

Aunque aún no lo he diseñado, para reforzar su autorregulación, voy a solicitarles de modo explícito un esfuerzo de análisis sobre el propio desempeño en estas pruebas. Guiados por un sencillo formulario digital (una escala de estimación) que les obligue a revisar su portafolio de pruebas previas, deberán responder a los ítems de esa escala sobre qué realizan bien, mal o regular y por qué en relación a cada apartado de la propia rúbrica. Confío en que la revisión de sus propias producciones les resulte útil para mejorar esos aspectos que identifican como deficientes (gracias a los feedback, al contraste con los modelos, al listado de errores frecuentes, a los ítems escalados de la rúbrica) y en la siguiente prueba tipo PEVAU ese autoanálisis produzca los efectos de mejora deseados.

Actualización febrero-marzo de 2022. Copio aquí la url de ese formulario del que hablo en el último párrafo puesto que ya lo he diseñado: https://forms.gle/5Fq26YJCS71VAhscA

A partir de la experiencia del formulario que aparece más arriba, lo reformulé para referirlo, en este caso, a una prueba concreta que habían realizado en su plataforma Classroom. Además, a diferencia del anterior, propicié la coevaluación de un modo sencillo. Debían completar el cuestionario en parejas, de tal modo que cada miembro evaluaba las respuestas de su compañero. Debo decir que los resultados también fueron muy satisfactorios. Facilito la url de ese segundo cuestionario completado en parejas: https://forms.gle/DEjyAsFrXirodm7g8

NOTAS

  1. John Hattie y otros (2020) corrigen este impacto del feedback del que se hablaba en Hattie y Temperley (2007). No obstante, más allá de la cifra, la conclusión de esta revisión es la siguiente: «Feedback, on average, is powerful, but some feedback is more powerful «(Wisniewski, Zierer y Hattie 2020: 13)

REFERENCIAS

1.Black P. y Wiliam D. 2010. Inside the Black Box: Raising Standards through Classroom Assessment. Phi Delta Kappan 92(1):81-90. doi:10.1177/003172171009200119

2. Hattie, J. y Temperley, H. 2007. The Power of Feedback. Review of Educational Research 77, 1, 81-112

3. OCDE. 2005. Formative Assessment: Improving Learning in Secondary Classrooms. París: OCDE.

4. Wiliam, D. 20182. Embedded Formative Assessment. Bloomington, Indiana: Solution Tree Press.

5. Wisniewski, B., Zierer, K y J. Hattie. 2020. The Power of Feedback Revisited: A Meta-Analysis of Educational Feedback Research. Frontiers in Psychology, 22, 1-14

Actualización 24 de febrero de 2023. Se han publicado en abierto los materiales del proyecto Assess@Learning al que me refería al principio de este artículo.