Evaluación del proceso formativo y del aprendizaje Universidad de Alcalá – Instituto Sindical de Cooperación al Desarrollo Máster en Formación de Formadores Sociolaborales Joaquín Gairín Neus Sanmartí 2010 Máster en Formación de Formadores Sociolaborales MASTER EN FORMACIÓN DE FORMADORES SOCIOLABORALES BLOQUE III. PLANIFICACIÓN Y EVALUACIÓN MÓDULO 9 EVALUACIÓN DEL PROCESO FORMATIVO Y DEL APRENDIZAJE Autores: Joaquín Gairín Neus Sanmartí (colaboración en unidades 2 y 3) Abril, 2010 ® Derechos reservados Evaluación del proceso formativo y del aprendizaje 1 de 142 Máster en Formación de Formadores Sociolaborales Contenido 1. PROGRAMA DE ESTUDIO....................................................................................................... 4 2. INTRODUCCIÓN ....................................................................................................................... 7 UNIDAD 2: LA EVALUACIÓN DE LOS APRENDIZAJES ..................................................... 10 2.1 NUEVAS VISIONES SOBRE LA EVALUACIÓN DE LOS APRENDIZAJES .................. 12 2.2 FINALIDAD Y CONTENIDO DE LA EVALUACIÓN ........................................................ 15 2.3 LOS AGENTES DE LA EVALUACIÓN ............................................................................... 17 2.4 LOS MOMENTOS, CONTENIDO, PROCEDIMIENTOS Y EFECTOS DE LA EVALUACIÓN ............................................................................................................................. 20 RESUMEN..................................................................................................................................... 37 BIBLIOGRAFÍA ........................................................................................................................... 38 UNIDAD 3: LA EVALUACIÓN DEL PROGRAMA FORMATIVO ......................................... 39 3.1 LA FUNCIÓN DEL FORMADOR COMO TRANSFORMADOR DEL CURRÍCULO ...... 42 3.2 FINALIDAD Y CONTENIDOS DE LA EVALUACIÓN...................................................... 45 3.3 TOMAR DECISIONES SOBRE EL OBJETO, CONTEXTO Y EL MOMENTO DE LA EVALUACIÓN ............................................................................................................................. 51 3.4. TOMAR DECISIONES SOBRE LA METODOLOGÍA APLICADA EN EL AULA.......... 59 3.5. TOMAR DECISIONES SOBRE LOS CRITERIOS DE CALIFICACIÓN Y PROMOCIÓN ........................................................................................................................................................ 66 3.6. LA EVALUACIÓN DEL IMPACTO DE UN PROGRAMA................................................ 69 RESUMEN..................................................................................................................................... 76 BIBLIOGRAFÍA ........................................................................................................................... 77 UNIDAD 4: LA EVALUACIÓN DEL AULA COMO CONTEXTO DE FORMACIÓN .......... 78 4.1 EL CONTEXTO DEL AULA ................................................................................................. 80 4.2 ELEMENTOS PARA LA EVALUACIÓN DEL CONTEXTO AULA ................................. 83 4.3 PROPUESTAS PARA LA EVALUACIÓN DEL CONTEXTO AULA ................................ 86 2 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales RESUMEN..................................................................................................................................... 91 BIBLIOGRAFÍA ........................................................................................................................... 93 UNIDAD 5: LA EVALUACIÓN DE LA INSTITUCIÓN COMO CONTEXTO FORMATIVO ........................................................................................................................................................ 94 5.1 EL CONTEXTO ORGANIZATIVO ....................................................................................... 96 5.2 LA EVALUACIÓN DESDE LA PERSPECTIVA TECNOLÓGICA ................................. 100 5.3. LA AUTOEVALUACIÓN DESDE PERSPECTIVAS CULTURALES Y SOCIOCRÍTICAS ................................................................................................................................... 115 5.4. REFERENTES PARA LA AUTOEVALUACIÓN ............................................................. 123 5.5. INSTRUMENTOS PARA LA REVISIÓN .......................................................................... 127 RESUMEN................................................................................................................................... 138 BIBLIOGRAFÍA ......................................................................................................................... 140 Evaluación del proceso formativo y del aprendizaje 3 de 142 Máster en Formación de Formadores Sociolaborales 1. PROGRAMA DE ESTUDIO Nombre del Módulo Evaluación del proceso formativo y del aprendizaje Nombre del Bloque III. Planificación y evaluación Objetivo(s) general(es) del módulo 1. Comprender los componentes ideológicos y prácticos que conlleva la realización de evaluaciones 2. Analizar las características de la evaluación como actividad integral 3. Valorar el sentido, contenido y utilidad de los modelos de evaluación existentes 4. Analizar algunos planteamientos diferenciales relacionados con la evaluación de aprendizajes, programas y contextos formativos 5. Fomentar la reflexión sobre la práctica evaluativa y el intercambio de experiencias Temas y subtemas Unidad 1: LA EVALUACIÓN: CONTROVERTIDAS UNA TEORÍA Y UNA PRÁCTICA 1.1 El concepto de evaluación 1.2 Algunas características de la evaluación 1.3 Referentes para la evaluación como actividad integral 1.4 De la evaluación externa a la autoevaluación Unidad 2: LA EVALUACIÓN DE LOS APRENDIZAJE 2.1 Nuevas visiones sobre la evaluación de los aprendizajes 2.2 Finalidad y contenidos de la evaluación 2.3 Los agentes de la evaluación 2.4 Los momentos, contenidos, procedimientos y efectos de la evaluación 2.4.1 La evaluación al inicio de un proceso de formación 2.4.2 La evaluación a lo largo del proceso de formación 2.4.3 La evaluación al final del proceso de aprendizaje Unidad 3: LA EVALAUCIÓN DEL PROGRAMA FORMATIVO 3.1 La función del formador como transformador del currículo 4 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 3.2 Finalidad y contenidos de la evaluación 3.3 Tomar decisiones sobre el objeto, el contexto y el momento de la evaluación 3.4 Tomar decisiones sobre la metodología aplicada en el aula 3.5 Tomar decisiones sobre los criterios de calificación y promoción 3.6 La evaluación del impacto de un programa Unidad 4: LA EVALUACIÓN DEL AULA COMO CONTEXTO FOMRATIVO 4.1 El contexto del aula 4.2 Elementos para la evaluación del contexto aula 4.3 Propuestas para la evaluación del contexto aula 4.3.1 Los elementos a considerar 4.3.2 La delimitación de indicadores 4.3.3 Instrumentos para la revisión Unidad 5: LA EVALUACIÓN DE LA INSTITUCIÓN COMO CONTEXTO FORMATIVO 5.1 El contexto organizativo 5.2 La evaluación desde la perspectiva tecnológica 5.2.1 Las normas ISO 5.2.2 Modelo europeo de calidad 5.3 La autoevaluación desde las perspectivas culturales y sociocríticas 5.3.1 Los enfoques culturales 5.3.2 Los enfoques sociocríticos 5.4 Referentes para la autoevaluación 5.5 Instrumentos para la revisión 5.5.1 La revisión del programa formativo 5.5.2 Instrumentos para el análisis global de la realidad Evaluación del proceso formativo y del aprendizaje 5 de 142 Máster en Formación de Formadores Sociolaborales Actividades de aprendizaje presenciales Exposición del docente e interacción con el alumno Discusión grupal del tema Debate y diálogo propositivo Retroalimentación del docente sobre dudas o cuestionamientos sobre el tema Lluvia de ideas sobre el tema Actividades de aprendizaje a distancia Investigación bibliográfica Investigación de campo Actividades de aprendizaje independiente Lectura y búsqueda de ejemplos Criterios y procedimientos de evaluación y acreditación Porcentaje (7) Actividades obligatorias 50% Examen final a través de un proyecto 30% Participación en clases presenciales y a distancia 20% Bibliografía básica Título Autor Editorial Año La organización escolar: Gairín, J. contexto y texto para la actuación La Muralla 1996 Dirección participativa evaluación de centros ICE, U. Deusto de 1996 y Villa, A. (Coord.) Enseñar, aprender y evaluar, Jorba, J. & Sanmartí, N. un proceso de regulación contínua. 6 de 142 MEC 1996 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 2. INTRODUCCIÓN INTERÉS DEL MÓDULO Las expresiones “evaluar para saber”, “no existe lo que no se evalúa”, “no podemos conocer si progresamos, al margen de la evaluación”, etc., denotan la preocupación creciente por evaluar y analizar los resultados de una acción formativa. El presente módulo le proporciona, al respecto, referentes para promover y desarrollar procesos evaluativos. La realización y evaluación de la realidad formativa es el resultado de las decisiones que cada institución. De acuerdo a sus objetivos y prioridades establece la metodología de trabajo y define los contenidos de evaluación que considera más oportunos. Las anotaciones que realizamos deben tomarse, por lo tanto, más como referencias para la reflexión que como pautas para la intervención, que variará en función de las necesidades y posibilidades del contexto de actuación. Bajo la misma perspectiva contextualizada, deben también considerarse las siguientes apreciaciones sobre las propuestas de evaluación que se puedan realizar: a) Evaluar una realidad formativa es indirectamente una evaluación de la eficacia de la enseñanza, en la medida en que informa de las conexiones que se establecen entre el acto de enseñanza- aprendizaje y las demandas/posibilidades que proporciona el medio; asimismo, de la calidad de nuestra intervención en convertir el entorno en un medio formativo. b) La evaluación de las diferentes actuaciones puede considerarse también como un aspecto más del control de calidad que las instituciones formativas deberían practicar habitualmente. Al respecto, tan sólo caben las dudas sobre la calidad que se pretende, quien la determina y como se mide, aspectos todos ellos que deberían quedar definidos en el marco de cada institución. c) La consideración de las características básicas de utilidad, viabilidad, legitimidad y exactitud parecen insoslayables, sea cual sea el proceso de evaluación. Poco sentido tiene un proceso poco riguroso, partidista, que proporciona información inútil y que plantea proposiciones más utópicas que reales. También habría que considerar como referentes importantes los de interactividad (participación comprometida), gradualidad (aplicación progresiva), adaptabilidad (adecuación al contexto) y sensibilidad (capacidad de informar sobre aspectos relevantes). Tratamos así de superar algunos planteamientos que presentan perspectivas diversas como opciones contradictorias. Sucede esto, por ejemplo, cuando se establecen relaciones conceptuales de contraposición (evaluación de procesos “versus” evaluación sumativa, metodología cuantitativa “versus” metodología cualitativa, etc.) o cuando se confunde la toma de datos con el proceso evaluativo. Evaluación del proceso formativo y del aprendizaje 7 de 142 Máster en Formación de Formadores Sociolaborales ORGANIZACIÓN DEL MÓDULO La evaluación puede focalizarse en muchos objetos. Nosotros hemos considerado los aprendizajes, el programa, el aula y la institución formativa, entendiendo que tan importante como evaluar la actividad concreta es analizar las posibilidades y limitaciones contextuales en que se ha desenvuelto. Consideramos así la evaluación como una actividad integral que implica variados niveles de decisiones y que supone una atención especial a la interrelación que entre ellos se da. La propuesta realizada recoge gran parte de los planteamientos anteriores, destacando la importancia que tiene: 1. Situar la evaluación en el conjunto de ideas que hacen de ella un objeto poliédrico y, por ello, controvertido. 2. Evaluar tanto los aprendizajes y los contextos en los que se sitúan. Evaluar implica, además de incidir en las actividades de los participantes en la formación, tomar en consideración la forma como está configurado el programa de trabajo, su situación en relación a la institución formativa y las oportunidades que ofrece y la revisión, en último extremo, de los marcos de maniobra que ofrece el sistema formativo. 3. Evaluar los procesos, resultado de un planteamiento curricular situado en una concepción constructivista del aprendizaje, y no sólo los resultados. 4. Atender desde la evaluación a los nuevos desafíos del sistema formativo y, entre ellos, la atención equilibrada a conocimientos, actitudes y procedimientos, la consideración de los nuevos valores asumidos socialmente, la atención a la diversidad y el desarrollo de la orientación o el tratamiento individualizado del estudiante. 8 de 142 Evaluación del proceso formativo y del aprendizaje Evaluación del proceso formativo y del aprendizaje para los los Quién evalua comporta tiene Criterios de calificación y promoción del alumando todo con la doble finalidad de los y de tipo de tipo PEDAGÌ GICA o reguladora SOCIAL o seleccionadora Función tutorial ATENDER LA DIVERSIDAD DE NECESIDADES Recursos la el el para Proceso de toma de decisiones Funcionamiento general Equipos de profesores los implica revisar implica revisar Proyecto educativo CENTRO EDUCATIVO del AULA del LA EVALUACIÌ N DEL CONTEXTO DE APRENDIZAJE funciones comporta Interacciones entre los los miembros Cómo enseñar Qué y cuándo enseñar La adecuación a los intereses y necesidades del alumnado la implica revisar LA EVALUACIÌ N DE LOS CURRÈCULOS Cómo se toman las decisiones MEJORAR LA CALIDAD DE LA ENSEÑANZA Criterios de evaluación Objetos de evaluación Finalidades de la evaluación implica revisar LA EVALUACIÌ N DE LOS APRENDIZAJES comporta INSTITUCIONAL desde su vertiente EVALUACIÌ N Máster en Formación de Formadores Sociolaborales MAPA DE CONTENIDO 9 de 142 Máster en Formación de Formadores Sociolaborales UNIDAD 2: LA EVALUACIÓN DE LOS APRENDIZAJES Introducción El objetivo de cualquier proceso de enseñanza es conseguir que todos los estudiantes y alumnas aprendan de forma significativa. Pero los formadores hemos comprobado repetidamente que esto no siempre sucede, puesto que con un mismo proceso de enseñanza los estudiantes no progresan de la misma manera ni al mismo ritmo. Desde una perspectiva constructivista se reconoce que cada estudiante en el proceso de enseñanza-aprendizaje construye su propio conocimiento, pero que en esta elaboración juegan un papel muy importante sus ideas previas, sus formas de razonamiento, sus vivencias personales y su interacción con el medio cultural que le rodea. Por lo tanto, ya que estos puntos de anclaje son distintos para cada participante en la formación y también lo son el ritmo y estilo de aprendizaje, el grado de elaboración del nuevo conocimiento será diferente para cada uno de ellos. En consecuencia, si se quiere atender a la diversidad que, en general, hay en un aula, se debe adecuar el proceso didáctico a los progresos y procesos de aprendizaje observados en los estudiantes. Ello comporta necesariamente que enseñar y aprender sea un proceso de regulación continua de los aprendizajes (Jorba & Sanmartí, 1996). Regulación en el sentido de adecuación de los procedimientos utilizados por los formadores a las necesidades y dificultades que el participante en la formación encuentra en su proceso de aprendizaje (y que se detectan al evaluar). Continúa porque esta regulación no es un momento específico de la acción formativa, sino que debe ser uno de sus componentes permanentes. Pero es más, cada estudiante debe aprender a autoevaluarse y autorregularse con el objetivo de que, poco a poco, vaya construyendo un sistema autónomo para aprender y lo mejore progresivamente. Habitualmente se tiene una visión restringida de la función que tiene la evaluación en el proceso de enseñanza/aprendizaje y se acostumbra a identificar con examen y con un acto administrativo poco estimulante para estudiantes y para formadores. Pero, ¿es que no se puede conseguir, como dice López (1991), una evaluación que sea útil al formador en su actuación docente, gratifique al participante en la formación en su aprendizaje y oriente a ambos en el proceso? Las reflexiones y sugerencias incluidas en este capítulo, adaptación de la aportación de Gairín y Sanmartí (1998:II) están orientadas a la práctica de una evaluación con dichas finalidades. Algunas ideas clave que trataremos en la unidad serán: • 10 de 142 Existe la necesidad de cambiar los puntos de vista en relación a la evaluación de los aprendizajes Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales • La evaluación de los aprendizajes debe orientarse en primer lugar a la regulación de las dificultades de los estudiantes • Es objetivo de la evaluación es promover que los propios estudiantes aprendan a autoevaluarse y autorregularse para que puedan ser mas autónomos • Para atender a la diversidad de necesidades que la evaluación detecta es necesario promover interacciones de tipo cooperativo entre los componentes de un grupo-clase. • Identificar nuevas visiones sobre la evaluación de aprendizajes. • Analizar estrategias y herramientas relacionadas con la autorregulación de los aprendizajes. • Valorar el sentido y utilidad formativa de la autorregulación de aprendizajes. Objetivos Mapa de Contenido Evaluación del proceso formativo y del aprendizaje 11 de 142 Máster en Formación de Formadores Sociolaborales 2.1 NUEVAS VISIONES SOBRE LA EVALUACIÓN DE LOS APRENDIZAJES Existe un gran número de concepciones sobre la evaluación, generalmente implícitas, que condicionan fuertemente la mayoría de los comportamientos del formador. Es importante, por ello, identificar dichas concepciones, analizarlas y considerar posibles alternativas. Así, por ejemplo: 12 de 142 • Se identifica la evaluación con el examen al final del proceso de aprendizaje e, incluso, evaluación continua con exámenes continuos. Es más, se confunde la función evaluativa con la aplicación de instrumentos para reconocer aprendizajes finales. Pero, ¿por qué no pensar en actividades de evaluación integradas totalmente en el proceso de aprendizaje? • Se considera que el único objetivo de la evaluación es poner una nota a cada participante de la formación que resuma sus conocimientos al final de un proceso de aprendizaje. Pero, ¿por qué no pensar que evaluar es conocer la estrategia utilizada por el estudiante la formación en la resolución de una determinada tarea y llegar a comprender las causas de sus dificultades con el fin de ayudarle a superarlas? • Se cree que lo que un estudiante responde en los exámenes refleja claramente lo que sabe. Sin embargo, se puede constatar fácilmente que las pruebas recogen más información sobre lo que el participante en la formación cree que ha de responder para aprobar, que sobre lo que realmente piensa y sabe. Consecuentemente, ¿por qué no pensar en preguntas de evaluación en las que los participantes deban expresar creativamente sus propias ideas, y no sólo reproducir frases extraídas de los libros o de los apuntes, o aplicar fórmulas-tipo en la resolución de problemas? • Se piensa que el error es algo que no debiera producirse y que cuando algún estudiante lo expresa debe valorarse negativamente. Pero aprender significa precisamente superar errores, por lo que si no se explicitan será imposible reconocer qué y cómo mejorar. Por ello, ¿por qué no considerar que los errores son, no solamente normales en todo proceso de aprendizaje sino que además es necesario manifestarlos para aprender? • Se opina que se debe y puede evaluar de forma objetiva. No obstante, las calificaciones dadas a un mismo examen por formadores distintos pueden variar en muchos puntos, debido tanto a la aplicación de criterios Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales distintos de evaluación como al hecho de no ser igualmente exigente con todos los estudiantes. Por ello, ¿por qué no aceptar como una buena práctica la adaptación de la calificación a las características de cada estudiante, sin olvidar la distinción entre, por un lado, la evaluación del progreso de cada participante en la formación y, por el otro, la de su capacidad para cursar sin dificultades estudios posteriores? • Se cree que la corrección de un examen es más objetiva si está planteado con preguntas cerradas que con preguntas abiertas. Sin embargo, en el primer caso, se juega con la subjetividad del estudiante cuando éste escoge una determinada respuesta intentando interpretar el sentido con el que ha sido redactada por el enseñante. En el segundo caso se juega con la subjetividad del formador, que debe interpretar lo que el participante en la formación ha querido decir. Por lo tanto, ¿por qué no pensar que el formador, al tener más conocimientos, puede ser más objetivo que el participante en la formación y que, consecuentemente, las preguntas abiertas acostumbran a aportar más información sobre lo que el estudiante realmente sabe que lo que aportan las preguntas cerradas? • Se considera que los exámenes muestran y demuestran qué estudiantes fracasan y qué estudiantes tienen éxito. En cambio, ¿por qué no pensar que los propios procedimientos de evaluación pueden ser los responsables de buena parte del fracaso que acompaña a los procesos formativos? • Se cree que sólo el formador es capaz de identificar los errores y aciertos del participante en la formación en su aprendizaje. Seguramente por esta razón es frecuente que los criterios de evaluación contituyan el secreto mejor guardado por los formadores. Pero, ¿por qué no dejar que sea el propio participante en la formación quien reconozca sus aciertos y sus dificultades?, ¿por qué no animar a sus compañeros a ayudarle en este proceso evaluativo? o, simplemente, ¿por qué no dar a conocer a los estudiantes los criterios de evaluación antes de hacer los exámenes a los que se van a aplicar? • Por último, otra de las creencias más arraigadas entre algunos formadores que, cuando aprueban muchos estudiantes, es porque el examen ha sido demasiado fácil. Se considera incluso que el formador que aprueba mucho es un mal docente y habitualmente se confunde la evaluación cuya función es identificar si se ha aprendido algo con la que solamente pretende seleccionar a los más calificados. Pero, ¿por qué no pensar que todos los estudiantes (o la mayoría de ellos) pueden llegar a Evaluación del proceso formativo y del aprendizaje 13 de 142 Máster en Formación de Formadores Sociolaborales realizar aprendizajes significativos mínimos; es decir, con una distribución de notas más cercana al sobresaliente? Como se puede comprobar, cambiar la evaluación implica cambios en las concepciones y en la práctica del formador que, en cierto modo, se pueden considerar radicales. A veces, se piensa que mejorar la forma de evaluar los aprendizajes se reduce sólo a diseñar mejores pruebas o a corregir con una mayor precisión pero, tal y como se ha mostrado, implica cambios en las concepciones sobre la finalidad, contenido, implicados y estrategias de evaluación que abordamos a continuación. 14 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 2.2 FINALIDAD Y CONTENIDO DE LA EVALUACIÓN Desde el punto de vista constructivista, aprender no es tanto llegar a reproducir miméticamente un conocimiento elaborado por otros como saber superar los obstáculos que uno encuentra cuando está reconstruyendo personalmente dicho conocimiento. Estos obstáculos son consecuencia de diversos factores como, por ejemplo, la forma en que percibimos los hechos (de la experiencia), las ideas transmitidas culturalmente (a través de la familia, medios de comunicación, escuela), las formas de razonamiento utilizadas (cómo trabaja nuestro cerebro), las formas utilizadas para comunicarnos (por ejemplo, el lenguaje), y nuestros propios sentimientos, valores y actitudes hacia dicho aprendizaje (ilustración 1). Sin evaluar las causas de las dificultades será difícil tanto que el formador pueda ayudar al estudiante a superarlas, como que los mismos participantes en la formación puedan autorregularlas. Un ejemplo que puede evidenciar lo que decimos se puede proponer a partir del análisis de las dificultades del estudiante para aprender a explicar por qué hay verano o invierno. Está comprobado que tanto los jóvenes como los adultos creen que es debido a que en verano la Tierra está más cerca del Sol y en invierno más lejos, sucediendo lo contrario en el hemisferio norte. El formador da explicaciones sobre la justificación que la ciencia da actualmente de este fenómeno, utiliza modelos y maquetas que faciliten la comprensión, e incluso plantea preguntas como "si la explicación es la distancia al Sol, como justificas que, mientras en Argentina es verano, en España sea invierno" para poner en contradicción las concepciones espontáneas iniciales. Formas de percibir los fenómenos (experiencia) Ideas transmitidas culturalmente (ambiente-medios de comunicación) Formas de razonar (operaciones lógicas) Causas de los principales OBSTÊCULOS en el aprendizaje que deben ser objeto de evaluación Sentimientos y creencias acerca del aprendizaje (valores- actitudes) Formas de comunicación (lenguaje) Ilustración 1. Obstáculos del aprendizaje a evaluar Pero todos los procedimientos de formación señalados dan pocos resultados. Los estudiantes adaptan las nuevas informaciones a sus ideas y tienden a generar Evaluación del proceso formativo y del aprendizaje 15 de 142 Máster en Formación de Formadores Sociolaborales argumentos para evitar que las nuevas informaciones entren en contradicción con ellas. Es por ello importante diagnosticar las causas de las concepciones alternativas, ya que los estudiantes adultos sólo pueden ponerlas en duda tomando conciencia de ellas. Así, la concepción mencionada seguramente tiene su origen en la analogía (forma de razonamiento) que se establece entre el problema planteado y la experiencia continuada que tienen todos los humanos de que la temperatura aumenta al acercarse a una fuente de calor. La analogía se refuerza a través de las representaciones gráficas incluidas en los libros en las que se muestra (o proyecta) una trayectoria muy elíptica para describir el movimiento de la Tierra alrededor del Sol (cuando de hecho, esta trayectoria es casi circular) y no es puesta en duda porque la actitud de dudar sistemáticamente de nuestras ideas no está desarrollada. Para que el participante en la formación aprenda, es decir, cambie o evolucione sus ideas, sus formas de expresión, sus procedimientos o sus actitudes, generalmente es necesario que reconozca porqué las ha elaborado o porqué las expresa de esta manera y qué aspectos debe revisar. Es decir, en el ejemplo anterior, debería reconocer que está aplicando una analogía no adecuada, que necesita identificar variables que pueden influir en el aumento de la temperatura de un cuerpo en relación a una fuente de calor distintos de la proximidad, que ha de distinguir entre las distintas proyecciones de las figuras geométricas, que ha de mejorar la coherencia entre los hechos y su explicación, que ha de dudar de sus opiniones, etc. Aprender implica pues identificar obstáculos y regularlos, es decir, evaluar. Por ello la evaluación tiene la función de motor del aprendizaje ya que, sin evaluarregular los aciertos y los errores, no habrá progreso en el aprendizaje de los participantes en la formación, ni acción efectiva del formador. Por ello se puede afirmar que enseñar, aprender y evaluar son en realidad tres procesos inseparables. 16 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 2.3 LOS AGENTES DE LA EVALUACIÓN Desde una perspectiva tradicional de la evaluación, la responsabilidad de la regulación es esencialmente del formador, que es quien reconoce las dificultades y errores del estudiante y decide cuáles son las estrategias más adecuadas para superarlas. Ello conlleva que su implementación en el proceso de formación/aprendizaje tenga un alto coste en tiempo y esfuerzo para el formador a causa de su constante intervención en el proceso de recogida y análisis de información, y de regulación. A través de este modelo centrado en el formador es imposible dar respuesta al problema ya que el formador no puede atender él sólo a la gran cantidad de dificultades que encuentran los participantes en la formación, e incluso, muchas veces, puede llegar a no detectarlas. Pero éste no es el único problema. Este tipo de evaluación-regulación conlleva también que el estudiante dependa esencialmente del formador para poder progresar, con lo cual tiene pocas oportunidades de aprender a reconocer por sí mismo sus dificultades y a decidir cuáles son las mejores estrategias para superarlas; es decir, no aprende a ser autónomo en su proceso de aprendizaje. La falta de autonomía conduce a que los estudiantes no sepan cómo afrontar la resolución de sus tareas cuando están solos o a que, cuando se trabaja en grupo, sólo se aspire a copiar lo que otros u otras hacen. Por ello es necesario enseñar al estudiante a autoevaluarse y autorregularse. Un estudiante que quiera aprender a aprender deberá llegar a saber cómo detectar sus dificultades o incoherencias, comprender por qué las tiene, y tomar decisiones para superarlas. Un formador que quiera ayudar a sus estudiantes en este proceso de aprendizaje deberá promover esta evaluación y facilitar la aplicación de estrategias autorregulativas. En otras palabras, la evaluación del formador debería facilitar fundamentalmente la autoevaluación del estudiante. Pero no sólo es el formador quien promueve que cada participante en la formación aprenda a autoevaluarse. Un grupo-clase lo constituye un conjunto de personas que interaccionan entre ellas en cada una de las tareas que realizan en el aula, y esta interacción, si es positiva, favorece mucho el aprendizaje. A través de ella tiene lugar la evaluación-regulación mutua entre el estudiante, pues los participantes en la formación, al confrontar sus ideas con las de los demás compañeros y con las del formador, reconocen mejor sus errores y cómo mejorar sus producciones. No es sólo el formador quien ha de detectar y regular dificultades, sino que ésta es función de todo el grupo-clase y es éste quien debe asumir la responsabilidad de coevaluar y de autoevaluarse. En consecuencia, la evaluación-regulación continua de los aprendizajes se sustenta en tres pilares (ilustración 2): • la evaluación considerada como autorregulación que lleva a cabo cada estudiante de su propio proceso de aprendizaje; Evaluación del proceso formativo y del aprendizaje 17 de 142 Máster en Formación de Formadores Sociolaborales • la coevaluación o regulación mutua que tiene lugar a partir de las interacciones entre los propios participantes en la formación; y • la evaluación que lleva a cabo el formador y que deberá orientarse fundamentalmente a la detección y regulación de aquellos aspectos que los estudiantes no son capaces de regular autónomamente EVALUACIÌ N - REGULACIÌ N DE LOS APRENDIZAJES para adecuar el proceso de enseñanza a las necesidades y progresos del alumnado necesita de EVALUA CIÌ N DEL PROFESORADO para conseguir autonomía e ir creando un sistema personal de aprender AUTOEV ALUACIÌ N DEL ALUMNADO EVALUA CIÌ N MUTUA ENTRE EL ALUMNADO Ilustración 2. Vías para desarrollar la evaluación como regulación de los aprendizajes Para que actividades de este tipo se puedan llevar a cabo el formador ha tenido que promover en el aula actitudes de tipo cooperativo, es decir, los estudiantes deben valorar que pueden ayudarse mutuamente, que todos pueden aportar alguna idea de interés, que tener errores no es un problema si se puede llegar a saber cómo superarlos, etc., y todo ello con el fin de que cada uno de los miembros del grupo aprendan más y mejor. Si los estudiantes han asumido las reglas de juego del trabajo cooperativo, este tipo de evaluación es muy productivo en cuanto al éxito del aprendizaje. Por un lado, favorece la toma de conciencia del porqué de los errores y de las vías para corregirlos. Si ello tiene lugar, con muchos menos ejercicios de los habituales se alcanza un buen rendimiento, con lo que el tiempo que aparentemente se pierde llevándola a cabo se gana al poder reducir el número de ejercicios orientados a la interiorización, mecanización y/o memorización, que por otro lado acostumbran a ser muy poco motivadores para la mayoría del estudiante. Si el participante en la formación no sabe valorar adecuadamente la producción del compañero tampoco es ningún problema, ya que el estudiante evaluado puede manifestar su desacuerdo. Con ello refuerza sus ideas y procedimientos y, con su crítica, favorece aún más la autoevaluación del evaluador. Este ejemplo nos muestra que la evaluación, si está orientada hacia el aprendizaje de todos los estudiantes, debe centrarse mucho más en conseguir que aprendan a 18 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales autoevaluarse. Al mismo tiempo se puede comprobar que la evaluación mutua entre compañeros favorece este aprendizaje, y que el papel del formador es clave en ayudar a los participantes en la formación a que sean capaces de comprender las causas de sus errores. ACTIVIDAD DE COMPRENSIÓN Escoger un error de algún participante en la formación en relación a un aprendizaje e intentar deducir qué obstáculos de todo tipo dificultan que supere dicho error Resumir los argumentos que se podrían dar a alguien que expresara la opinión: "Es imposible que un participante en la formación pueda autoevaluarse" Evaluación del proceso formativo y del aprendizaje 19 de 142 Máster en Formación de Formadores Sociolaborales 2.4 LOS MOMENTOS, CONTENIDO, PROCEDIMIENTOS Y EFECTOS DE LA EVALUACIÓN Como hemos visto, la evaluación no se puede situar solamente al final del proceso de formación/aprendizaje. En este momento, la función reguladora de la evaluación queda reducida al mínimo. Al inicio del proceso de formación, un estudiante puede encontrarse con una dificultad que le impida aprender significativamente. Si no se evalúa esta dificultad, reconociendo sus posibles causas y tomando decisiones sobre cómo superarla, es muy posible que el participante en la formación o alumna vaya acumulando errores cada vez mayores que se transformen en obstáculos insuperables. Consecuentemente, es normal que nos encontremos con participantes en la formación que no hayan aprendido lo que se espera, y que un buen número de ellos se desanimen cuando reconocen los muchos aspectos en los que deben mejorar. Por ello es importante integrar la evaluación en el proceso de formación, con la finalidad de detectar las dificultades del estudiante en el momento en que aparecen, y así posibilitar que los conocimientos introducidos posteriormente se puedan construir más fácilmente. Tradicionalmente se distinguen tres tipos de evaluación en función del momento en que se realizan y del objetivo que persiguen. Esta tipología distinta se ve reflejada en la ilustración 3: La evaluación diagnóstica inicial tiene como objetivo fundamental determinar la situación de cada participante en la formación y del grupo-clase al inicio de un proceso de formación-aprendizaje, para poderlo adecuar a sus necesidades. Se pretende obtener información sobre las ideas previas, prerrequisitos, procedimientos intuitivos, hábitos, actitudes, etc. de cada estudiante. La evaluación formativa, término que introdujo M. Scriven en el año 1967, se refiere a los procedimientos utilizados por el formador con la finalidad de adaptar su proceso didáctico a los progresos y problemas de aprendizaje observados en los estudiantes. Así, este tipo de evaluación tiene como finalidad fundamental una función reguladora del proceso para hacer posible que los medios de formación respondan a las características del que aprende. Tiende esencialmente a identificar cuáles son las dificultades del aprendizaje, más que a considerar cuales son los resultados alcanzados. Por ello, en esta fase la información a obtener se debería referir especialmente a las representaciones mentales del participante en la formación y a las estrategias que utiliza para llegar a un determinado resultado. Tanto la evaluación inicial como la formativa tienen una función reguladora o formativa, y se diferencian básicamente por el momento en que se producen, una antes de la formación, la otra durante la formación. 20 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales La evaluación sumativa tiene por objetivo establecer balances fiables de los resultados obtenidos al final de un proceso de formación/aprendizaje. Pone el acento en la recogida de información y en la elaboración de instrumentos que posibiliten medidas fiables de los conocimientos a evaluar. Básicamente tiene una función social de tipo calificador con la finalidad de asegurar que las características de los estudiantes respondan a las exigencias del sistema. Pero también puede tener la función formativo-reguladora de saber si los participantes en la formación han adquirido los conocimientos que el formador ha previsto, y en consecuencia, si tienen los prerrequisitos necesarios para aprendizajes posteriores, o bien para determinar aquellos aspectos que se deberían modificar en una posterior repetición de la misma secuencia de formación. Debemos remarcar que las distintas modalidades de evaluación se distinguen básicamente por los objetivos que persiguen, más que por los instrumentos que utilizan. Un mismo tipo de instrumento puede ser útil en diferentes momentos del aprendizaje, aunque las decisiones que se tomen en función de los datos recogidos podrán ser distintas. Evaluación del proceso formativo y del aprendizaje 21 de 142 Máster en Formación de Formadores Sociolaborales 2.4.1 LA EVALUACIÓN FORMACIÓN AL INICIO DE UN PROCESO DE Como hemos visto, enseñar implica diagnosticar. La evaluación diagnóstica inicial tiene como objetivo fundamental analizar la situación de cada estudiante antes de iniciar un determinado proceso de formación/aprendizaje, para poder tomar conciencia (formador y estudiante) de los puntos de partida y así poder adaptar dicho proceso a las necesidades detectadas. El formador prepara una determinada programación en función, principalmente, de la lógica de la disciplina y de los contenidos que presupone que ya son conocidos. Pero los estudiantes afrontan los nuevos aprendizajes desde su propia lógica y con niveles de compresión de aprendizajes anteriores muy diversos. Y aprenden añadiendo información a estos conocimientos iniciales, readaptándolos o reestructurándolos totalmente. Por todo ello, si se pretende que el proceso de formación/aprendizaje que se debe iniciar se sustente sobre bases sólidas, y que el estudiante tenga posibilidades de éxito en este proceso, es esencial adecuar el currículo previsto inicialmente a las necesidades detectadas en una evaluación inicial. La diagnosis, y en general toda evaluación, comporta el reconocimiento de la diversidad de los puntos de partida, ya sea para adecuar la programación a las características de los estudiantes, para prever actividades que posibiliten que algunos de ellos conozcan los prerrequisitos de aprendizaje del tema objeto de estudio, para organizar el grupo-clase de forma que puedan ayudarse entre ellos, y/o para facilitar la toma de conciencia del propio punto de partida. Este último aspecto adquiere una singular relevancia si se contempla la evaluación inicial desde la perspectiva de la autorregulación. Es importante que los propios estudiantes puedan dirigir su propio proceso de regulación, tomando conciencia de los hábitos, creencias e inferencias que condicionan su propio modelo de razonamiento y de actuación. La diagnosis inicial en el estudiante tiene una función básica de génesis de dudas y de interrogantes, y no tanto de identificación de posibles errores o dificultades. Las cuestiones a responder para que una evaluación diagnóstica inicial sea rentable son tres que abordamos a continuación: a) Qué evaluar inicialmente y para qué; b) Cómo recoger la información y analizarla; y c) Qué hacer con los resultados de la diagnosis Ante un tema o una unidad didáctica cuyo estudio se quiere iniciar, es necesario llevar a cabo tanto un análisis epistemológico de sus contenidos, para poder identificar su estructura interna y separar los contenidos esenciales de los secundarios, como un análisis de los tipos de razonamiento y de métodos de trabajo que exigirán la realización de las actividades propuestas. Esta es la información a recoger. Se debería identificar si los estudiantes han construido adecuadamente los conocimientos considerados como prerrequisitos de aprendizaje. Abordar el estudio de un nuevo bloque de contenidos presupone, en general, que el estudiante 22 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales ya tiene adquiridos unos conocimientos previos y hábitos de trabajo sobre los que construirá el nuevo conocimiento. Considerar erróneamente que todos los estudiantes ya los conocen conduciría casi con certeza al fracaso de una buena parte de ellos. También es importante identificar las concepciones alternativas, especialmente en la formación de los contenidos del área de ciencias y de ciencias sociales. Asimismo lo es conocer las estrategias espontáneas de razonamiento aplicadas al realizar las tareas escolares que se proponen, las experiencias personales que sirven de referencia al participante en la formación, el campo semántico de los términos que utilizan, los hábitos adquiridos, la actitud con que afrontan el estudio de un tema, etc.; es decir, todo aquello que básicamente conforma lo que podemos llamar estructuras de acogida. (Ilustración 3). ¿QUÉ EVALUAR INICIALMENTE? todo aquello q ue co nforma la ESTRUCTURA DE ACOG IDA concepciones alternativas experiencias personales prerrequis itos de aprendiza je estrategias espontáneas de razo na miento hábitos y actitudes campo semántico del vocabulario utilizado Ilustración 3. El contenido de la evaluación inicial La recogida de información tiene como objetivo el diagnóstico de la situación de partida del estudiante exige encontrar un buen equilibrio entre la intuición y la instrumentación. No se puede evaluar todo sistemáticamente y, en general, la experiencia es una buena fuente de información acerca de algunas de las dificultades que los estudiantes tienen en relación a la asimilación de unos determinados contenidos. Aún así, es importante realizar periódicamente evaluaciones más sistemáticas, porque la sola intuición puede no tener en cuenta la diversidad de discentes ni valorar aspectos o estrategias que para el estudiante pueden ser significativas. Por ejemplo, el formador diagnostica a menudo el punto de partida del estudiante a través de un coloquio o debate con el grupo-clase. Este tipo de actividad conlleva, muchas veces, que sólo unos pocos estudiantes se manifiesten y que, en consecuencia, se consideren las ideas explicitadas por unos pocos como representativas de las de todo el grupo. Evaluación del proceso formativo y del aprendizaje 23 de 142 Máster en Formación de Formadores Sociolaborales Es interesante, por tanto, disponer de instrumentos más específicos y variados que permitan la diagnosis de cada estudiante y de los diferentes aspectos relacionados con cada tema. Además, en muchos casos puede ser conveniente provocar, a lo largo del proceso de aprendizaje, que los estudiantes comparen sus nuevos conocimientos con los iniciales y reconozcan las diferencias. Es importante potenciar que este cambio no se perciba sólo como algo individual sino también como del conjunto del grupo, para así favorecer el desarrollo de actitudes cooperativas. Por otro lado, la comparación entre las producciones hechas en el transcurso del aprendizaje con las iniciales ha de permitir al formador reconocer si las actividades programadas dan respuesta a las necesidades de los estudiantes. Algunas posibilidades hacen referencia a: a) La combinación de cuestionarios abiertos y de redes sistémicas Los cuestionarios abiertos utilizados en la diagnosis deben plantear cuestiones que faciliten la verbalización de las formas de interpretar el problema o fenómeno por parte de cada estudiante. Han de ser situaciones que se presten a ser analizadas desde diferentes puntos de vista y que animen a escribir ampliamente acerca de ellas. También son muy útiles las cuestiones que invitan a usar lenguajes gráficos y simbólicos como, por ejemplo, a dibujar o construir esquemas (Ilustración 4). Ilustración 4. Actividad para promover la reflexión Los cuestionarios abiertos proporcionan mucha información, pero a menudo es difícil analizarla de forma rápida y útil, ya que se está más acostumbrado a revisar escritos de los estudiantes para determinar si las respuestas son correctas o no, que a identificar y comprender los diversos razonamientos utilizados. Pero una prueba de diagnosis no pretende saber cuántos aprobados y suspensos hay, sino identificar qué concepciones alternativas se utilizan en los razonamientos y por qué, qué actitudes se detectan hacia el aprendizaje, qué hábitos se han incorporado 24 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales o qué prerrequisitos no se conocen suficientemente. Para realizar este análisis es útil el uso de redes sistémicas "Bliss, J. et alt., 1983" se basan en un análisis de los textos que pretende recoger el significado de conjuntos de palabras (o dibujos, o expresiones matemáticas) y codificarlos. En una red sistémica se pueden recoger las diferentes ideas expuestas por el estudiante, los procedimientos utilizados en la realización de las tareas, las actitudes y sentimientos manifestados, sin que ello implique necesariamente valorar su calidad. Por ello, los ítems no se codifican en función de respuestas correctas o respuestas incorrectas, sino en función del tipo de razonamiento explicitado (Ilustración 5). Utiliza las pa labras c on el sentido geométric o (campo semántic o pre ciso) Conocimiento del espacio Interpr eta ción (translación) Utiliza n las palabras con el sentido del le nguage ordinario (cam po semántico prec iso) con precisión con más o m enos precisión campo semántico correcto confunden el campo semántico Utiliza n frases donde no intervie nen las pa labras señaladas Uso de las palabras señaladas Utiliza n frases donde sólo interviene una pala bra seña lada Utiliza n frases con 2 ó 3 pa labras señaladas Visión e strecha de la representac ión (no relaciona el dibujo con la rea lidad) Interpr eta ción (representación) Relaciona el dibujo c omo representación de la re alidad Ilustración 5. Red sistemática utilizada para analizar las frases construidas por el estudiante en la actividad descrita en la gráfica 10. Fuente: Jorba & Sanmartí, 1996a b) Los cuestionarios con opciones cerradas Los cuestionarios abiertos proporcionan mucha información pero requieren un considerable esfuerzo del formador (o del estudiante) para su análisis. Una alternativa es proponer preguntas con opciones cerradas. Este tipo de cuestionarios facilita mucho la organización de los resultados y es fácil calcular el porcentaje de estudiantes partidarios de cada una de las opciones. Ello hace factible que sirvan de base a una actividad de debate en la que se comunica a los participantes en la formación los resultados y se invita a alguno de ellos a argumentar el porqué de sus hipótesis, de sus razonamientos, de los procedimientos utilizados, de sus estilos de trabajo, etc. y a promover que expongan procedimientos para verificar si sus puntos de vista son cercanos a los de la ciencia actual. Evaluación del proceso formativo y del aprendizaje 25 de 142 Máster en Formación de Formadores Sociolaborales c) Los informes personales o KPSI (Knowledge and Prior Study Inventory) A través de este instrumento se obtiene información acerca del grado de conocimiento que el estudiante cree tener sobre unos determinados contenidos y no tanto del que realmente tiene. Este tipo de información es importante, ya que el participante en la formación no se esforzará en aprender si piensa que ya conoce el tema objeto de estudio. Podemos utilizar formularios de conceptos, procedimientos e incluso de actitudes. No deben incluirse en su redacción muchos conceptos o procedimientos (6-10 como máximo), ya que a partir de un cierto número los estudiantes no se esfuerzan en apreciar adecuadamente su situación frente a las opciones planteadas. Cuadro 1. Ejemplo de informe personal de conocimiento de conceptos La puesta en común de los resultados se puede hacer en la misma clase, pidiendo a los estudiantes que levanten la mano según el nivel en que se han situado en cada ítem. Una vez conocidos los resultados, se puede invitar a algunos estudiantes a explicar sus representaciones en relación a los conceptos, procedimientos o actitudes propuestas. Se ponen de manifiesto, en este momento, los diferentes puntos de vista sobre qué implica el conocimiento de un tema, ya que algunas explicaciones de participantes en la formación que se han situado en un nivel muy alto pueden coincidir con las de otros que se han colocado en otro mucho más bajo. Estas situaciones favorecen que se den cuenta de que su idea inicial no era tan elaborada como pensaban, sin necesidad de que el formador haga evidentes las diferencias. Por último y respecto a los efectos de la evaluación o ¿qué hacer con los 26 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales resultados de la diagnosis?, la evaluación diagnóstica inicial ha de permitir la adecuación del diseño curricular a las características y necesidades del estudiante. Una diagnosis no es útil si, en función de ella, no se regulan las actividades de formación-aprendizaje previstas. Pero llevar a cabo esta adecuación no es fácil. En general, cuando se inicia la formación de un tema, la programación está ya diseñada, ya sea sobre la base de materiales didácticos existentes en el mercado, como libros de texto u otros, ya sea de unidades didácticas elaboradas por el propio formador. Dicha programación acostumbra a ser una única para un conjunto de estudiantes y la diagnosis revela que éstos son diversos. Efectuar cambios en lo que ha sido planificado desde la lógica del formador para adecuarlo a las diversas lógicas de los estudiantes es uno de los retos más difíciles que plantea la profesión de formador. Entre las actuaciones que se pueden deducir del análisis de los resultados de una evaluación inicial destacaríamos: • La modificación de la programación inicial, ya sea ampliando contenidos o actividades, ya sea reduciéndolos o readaptándolos. • La organización de actividades que faciliten que el participante de la formación tome conciencia de sus puntos de partida, de sus ideas y procedimientos, y de la diversidad de puntos de vista. • La atención a los participantes en la formación con dificultades específicas, por ejemplo, convocándolos a una hora de consulta fuera del aula, o promoviendo que algunos compañeros o compañeras les ayuden, o haciendo un seguimiento más específico de su trabajo en el aula. • La distribución del estudiante en grupos, ya sea heterogéneos u homogéneos según las actividades. Evaluación del proceso formativo y del aprendizaje 27 de 142 Máster en Formación de Formadores Sociolaborales 2.4.2 LA EVALUACIÓN FORMACIÓN A LO LARGO DEL PROCESO DE La evaluación más importante para los resultados del aprendizaje es aquella que se lleva a cabo a lo largo del proceso de aprendizaje. Como ya se ha indicado, la rentabilidad del proceso de formación sólo aumentará si se consigue regular las dificultades del estudiante en espacios de tiempo cercanos al momento en que se producen. Los participantes en la formación que aprenden son fundamentalmente aquellos que han conseguido aprender a detectar y a regular ellos mismos sus dificultades y a pedir y encontrar las ayudas significativas para superarlas. Estos participantes en la formación se plantean cuestiones del tipo: "¿Por qué he de hacer este trabajo, para qué sirve?" (preguntas relacionadas con los objetivos de la tarea); "¿Después de hacer tal cosa, he de hacer esta otra?" "¡Si utilizo este otro método creo que también obtendré buenos resultados!" (preguntas y reflexiones relacionadas con la anticipación y planificación de la acción); "¡Este resultado no me lo esperaba! ¡Seguramente me he equivocado en esta parte!", "En este apartado del trabajo ya no sé como continuar: ¿me puedes orientar?" (preguntas y reflexiones relacionadas con los criterios de evaluación). Son cuestiones que permiten reconocer y superar dificultades y, por ello, se puede afirmar que el tiempo de estudio de estos estudiantes es muy rentable. ¿Qué sucede en cambio con los participantes en la formación que no aprenden? Generalmente no saben qué están aprendiendo ni por qué hacen un determinado tipo de actividades; sólo son capaces de hacer aquello que el formador les dice o lo que el libro les propone, y nunca tienen criterios para evaluar si los resultados que obtienen son coherentes con los objetivos de su trabajo. Por ello, tal como señala Nunziati (1990) "Nunziati (1990)" , será importante que el formador y los mismos participantes en la formación sepan evaluar (gráfica 12) si: 1. Identifican los motivos y los objetivos de las actividades de aprendizaje, es decir, pueden responder a cuestiones como: ¿por qué se debe realizar una determinada actividad? ¿Qué se quiere conseguir con ella? 2. Anticipan y planifican las operaciones necesarias para llevarla a cabo; es decir, pueden responder a cuestiones como: ¿qué estrategia o estrategias se pueden adoptar para resolver la situación planteada?, ¿cuál de estas estrategias es la más adecuada para realizar la tarea propuesta?, ¿qué operaciones es necesario realizar para conseguirlo y por qué? ¿en qué orden?, ¿qué conocimientos son necesarios?, ¿cuál es el resultado esperado de cada operación? 3. Identifican los criterios de evaluación, es decir, pueden responder a cuestiones como: ¿realizo las operaciones tal como había previsto?, ¿los resultados obtenidos son los esperados?, ¿qué se debería cambiar y por qué? 28 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales EVALUACIÌ N A LO LARG O DEL PROCESO DE APRENDIZAJE tiene como objetivo Conseguir que los alum nos y alumnas: . identifiquen sus dific ultades y errores, y los regulen . construyan su propio sistema de aprendizaje y que lo mejoren progresivamente se fundamenta en la evaluación de Las representaciones sobre los objetivos del aprendizaje propuesto La capacidad para anticipar y planificar la acción en la realización de las tareas La apropiación de los criterios de evaluación Ilustración 6. La evaluación durante el proceso de aprendizaje En general, el formador conoce la respuesta a todas estas preguntas en relación a las actividades de aprendizaje que propone, pero ello no es compartido por la mayoría del estudiante, lo que hace necesario promover un proceso de comunicación que facilite el que todos los estudiantes se apropien de este conocimiento y sean capaces de representarse el trabajo a realizar y de autorregular su realización. Por ejemplo, si se quiere enseñar a redactar textos de diferentes tipos puede ser muy útil dar a los participantes en la formación textos escritos por otros estudiantes en cursos anteriores. Analizándolos pueden llegar a explicitar qué es lo que se pretende con este tipo de textos, qué se ha de aprender para saber redactarlos y cómo se puede reconocer si se están redactando bien o mal. A partir de estas reflexiones, realizadas primero individualmente y posteriormente coevaluadas hasta llegar a compartir criterios, los estudiantes son capaces de confeccionar pautas para la autoevaluación de dicho tipo de textos. Otra forma de evaluar si los estudiantes están realizando un buen proceso de aprendizaje es preguntarles qué creen que van aprender (después de que el formador haya planteado el contenido objeto de estudio), qué es lo que están aprendiendo (en el transcurso del proceso) y qué es lo que han aprendido (al final). Este seguimiento de la autoevaluación que los participantes en la formación hacen de su aprendizaje puede hacerse a través de cuestiones específicas planteadas con esta finalidad o también a través de la confección de un diario en el que los estudiantes vayan anotando qué es lo que aprenden, qué errores o dificultades han superado y qué es lo que no acaban de entender bien. Cómo ya se ha indicado es especialmente importante detectar cuáles son sus Evaluación del proceso formativo y del aprendizaje 29 de 142 Máster en Formación de Formadores Sociolaborales representaciones mentales y las estrategias que utilizan para llegar a un determinado resultado, ya sea elaborar un texto de unas determinadas características, resolver un problema, dibujar un paisaje o explicar una idea. Por ello, es necesario promover que los estudiantes expliciten, antes de realizar la tarea, los aspectos u operaciones que creen que deben aplicar para realizarla adecuadamente. Es mucho más rentable evaluar si esta planificación es adecuada que intentar corregir los innumerables errores que normalmente se cometen al realizar ejercicios relacionados con cada tipo de actividad. Otro de los aspectos importantes a evaluar es si los estudiantes reconocen los criterios de evaluación del formador. En general son más implícitos que explícitos. A pesar de ello, algunos participantes en la formación los reconocen y saben identificar qué aspectos son más importantes o tienen una mayor relevancia en la realización de la tarea, mientras que otros nunca saben qué y cómo regular lo que van aprendiendo. Por ello, si se quiere reducir los errores de aprendizaje es necesario evaluar en qué grado son compartidos los criterios de evaluación. En general, el formador no los da a conocer de forma explícita. Cuando valora algún trabajo utiliza comentarios del tipo "está bien resuelto", "es incompleto", "mal", "bastante bien"...., etc., pero este tipo de redacciones no facilita que los que aprenden reconozcan sus aciertos y sus dificultades, ya que no concretan por qué los ejercicios están bien resueltos, bien presentados o son incompletos. Tampoco es útil dar una lista de criterios ya elaborados. Estas listas no facilitan el acceso de los estudiantes a la autonomía ya que no aprenden a identificarlos por sí mismos y siempre dependerán de las definiciones del formador. El verdadero problema didáctico reside en cómo conseguir que sea el estudiante quien construya su propia lista de criterios; es decir, cómo no imponerla sabiendo, sin embargo, que es necesario facilitar el proceso de autoconstrucción. Un instrumento útil para evaluar si los estudiantes han identificado adecuadamente los criterios de evaluación son los contratos de evaluación. El cuadro 4 reproduce el contrato elaborado por una alumna antes de realizar un examen, para evaluar los aprendizajes adquiridos en relación a la diferenciación entre los conceptos de mezcla y de substancia pura. El siguiente cuadro reproduce el contrato de evaluación de su grupo, elaborado a partir de las primeras redacciones de cada uno de sus miembros. 30 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Cuadro 2. Precontrato de evaluación La formadora evaluó también este 'contrato' (de hecho, mientras lo estaban elaborando en el aula reguló algunas de las dificultades del grupo) y facilitó la realización de las propuestas, proporcionando ejercicios de repaso, revisando en clase las dificultades comunes a la mayoría de participantes en la formación y convocando a alguno de ellos o ellas a una sesión de trabajo más individualizada. Como se puede comprobar, las estrategias y los instrumentos utilizados para evaluar y regular los aprendizajes pueden ser muy variados y es importante que lo sean porque cada uno desarrolla capacidades distintas. Además de los ejemplificados, se pueden utilizar los cuadernos de los participantes en la formación (Grilles et. al., 1996 "Grilles et. al., 1996" ), mapas conceptuales y V de Gowin ( Novak & Gowin, 1988 "Novak & Gowin, 1988" ), diarios de clase, elaboración de resúmenes y muchos otros. Evaluación del proceso formativo y del aprendizaje 31 de 142 Máster en Formación de Formadores Sociolaborales Cuadro 3. Precontrato de evaluación completado 32 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 2.4.3 LA EVALUACIÓN APRENDIZAJE AL FINAL DEL PROCESO DE Una vez realizadas las actividades diseñadas para la formación de determinados contenidos es importante evaluar el nivel de los aprendizajes realizados. Esta información es útil al formador para reconocer la calidad de su diseño curricular y, al estudiante, para tomar conciencia de su progreso. Aún así, conviene a menudo relativizar la información que proporciona, especialmente si sólo se obtienen datos inmediatamente después de finalizar el proceso de formación, ya que para saber cuáles son realmente los aprendizajes significativos realizados (aquellos que se mantienen a lo largo de los años, o a los que se puede acceder de nuevo sin necesidad de rehacer todo el proceso de formación), se debería evaluar transcurrido un cierto periodo de tiempo después de haber realizado el proceso de aprendizaje. Si el aprendizaje ha sido superficial o memorístico, es posible que una prueba de evaluación realizada al finalizar el estudio del tema dé buenos resultados inmediatos, pero pasados dos meses los estudiantes ya no se acordarán de cómo resolver tareas similares. Antes de llevar a cabo una evaluación sumativa deben precisarse los objetos y los criterios de evaluación en relación a los distintos contenidos enseñados (gráfica 13). En caso contrario puede suceder que el instrumento diseñado no se adecúe a los objetos de evaluación, o que la información recogida no sea la más pertinente para evaluar los aprendizajes promovidos. Incluso puede ser que se evalúen contenidos no enseñados. CONTENIDOS DE EVA LUACIÌ N son los Objetos de evaluación Criterios de evaluación pueden ser Hechos Conceptos y Sistemas Conceptuales Procedimientos Actitudes Hábitos Valores Normas pueden ser Habilidades Técnicas Estrategias ... son Criterios de realización - Pertinencia Criterios como - Complitud - Originalidad de - Volumen de resultados conocimientos - ... concretándose en una tarea determinada por Indicadores de éxito Ilustración 7. Contenidos de la evaluación final Evaluación del proceso formativo y del aprendizaje 33 de 142 Máster en Formación de Formadores Sociolaborales Para analizar la calidad de las producciones del estudiante, es interesante distinguir entre los criterios de realización y los criterios de resultados. Los criterios de realización se refieren a los aspectos u operaciones que se espera que el estudiante aplique al realizar una determinada tarea, ya sea al explicar y/o describir una idea, al definir un concepto, al resolver un problema, al redactar un texto, al producir una obra plástica, etc. Por ejemplo, para reconocer si un participante en la formación es capaz de construir un gráfico, se deberán identificar las diferentes acciones que ha poner en práctica en la realización de este procedimiento. O, para comprobar si se representa adecuadamente un determinado concepto, será necesario explicitar las distintas características que permiten definirlo. Como se puede comprobar, los criterios de realización coinciden a menudo con las operaciones explicitadas en la base de orientación. Los criterios de resultados se refieren a la calidad de los aspectos incluidos o de las operaciones realizadas y fijan su grado de aceptabilidad. Incluyen aspectos como pertinencia, completitud, precisión, volumen de conocimientos aplicados, originalidad, etc. Es necesario distinguir entre los dos tipos de criterios ya que los estudiantes, al realizar una tarea o responder a una pregunta, pueden haber aplicado las operaciones relevantes pero sin la calidad suficiente, debido a la poca precisión en el lenguaje utilizado, a ser poco creativo, o a otros criterios. Esta diferenciación posibilita diferenciar las razones de los resultados y ayuda al estudiante en su proceso de regulación de los errores. No hay duda de que la calidad de la información recogida depende del tipo de cuestiones planteadas y de su adecuación a los objetos a evaluar. En especial conviene distinguir entre aquellas preguntas que sólo pretenden evaluar lo que el estudiante recuerda (reproductivas), de aquellas otras que tienen como finalidad comprobar si sabe aplicar los nuevos conocimientos al análisis e interpretación de fenómenos o de hechos distintos de los estudiados inicialmente (productivas). A menudo, es interesante incluir en la evaluación final cuestiones planteadas en la diagnosis para que el participante en la formación explicite los cambios en sus conocimientos. Esta meta reflexión posibilita que los aprendizajes sean más significativos. El diario puede ser un buen instrumento a utilizar para la evaluación final, si el estudiante resume en él lo que ha aprendido con sus propias palabras y lo valora. Los estudiantes también pueden autoevaluarse o co-evaluarse si se han apropiado de los criterios de evaluación. En esta línea, son prácticas interesantes la comparación entre la evaluación realizada por el formador y la autoevaluación hecha por los propios participantes en la formación, o bien la evaluación mutua entre ellos. (Cuadro 4) 34 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Cuadro 4. Preguntas productivas y reproductivas para evaluar los aprendizajes De los resultados de una evaluación final se puede deducir la necesidad de una regulación posterior. Muchas veces, esta evaluación diagnostica errores que deberán tenerse en cuenta en la formación de los siguientes temas. Otras veces, para algunos estudiantes convendrá planificar tareas específicas para revisar algunos conocimientos. En este sentido la evaluación final o sumativa es también una evaluación formativa. Pero no hay que olvidar que la evaluación realizada al final de un proceso de aprendizaje acostumbra a tener un peso importante en la calificación del estudiante. Aún así conviene distinguir, incluso en este momento, las dos funciones de la evaluación. Las notas que se otorguen a cada estudiante pueden ser el resultado de la aplicación de criterios distintos (al menos en parte) de los utilizados en la evaluación de los aprendizajes realizados. Por ejemplo, dos estudiantes con el mismo nivel de conocimientos demostrados en una evaluación final podrían tener calificaciones diferentes si se considera que también se ha de tener en cuenta el punto inicial de partida, su participación en el trabajo colectivo, la calidad o puntualidad con la que presenta sus trabajos u otros criterios. Toda evaluación pone en evidencia la diversidad del estudiante. Y al democratizarse la formación, esta diversidad se pone aún más de manifiesto. Aunque la formación tiene como objetivo reducir las diferencias no hay duda de que éstas continuarán existiendo. Por ello es importante que cada equipo docente consensúe los criterios que conducen a la clasificación y selección del participante en la formación y que en su formulación se incluyan aspectos distintos de los utilizados para evaluar unos determinados aprendizajes concretos. Diferenciar entre evaluar para calificar y evaluar para aprender, así como las interrelaciones entre estas dos maneras de concebir la evaluación de los Evaluación del proceso formativo y del aprendizaje 35 de 142 Máster en Formación de Formadores Sociolaborales aprendizajes, son un reto a afrontar tanto por el estudiante como por el formador. Un reto que supone concebir esta actividad de forma muy distinta a cómo se ha conceptualizado históricamente y a cómo la ven las familias y la sociedad en general. 36 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales RESUMEN Para enseñar significativamente se requiere que el formador sepa cómo detectar las dificultades del participante en la formación y los obstáculos con que se encuentra a lo largo de su aprendizaje. Y para aprender se requiere que los propios estudiantes reconozcan estas dificultades y obstáculos y así puedan pedir y encontrar los medios para superarlos eficazmente. Ello exige una nueva cultura de la evaluación, especialmente de la realizada a lo largo del proceso de aprendizaje, en la que las actividades evaluativas lleguen a ser al mismo tiempo actividades de formación-aprendizaje. El reto del formador está en cómo conseguir que los estudiantes adquieran una buena capacidad de autorregularse de manera efectiva. Y para conseguirlo necesitan llegar a ser capaces de evaluar si se apropian de los objetivos y de los criterios de evaluación del formador, y si anticipan y planifican sus acciones de manera adecuada. Consecuentemente también debe cambiar el entorno de aprendizaje ya que es necesario crear un ambiente de clase y unos valores que faciliten la verbalización de las ideas y de las formas de trabajo, el intercambio de puntos de vista, el respeto a todos ellos, su confrontación y la elaboración de propuestas consensuadas. La mejor evaluación (y, consecuentemente, la mejor formación) es aquella que es fruto de reflexiones colectivas y del trabajo coherente y cooperativo entre todos: formadores y participantes en la formación. Desde este marco se podrá avanzar hacia una formación de mayor calidad. Evaluación del proceso formativo y del aprendizaje 37 de 142 Máster en Formación de Formadores Sociolaborales BIBLIOGRAFÍA 38 de 142 • GAIRÍN, J. y SANMARTÍ, N. (1998): Evaluación institucional. Ministerio de Educación, Buenos Aires • GRILLES et al. (1996): Los cuadernos de los alumnos. Una evaluación del currículum real. I y E: Serie práctica. MEC. Sevilla: Díada. • JORBA, J. & SANMARTÍ, N. (1996a): Enseñar, aprender y evaluar: un proceso de regulación contínua. Madrid: MEC. • JORBA, J. & SANMARTÍ, N. (1996b): Avaliación da aprendizaxe. Santiago de Compostela: Xunta de Galicia. • KEMMIS, S. (1988): El curriculum: más allá de la teoría de la reproducción. Madrid: Morata. • NOVAK, J.D. & GOWIN, D. B. (1988): Aprendiendo a aprender. Barcelona: Martínez Roca. Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales UNIDAD 3: LA EVALUACIÓN DEL PROGRAMA FORMATIVO Introducción Es bastante habitual considerar el programa formativo∗* como algo impuesto por la administración pública o por un sistema formativo, y a la institución formativa y al formador que allí trabaja como simples 'correas transmisoras' de decisiones tomadas en el exterior. Así, se asimila ’currículo’ a los tradicionales 'programas' prefijados en orientaciones externas y/o libros de texto y, consecuentemente, se define como función básica del formador la de transmitir unos conocimientos seleccionados por otros. Bajo este punto de vista el trabajo de formador consistiría en saber 'explicar' de forma adecuada los contenidos correspondientes, escoger los libros de texto más idóneos y aplicar algunas de las actividades sugeridas. Pero ésta es una visión muy restringida, tanto del concepto de currículo como del papel del formador en su diseño. Pongámonos en otra perspectiva, la de Stenhouse (1984:29), y definamos el currículo como una tentativa para comunicar los principios y rasgos esenciales de un propósito educativo, de forma tal que permanezca abierto a discusión crítica y pueda ser trasladado efectivamente a la práctica. De esta manera, un currículo no se reduce a algo escrito en un papel, sino que se refiere a aquello que se aplica en las aulas, e incluye no sólo los contenidos y objetivos sino también los métodos de formación y de evaluación. En esta perspectiva, el formador debe tomar conciencia de su papel como transformador y, de hecho, creador del currículo. El formador toma diariamente un gran número de decisiones importantes referidas a qué enseña, a las actividades que selecciona, a cómo organiza el aula, a cómo interacciona con los participantes en la formación (pregunta, elogia, censura, anima...), a cómo califica y clasifica a los mismos, etc. Por ello el currículo también debe evaluarse para, así: • detectar la adecuación de sus objetivos a una determinada realidad formativa y la coherencia de los contenidos, actividades de formación seleccionadas y criterios de evaluación aplicados a dichos objetivos, • emitir juicios sobre posibles causas de la no adecuación o incoherencias, y • tomar decisiones sobre cómo innovar para superar las deficiencias observadas. Las reflexiones y sugerencias incluidas en esta unidad, adaptación de la aportación de Gairín y Sanmartí (1998: III) están orientadas a la práctica de una ∗ También denominado currículo, denominación que utilizaremos en el texto indistintamente. Evaluación del proceso formativo y del aprendizaje 39 de 142 Máster en Formación de Formadores Sociolaborales evaluación con dichas finalidades. Algunas ideas clave que trabajaremos en esta unidad son: • Existe la necesidad de cambiar los puntos de vista en relación a la responsabilidad de las instituciones formativas y del formador como transformador del currículo. • La calidad de un currículo está relacionada con la existencia de un proyecto y una práctica colectiva que se pueda argumentar como la mejor posible en función de la realidad del centro y de la formación de los componentes del equipo de formadores. • Evaluar un currículo implica evaluar las decisiones que se toman en relación a qué y cuándo enseñar, a cómo enseñar, y a qué y cómo evaluar los aprendizajes. • Evaluar un currículo es función de todo el equipo de formadores, es decir, de los que lo aplican. Para que esta autoevaluación transforme la práctica es necesario que se realice en base a reglas de juego cooperativas y críticas. • Analizar el significado y consecuencias de considerar el formador como diseñador del programa de formación. • Comprender las finalidades y contenidos de la evaluación de programas de formación. • Decidir sobre aspectos operativos del programa formativo. • Valorar el sentido y utilidad de la evaluación de impacto. Objetivos 40 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Mapa de Contenido Evaluación del proceso formativo y del aprendizaje 41 de 142 Máster en Formación de Formadores Sociolaborales 3.1 LA FUNCIÓN DEL FORMADOR COMO TRANSFORMADOR DEL CURRÍCULO Para poder asumir la función evaluadora del currículo aplicado en las aulas es importante cambiar algunas creencias sobre el papel de los formadores en el diseño curricular. Entre ellas destacaríamos: 42 de 142 • Se considera que los programas oficiales condicionan totalmente lo que se enseña. Pero se puede comprobar que cada centro de formación, y cada formador, toman decisiones sobre lo que hay enseñar con mayor profundidad y lo que hay que dejar de enseñar o bien tratar de forma superficial. ¿Por qué no asumir la importancia de las propias decisiones? ¿Por qué no evaluar qué es lo que influye más en lo que se enseña?: ¿las propias rutinas, la repetición de aquello que siempre se ha hecho?, ¿el libro de texto seleccionado?, ¿o las orientaciones ministeriales? • Se considera que lo que se enseña, su distribución en partes y su ordenación en lecciones, vienen dados por la propia ciencia de referencia. Pero, ¿por qué no asumir que cualquier contenido enseñado en la escuela es una transposición didáctica de los contenidos científicos, realizada tanto por la administración/ sistema formativo como por los libros de texto y por el propio formador?. ¿Por qué no reconocer que aún se sabe muy poco sobre cuál es la mejor transposición didáctica posible y que éste es un campo en el que se puede y se debe innovar? • Se considera que los programas oficiales o establecidos, al ser muy extensos, impiden aplicar métodos innovadores y activos de formación. ¿Por qué no reconocer que no por utilizar métodos más 'transmisores' basados esencialmente en la explicación del formador o en la lectura del libro de texto los estudiantes aprenden más rápido y más significativamente? Está demostrado que pocos estudiantes aprenden con estos métodos (aprenden los que aprenderían también solos o con muy poca ayuda), y que la mayoría de las veces el proceso de formación de determinados conceptos y procedimientos debe repetirse curso tras curso debido a que han sido mal aprendidos. • Se cree que un currículo es independiente de las características del centro y de su estudiante, y que se debe enseñar lo mismo a todos. Pero sabemos que todo proceso de formación, para ser significativo, debe diseñarse partiendo de la estructura de acogida (ver apartado 2.4.1) inicial de los estudiantes. Por ello, ¿por qué no asumir que para que un currículo sea efectivo debe ser consecuente con la realidad de cada centro? Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales • Se piensa que, a través de una buena explicación del formador o de la lectura de un buen libro de texto, todos los estudiantes son capaces de aprender significativamente. Pero ¿por qué no asumir que enseñar y aprender es el resultado de un proceso mucho más complejo? y que no se debe confundir explicar con enseñar, ni oir o leer con aprender. • Se cree que un método o una actividad es buena por ella misma, independientemente del formador y de los participantes en la formación a los que se aplica (de hecho, muchas veces se confunde enseñar con aplicar 'recetas'). Pero ¿por qué no reconocer que los estilos de formación y de aprendizaje son diversos?. Un método puede ser adecuado a la personalidad de un formador y de unos participantes en la formación y no a la de otros. La diversidad existe, es buena y enriquece. Cada formador ha de saber reconocer su 'estilo' y encontrar como hacerlo coherente y complementario con el de sus compañeros. De la misma manera, se debe respetar los estilos de los participantes en la formación, valorarlo, tenerlo en cuenta al enseñar y promover que todos sean aceptados en el grupo-clase y en el centro. • A menudo se cree que la base de una buena formación radica en escoger un buen libro de texto. Pero los libros de texto sólo reflejan el conocimiento ya construido y difícilmente pueden incluir actividades facilitadoras del proceso de construcción que debe seguir el participante en la formación lo suficientemente diversificadas para atender la variedad de puntos de partida y de estilos. Por ello, ¿por qué no asumir que el diseño del proceso de instrucción que ha de posibilitar que los estudiantes construyan un determinado conocimiento es responsabilidad del formador y que nunca podrá ser substituido por el uso mecanicista de un libro de texto? • También se acostumbra a considerar que el aprendizaje es el resultado de la acción individual de cada formador. Pero ¿por qué no reconocer que los aprendizajes son el resultado de un proceso que tienen lugar a través de años y de muchos formadores? A menudo se tiende a valorar la calidad individual de los formadores, pero es mucho más importante el trabajo coherente de un equipo. Sin proyectos curriculares asumidos colectivamente por los miembros de un centro de formación -formadores principalmente, pero también personal no docente, promotores de la formación e incluso los propios participantes en la formación-, es imposible pensar en obtener buenos resultados ya que la incidencia de un formador o formadora a lo largo del periodo de formación es muy limitada. La formación es, sin duda, una de las pocas profesiones en las Evaluación del proceso formativo y del aprendizaje 43 de 142 Máster en Formación de Formadores Sociolaborales que el resultado de su acción es consecuencia de un trabajo coherente de equipo realizado a lo largo de muchos años. • 44 de 142 Por último, conviene también poner en duda la creencia de que las decisiones de evaluación con finalidades de selección, orientación y clasificación del estudiante se derivan únicamente de los aprendizajes realizados por ellos. Al contrario, es sabido que en estas decisiones influyen otros factores. Por ejemplo: se pueden tener en cuenta solamente los aprendizajes conceptuales, o considerar también los procedimientos y las actitudes del participante en la formación; se puede tener en cuenta, o no, el punto de partida del estudiante, etc. Por ello, ¿por qué no admitir que la evaluación no es objetiva sino relativa, y que es necesario definir criterios consensuados colectivamente? Para profundizar en las alternativas a estas creencias será importante reflexionar sobre las finalidades de una evaluación del currículo y sobre qué aspectos será importante evaluar. Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 3.2 FINALIDAD Y CONTENIDOS DE LA EVALUACIÓN Los resultados de la formación son en buena parte consecuencia del currículo que se aplica en una institución de formación. Por ello, mejorar dichos resultados pasa necesariamente por una mejora del currículo. Generalmente, cuando se evalúan los resultados obtenidos por un estudiante no se tiene en cuenta si el currículo aplicado fue el mejor entre los posibles. Implícitamente se da por supuesto que el aprendizaje es más una consecuencia de la aptitud y actitud de cada estudiante, y del ambiente en el que se desenvuelve, que no de la planificación del proceso de formación o de su aplicación. Pero conviene tener en cuenta que se puede incidir poco en las variables individuales y sociales desde el centro de formación. En cambio, sí que se puede cambiar el currículo, es decir, qué se enseña y cuando, cómo se enseña y cómo se evalúa. La investigación en este campo es aún muy reducida y se sabe muy poco sobre cómo responder a estas preguntas. No hay reglas ni recetas útiles para todo tipo de estudiante y para todo tipo de formador. Las variables relacionadas con la acción educativa que influyen en un aprendizaje son muchas y, a parte del factor tiempo -a más tiempo dedicado a enseñar un contenido, más aprendizaje-, es difícil concluir qué otros factores son más decisivos. Por ello, toda decisión curricular conlleva analizar las diferentes variables en las que se pueda incidir y en sus interrelaciones, y tomar decisiones tendentes a que sean las óptimas en función de las características de la institución formativa, del formador y participante en la formación, y del tiempo de formación del que se dispone. Consecuentemente, toda evaluación del currículo está estrechamente relacionada con la investigación en la acción y la innovación. Cada centro responde a una realidad distinta, a un ecosistema, en el que sus componentes tienen la capacidad de tomar decisiones autónomamente y, por ello, de dirigir en cierto modo su evolución. Esta evolución no está predeterminada -aunque haya teorías didácticas acerca de qué currículos puedan ser mejores a la luz de los conocimientos actuales-, por lo que la profesión de formador es sin duda una de las que ofrece una mayor posibilidad de crear, de innovar. Pero no tiene sentido evaluar el currículo si no se está dispuesto a aprender y a cambiar, colectiva e individualmente. Ser formador requiere una formación profesional continua. Nunca se acaba de aprender, porque las teorías educativas están en constante evolución, y porque la realidad de cada grupo-clase y de cada centro es distinta. Algo que ha sido útil en el aula A no funciona en la B, o no se adecua a las características de otro formador. Evaluar el currículo implica explicitar muchos implícitos de la actividad cotidiana de los formadores con el objetivo de llegar a compartir puntos de vista o, como mínimo, complementarlos. Es difícil que el formador de un centro formativo Evaluación del proceso formativo y del aprendizaje 45 de 142 Máster en Formación de Formadores Sociolaborales llegue a tener unos valores y referentes teóricos totalmente compartidos, pero sí se puede llegar a reconocer qué aporta cada miembro del equipo al colectivo, y valorar e integrar esta aportación. Un proceso de formación es efectivo no tanto porque todo el formador coincida totalmente en los puntos de vista como porque, a partir de la riqueza que da la diversidad, el proceso global sea coherente. Por ejemplo, un formador puede valorar mucho que sus participantes en la formación sean capaces de expresarse, de comunicar sus ideas, y por ello promueve el desarrollo de estas capacidades organizando debates, favoreciendo su participación en el aula, etc. Sin embargo, otro formador o formadora puede preferir poner el énfasis en el desarrollo de capacidades relacionadas con la autoorganización del estudio y priorizar un aprendizaje más sistemático y más individualizado. Estas dos formas de orientar el currículo no tienen porqué ser antagonistas, ya que cada una de ellas desarrolla capacidades distintas. Si se contempla la formación como un proceso colectivo que tiene lugar a lo largo de los años, será positivo que los participantes en la formación aprendan estilos distintos de trabajo y desarrollen todo tipo de capacidades. Los estilos de formación pueden ser distintos pero, sin duda, es necesario que a través de la escolaridad de un estudiante su formador se complemente. Y para que ello sea efectivo es importante que cada miembro del colectivo reconozca y valore la actuación del compañero en aquello que tiene precisamente de complementariedad. Se puede afirmar, pues, que un currículo es de calidad cuando es coherente, es decir, cuando hay un proyecto y una práctica colectiva que se puede argumentar como la mejor posible en función de la realidad del centro y de los conocimientos didácticos del equipo. Por ello, la evaluación debe ser continua, ya que la realidad es cambiante y constantemente se está aprendiendo. ¿Qué tipos de coherencia se le puede pedir a un currículo? Entre otros destacaríamos: a) Coherencia con las orientaciones político-administrativas. Un tipo de civilización, un país, generan culturas que se transmiten socialmente a través de muy distintos mecanismos, entre ellos, por medio de la educación reglada. La escuela para todos es una conquista de la democracia y persigue fundamentalmente el acceso de la población a una cultura que cada país, a través de sus instituciones democráticas, selecciona como la más idónea en un periodo de tiempo determinado. Responde al ideal de 'igualdad' de la revolución francesa y pretende romper con la anterior división de culturas que eran (y aun son) distintas en función de la clase social de los individuos. Pretende seleccionar unos 'mínimos' conocimientos comunes para toda la población cuyo aprendizaje la escuela debe garantizar. Y ello porque esta cultura común es la que posibilita la comunicación entre distintos grupos sociales, compartir proyectos, acceder a puestos de trabajo, etc. Como veremos, esta aparente homogeneización de los contenidos curriculares no excluye la necesidad de su diversificación. Los participantes en la formación 46 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales aportan a las instituciones formativas contextos socioculturales muy diversos y estas deben acoger y potenciar tanto la riqueza de la cultura popular como la de los subgrupos culturales creados por los jóvenes o de otro tipo. b) Coherencia del proyecto curricular del centro. El aula, el taller o el espacio formativo son los lugares en los que cada formador pone en práctica sus propias ideas sobre qué y cómo enseñar. Pero la efectividad de sus decisiones depende en gran parte de su coherencia con las tomadas por los otros formadores de la institución formativa. Cada vez más se reconoce la importancia de los elementos transversales del currículo en la efectividad y calidad de los aprendizajes. Un buen centro de formación no es tanto el que tiene excelentes formadores que actúan de forma desconectada como aquel en el que existe un buen proyecto común asumido colectivamente. Si profundizamos en los contenidos de la formación, observaremos que se refiere al desarrollo de capacidades en buena parte comunes a todas las disciplinas y a toda la formación. Los llamados temas transversales (el medio ambiente, la salud, los derechos humanos, etc.), pero también el aprendizaje de habilidades como, por ejemplo, las de tipo comunicativo, tecnológico u organizativo, no son patrimonio de ninguna asignatura o curso, y sólo se pueden enseñar eficazmente desde un buen proyecto común. Pero es más, también los aprendizajes disciplinares necesitan de un trabajo coherente a lo largo de los cursos. Aprender ciencias sociales o aprender tecnología requieren la construcción de conocimientos que no son una simple suma de conceptos o técnicas, sino un sistema de interrelaciones entre ellos que conforman toda una forma de pensar, de actuar y de sentir. c) Coherencia con la epistemología de los distintos campos disciplinares. Todo proyecto curricular escolar se concreta en los proyectos curriculares de las áreas. El horario escolar se distribuye fundamentalmente entre la formación de diferentes contenidos disciplinares, y es también a través suyo como habitualmente se enseñan los contenidos transversales. Por ello es necesario evaluar si se está enseñando lo más significativo de cada área formativa, aquello que constituye la estructura del edificio teórico de las diferentes disciplinas. Cada una de ellas representa una manera de mirar el mundo desde reglas de juego determinadas. Por ello es importante evaluar si se enseñan las reglas de juego significativas para jugar con competencia cada uno de los juegos o sólo se transmiten reglas mecánicas o aspectos parciales que no permiten de hecho participar activamente de dichos juegos. Por ejemplo, ¿se enseñan las reglas de juego de la comunicación que han de permitir a los estudiantes ser autónomos para escoger las mejores formas de dar a conocer sus ideas y de entender las de los demás? ¿o se enseñan sólo reglas ortográficas o gramaticales desconectadas de su función comunicativa? Y ¿se enseña vocabulario científico y 'fórmulas' para aplicarlas mecánicamente?, ¿o se enseña a interpretar científicamente fenómenos cotidianos y a resolver problemas significativos del entorno? Evaluación del proceso formativo y del aprendizaje 47 de 142 Máster en Formación de Formadores Sociolaborales d) Coherencia con las necesidades e intereses del estudiante derivadas fundamentalmente de su contexto sociocultural. El currículo debe responder a la realidad del centro y del estudiante y, ya que los puntos de partida y su cultura ambiental son distintos, el currículo también deberá ser distinto. La institución de formación debe de estar comprometida, en la medida de lo posible, en la compensación de las desigualdades, por lo tanto es difícil que dos currículos puedan ser iguales. Aún así, es importante reconocer que compensar no es lo mismo que uniformar. Por ejemplo, es necesario que toda persona sepa comunicarse utilizando los registros lingüísticos estándares, pero ello no implica que se marginen y menosprecien otros registros utilizados en su círculo familiar o de amistad. e) Coherencia con las características psicológicas del estudiante. Aunque existen diferentes teorías psicológicas, en muchos casos complementarias, actualmente se dispone de pocos conocimientos acerca de cómo se aprende. Un currículo tiene que ser coherente con dichos conocimientos y por ello es importante evaluar si la secuenciación de lo que se enseña a lo largo de los cursos se adecua a los diferentes niveles de desarrollo intelectual del estudiante, así como si los procesos de aprendizaje propuestos son los más idóneos. Por ejemplo, hoy sabemos que se aprende a partir de lo que ya se sabe, por lo que todo nuevo aprendizaje deberá construirse fundamentalmente a partir de los conocimientos previos de los estudiantes. También se sabe de la importancia del lenguaje como instrumento mediador del aprendizaje o sobre la necesidad de tener muy en cuenta los aspectos emocionales como condición para aprender. Evaluar el currículo implicará evaluar si los contenidos y los métodos son coherentes con los conocimientos de psicología actuales. f) Coherencia con los medios de que se dispone. En la concreción de un currículo también influyen los medios materiales de los que dispone o puede disponer un centro. Las dos variables más importantes son el tiempo y el espacio. Se deberá evaluar si la distribución del tiempo entre las disciplinas y a lo largo del día es la más idónea. Se ha demostrado (y todos los formadores lo saben) que a más tiempo dedicado a la formación-aprendizaje de alguna cosa, mejores resultados. También se sabe que la concentración hacia el estudio disminuye a medida que pasan las horas del horario de formación. Por ello, es importante evaluar la idoneidad de las decisiones tomadas en relación a esta variable. También es necesario evaluar el uso de los espacios, cómo se aprovechan y cómo se conservan y adecuan. Es especialmente importante valorar cómo se utilizan los espacios comunes y si se aprovechan para el desarrollo de actitudes positivas hacia el aprendizaje y la convivencia. Paralelamente, se deberían evaluar las necesidades y el uso de todo tipo de materiales didácticos (laboratorio, talleres, bibliográficos, audiovisuales, informáticos, etc.). Aunque está demostrado que la calidad de un proceso educativo no está relacionada necesariamente con la cantidad de recursos de que dispone (hay centros de formación con pocos equipamientos que saben utilizar 48 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales recursos alternativos y otros con muchos equipamientos que no son utilizados), no hay duda de que es importante detectar tanto cuáles son los materiales que podrían facilitar el trabajo como el rendimiento obtenido del uso de los disponibles. g) Coherencia con las características del formador. Un currículo es algo que ponen en práctica personas con una formación, intereses, personalidades e ideologías distintas. Es bien conocido que si a un formador o formadora no le gusta lo que enseña, es difícil que sus participantes en la formación disfruten aprendiendo e, incluso, que aprendan. Por ello, no hay un currículo bueno o malo en abstracto, sino que depende, entre otras variables, de su adecuación a las características de quién lo aplica. Un centro de formación debe reconocer las cualidades e intereses de cada miembro de su equipo y evaluar si se aprovechan adecuadamente en función de las necesidades y tipologías de los distintos grupos-clase. Seguramente es bueno que un formador a quien le gusten las matemáticas y tenga una buena preparación en ellas, pero no le ocurra lo mismo con el lenguaje, incida más en la formación de aquéllas que de éste, pero se debe prever que, al año siguiente, el formador o formadora tenga otras preferencias. De la misma manera, un formador con especial habilidad para promover una buena dinámica de grupo en su clase y favorecer el aprendizaje de estrategias y normas de trabajo colectivo debería alternarse con otros formadores que tienden a utilizar más estrategias de trabajo individual. Evaluar un currículo es función de todo un equipo del centro, es decir, de los que lo aplican. Es muy importante que sea el propio formador quien se autoevalúe y tome decisiones para mejorar. Las evaluaciones externas en este campo sólo tienen sentido si favorecen las propias autoevaluaciones. A igual que cuando se ha hablado de evaluación de los aprendizajes, la condición básica para que los formadores acepten entrar en un proceso de autoevaluación es que ésta se realice en base a reglas de juego cooperativas y críticas. Es decir, se evalúa para mejorar un proyecto común al que cada uno aporta algo significativo. Por ello, es a menudo más importante empezar por evaluar lo que se considera adecuado y que conviene conservar (tanto en relación a los contenidos y métodos como a los valores más o menos implícitos en el currículo) que lo que no funciona y debería cambiarse. Igualmente importante es aceptar que nadie tiene la respuesta sobre qué currículo es mejor, pero se pueden tomar decisiones provisionales que, a su vez, se podrán cambiar a partir de la evaluación de su aplicación y del conocimiento de otras propuestas tanto teóricas como prácticas. Por ello, será importante evaluar, en relación a las finalidades educativas (ver siguiente ilustración): • Las decisiones tomadas en relación a qué y cuando enseñar • Las decisiones tomadas en relación a cómo enseñar Evaluación del proceso formativo y del aprendizaje 49 de 142 Máster en Formación de Formadores Sociolaborales • Las decisiones tomadas en relación a qué y cómo evaluar los aprendizajes Ilustración 8. Condiciones del currículo escolar 50 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 3.3 TOMAR DECISIONES SOBRE EL OBJETO, CONTEXTO Y EL MOMENTO DE LA EVALUACIÓN Desde los planteamientos de la llamada Teoría crítica del currículo (Kemmis, 1988) se ha puesto de manifiesto su carácter fundamentalmente reproductor de los saberes y valores de los grupos sociales dominantes. No existe un programa o currículo sin carga ideológica, por lo que las decisiones que se toman siempre promueven ciertos valores e intereses en detrimento de otros. Por ejemplo, muchos de los currículos de matemáticas tuvieron y tienen como principal objetivo la selección de minorías dirigentes y no tanto el aprendizaje de conocimientos matemáticos útiles en la vida cotidiana. Sólo cuando las industrias necesitan trabajadores con este tipo de conocimientos, se cambian las orientaciones curriculares en relación a la formación de las matemáticas (u otras áreas). Pero al mismo tiempo, los centros de formación son instituciones capaces de generar cambios a partir de la constitución de comunidades críticas comprometidas en la lucha por transformar los procesos formativos. Es decir, los cambios curriculares son el resultado tanto de cambios socioeconómicos y políticos, como de la acción de estas minorías críticas que, a través de su teoría y de su práctica, han planteado alternativas a las estructuras formativas tradicionales. Para poder transformar cualquier práctica es necesario evaluar. En relación al contenido de los currículos es importante identificar, valorar y tomar decisiones acerca de aspectos que abordamos a continuación. a) ¿Cuál es la intencionalidad educativa del currículo aplicado? Seguramente, pocas veces nos preguntamos por qué enseñamos lo que enseñamos. Este tipo de cuestiones no se plantean abiertamente, ya que se da por sabido que los distintos contenidos programados forman parte del currículum del estudiante y se tienen que enseñar. Sin embargo, las finalidades de la formación pueden ser muy variadas y cada institución formativa y cada formador da más importancia a unos aspectos que a los demás, aunque sea de forma implícita. Las frases del cuestionario, incluidas en el cuadro siguiente, recogen distintas afirmaciones sobre las finalidades de la formación con el objetivo de evaluar cuáles de ellas se priorizan y cuáles de ellas se considera que se deberían priorizar. Todas las frases responden a finalidades que se pueden valorar como importantes, pero en las tareas diarias hay unas que, a menudo de forma implícita, se valoran más que las demás. Evaluación del proceso formativo y del aprendizaje 51 de 142 Máster en Formación de Formadores Sociolaborales Cuadro 5. La selección de contenidos A menudo es difícil contestar a este cuestionario porque todas las finalidades expresadas se consideran como importantes y no es fácil decidir cuál de ellas se prioriza. Aun así, los resultados que se obtienen tienen el interés y el valor de explicitar las opciones que se toman de forma inconsciente. Al poner en común los resultados se pueden comparar los distintos puntos de vista de un equipo docente. b) En qué visión epistemológica de cada disciplina se basa Las distintas áreas del currículo se basan y/o agrupan disciplinas. El saber escolar asociado a cada disciplina se selecciona en función de la visión que se tiene sobre ella. Como no hay una forma única de concebirla, nos encontramos con que aquello que se considera importante enseñar responde a un punto de vista parcial e incluso no aceptable de la disciplina. Por ejemplo, el cuadro 8 recoge un cuestionario para poner de manifiesto diferentes formas de concebir las ciencias. 52 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Este cuestionario es útil para favorecer la discusión entre los formadores acerca del modelo de ciencia que se transmite a través del currículo. Por ejemplo, cuando una formadora se queja de que sus estudiantes aun no saben el nombre de los huesos del esqueleto, está poniendo de manifiesto una visión 'realista' de la ciencia escolar. En cambio, si pone el acento en que sus estudiantes observen distintos tipos de huesos y los clasifiquen, sus planteamientos estarían más cerca de los empiristas. Y si, además de observarlos y clasificarlos, propone que inventen explicaciones acerca del porqué de sus formas, que las argumenten y que las contrasten con las explicaciones dadas por libros o expertos, sus propuestas estarían más cerca de las llamadas 'racionalistas moderadas'. Cuadro 6. Ejemplo de visiones sobre una disciplina De la misma manera se pueden construir cuestionarios parecidos en relación a cada uno de los ámbitos curriculares que se hayan establecido. c) Qué importancia se da a los distintos tipos de contenidos El tiempo de que se dispone para enseñar es limitado, y las rutinas llevan a priorizar los contenidos conceptuales respecto a los procedimentales o actitudinales. Sin embargo el fracaso de la formación tiene su origen más en estos dos últimos tipos de conocimientos que en los primeros, reconociendo que son importantes y fundamentales para el desarrollo de determinadas competencias. Es sabido que, cuando la actitud hacia un determinado aprendizaje es negativa, es imposible que se pueda aprender. De la misma manera, uno de los factores que diferencian estudiantes con éxito académico de estudiantes con fracaso es el Evaluación del proceso formativo y del aprendizaje 53 de 142 Máster en Formación de Formadores Sociolaborales conocimiento y uso de estrategias y procedimientos de aprendizaje. En este campo son muy importantes las habilidades cognitivas tanto de tipo lógico como lingüístico, comunes a todas las áreas pero que se deben enseñar en cada una de ellas. A menudo los profesores consideran que enseñan estos tipos de contenidos sólo por el hecho de plantear actividades en las que los estudiantes las tienen que poner en práctica. Por ejemplo, dicen 'Yo enseño a mis estudiantes a trabajen en grupo porque les hago hacer trabajos en grupo' o 'Yo enseño a mis estudiantes a comparar porque les pido que comparen'. Pero estos tipos de actividades presuponen que los estudiantes y alumnas saben trabajar en grupo o comparar. Este es el motivo por el que algunos estudiantes, que en otros contextos (familiar o de otro tipo) han aprendido estas y otras estrategias, tengan éxito en su aprendizaje. Todos los participantes en un proceso formativo llegan al centro de formación con un nivel de conocimientos conceptuales diverso y, en algunos casos, similar pero, en cambio, sus hábitos, intereses y estrategias son muy diversas. Una institución de formación orientada a compensar desigualdades tiene que dedicar especial atención a la enseñanza de contenidos actitudinales y procedimentales. Para evaluar los contenidos que se enseñan realmente es útil utilizar pautas de análisis como la del cuadro 3. Puede hacerse colectivamente, ya que, aunque se analice una unidad didáctica de una disciplina o de un curso, es importante relacionar dichos contenidos con otros enseñados en otras disciplinas u otros cursos. Cuadro 7. Cuestiones para revisar la presencia de contenidos procedimentales y actitudinales d) Qué contexto es el seleccionado para la enseñanza Otra de las variables importantes al evaluar un currículo es la referente al contexto en el que se sitúan los contenidos seleccionados (ilustración 9). Por ejemplo, se pueden enseñar conocimientos sobre la electricidad sólo desde su vertiente de 'ciencia pura', o teniendo en cuenta sus aplicaciones tecnológicas en la vida cotidiana, o introduciendo además ideas que posibiliten el análisis de problemas ambientales o de salud relacionados con la producción o consumo de la electricidad. De igual forma, podríamos analizar el contexto a partir del cual se introduce el estudio de conocimientos lingüísticos, matemáticos o sociales. 54 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Ilustración 9.Referentes para la organización de los contenidos Actualmente, todas las orientaciones curriculares propugnan que el contexto seleccionado en enseñanzas de carácter básico, consideradas y deseadas como comunes a toda la población, ha de ser un contexto que posibilite al participante en la formación el reconocimiento de las finalidades de su aprendizaje, su utilidad (cuadro 4). Desde planteamientos curriculares críticos se insiste, además, en la importancia de tener en cuenta el papel del currículo en la transformación de la sociedad, cosa que se concreta especialmente en el contexto escogido. Por ejemplo, se puede tener como objetivo enseñar a los estudiantes a escribir textos argumentativos, pero es muy distinto si el contexto seleccionado es banal o está relacionado con desarrollar la capacidad de los estudiantes para argumentar sobre posibles causas y soluciones de problemas de su comunidad. Evaluación del proceso formativo y del aprendizaje 55 de 142 Máster en Formación de Formadores Sociolaborales Cuadro 8. Relación de lo enseñado con la realidad del participante en la formación e) Qué interrelación hay entre los contenidos enseñados en las distintas disciplinas Las disciplinas alrededor de las que se organiza el conocimiento que conforma el programa formativo no siempre han sido las mismas para proyectos similares y no tienen porqué continuar siéndolo. De la misma forma que, actualmente, disciplinas han sido eliminadas de los currículos básicos, también se podría pensar en la desaparición de otras materias hoy consideradas básicas y la aparición de otras, como hoy ya está sucediendo con la informática, la tecnología o el reforzamiento del dominio de idiomas o de aprendizajes relacionados con el desarrollo profesional. También se podría pensar en una organización curricular futura para una especialización determinada totalmente distinta a la actual, donde la enseñanza de los conocimientos tomara en consideración nuevas áreas como la educación ambiental, la educación para la salud, la educación para la paz o la educación cívica, entre otras. La tendencia a una excesiva atomización del currículo, sobre todo en programas formativos de larga duración, es algo que debe cuestionarse por su ineficacia y falta de coherencia. En el momento en que los objetivos relacionados con el aprendizaje de procedimientos y de actitudes son considerados tan importantes como los relacionados con el aprendizaje de conceptos, debe profundizarse mucho más en la interrelación entre disciplinas. Si un objetivo básico es desarrollar la capacidad del participante en la formación para comunicarse, este objetivo debe 56 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales considerarse a todas las áreas de aprendizaje, al igual que si nos planteamos el aprendizaje de actitudes como la tolerancia, la solidaridad y el respeto hacia los otros. Como el tiempo de enseñanza es limitado y los contenidos a enseñar muchos, es necesario planificar el currículo coherentemente, de forma que se favorezca una construcción progresiva de dichos contenidos. Además, una adecuada interrelación favorece que los estudiantes reconozcan la significatividad de los aprendizajes que se les proponen. El cuadro siguiente recoge una pauta para la evaluación y regulación de la enseñanza de contenidos caracterizados por su transversalidad. Cuadro 9. Referentes para revisar los contenidos transversales en un currículo formativo f) Cómo se distribuyen los aprendizajes a lo largo del programa formativo El aprendizaje de cualquier contenido importante es siempre el resultado de un proceso largo y complejo. Incluso muchas veces no coincide el tiempo de enseñanza con el tiempo de aprendizaje y todos habremos experimentado cómo en alguna ocasión, al ir por la calle, al hablar con amigos o viendo la TV, tomamos conciencia de entender alguna cosa que se nos había enseñado con anterioridad, en contextos muy distintos. También es sabido que es mejor un currículo en espiral que lineal. Por ejemplo, es mejor enseñar a sumar fracciones en diferentes partes de un curso o de varios, que dedicar a su enseñanza mucho tiempo seguido de un mismo curso y no cambiar de tema hasta que se haya aprendido bien. En general, es una buena decisión plantear la enseñanza de un contenido situándolo en distintos contextos o temáticas, y aumentando progresivamente su nivel de complejidad. Pero ello requiere una buena secuenciación del currículo global, ya que muchas veces se tiende a enseñar siempre lo mismo. Hay temáticas, por ejemplo los derechos de los trabajadores, de las que se repiten los mismos contenidos en las diferentes materias del programa formativo. A menudo se justifica este hecho Evaluación del proceso formativo y del aprendizaje 57 de 142 Máster en Formación de Formadores Sociolaborales señalando su interés para el tema que se aborda o diciendo que el participante en la formación no aprendió 'bien' anteriormente, cuando muchas veces lo que sucede es que no recuerda fácilmente. Consecuentemente, será muy distinto planificar actividades para ayudar a los estudiantes a recuperar la memoria de aquello que aprendieron que para enseñárselo otra vez. Seguramente el principal problema de los formadores al secuenciar se centra en cómo enseñar todo lo que consideran necesario en el tiempo de que se dispone. Muchas veces la propia secuenciación conlleva que los últimos temas programados (que no tienen porque ser los menos importantes) sean los que se marginan. Otra de las tendencias a cambiar es la de planificar un curso en función del posterior más que del anterior, cuando es sabido que se aprende a partir de aquello que ya se sabe. Un buen recurso para evaluar y tomar decisiones en relación a la secuenciación es preguntarse, al analizar el conjunto de temáticas posibles a enseñar, qué enseñaríamos si sólo pudiéramos seleccionar un contenido, luego dos, después tres y así sucesivamente. También es útil preguntarse si aquello que se enseña es lo que necesitarán más los participantes en la formación para su actividad laboral y social. La calidad del proceso de enseñanza y del de aprendizaje es así más el resultado de un trabajo en equipo de los formadores y formadoras que de la suma de individualidades. Por ello, una adecuada secuenciación, fruto de una evaluación y toma de decisiones colectiva, puede contribuir a la mejora de los resultados. 58 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 3.4. TOMAR DECISIONES SOBRE LA METODOLOGÍA APLICADA EN EL AULA Como ya se ha indicado, a menudo se cree que un currículo viene definido sólo por la decisión en torno a los contenidos a enseñar, con el 'programa'. Pero, tal como se ha indicado, el verdadero currículo no es el que se escribe en una hoja de papel, sino aquel que se pone en práctica en las aulas. También está comprobado que, muchas veces, un cambio en los contenidos a enseñar no implica una mejora en la calidad de la enseñanza, especialmente si no se relaciona con cambios en las formas de enseñar, en los métodos y estrategias. Desarrollar unos u otros contenidos o dar clase a unos u otros estudiantes es algo habitual en los formadores, que se realiza sin grandes problemas; sin embargo, cambiar los métodos de enseñanza parece ser mucho más difícil. Aun así, es importante reconocer la relación entre qué se enseña y cómo. De hecho, muchas veces los cambios en el qué se enseña son muy superficiales. Por ejemplo, se puede pasar de enseñar polinomios a enseñar estadística, pero si no varía la concepción sobre la finalidad de la enseñanza de las matemáticas, es difícil que dicho cambio conlleve cambios metodológicos. Por ello, es importante evaluar cómo se aplica un currículo y tomar decisiones acerca de aspectos como los que a continuación se tratan. a) Evaluar la coherencia entre las decisiones tomadas en relación a qué enseñar y a cómo se enseña Muchas veces los métodos utilizados para enseñar se contradicen totalmente con el contenido que se está enseñando. Por ejemplo, en el área de lengua es frecuente enseñar a escribir o a hablar sin dar ocasión a que los participantes en la formación escriban historias o hablen de sus ideas, y en el área de las ciencias o tecnología, se puede verbalizar que una de sus finalidades es dar a conocer cómo trabajan los científicos y se enseñe a base de explicar oralmente o leer un libro de texto. De la misma manera se puede considerar extraordinariamente incoherente tener como objetivo que los estudiantes desarrollen su capacidad crítica y se enseñe dando definiciones o algoritmos que luego se han de repetir exactamente en los exámenes. Es muy importante por lo tanto identificar la coherencia o incoherencia entre aquello que se dice que se quiere enseñar y la metodología utilizada para enseñar. En general, es difícil evaluar la metodología porque hay grandes diferencias entre la actividad escrita y la actividad aplicada. Los formadores somos celosos de la intimidad que se da entre las cuatro paredes de nuestra clase y pocas veces la abrimos a otros para que nos ayuden a analizar y mejorar nuestra práctica. Pero es importante tomar conciencia que se puede aprender mucho de los compañeros y compañeras y que, al mismo tiempo, se les puede ayudar a aprender. El reto de todo formador o formadora que quiera innovar en su trabajo Evaluación del proceso formativo y del aprendizaje 59 de 142 Máster en Formación de Formadores Sociolaborales es el de abrir su aula para poder compartir y evaluar con los demás su actividad. En el cuadro 6 se recoge una propuesta de un plan de acción orientado a que los formadores de un centro compartan su práctica para que pueda ser evaluada. Compartir experiencias con el objetivo de mejorar la práctica 1a fase: Explicar qué se hace en aula para enseñar un contenido determinado. Cada formador o formadora escoge alguna actividad que considere de posible interés para los demás y la da a conocer a los demás formadores. Éstos explicitan los aspectos que valoran como más innovadores y sugieren otros que se podrían mejorar. Cuando se observa que no hay dificultades en aceptar ideas de otros se puede pasar a la: 2a. fase: Seleccionar algún tipo de actividad innovadora con el compromiso de aplicarlo en todas las aulas y de aportar ejemplos del trabajo realizado por estudiantes de todos los tipos. Por ejemplo, se puede acordar enseñar al participante en la formación a confeccionar mapas conceptuales, a observar o a trabajar en grupo en todas las áreas y/o cursos. En las sesiones de intercambio entre los formadores se analizan los aciertos y las dificultades encontradas, se comparten las soluciones adoptadas cuando se han planteado conflictos y se concretan propuestas para que sean experimentadas. Cuando se observa que no hay dificultades en dar a conocer problemas y conflictos surgidos se puede pasar a la fase tercera. 3a. fase: Observarse mutuamente en el aula con el compromiso de analizar posteriormente qué ha sucedido, qué aspectos se consideran más interesantes y cuáles se podrían mejorar. Cuadro 10. Estrategia dirigida a compartir experiencias sobre la mejora de la práctica b) Diversidad y tipos de actividades que se llevan a cabo Se enseña a través de actividades programadas para tal fin. Hay algunas actividades que están muy relacionadas con un tipo de disciplina, mientras que otras son comunes a varias. Entre las primeras podemos reconocer la resolución de problemas como actividad asociada a la enseñanza de las matemáticas, la realización de trabajos prácticos como actividad propia de la enseñanza de las ciencias o el análisis de textos como actividad para aprender a escribir. Entre las segundas, la explicación por parte del formador o la lectura del libro de texto acostumbran a ser las más generalizadas, lo que sin duda conviene cuestionar. De hecho, la tipología de actividades posibles es muy numerosa y cada vez se idean más y se innova más. Por ejemplo, el uso de los ordenadores en los centros de formación ha posibilitado realizar actividades de intercambio, de recogida y tratamiento de la información o de autoevaluación, que antes eran casi impensables. También el vídeo ha facilitado el uso de la imagen y del sonido como medio para aprender. En los últimos años, también ha cambiado la tradicional división entre trabajo y ‘juego' y éste ha pasado a considerarse actividad de 'trabajo'. Otro de los campos en los que se ha innovado mucho es en el de los 'instrumentos-actividades' facilitadores del aprendizaje. En este campo destacan los mapas conceptuales, las V de Gowin, las bases de orientación, los diagramas de flujo y otros muchos heurísticos. 60 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales El uso de una variedad de actividades promueve que un mayor número de estudiantes aprenda. Ello se debe tanto a que se reduce la monotonía como a que se desarrollan capacidades diversas y a que se puede atender mejor a los diferentes estilos de aprendizaje que hay entre el participante en la formación. Llevar a cabo siempre el mismo tipo de actividades favorece sólo a los estudiantes que se adaptan mejor a ellas y no a los divergentes. El cuadro siguiente recoge aspectos a tener en cuenta al evaluar las actividades seleccionadas para enseñar. Variables a tener en cuenta al evaluar las actividades . ¿Se adecuan a los objetivos de aprendizaje? A través de la actividad, ¿los estudiantes pueden aprender aquello que se pretende? . ¿Qué relación hay entre objetivo de la actividad y el tiempo disponible? (una actividad puede ser muy divertida e interesante, pero el tiempo que requiere aplicarla puede ser desproporcionado con los resultados de aprendizaje esperados) . ¿Qué tipo de agrupación requiere la aplicación cada actividad: individual, por parejas, en pequeños grupos o en gran grupo? ¿Es siempre la misma? ¿Cuál predomina? . ¿Siempre se proponen las mismas actividades o se procura diversificar e innovar? . ¿A través de las actividades propuestas se desarrollan capacidades distintas? ¿Cuáles? . ¿Se adecúan a distintos estilos de aprendizaje? o ¿Sólo responden a las necesidades de estudiantes con unas determinadas características? . ¿Son actividades motivadoras para el participante en la formación? ¿Despiertan su interés, su capacidad para plantearse preguntas y tener ganas de responderlas? . Los estudiantes, ¿pueden identificar el motivo y el objetivo por el que el formador propone la realización de la actividad? . ¿Se promueve la autonomía y la creatividad del participante en la formación? ¿O son actividades fundamentalmente dirigidas y con preguntas cerradas? Cuadro 11. Referentes a considerar en la evaluación de actividades c) Secuenciación de las actividades Muy a menudo las actividades se secuencian en función del discurso y de la lógica del que enseña y, en cambio, se tiene muy poco en cuenta la lógica del que aprende. Desde el punto de vista constructivista del aprendizaje sabemos que el conocimiento no se ´transmite´ tal cual sino que es necesario que sea construido. Es decir, es la actividad del participante en la formación la que promueve el aprendizaje, y la del formador sólo es útil si facilita su rentabilidad. Por ello es muy importante valorar si las actividades están secuenciadas de forma Evaluación del proceso formativo y del aprendizaje 61 de 142 Máster en Formación de Formadores Sociolaborales que faciliten la construcción del conocimiento por parte del propio participante en la formación. En este sentido, es importante evaluar: (ilustración 10): 62 de 142 • Si las actividades iniciales posibilitan la conexión entre lo que el participante en la formación sabe y los nuevos aprendizajes • Si estas mismas actividades posibilitan que el participante en la formación se represente cuáles van a ser los objetos de aprendizaje y cuál es su utilidad • Si las actividades están secuenciadas de forma que las iniciales sean más simples y concretas, y que el paso a la abstracción sea adecuado a la edad de los estudiantes • Si se incluyen actividades de síntesis o estructuración, en las que los estudiantes deban resumir con sus propias palabras los aprendizajes realizados. • Si se incluyen actividades de aplicación o generalización, ordenadas según grados de dificultad, para facilitar la interiorización, memorización y mecanización de los nuevos aprendizajes. Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales SECUENCIACIÌ N DE ACTIVIDADES ABSTRACTO Actividades de ESTRUCTURACIÌ N Promueven la síntesis y sistematización de los nuevos conocimientos Actividades de INTRODUCCIÌ N DE NUEVOS CONTENIDOS Plantean situaciones progresivamente más abstractas, empezando por las más intuitivas y manipulativas, que faciliten la construcción del conocimiento por parte del alumnado. Promueven el uso de los nuevos aprendizajes a otras situaciones reales concretas, simples o complejas, para: - interpretar la realidad - saber utilizar el nuevo aprenendizaje Actividades de EXPLORACIÌ N Plantean situaciones reales, concretas y simples, que posibiliten que el alumnado: - reconozca cual será el objeto del aprendizaje y cual será su utilidad - exprese sus ideas y conocimientos previos CONCRETO SIMPLE Actividades de APLICACIÌ N se pueden diversificar Situaciones simples Situaciones complejas COMPLEJO Ilustración 10. Esquema sobre secuenciación de actividades d) La integración de las actividades de evaluación formativa Generalmente, se considera que la evaluación es sólo una actividad propia del final del proceso de aprendizaje de un determinado contenido o lección. Sin embargo, tal como se ha señalado en la unidad 2, el éxito de un aprendizaje se relaciona fuertemente con la evaluación de las dificultades con las que los estudiantes se encuentran mientras están aprendiendo. Por ello, es importante evaluar en qué medida se interrelacionan las actividades de enseñanza con las de evaluación formativa, si a través de ellas se pueden tener Evaluación del proceso formativo y del aprendizaje 63 de 142 Máster en Formación de Formadores Sociolaborales datos sobre el tipo de dificultades de los estudiantes y si se facilitan formas de superarlos. Análisis de una secuencia de actividades para la enseñanza de un contenido Escoger un concepto o procedimiento: lectura de gráficos, redacción de textos explicativos, concepto de disolución o de densidad de población, etc. - Identificar qué actividades se proponen para su aprendizaje. - Valorar la graduación en el paso de lo más simple a lo más complejo. - Valorar la graduación en el paso de lo más concreto a lo más abstracto. - Valorar cómo está prevista la evaluación de las dificultades del participante en la formación a lo largo del proceso. - Valorar cómo está previsto atender a estas dificultades. Cuadro 12. Referentes para el análisis de la secuencia de actividades e) Atención a la diversidad En el aula hay participantes en la formación con puntos de partida distintos, con intereses muy variados, y con dificultades y necesidades diversas. En cambio, el currículo acostumbra a ser planificado como si toda la clase fuera igual, con actividades pensadas para el participante en la formación promedio del grupoclase. Ello comporta que muchos estudiantes fracasen, ya que las actividades de aprendizaje propuestas no responden a sus necesidades. Los estudiantes son distintos en muchos aspectos. Podemos encontrarnos ante ritmos y estilos de aprendizaje diversos, motivaciones e intereses variados, diferencias debidas al género, distintos niveles de madurez, de capacidad para la abstracción y de lógicas de razonamiento, etc. Es prácticamente imposible que un formador pueda atender directamente a cada participante en la formación y en cada momento en que lo necesita. Pero el aprendizaje no sólo es el resultado de la acción específica del formador, sino también de la interacción entre el conjunto de estudiantes de un grupo-clase (e incluso de toda la escuela) y de la interacción con los materiales didácticos (ilustración 11). Interacción alumno-maestro Interacciones con el material didáctico Aprendizaje en el aula Interacciones entre alumnos Ilustración 11.Relaciones que influyen en el aprendizaje en el aula 64 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Por ello, al evaluar el programa o currículo se deberá analizar y valorar: • Las actividades previstas ¿responden a las necesidades de los distintos tipos de participantes en la formación? En concreto: . ¿Se tiene en cuenta la variable género, de forma que el material didáctico, la organización del aula, y las interacciones entre los estudiantes, y entre formador y participantes en la formación, no sean discriminatorios e incluso compensen desigualdades? . ¿Se tiene en cuenta que hay estudiantes con distintos ritmos y se prevén tareas diferenciadas cuando la actividad lo precise? . ¿Se tiene en cuenta que hay estudiantes con distintos intereses y se favorece que puedan profundizar en diversos aspectos del currículo? • ¿En qué medida la organización del aula posibilita atender a las distintas necesidades? (ver unidad 4). En concreto: . ¿Se promueve la ayuda y la cooperación entre el participante en la formación a partir de la negociación e institucionalización de normas de trabajo colectivo? . ¿Se promueven distintos tipos de agrupaciones en función de las tareas propuestas? • En qué medida el material didáctico facilita la atención a la diversidad. En concreto: . ¿El material escrito que se da al participante en la formación para la realización de las actividades, tiene en cuenta su diversidad? . ¿Los libros de texto seleccionados se adaptan a todo tipo de estudiantes? . ¿Se utilizan todos los recursos disponibles para diversificar las actividades siempre que sea necesario (informáticos, audiovisuales, lecturas, etc.)? Evaluación del proceso formativo y del aprendizaje 65 de 142 Máster en Formación de Formadores Sociolaborales 3.5. TOMAR DECISIONES SOBRE LOS CRITERIOS DE CALIFICACIÓN Y PROMOCIÓN Como ya se ha indicado, la palabra evaluación tiene muchos significados. El sentido más habitual es el de calificación del participante en la formación y el de toma de decisiones en relación a su promoción. Esta función la confiere la sociedad a los formadores y es de mucha responsabilidad ya que tiene un efecto selectivo y clasificador de los estudiantes y alumnas. Clasificar a un participante en la formación como sobresaliente le posibilita continuar un tipo de estudios o ejercer profesiones a las que un participante en la formación reprobado no podrá acceder. La aplicación de un currículo comporta tomar decisiones acerca de la evaluación de los aprendizajes promovidos, la calificación del estudiante o su promoción, aspectos que revisamos a continuación. a) La evaluación de los aprendizajes promovidos Requiere identificar cual es el nivel de conocimientos, una vez realizadas las actividades propuestas, tanto para que cada participante en la formación lo reconozca como para conocimiento de las instituciones promotoras de la formación y, muy importante, para que el formador evalúe si su planificación ha posibilitado que la mayoría de los participantes en la formación hayan realizado aprendizajes significativos. Muy a menudo se tiende a considerar que un buen sistema de evaluación de los aprendizajes es aquel en que las notas del estudiante se distribuyen según una curva de Gauss. Tal como se ha indicado, incluso se valora que el formador o formadora que aprueba mucho es un mal formador. Sin embargo, el objetivo de todo proceso de enseñanza es conseguir que todos los estudiantes aprendan. Por otro lado, es sabido que los resultados dependen en buena parte de los instrumentos utilizados para evaluar y de los criterios de evaluación aplicados. Por ello, es importante valorar si los sistemas de evaluación utilizados son coherentes con los objetivos propuestos y si a través de ellos se identifican aprendizajes significativos, es decir, aquellos que no se olvidan fácilmente. En el capítulo 2 se han introducido ideas y propuestas en relación a esta evaluación. Pero para revisar qué y cómo se evalúa será importante poner en común los distintos métodos y criterios y, fundamentalmente, responder a las siguientes preguntas: • 66 de 142 ¿Se evalúan todos los tipos de contenidos enseñados (conceptuales, procedimentales y actitudinales)? Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales • Los métodos e instrumentos de evaluación utilizados ¿sirven para reconocer si se han alcanzado los objetivos propuestos de forma significativa? • Los criterios de evaluación aplicados ¿permiten diferenciar entre distintos niveles de aprendizaje? b) La calificación del participante en la formación Requiere valorar la calidad de los aprendizajes de cada estudiante en relación a sus posibilidades y otros parámetros decididos por el centro de formación. Es decir, las referencias son el propio participante en la formación y los criterios de mínimos acordados. No tiene porque coincidir totalmente con la evaluación de los aprendizajes ya que, por ejemplo, estudiantes con buenos conocimientos iniciales pueden haber progresado poco y estudiantes con grandes carencias de partida, pueden haber realizado grandes progresos. Ello conlleva que para la calificación se apliquen criterios específicos, que deben consensuarse entre los formadores. En general se tienen en cuenta, además de los resultados de las pruebas finales realizadas, otro tipo de datos como pueden ser: • El progreso en relación a la evaluación inicial. • La calidad de algunos de los trabajos realizados a lo largo del periodo escolar evaluado, ya sea individuales o en grupo. • El cumplimiento de tareas encomendadas y de las responsabilidades colectivas. • La colaboración en el trabajo en grupo y la participación. Es importante que el participante en la formación (y muchas veces también sus promotores) conozcan los criterios aplicados y tengan un informe, por escrito o de palabra, de las razones de la calificación obtenida. El informe debe basarse, mas que en la descripción de los resultados obtenidos, en el análisis de sus posibles causas y en el razonamiento de las propuestas de mejora (si es el caso). Por ejemplo, en vez de constatar síntomas, como puede ser que el estudiante no hace los deberes o no participa activamente en las actividades de clase, debería intentar inferir las posibles razones de estos comportamientos y consensuar con el participante en la formación, y/o los promotores, acciones concretas para mejorar los resultados. c) La toma de decisiones acerca de la promoción del participante en la formación Este tercer aspecto requiere, sobre todo en programas de larga duración, la toma de decisiones por parte del equipo de formadores en base a las explicitaciones previas establecidas. Aunque, a veces, las normas establecidas son muy explícitas, conviene tener en Evaluación del proceso formativo y del aprendizaje 67 de 142 Máster en Formación de Formadores Sociolaborales cuenta que, incluso en este caso, el equipo de formadores puede aplicar criterios no tan mecanicistas como se podrían deducir de una lectura superficial de dichas normas. Es importante que cada decisión sea tomada previa discusión entre los componentes del equipo y por consenso ya que, a veces, los criterios de calificación pueden haber sido muy diversos. Es importante recordar, por un lado, que los criterios de evaluación y su aplicación pueden ser siempre objeto de discusión ya que son siempre relativos y subjetivos. Sólo el consenso obtenido a partir de la discusión y el intercambio de puntos de vista entre compañeros posibilita disminuir la posible subjetividad de los mismos, si consideramos que, en la toma de decisiones, es más difícil que se equivoquen varias personas a la vez que una sola. Por otro lado, repetir las materias de un programa no siempre es la mejor solución para todo tipo de estudiantes. Es muy distinto que la falta de conocimientos detectada se deba a una falta de madurez o conocimientos del estudiante que a falta de asistencia a las actividades formativas u otras. En el primer caso, casi siempre es adecuado posibilitar que el participante en la formación realice de nuevo actividades que seguramente no comprendió por no adecuarse a sus posibilidades. En el segundo, en cambio, el participante en la formación puede aburrirse y entorpecer el funcionamiento del aula. Es importante recordar que la no promoción acostumbra a conllevar problemas de autoestima que se traducen o bien en un comportamiento pasivo o bien en comportamientos agresivos. 68 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 3.6. LA EVALUACIÓN DEL IMPACTO DE UN PROGRAMA Cada planteamiento de evaluación suele desarrollar, como hemos visto, propuestas propias y alternativas diferentes respecto a instrumentos, procedimientos de evaluación y mecanismos de interpretación. Sin embargo, cuando consideramos la totalidad de un programa formativo se insiste, además y cada vez más, en analizar los efectos de la formación. La evaluación como actividad es objeto frecuente de atención por parte de los diferentes protagonistas: la aplica el formador en el aula, la utiliza el estudiante en los procesos de autoevaluación, la esgrimen los responsables de la institución formativa y, a menudo, la mencionan los administradores de sistemas. No obstante, se utiliza, cuando se hace, en momentos diferentes, con perspectivas diferentes y no siempre bajo el mismo esquema de acción. Parece que lo ideal fuera que el proceso de evaluación se pensara y aplicara desde una perspectiva unitaria que tuviera en cuenta los diferentes protagonistas e intereses. Más aún, pudiera integrarse en el proceso de gestión de la formación como una actividad más. Plantearse la evaluación desde una perspectiva integral exige considerar globalmente las diferentes propuestas dentro de un mismo esquema de actuación. Una aproximación que nos parece válida, en referencia a los procesos de formación y como ejemplo es la que realiza Kirpatrik. Las gráficas 18 y 19 nos aproximan a su planteamiento: 1. el primer nivel referencia al efecto que la formación tiene sobre las opiniones y satisfacción de los usuarios; 2. el análisis de los aprendizajes obtenidos, constituye el segundo nivel; 3. el tercero se centra en los cambios de conducta en el trabajo como consecuencia de la formación; y, por último, 4. el cuarto analiza los resultados obtenidos por la organización. Evaluación del proceso formativo y del aprendizaje 69 de 142 Máster en Formación de Formadores Sociolaborales + CONDUCTA APRENDIZAJE TIEMPO EXIGIDO DIFICULTAD RESULTADOS REACCIÓN + VALIDEZ DE LA INFORMACIÓN + NIVEL OBJETIVO A EVALUAR Grado de reacción, efecto, de los participantes ante la acción formativa REACCION Satisfacción del cliente Cambios internos capacidad personal APRENDIZAJE Las actitudes han cambiado, o los conocimientos se han incrementado, o las habilidades han aumentado Si hay deseo de cambiar, si se sabe lo que hacer y cómo, si existe un clima favorable, y si existen recompensas por el cambio Incremento de la producción, o mejora de la calidad, o reducción de accidentes, o incrementos de ventas, o reducción de votación en la plantilla, o mayores beneficios DEFINICIÓN OPERATIVA Cambios externa en Resultados relacionados formativa la con en la conducta la finales acción CONDUCTA RESULTADOS PROCESO DE EVALUACIÓN PLANIFICACION DE LA FORMACIÓN Ilustración 12. Niveles de formación y evaluación, según Kirpatrik (cuadro de confección propia) Ilustración 13. Objetivos de la evaluación según Kirpatrik (cuadro de confección propia) Algunas observaciones complementarias que se podrían realizar son: • 70 de 142 El primer nivel se centra en la satisfacción de los usuarios respecto a la estructura, organización y desarrollo de la formación, considerando que una satisfacción positiva favorece la permanencia de la actuación Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales formativa. El segundo nivel incluye cambios en las capacidades personales, incluyendo un aumento de los conocimientos, un cambio en las actitudes o un desarrollo de las habilidades, dependiendo de los objetivos y naturaleza de la formación. Así, habrá propuestas que tan sólo pretendan un aumento de conocimientos (actualización en legislación laboral), otras una mejora de las actitudes (calidad del servicio de atención en ventanilla) o de las habilidades (aumento de la rapidez y exactitud en la escritura por ordenador) o ambas (formación de directivos como líderes transformacionales). • El tercer y cuarto niveles incluyen los anteriores. Para evaluar si lo aprendido se aplica en la práctica, tercer nivel, o si la aplicación está consiguiendo efectos en el entorno, cuarto nivel, habrá que conocer los que los participantes aprendieron, segundo nivel, o como reaccionaron a la acción formativa, primer nivel. • Si bien la planificación de la formación parte de los resultados esperados (¿qué cambios quiero conseguir en la organización o en el contexto?), considera los cambios de conducta deseables (¿qué conductas son coherentes con los resultados que queremos conseguir?), define los aprendizajes a realizar (¿qué aprendizajes deben realizar los participantes en relación a las conductas esperadas) y establece las condiciones que permitan grados aceptables de satisfacción, la evaluación se plantea en sentido inverso. Supone verificar la posición ante la formación y medir los aprendizajes (no suele haber aprendizaje si las actitudes ante la formación son contrarias o están contaminadas por problemas de infraestructura u operativos), antes de analizar su aplicación en el puesto de trabajo o su incidencia en los objetivos de la organización. • La evaluación de los niveles altos es más compleja y exige de mayores recursos (tiempo, formación de los que la aplican,..), aunque proporciona una información más válida y fiable. • Los cuatro niveles pueden ser un marco de referencia válido para planificadores, directivos de centros de formación, responsables de instituciones de educación social, empresas u otro tipo de organizaciones. Pueden servir para diagnosticar situaciones, encontrar disfunciones, proponer metas de mejora, etc. • Los dos primeros niveles se vinculan directamente a la actividad formativa y, en este sentido, pueden considerarse como criterios internos aplicables por los monitores/formadores y departamentos de formación. Los niveles tres y cuatro se relacionan con las repercusiones no Evaluación del proceso formativo y del aprendizaje 71 de 142 Máster en Formación de Formadores Sociolaborales personales de la formación, permiten hablar de criterios externos y pueden relacionarse con el impacto de la formación. • No todas las acciones e instituciones de formación pretenden agotar los diferentes niveles: las hay que tan sólo buscan la satisfacción de los usuarios; otras el aprendizaje efectivo y pocas la repercusión social. Así, las instituciones académicas no suelen perseguir cambiar los comportamientos en el puesto de trabajo (conducta), sea porque los usuarios aún no trabajan o porque tampoco están vinculados (aunque hagan prácticas y colaboraciones puntuales) a ninguna institución donde se pueda valorar el efecto real de la formación recibida. Sin embargo, y aún en este caso, aumenta la preocupación por establecer mecanismos que puedan servir para lograr una formación más útil a las demandas sociales. Mediante un seguimiento de las prácticas en los puestos de trabajo o a través de Observatorios de Graduados, se intentan mejorar las ofertas formativas teniendo en cuenta los efectos de la formación. De cualquier forma, puede considerarse inútil el esfuerzo de la formación si no logramos cambios en la práctica, sean a corto o a largo plazo. • Cada uno de los niveles exige la utilización de reglas, técnicas y procedimientos de evaluación específicos y diferenciados, implicando a formadores, departamentos de formación o especialistas, según sea el nivel de complejidad considerado • Podemos encontrar en todos los niveles, por último, factores cualitativos de difícil valoración; sin embargo, la experiencia en situaciones anteriores permite ajustar los juicios, sin poder obviar la existencia de un cierto nivel de subjetividad El esquema de referencia puede ser considerado simplista en su terminología y estructura. Por una parte, los conceptos utilizados tan sólo deben ser analizados desde la interpretación dada; en caso contrario, producirían confusión. Así, estrictamente, los cambios de opinión y actitudes no pueden ser considerados como cambios de conducta. Por otra parte, la estructura y significado de los distintos niveles de evaluación se hace compleja si pensamos que la actividad formativa se simultánea con actividades en el puesto de trabajo e incluso con otras actividades formativas. Existe una dificultad real de medir los efectos desde el punto de vista cualitativo, dada la implicación que en su delimitación tienen los factores internos de la conducta. La evaluación de los niveles 3 y 4 exigen colaboración de la organización, cuya inexistencia hace inviable, a veces, medir el impacto. Podríamos decir que el nivel 3 exige complicidades en la organización (ayudas para tareas puntuales) y el 4 implica necesariamente la colaboración de toda la organización y de sus directivos. No obstante, la aproximación puede ser válida si queremos avanzar hacia mayores 72 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales niveles de efectividad en la formación. La validez, como hemos dicho, no sólo es respecto a la evaluación, también puede ayudar a definir mejor los procesos metodológicos, a clarificar los contenidos de la formación, etc. si consideramos las exigencias propias de cada uno de los niveles. Los niveles considerados podrían ser otros. Así, podríamos hacer referencia a las ocho dimensiones siguientes: • El programa elaborado, que define y diseña la formación. • La aceptación del curso por los participantes, que valora sus reacciones. • El aprendizaje logrado por los participantes. • Los comportamientos que se introducen en el puesto de trabajo. • Los resultados de explotación que produce la formación. • Los procesos que se desarrollan en la acción formativa. • Los efectos sociales que provoca la formación • La organización de la formación, que condiciona la actuación (Departamento de Formación, 1996:294) El análisis de este listado evidencia una concepción instrumental de la formación como uno de los componentes básicos de la mejora de la organización. Las personas forman parte del contexto organizativo, lo que exige una superación del concepto de evaluación y su aplicación más allá de los aprendizajes personales. El efecto producido por la formación puede ser personal o contextual. Cuando consideramos los dos primeros niveles citados podemos hablar de un efecto personal, ya que las consecuencias de la formación inciden en capacidades personales que no necesariamente se traducen en cambios y manifestaciones externas. Pero la formación puede también tener un efecto sobre la realidad contextual, incidiendo en el puesto de trabajo, en la organización donde se realiza la actividad laboral, en la realidad económica a la que sirve e incluso en la incidencia que pueda tener en la realidad socio-cultural. Reducir la evaluación de impacto al análisis de los resultados para la organización o a la verificación de los cambios de conducta en el puesto de trabajo es, por tanto, un reduccionismo. Esta orientación puede ser explicable, que no justificable, por el mayor desarrollo que la evaluación de impacto ha tenido en las organizaciones productivas, lo que le ha dado una orientación economicista y muy centrada en los resultados. No obstante, puede ser un buen punto de partida para analizar esta nueva preocupación de la evaluación. La evaluación de los comportamientos en el puesto de trabajo resulta esencial si entendemos que la formación debe estar dirigida al cambio. De nada sirve el aprendizaje si no se lleva al puesto de trabajo o si no sirve para disminuir las Evaluación del proceso formativo y del aprendizaje 73 de 142 Máster en Formación de Formadores Sociolaborales necesidades detectadas a la hora de elaborar el plan de formación. La evaluación de la conducta, en la propuesta de Kilpatrik que analizamos, incluye la verificación de los deseos de cambiar y de los aprendizajes realizados (¿se saben hacer las cosas?) pero también las posibilidades reales de llevar a cabo a la práctica esos aprendizajes. Pudiera ser que la falta de recursos (infraestructuras obsoletas, inadecuadas o insuficientes), la existencia de un clima humano contrario a la innovación o la presencia de directivos reacios a asumir planteamientos de los trabajadores impidieran que se llevaran a cabo los aprendizajes adquiridos. Podemos deducir de todo lo anterior que la medida del cambio es más difíciles este caso que en los niveles anteriores, ya que exige, como mínimo: • Tener la oportunidad de aplicar los aprendizajes adquiridos. • Los cambios no se producen de forma inmediata y su medición exige algún tiempo. De hecho, siempre existe un proceso inevitable de adaptación de los conocimientos adquiridos a las condiciones del puesto de trabajo y, a menudo, se precisa incorporar cambios en los procesos y recursos aplicados al puesto. • Los aprendizajes no deben chocar frontalmente con las normas, los procedimientos, la estructura jerárquica o situaciones de cierto privilegio. El cambio de conducta también exige la existencia de incentivos. Si la formación pretende generar una realidad distinta, es lógico que encuentre resistencia al cambio ante la modificación del equilibrio existente. Promover y establecer una nueva conducta exige establecer incentivos que refuercen las nuevas manifestaciones conductuales mediante motivaciones extrínsecas (elogio del jefe, reconocimientos de los demás, mayor sueldo,..) o intrínsecas (aumento de la satisfacción personal, sentimientos de reconocimiento,..). En definitiva, la acción formativa que se aplica al puesto de trabajo exige de un contexto en el que: 74 de 142 • la organización debe de estar a favor de la implantación de los aprendizajes y el responsable de la unidad en la que se van a implantar debe considerar el cambio como una mejora, • la persona debe tener un sentimiento de satisfacción, orgullo y logro cuando pone en práctica su aprendizaje, y • la organización debe apoyar la motivación extrínseca a través del reconocimiento de su aportación, la mayor libertad de actuación y la mejora económica. Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales (Departamento de Formación, 1996:282) Evaluación del proceso formativo y del aprendizaje 75 de 142 Máster en Formación de Formadores Sociolaborales RESUMEN Los resultados de un aprendizaje pueden ser debidos a factores muy diversos. Generalmente, en las reuniones de formadores se tiende más a tener en cuenta y valorar los aspectos relacionados con el participante en la formación y su medio social que los relacionados con la acción del formador. Sin embargo no hay duda de que es precisamente en dicha acción, y muy especialmente en el programa o currículo aplicado, donde podemos incidir más efectivamente para mejorar dichos resultados. Los formadores tomamos decisiones constantemente, pero generalmente lo hacemos de forma inconsciente y/o rutinaria, sin profundizar en las razones por las que las tomamos ni pensar si es posible actuar de otra manera. La evaluación es la actividad que más impulsa el cambio, ya que posibilita la toma de conciencia de unos hechos y el análisis de sus posibles causas y de las posibles soluciones. Pero para ello es importante que, a través de la evaluación, se verbalicen y contrasten los distintos puntos de vista y se negocien alternativas. Un currículo es un proyecto colectivo que debe ser consensuado y mejorado constantemente. 76 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales BIBLIOGRAFÍA • DEPARTAMENTO DE FORMACIÓN (1996): Curso de formación de formadores. Central Hispano- Centro Superior de Estudios de Gestión, Análisis y Evaluación UCM, Madrid. • GAIRÍN, J. (1999): La evaluación del impacto de la formación. En Gairín, J. y Ferrández, A. (Coord..): Planificación y gestión de instituciones de formación. Cisspraxis, Barcelona, págs 296/17-296/30. • GAIRÍN, J. y SANMARTÍ, N. (1998): Evaluación institucional. Ministerio de Educación, Buenos Aires • KEMMIS, S. (1988): El curriculum: más allá de la teoría de la reproducción. Madrid: Morata. • KIRPATRIK, D. L. (1999): Evaluación de acciones formativas. Epise, Barcelona Evaluación del proceso formativo y del aprendizaje 77 de 142 Máster en Formación de Formadores Sociolaborales UNIDAD 4: LA EVALUACIÓN DEL AULA COMO CONTEXTO DE FORMACIÓN Introducción La disposición del ambiente del aula influye de forma significativa en los que la ocupan (participantes de la formación y formadores). El ambiente de la clase es más que un lugar para ordenar libros, mesas y materiales. Cuidadosamente dispuesto añade una dimensión significativa a la experiencia formativa del que aprende, atrayendo su interés, facilitando información, estimulando el uso de determinadas habilidades, comunicando límites y expectativas, potenciando actitudes, transfiriendo criterios de valor, convidando a la realización de actividades de aprendizajes propuestas, promoviendo el autoaprendizaje y fortaleciendo a través de sus efectos el deseo de aprender. Los formadores utilizan la organización del espacio para diseñar ambientes que estimulen la interacción a través del lenguaje verbal, facilitando el trabajo a un participante de la formación solo o invitando a la investigación en grupo Así, por ejemplo, la colocación de elementos recogidos del medio socio-cultural, de referencias escritas y de instrumentos manipulativos resulta una manera de estimular el uso de algunas actividades básicas (escritura, lectura, cálculo). Además, los formadores disponen los materiales de aprendizaje de manera que jueguen un papel activo en el proceso de enseñanza-aprendizaje. Si lo que pretendemos es que el participante de la formación construya, modifique, enriquezca y diversifique sus esquemas, la ayuda pedagógica que hemos de ofrecerle consistirá en crear las condiciones adecuadas dentro del aula para que se produzca la dinámica interna deseada y se oriente en una determinada dirección: la que delimiten las intenciones formativas establecidas. En definitiva, podemos afirmar que la organización del aula está en consonancia directa con las diferentes particularidades de las personas que en ella aprenden y enseñan, con los objetivos del programa y con los métodos y formas de evaluación que se propongan y realicen. Algunas ideas clave que desarrollaremos serán: 78 de 142 • Existe la necesidad de cambiar los puntos de vista en relación a la gestión del grupo clase. • El aula puede considerarse como una realidad microsocial en constante cambio. • La evaluación del aula debe considerar interrelacionadamente el contexto físico, el factor humano y el clima social resultante. Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales • La propuesta evaluativa será útil si es fácil de aplicar y posible de realizar para el formador. • Identificar las variables significativas que configuran el contexto del aula de formación. • Comprender la relación entre los modelos de evaluación del contexto aula y los elementos del programa formativo. • Analizar el sentido y utilidad de algunas propuestas evaluativas. Objetivos Mapa de Contenido Evaluación del proceso formativo y del aprendizaje 79 de 142 Máster en Formación de Formadores Sociolaborales 4.1 EL CONTEXTO DEL AULA No cabe duda que el acto didáctico se produce en el espacio físico social que se constituye en el contexto próximo del proceso enseñanza aprendizaje, enmarcando toda una serie de condiciones que afectan al proceso instructivo, tanto en su dimensión relacional como tecnológica, y que obligan a estrategias instructivas particulares. De hecho, tanto la conducta de los participantes de la formación como la de los formadores se explica por estar integrada en un contexto, siendo producto y causa del mismo a la vez. Sin embargo, esta realidad que parece tan meridiana no siempre se ha visto así. La tradición positivista de la investigación educativa nos ofrece una visión, si se quiere fragmentada, de la realidad educativa centrada en las variables formador y participante de la formación y, a lo sumo, en la interacción de ambos como agentes principales del fenómeno formativo, al margen del contexto en el que se produce. Un buen exponente de esta tradición lo constituyen los paradigmas presagio producto, proceso producto, e incluso el mediacional que, aunque preocupados por los procesos educativos no llegan a captar la importancia de los contextos donde se realiza la intervención. Queremos señalar así que el proceso enseñanza aprendizaje no es sólo el resultado de la interacción entre formadores y participantes de la formación, sino también de la situación o contexto de enseñanza. Esta cobra importancia al dar sentido y significado al acto didáctico y a partir de la integración de un conjunto de variables: tipo de actividad metodológica, aspectos materiales de la situación, relaciones sociales, contenidos, etc. Resalta este hecho la investigación de los últimos años, que trata de enfocar más directamente la situación ecológica del aula como elemento de análisis significativo y que asume el valor del contexto de la enseñanza como modelador de los procesos de aprendizaje de los participantes de la formación y también de los esquemas de comportamiento de los formadores (Gimeno, 1988). El aula, pues, no sólo proporciona el lugar para la enseñanza y el aprendizaje, sino que, al mismo tiempo, actúa como participante en los mismos. La perspectiva ecológica aspira a profundizar en la interpretación cultural, funcional y situacional de las complejas interacciones que se dan en el aula. En la misma se producen actividades plenas de sentido para los sujetos que en ella habitan. Desde el enfoque ecológico, el aula se asume como una realidad microsocial que crea un entorno singular, definido tanto por los aspectos físicos que la configuran como por el conjunto de las acciones, representaciones, percepciones, contactos, influencias mutuas etc. resultado de los agentes que en la misma participan. Cada aula, pues, será una esfera específica de intercambios y comunicación, sin olvidar que, considerada como sistema, se inserta dentro de otros más amplios que a su vez influyen sobre éste (sistema social, sistema educativo, escuela, etc.). Dicha realidad microsocíal se caracteriza de acuerdo a los fenómenos que en ella 80 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales se dan por su: a) Multidimensionalidad y multiplicidad. No sólo se produce en el aula de formación una variada gama de actividades (transmitir información, evaluar, orientar, atender a las demandas que se den, operar con materiales, etc.), sino que las mismas sirven también a distintos propósitos, implican distintos procesos y quedan sujetas, además, a las influencias del contexto general (expectativas sociales, institucionales, familiares, etc.). b) Simultaneidad. Además de la multiplicidad y multidimensionalidad de las distintas actividades que se dan en el aula, hay que añadir la simultaneidad con que se producen. Así, por ejemplo, el formador ha de responder y estar atento continuamente tanto al trabajo de los participantes de la formación, como a los procesos, los resultados o las formas de relación que se producen como consecuencia de su actuación. c) Impredictibilidad e inmediatez. Ni todo lo que va a ocurrir en el seno del aula es previsible de antemano, ni queda determinado en su dirección y evolución. d) Historicidad, ya que los acontecimientos se fundamentan y prolongan en un tiempo y en un espacio característico. En síntesis, se producen en el aula muchos acontecimientos a la vez, que se suceden rápidamente y que se desarrollan de forma imprevista y en poco tiempo. Un esquema aproximativo que nos permite conocer los elementos configuradores a nivel de aula es el que presentamos icónicamente en la ilustración 14. En él se consideran como variables básicas en la configuración del aula: el contexto físico, el factor humano y el clima social. ANTECEDENTES CONTEXTO MACROESTRUCTURAL E INSTITUCIONAL Dimensión temporal Contexto físico CONTEXTO AULA Ambiente de Aprendizaje Factor Humano Clima social RESULTADOS EDUCATIVOS Ilustración 14.Elementos configuradores del contexto aula (Gairín, 1990) Evaluación del proceso formativo y del aprendizaje 81 de 142 Máster en Formación de Formadores Sociolaborales El ambiente de aprendizaje en el aula, configurado por la interacción entre la realidad física, el factor humano y el clima social, resulta permeable a la realidad contextual por la acción que ejercen factores como los antecedentes (realidad socio cultural de partida, nivel de escolarización, historial personal, etc.) o por la ordenación institucional que se ha realizado. Asimismo, queda acotado por la influencia que, a través de procesos relacionados con expectativas y percepciones, ejercen los resultados escolares sobre las personas. Los diferentes factores considerados tienen una importancia decisiva en la explicación de las dinámicas del aula y en la orientación de cualquier intervención. Así por ejemplo, Beltrán y Pérez (1985: 145) ya señalaban, partiendo del conocido modelo de Moos, cómo las clases orientadas a la innovación y a la competición con apoyo quedan más influidas por la materia y las características del formador. Igualmente, las características organizacionales explicarían una buena proporción de la varianza en los climas orientados a la innovación, las características del estudiante resultarían importantes en la determinación de los climas orientados a la tarea y las características del formador explicarían casi la mitad de la varianza con relación a las clases orientadas a la competición inestructurada. Los resultados señalados y otros permiten comprobar el papel que la institución de formación y el programa de aprendizaje tienen en el ambiente social, a la vez que facilitan la identificación del tipo de Clase que tiene más probabilidad para cambiar. Como indican Beltrán y Pérez en relación a los estudios de Moos: "Las clases orientadas al control pueden ser relativamente resistentes al cambio, pues son elicitadas por ciertas características de clase y de los estudiantes. Los formadores saben que es difícil establecer clases orientadas a la relación con ciertos tipos de estudiantes. Contrariamente, debe ser posible desarrollar un ambiente más orientado a la relación en una escuela pública, social o artística llevada por una mujer interesada en inculcar amor al aprendizaje en los estudiantes". (1985. 146.) 82 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 4.2 ELEMENTOS PARA LA EVALUACIÓN DEL CONTEXTO AULA Partiendo del esquema de referencia planteado (ilustración 14), se pueden señalar los focos de atención a considera en la evaluación de la realidad del aula. El contexto físico: • La organización del espacio y del tiempo como facilitadores o restrictores del acto didáctico. • La flexibilidad de uso del espacio y del tiempo. • Las condiciones físicas (iluminación, ventilación, acústicas,...) existentes y su nivel de adecuación a los usuarios. • Distribución del mobiliario y su adaptabilidad a las necesidades del programa. • Adecuación de los objetos y materiales a la edad y personalidad del participante de la formación. • Abundancia, variedad, calidad y adecuación de los materiales didácticos. • Gradación respecto a la dificultad y margen de libertad que permiten los materiales. • Accesibilidad y versatilidad de uso. El factor humano: • Flexibilidad en el agrupamiento de participantes de la formación. Criterios para su organización. • Densidad y hacinamiento existente. • Respeto a la privacidad y espacio personal. • Dinámica grupal de la clase, desde la perspectiva de: - la estructura formal: metas, objetivos, roles, estatus, normas, etc. - La estructura informal: redes de comunicación y poder. - Los procesos: cohesión, comunicación, interacción, conflictos,.. • Relaciones interpersonales que el formador establece con los participantes de la formación. • Rutinas existentes y su relación con el desarrollo del aprendizaje. Evaluación del proceso formativo y del aprendizaje 83 de 142 Máster en Formación de Formadores Sociolaborales • La existencia de trabajo en equipo y la forma como se procura su desarrollo. El clima social: • Orientación general del trabajo: a la tarea, a la innovación, a la competición, al control, a la relación estructurada, etc. • Modelos de intervención predominantes. • Integración y cohesión del grupo. • Niveles de satisfacción individual y colectiva alcanzada. • Grado en que se compromete la toma de decisiones. Otros aspectos generales: • Realización de experiencias innovativas. • Incorporación al programa de modalidades de intervención global: rincones, talleres, agrupamientos flexibles, aulas de recursos, trabajo cooperativo,.. • Papel reservado al método de enseñanza-aprendizaje. Un referente que puede servir para analizar el ambiente de aprendizaje puede ser el recogido en el siguiente cuadro: 84 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Cuadro 13. Dimensiones del Inventarios de Ambiente de Aprendizaje (Frase, Anderson y Walberg, 1982) Posibles actuaciones evaluativas en este ámbito se situarían en la línea de la ya clásica aportación de Gairín y Gimeno (1993): • Recoger y analizar los movimientos del formador y de los participantes de la formación en el aula. • Registrar diversas sesiones de clase y analizar las intervenciones entre los participantes de la formación y de estos con el formador. • Dedicar un tiempo (tutoría, por ejemplo) a debatir los problemas que ven en el aula. • Encargar a un grupo de participantes de la formación que hagan un informe sobre los problemas que viven en el aula de formación • Pedir opiniones a los compañeros de ciclo, departamento o seminario. • Modificar parcialmente aspectos del aula y estudiar sus efectos. • Estructurar sobre el papel (diseñar) la organización del aula “ideal” y compararla con la real. • Identificar los modelos de organización del aula con las concepciones sobre la enseñanza y situar la organización adoptada. • Pedir descripciones sobre la vida en el aula. • Realizar planos situacionales y estudiar modificaciones sobre ellos. • Confeccionar organigramas. • Elaborar cuestionarios de evaluación. • Realizar un inventario de problemas. Evaluación del proceso formativo y del aprendizaje 85 de 142 Máster en Formación de Formadores Sociolaborales 4.3 PROPUESTAS PARA LA EVALUACIÓN DEL CONTEXTO AULA Se presentan a continuación algunos referentes que pueden servir para orientar y realizar procesos evaluativos referidos al aula de aprendizaje. 4.3.1. Los elementos a considerar El carácter complejo y dinámico de la interacción existente en el aula durante el transcurso del acto educativo hace que la observación y recogida de información sobre aspectos concretos de funcionamiento sea especialmente dificultosa. La evaluación de los procesos y productos inherentes al acto educativo nos será más difícil, además, si no somos capaces de analizar y delimitar cada uno de los tópicos intervinientes. Conscientes de que la reducción de la realidad a categorías de análisis puede dejar de lado algunos aspectos ecológicos de la misma, consideramos dos tipos de tópicos, en función de las finalidades que podemos plantearnos en el momento de evaluar la organización del aula. El primer grupo de tópicos (tópicos de entrada) está relacionado con la finalidad de conocer los aspectos a tener en cuenta en un primer momento de la organización del aula. Están más ligados a un tipo de evaluación inicial o diagnóstica y nos proporcionan información de entrada para poder tomar decisiones antes de intervenir directamente sobre el grupo clase. El segundo grupo (tópicos de control) están relacionados con la finalidad de recoger información sobre los ámbitos en los que hay que intervenir para lograr la optimización del entorno de aprendizaje en el aula durante el desarrollo de un programa o curso. Están más ligados a la evaluación formativa y/o formativa y nos proporcionan información directa sobre la propia organización que puede aprovecharse en su modificación. Podemos considerar como tópicos de entrada: • Los participantes de la formación. Se hace preciso conocer las características definitorias de los participantes de la formación, sobre todo aquellas que pueden ser relevantes a la hora de diseñar el entorno de aprendizaje: - Dimensiones externas o comportamentales como el ritmo o la velocidad de aprendizaje, que consideran el nivel instructivo alcanzado en cada área curricular (o en todas) y para cada tipo de contenido (conceptual, procedimental y actitudinal). - Dimensiones internas o cognitivas, que constituyen procesos intermediarios y que se refieren al estilo y las estrategias de aprendizaje 86 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales que el participante de la formación utiliza a la hora de realizar una determinada tarea. - Dimensiones sociales o de interacción de cada participante de la formación y sus compañeros. - Dimensiones “históricas”, que reflejan la forma de concebir la relación con el formador, la relación con sus compañeros y la manera de aproximarse a los contenidos a aprender, fruto de la experiencia formativa compartida durante dos o menos cursos académicos. • El formador, como sujeto y participante del acto didáctico, que ha de conocer las situaciones que permitan optimizar la intervención educativa. Las dimensiones consideradas en este caso son: - Dimensiones referidas a los contenidos a enseñar, como los relativos al conocimiento de la materia, la manera de conceptualizarla, la forma de considerar el desarrollo de los conocimientos científicos u otros de la misma categoría. - Dimensiones referidas a los procesos de aprendizaje. Cada formador cree que hay “mejores maneras” de aprender los contenidos incluidos en su programa, por lo que facilita a sus participantes de la formación unas determinadas situaciones de aprendizaje y no otras - Dimensiones referidas a los procesos de enseñanza, como puedan ser los estilos docentes o las rutinas de enseñanza. - Dimensiones referidas al trabajo cooperativo. No cabe duda que las vivencias y experiencias de trabajo cooperativo que el formador ha adquirido a lo largo de su desarrollo profesional son un aspecto a destacar a la hora de reflexionar sobre la relación existente entre las características del formador y su papel en el aula. • El programa general. La información recogida sobre la planificación y la distribución de la intervención educativa nos facilitará tomar decisiones sobre la gestión del aula. • La metodología específica. La metodología ha de mantener una coherencia con lo que pretendemos (objetivos) y con los contenidos culturales que queremos transmitir. Ambos, objetivos y contenidos, se constituirán en premisa para orientarnos en la explicitación de los espacios, tiempos, agrupamientos y materiales con los que se llevarán a cabo las actividades propuestas a los participantes de la formación. Podemos considerar como tópicos de control los siguientes: • El espacio. La disposición del aula es algo más que una situación casual o una cuestión estética. Cada vez que se coloca un mueble en un lugar determinado se crean nuevos espacios que influyen en las interacciones directas o indirectas que se dan en el aula. Evaluación del proceso formativo y del aprendizaje 87 de 142 Máster en Formación de Formadores Sociolaborales • El tiempo. La calidad del trabajo didáctico no depende únicamente del objetivo a conseguir, también está relacionado con la distribución que se haga del tiempo y con la forma como se utilizan los descansos, la secuencia de materias u otros aspectos. • Los agrupamientos. Trabajo individual, trabajo en pequeños grupos y trabajo a nivel de toda el aula son posibilidades que marcan la estructura social del aula. Cada uno de estos tópicos está determinado por unos elementos configuradores o características operativas que nos dan información para la evaluación del entorno aula y para su optimización. El cuadro siguiente explicita las características de cada uno de ellos. Espacio: - Disponibilidad - Funcionalidad Agrupamiento: - Flexibilidad - Individualización/ socialización - Adaptabilidad Tiempo: - Secuencialidad - Simultaneidad Material: -Exposición - Versatilidad - Funcionalidad - Accesibilidad Cuadro 14. Características más relevantes de los tópicos de control 4.3.2. La delimitación de indicadores Cuando nuestra pretensión es obtener información para la toma de decisiones respecto a la organización del aula de formación, la utilización de indicadores puede ser una buena metodología. Un indicador nos ayudará a recoger datos significativos relativos a un fenómeno para compararlos con un criterio o norma estimados como deseables; esto es, nos facilitará información útil para representar el estado y la dinámica de un fenómeno. Debido a la complejidad y variabilidad de los fenómenos educativos, y más concretamente de los organizativos, el uso de múltiples indicadores previamente descritos y consensuados facilita una evaluación real exenta de patologías formales y conceptuales. Un ejemplo de indicador que puede servir como muestra de los que podrían desarrollarse en relación a los tópicos de entrada y de control sería en el que recogemos a continuación en el cuadro 15. 88 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Cuadro 15. Ejemplo de presentación de un indicador Los descriptores de este indicador nos permiten situar o situarse en uno de los posicionamientos posibles para poder comprender de forma más clara los elementos con los que contamos en el momento de organizar el aula de una u otra manera. 4.3.3. Instrumentos para la revisión Los instrumentos presentados y otros que se puedan generar nacen con la intención de facilitar la reflexión del formador respecto a su práctica y pueden constituir un buen instrumento de debate dentro de un equipo docente. Los cuadros 16, 17 y 18 recogen algunos ejemplos en la línea de una evaluación de carácter global. Cuadro 16. Plantilla para guiar el análisis en el aula Evaluación del proceso formativo y del aprendizaje 89 de 142 Máster en Formación de Formadores Sociolaborales Cuadro 17. Plantilla para guiar el análisis en el aula Cuadro 18. Plantilla para guiar el análisis en el aula 90 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales RESUMEN El grupo-clase es una realidad compleja que genera situaciones a través de las cuales debe ir canalizándose la intervención formativa. Conocer los elementos base, las interacciones más significativas y las posibles líneas de actuación facilita la interpretación de las diversas situaciones que se presentan, a la vez que permite dirigir y regular la acción didáctica. El aula y las prácticas que en ella se realizan suponen, a nivel curricular, una síntesis de la influencia externa que recibe y de su especial configuración interna. Ordenar el ambiente de aprendizaje supone una apropiación, tanto por parte del participante de la formación como por parte del formador, que se produce por una serie de necesidades de orden psicológico y de orden educativo. El proceso de transformación surge a partir de unas necesidades, que serán diferentes según el nivel en el que se sitúen unos y otros. Así, por ejemplo, un grupo de participantes de la formación modifica su espacio en función de unas necesidades motrices, lúdicas, emocionales; mientras que otro, cuyas necesidades se centran en el campo del aprendizaje precisa crear unos ciertos ambientes dirigidos, por ejemplo, a favorecer la concentración, facilitar actividades de relación, etc. Si lo que pretendemos es que el participante de la formación construya, modifique, enriquezca y diversifique sus esquemas, la ayuda pedagógica que debemos prestarle consistirá en crear las condiciones adecuadas dentro del aula para que se produzca esta dinámica interna y se oriente en una determinada dirección: la que indiquen las intenciones formativas. En este proceso hay que tener en cuenta, en primer lugar, las actitudes del formador hacia las diferencias existentes entre los participantes de la formación; en segundo lugar, los materiales y recursos de que se dispone en un aula determinada, y en tercer lugar, los factores que configuran los diferentes estilos y modalidades de aprendizaje desde el punto de vista psicopedagógico. A partir de estos parámetros, es posible plantear la evaluación y considerar las actuaciones pertinentes que, de manera general, nos permitan: a) Llevar a cabo las posibles concreciones curriculares a través de unas unidades de programación ajustadas a las características de los participantes de la formación. b) Establecer una dinámica relacional y de trabajo en el grupo-clase entre los participantes de la formación y el formador, y de los participantes de la formación entre ellos, que conlleva cambios en la planificación de actividades de aprendizaje y en la actuación del formador, determinando así la elección de métodos de enseñanza adecuados para garantizar el respeto a las diferencias individuales. c) Diseñar una organización del entorno del aula que favorezca la dinámica anteriormente expresada. Analizar la realidad del aula es importante en sí mismo pero no debe hacernos Evaluación del proceso formativo y del aprendizaje 91 de 142 Máster en Formación de Formadores Sociolaborales olvidar el papel que la actuación del formador y el tipo de tareas que se ejecutan tienen en su configuración. Las actividades resultan un recurso estructurador de los diseños de acción del formador, así como un instrumento para que el participante de la formación alcance conductas permanentes. 92 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales BIBLIOGRAFÍA • FRASER, B.J., ANDERSON, G.J. y WALBERG, H.J. (1982): Assessment of learning enviroment inventory (LEI) and muy class inventor (MCI). Western Australian Institute of Technology, Bentley. • GAIRÍN, J. (1990): Ámbito institucional en el desarrollo curricular. En MEDINA, A. y SEVILLANO, Mª.: El currículo: fundamentación, diseño, desarrollo y evaluación. UNED,Madrid, págs 267-367. • GAIRÍN, J. y GIMENO, X. (1993): Didáctica de la Educación Primaria. La organización del aula. Curso de Actualización Científica y Didáctica. Subdirección General del Ministerio de Educación y Ciencia, Madrid. • GIMENO, J. (1988): El curriculum: una reflexión sobre la práctica. Morata, Madrid. Evaluación del proceso formativo y del aprendizaje 93 de 142 Máster en Formación de Formadores Sociolaborales UNIDAD 5: LA EVALUACIÓN DE LA INSTITUCIÓN COMO CONTEXTO FORMATIVO Introducción La evaluación de las instituciones de formación siempre ha estado presente en el discurso pedagógico, pero no siempre se ha llevado a la práctica. Cuando se ha realizado ha sido habitualmente desde la perspectiva externa y centrada en el control institucional. Sin obviar el valor de la evaluación externa, la autonomía de las instituciones exige poner en funcionamiento propuestas de revisión interna ligadas al desarrollo y mejora del Proyecto formativo. Así lo exige el compromiso con la calidad y la implicación de los formadores en su propio desarrollo profesional. Establecer y hacer efectivos procedimientos de mejora no resulta sencillo si tenemos en cuenta que nos movemos en un contexto institucional donde domina el individualismo, la rutinización, el miedo a los resultados y la falta de una cultura evaluativa. También, la falta de recursos entre los que cabe destacar los de formación, instrumentos de análisis y tiempo para el debate y la reflexión colectiva. Cabe en estas circunstancias realizar planteamientos realistas que, apoyándose en la planificación previa y en el desarrollo progresivo en propuestas, profundicen en el análisis de disfunciones de carácter general. La presente unidad se sitúa en los parámetros anteriores, revisando y aportando elementos procedimentales e instrumentos para el análisis institucional, tanto a nivel general como a niveles específicos. Algunas ideas clave que trabajaremos en esta unidad son: 94 de 142 • Si la institución de formación se entiende como realidad colectiva, debe planear la evaluación desde una perspectiva participativa. • La autoevaluación institucional permite la reflexión sobre la práctica y se convierte en un primer paso que facilita la mejora institucional y el desarrollo profesional. • La autoevaluación institucional permite la reflexión sobre la práctica y se convierte en un primer paso que facilita la mejora institucional y el desarrollo profesional. • La autoevaluación institucional debe considerar interrelacionadamente la acción de los formadores y el uso de recursos (humanos, materiales y funcionales) en relación al proyecto institucional. Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales • La vinculación con el entorno y la coherencia con sus demandas forman parte de la evaluación institucional. • Lograr una mayor calidad educativa es el referente que debe estar presente en la concreción del diseño y desarrollo de la evaluación. • Comprender la complejidad de los centros de formación como organizaciones. • Analizar enfoques de evaluación institucional. • Identificar indicadores institucional. • Valorar las aportaciones que la evaluación institucional proporciona con relación a la mejora de la formación. Objetivos y metodologías para la autoevaluación Mapa de Contenido Evaluación del proceso formativo y del aprendizaje 95 de 142 Máster en Formación de Formadores Sociolaborales 5.1 EL CONTEXTO ORGANIZATIVO El estudio de las organizaciones, sea para comprenderlas o para intervenir en ellas, exige la delimitación de los aspectos relevantes que las configuran. La complejidad del hecho formativo y organizativo y la limitación de las capacidades humanas así lo aconsejan, aun asumiendo que el proceso de categorización resta necesariamente riqueza al análisis y nos enfrenta a los reduccionismos propios de cualquier visión parcial. Todas las organizaciones persiguen de manera explícita o implícita unas metas que orientan su acción y que permiten dar coherencia a su actividad. La referencia a la existencia de una dirección, de un sentido, es intrínseca al término organización y aparece en todas las conceptualizaciones que sobre el mismo se realizan. Los objetivos y propósitos institucionales han de entenderse, en todo caso, no como el resultado de los objetivos de los diversos participantes sino como el medio por el que su actividad en la organización se convierte en un conjunto único, que, además de facilitar el logro de metas comunes, procura la satisfacción de las necesidades personales. La realización de los objetivos precisa de la articulación de unos determinados recursos humanos (mediante el organigrama, manual de puestos de trabajos, de procedimientos,..), materiales (relacionados con la ordenación y utilización de los espacios -elementos de arquitectura y mobiliario escolar- y con la naturaleza y organización del material escolar) y funcionales (formativa, ordenación del tiempo disponibles, presupuesto,..). Nace así la estructura con un sentido instrumental respecto a los objetivos. Pero más allá de los objetivos y estructuras, las organizaciones quedan conformadas por personas, que se relacionan entre sí en el marco de una estructura para conseguir determinados objetivos. Se configura así el sistema relacional y con él se referencia tanto a la naturaleza de los recursos humanos (formación, selección, expectativas, intereses...) como a los procesos que orientan su actividad (comunicación, participación, tomas de decisiones, etc.). Las relaciones entre objetivos, estructura y sistema relacional no siempre son coherentes como consecuencia de la diferencia entre los intereses personales, de grupo y de la organización, entre la estructura establecida y la necesaria o entre los objetivos pretendidos y la estructura existente. Se generan así disfunciones que es necesario conocer y disminuir. En este contexto, tiene sentido la existencia de la dirección como órgano encargado de procurar la máxima funcionalidad entre los objetivos institucionales, las estructuras de organización y funcionamiento y el sistema relacional. Las funciones organizativas serán el instrumento de acción a través del cual la dirección busca disminuir las disfunciones mencionadas. Mediante la planificación, la distribución de tareas, la actuación, la coordinación y el control se ordena la realidad con vistas a conseguir procesos de calidad y la mejora de los 96 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales centros educativos. Las actuaciones a realizar y el énfasis que se ponga en uno u otro de los componentes citados dependerá de las concepciones que se tenga de la organización y de las que se apliquen en el análisis y resolución de problemas. Enfoques tecnocráticos confían a menudo en un buen organigrama y en una descripción detallada de los puestos de trabajo y de las tareas a abordar. La atención a los intereses de las personas o el énfasis en los problemas serán focos de atención más propios de perspectivas simbólicas o socio-críticas. Por último, la ordenación y funcionamiento de la organización dependerá de las posibilidades y limitaciones que permita el sistema administrativo o estructural del que dependa la organización. Marcos muy normativos y estructuras administrativas uniformadoras restan margen de maniobra a las organizaciones y las convierten, a menudo, en meras ejecutoras de decisiones administrativas y organizativas ajenas a sus intereses inmediatos. Situamos así un conjunto de elementos (objetivos, estructuras, sistema relacional,..) que toda evaluación institucional debería considerar. Sin embargo, señalamos que lo característico no es tanto su consideración individual como el análisis de la coherencia que hay entre los distintos elementos; también el dinamismo, complejidad y carácter instrumental que tienen las organizaciones. Hablamos de totalidad y de enfoque holístico, para destacar el interés por primar el estudio de las interrelaciones y considerar que una modificación en cualquiera de los elementos de la organización implica modificaciones en los demás. El carácter dinámico relativiza al momento presente las decisiones tomadas y las sitúa en un marco histórico que puede explicar su realidad y dar sentido de futuro a sus inquietudes y compromisos con la innovación. La complejidad proviene tanto de considerar su composición como su funcionamiento. Componentes (objetivos, estructuras de organización y sistema de relaciones humanas) y dinámicas organizativas (actuación de los directivos y procesos que se aplican) conforman un entramado de relaciones formales e informales de carácter sistémico y ecológico que hace incoherente cualquier estudio individual de los elementos de la organización. La complejidad también se da cuando se compara el carácter y funcionamiento de los centros educativos respecto a otras organizaciones. La indefinición y naturaleza de las metas que se persiguen, la falta de suficiente preparación técnica de los que en ellas trabajan, la ambigüedad de las tecnologías que se utilizan, la debilidad y vulnerabilidad de su sistema organizativo, la alta dependencia de recursos externos, la autonomía limitada, la inexistencia de controles, etc. (Gairín, 1996a:103-105) son identificaciones que apoyan el carácter diferenciado de las organizaciones de formación respecto a otro tipo de realidades institucionales. El carácter instrumental, respecto a las finalidades formativas que se persiguen y en relación al proyecto institucional que se quiere llevar a cabo, nos recuerda, por último, su sentido de medio y no de fin. No podemos caer en el peligro real de sacralizar el papel de la organización y de los procesos implicados en su gestión, Evaluación del proceso formativo y del aprendizaje 97 de 142 Máster en Formación de Formadores Sociolaborales convirtiendo el medio en un fin que se alimenta a sí mismo. Los procesos de burocratización donde las normas de funcionamiento se pueden convertir en leyes, que modifican incluso el sentido u orientación que justificó su nacimiento, son un ejemplo claro de lo que decimos. Ilustración 15. Elementos para el análisis de las organizaciones (Gairín, 1994) La evaluación del centro de formación debe considerar el esquema presentado y las relaciones que se establecen entre los diferentes elementos. Las posibilidades de abordar la temática son muchas y variadas las aportaciones de los diferentes autores, tal y como puede apreciarse la recopilación recogida en el estudio de Gairín (1993). Nuevas e interesantes aportaciones que podrían añadirse a las que allí se citan son las referidas a evaluación de centros educativos (Cardona, 1994; Toro y López, 1995; Noriega y Muñoz, 1996; MEC, 1996; Luján y Puente, 1996; Nevo, 1997), evaluación de profesores (Villa y Morales, 1993), evaluación de programas, centros y profesores (Medina y Villar, 1995), evaluación de la formación (García Alvarez, 1996) evaluación de programas de orientación (Sobrado y Ocampo, 1997), evaluación de centros específicos de secundaria (De Miguel y otros, 1994), evaluación de la universidad (Quintás, 1996) o aportaciones diversas de evaluación sobre experiencias y tendencias en la formación del profesorado (ICE, 1996) y de organización general de instituciones (Calvo, 1996, Cantón, 1996; Lorenzo, 1997; Schargel, 1997). Igualmente, las obras de Gairín y Navio (1996), Gairín y Gimeno (1994a, 1994b y 1995) y Gimeno y Gairín (1996) que referencian a evaluaciones institucionales realizadas. Muchas de las propuestas tienen un enfoque externo y tecnológico y, son menos, 98 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales las que se orientan desde el punto de vista participativo o crítico. No obstante, incluso las orientaciones más estandarizadas pueden servir al diagnóstico y mejora institucional si se consideran como referentes para promover la reflexión interna y guiar el proceso de cambio. Evaluación del proceso formativo y del aprendizaje 99 de 142 Máster en Formación de Formadores Sociolaborales 5.2 LA EVALUACIÓN DESDE LA PERSPECTIVA TECNOLÓGICA La evaluación desde la perspectiva tecnológica suele enfatizar en la valoración de acuerdo a un modelo preestablecido. La verificación se realiza a partir de indicadores, base para la construcción de una instrumentalización variada. No es de extrañar, por tanto, que se vincule a veces con los procesos de certificación, que tan añaden a la evaluación el proceso administrativo de reconocimiento. La mayor utilidad a este tipo de propuestas se encuentra en los procesos de evaluación externa, dirigidos a la clasificación y normalización de instituciones, de gran interés para las administraciones y sistemas formativos. Sus limitaciones, sobre todo en lo que afecta a la utilización de indicadores y a la falta de contextualización puede verse en Gairín (1996a:296-302). La posibilidad de utilizar estas propuestas como referentes para la autoevaluación institucional queda muy limitado por cuanto las variables e indicadores utilizados tienen un sesgo importante hacia resultados y procesos medibles; además, la forma de aplicar la instrumentalización enfatiza el carácter pasivo de los participantes y su única utilidad como informantes. Sirva como reflexión, al respecto, el esquema presentado en la ilustración 2. Si tratamos de verificar la calidad de la formación, debemos decidir previamente los que entendemos por la misma. Muchas veces se consideran los resultados finales como expresión de la calidad educativa, obviando la importancia que tienen los procesos o el significado que podemos atribuir al compromiso de un centro con todos los estudiantes (incluyendo incluso los alumnos con problemas). El referente utilizado en cada caso dará una respuesta distinta sobre qué institución es de mayor calidad. Las realizaciones existentes que se puedan calificar de propuestas tecnológicas han sido variadas y muy coincidentes con la mayoría de las propuestas de evaluación institucional externa ya mencionadas (no en vano fue el primer planteamiento con fuerte implantación). Cardona (1997a) presenta como muestras significativas: el Modelo de Auditoría de Lucio Martínez, el Plan EVA puesto en marcha por el Ministerio de Educación de España y el Modelo Administración/96 impulsado por el Servicio de Inspección Técnica Educativa del mismo país. Por nuestra parte, haremos referencia y comentaremos los referidos a Normas ISO y al Modelo Europeo de Calidad, como sistemas de calidad reconocidos con certificación externa. Se presentan a continuación algunos referentes que pueden servir para orientar y realizar procesos evaluativos referidos al aula de aprendizaje. 100 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Ilustración 16. Los diferentes criterios en el análisis de la calidad 5.2.1. Las normas ISO La Organización Internacional de Normalización (ISO) es una federación mundial de organismos de normalización, cuya función principal es la de preparar normas internacionales (Normas ISO, que se revisan periódicamente) relacionadas con la calidad. Diferentes comités técnicos preparan propuestas que son analizadas y votadas por los países participantes. La Norma ISO 9001 especifica los requisitos para un sistema de gestión de la calidad que puede utilizarse para su aplicación interna por las organizaciones, para certificación o con fines contractuales. Se centra en la eficacia del sistema de gestión de la calidad para dar cumplimiento a los requisitos del cliente. La Norma ISO 9004 proporciona orientación sobre un rango más amplio de objetivos de un sistema de gestión de la calidad que la norma anterior, especialmente en lo que afecta a la mejora continua del desempeño y de la eficiencia global de la organización, así como de su eficacia. Esta norma se recomienda como una guía para aquellas organizaciones cuya alta dirección desee ir más allá de los requisitos de la Norma ISO 9001, persiguiendo una mejora continua del desempeño. La Norma ISO 9001:2000, aplicada en algunos centros de formación, se centra en el análisis de procesos y en la gestión vinculada a los mismos. Enfatiza en: • la comprensión y el cumplimiento de los requisitos, • la necesidad de considerar los procesos en términos que aporten valor, • la obtención de resultados del desempaño y eficacia del proceso, y Evaluación del proceso formativo y del aprendizaje 101 de 142 Máster en Formación de Formadores Sociolaborales • la mejora continua de los procesos con base a mediciones objetivas. El modelo de referencia se muestra en la ilustración 3 e ilustra las relaciones que se consideran importantes: clientes como determinantes de los requisitos de entrada, evaluación de la satisfacción como elementos de salida, responsabilidad de la dirección, etc., en un bucle muy vinculado a la metodología conocida como Planificar-Hacer-Verificar-Actuar (PHVA) o ciclo de Deming. Ilustración 17. Modelo de un sistema de gestión de calidad basado en procesos El sistema de gestión de la calidad bajo este modelo establece como requisitos generales el que la organización establezca, documente, implemente y mantenga un sistema de gestión de la calidad y mejorar continuamente su eficacia de acuerdo con los requisitos de esta norma internacional. La organización, al respecto, debe: 102 de 142 • identificar los procesos necesarios para el sistema de la calidad y su aplicación a través de la organización, • determinar la secuencia e interacción de estos procesos, • determinar los criterios y métodos necesarios para asegurarse de que tanto la operación como el control de estos procesos sean eficaces, Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales • asegurarse de la disponibilidad de recursos e información necesarios para apoyar la operación y el seguimiento de estos procesos, realizar el seguimiento, la medición y el análisis de estos procesos, e • implementar las acciones necesarias para alcanzar los resultados planificados y la mejora continua de estos procesos. El cuadro 19 recoge los procesos a los que se hace referencia, que de gestionan de acuerdo con los requisitos de esta norma internacional Existen también requisitos de la documentación en referencia a la documentación que se considera propia de un sistema de calidad: declaraciones documentadas de una política de calidad, manual de calidad, procedimientos documentados relacionados con esta norma internacional y registros requeridos por la misma. Cuadro 19. Actividades y procesos implicados en la norma ISO 9001:2000 (AENOR, 2000) Evaluación del proceso formativo y del aprendizaje 103 de 142 Máster en Formación de Formadores Sociolaborales Las Normas ISO son, pues, documentos técnicos de referencia que actúan como protocolo en forma de reglamento de normalización que permite verificar si una institución cumple los estándares de calidad establecidos. Los beneficios que se señalan a menudo son: • Proporcionar elementos para que una organización pueda lograr y mantener la calidad del producto o servicio, a la vez que mantenerla en el tiempo, de forma que las necesidades del cliente sean detectadas, analizadas y satisfechas permanentemente. • Proporcionar a los responsables de la gestión la seguridad de que se obtiene la calidad deseada. • Ofrecer a los usuarios la garantía de que el producto o los servicios tienen la calidad deseada, concertada, pactada o contratada. • Impulsar la creación de unos objetivos de mejora interna y externa. • Obligar a la organización y a sus empleados a mantener y mejorar su estándar de calidad, promoviendo un compromiso global con la calidad. • Guiar los procesos de autoanálisis • Racionalizar los procesos de actuación El proceso de implantación de las Normas ISO incluye una evaluación inicial, realizada por un asesor interno o externo, que trata de evidenciar los puntos fuertes y débiles de la organización. La delimitación de las carencias básicas suele servir de excusa para un proceso de formación que trata de sensibilizar sobre el tema de la calidad y acercar ideas sobre las normas. La constitución del equipo de calidad y la existencia de un responsable sirve para dinamizar la elaboración de la documentación, que incluye la redacción del manual de calidad, los descriptores de los diagramas de flujo de los procesos, la redacción de los procedimientos e instrucciones necesarias, la implantación y control de los mismos y la corrección final de todo la documentación elaborada. La ordenación de los procesos y su clarificación escrita permite realizar la auditoria interna y posteriormente, solicitar la auditoria externa. Si no hay conformidad con una norma, el auditor así lo expresa, realizando una descripción de la no conformidad, un análisis de las causas y una descripción de la acción correctiva que se ha de llevar a cabo La conformidad, de toda la organización o , si se desea, de una parte de la actividad, supone una recomendación de la empresa certificadora al comité ENAC (Entidad Nacional de Acreditación, dependiente del Ministerio de industria y Energía), quien otorga la certificación y hace el registro. Mantener la certificación exige de auditorías de seguimiento cada tres años e incluye la posibilidad de amonestaciones por no cumplir las normas. 104 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 5.2.2. Modelo Europeo de calidad Las directrices para las organizaciones que edita la Fundación Europea para la Gestión de Calidad concretan el Modelo Europeo de Gestión de Calidad, que se enriquece y corrige anualmente a partir de la experiencia acumulada. Si bien la propuesta tiene un origen empresarial, se ha ensayado una versión propia para el sector público con secciones específicas para las áreas de salud, educación y gobierno local y central. Lo esencial del Modelo europeo de gestión de calidad, adaptado a las instituciones de educación, queda contenido en el siguiente enunciado: La satisfacción de los usuarios del servicio público de la educación, de los profesores y del personal no docente, y el impacto en la sociedad se consigue mediante un liderazgo que impulse la planificación y la estrategia del centro educativo, la gestión de su personal, de sus recursos y sus procesos hacia la consecución de la mejora permanente de sus resultados. (MEC, 1997) Los objetivos que se plantean hacen referencia a: • Promover la excelencia en la calidad de los servicios al cliente y en los resultados institucionales, • a través de un sistema de evaluación, • basado en un modelo de calidad total, • homologado a nivel internacional. El modelo de y para la acción práctica otorga a los agentes 500 puntos (50% del total) y a los resultados otros 500 puntos, tal como puede apreciarse en la ilustración 18. El modelo queda configurado por diferentes criterios que se desarrollan mediante 50 preguntas en la propuesta original, si bien algunas adaptaciones introducen modificaciones. Así, la adaptación realizada por el Ministerio de Educación y Cultura de España se compone de 67 preguntas. Algunos subcriterios que pueden servir de referencia para el contexto de la educación quedan recogidos en el cuadro 2, donde también se pueden relacionar con los establecidos para las empresas. Cabe considerar, al respecto, algunas referencias que se hacen cuando se habla de la especificidad de la Administración pública (cuadro 21) Evaluación del proceso formativo y del aprendizaje 105 de 142 Máster en Formación de Formadores Sociolaborales Ilustración 18. Modelo europeo de calidad CRITERIOS 1.- LIDERAZGO 2.- POLEGIA 106 de 142 SUBCRITERIOS EMPRESAS a. Una implicación clara en el liderazgo de la Calidad Total. b. Una sólida filosofía de Calidad Total c. Reconocimiento oportuno y apreciación de los esfuerzos y logros de personas y equipos. d. Apoyo a la Calidad Total mediante la provisión de los recursos y asistencia necesarios. e. Implicación con clientes y proveedores. f. Promoción activa de la Calidad Total fuera de la organización. a. Cómo la política y estrategia están basadas en el concepto de Calidad Total. b. Cómo se determinan la política y la estrategia sobre la base de una información que resulte relevante para la Calidad Total. c. Cómo política y estrategia constituyen el fundamento de los planes de la empresa. d. Cómo se comunican la EDUCACIÓN Demuestran claramente su compromiso con la cultura de la gestión de calidad. .Apoyan las mejoras y la implicación de todos, ofreciendo los recursos y ayudas apropiados. Se implican con clientes, proveedores y otras organizaciones externas. Reconocen y valoran a tiempo los esfuerzos y logros de las personas interesadas en el centro educativo (clientes, personal, proveedores u otros implicados en los resultados del centro) Cómo se basa la planificación y la estrategia del centro educativo en una información pertinente y completa. Cómo se desarrollan la planificación y la estrategia del centro educativo. Cómo se comunica e implanta la planificación y la estrategia del centro educativo. Cómo se actualiza y mejora periódicamente la planificación y al estrategia del centro educativo. Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales CRITERIOS 3.- GESTIÓN 4. RECURSOS 5.- PROCESOS SUBCRITERIOS EMPRESAS política y la estrategia. e. Cómo política y estrategia se revisan y mejoran regularmente. a. Cómo se lleva a cabo una mejora continua en la gestión del personal. b. Cómo la compañía conserva y desarrolla la experiencia y las capacidades del personal mediante la contratación, formación y promoción de carreras profesionales. c. Cómo el personal y los equipos acuerdan sus objetivos y cómo se revisan los mismos de formación continua. d. Cómo la compañía promueve la implicación de todo su personal en la mejora continua y le faculta para tomar las iniciativas precisas. e. Cómo se logra una eficaz comunicación ascendente y descendente y horizontal. a. Recursos financieros. b. Recursos de información c. Recursos materiales. d. Aplicación d ella tecnología. a. Cómo se identifican los procesos clave para el éxito de la empresa. b. Cómo la empresa, de modo sistemático, dirige sus procesos. c. Cómo se utilizan los parámetros de funcionamiento de los Evaluación del proceso formativo y del aprendizaje EDUCACIÓN Cómo se planifica y mejora la gestión del personal. Cómo la experiencia y capacidades de las personas se mantienen y desarrollan por medio de su formación y cualificación. Cómo el Equipo Directivo, los órganos de coordinación docente y el resto del personal se ponen de acuerdo sobre objetivos y revisan continuamente el desempeño de sus funciones. .Cómo el centro educativo promueve la implicación y participación de todo su personal en la mejora continua y le reconoce y faculta para tomar decisiones. Cómo se consigue una comunicación efectiva ascendente, descendente y lateral. Cómo el centro educativo se preocupa por su personal y lo respeta. Cómo se gestionan los recursos económicos y financieros. Cómo se gestionan los recursos de información. Cómo se gestionan los materiales y las relaciones con los proveedores. Cómo se gestiona los edificios y los equipos. Cómo se gestiona la tecnología y la propiedad intelectual. Cómo se identifican los procesos cr´ticos para el éxito del centro. Cómo gestiona el centro educativo sistemáticamente sus procesos. Cómo se revisan los procesos y se establecen los objetivos de mejora.. Cómo se estimula en el centro educativo la innovación y creatividad en la mejora de procesos. 107 de 142 Máster en Formación de Formadores Sociolaborales CRITERIOS 6.- SATISFACCIÓN DELOS CLIENTES 7.- SATISFACCIÓN DEL PERSONAL 8.IMPACTO SOCIAL 9.-RESULTADOS EMPRESARIA-LES SUBCRITERIOS EMPRESAS procesos, junto con toda realimentación válida, para revisar los procesos y establecer objetivos de mejora de la calidad. d. Cómo la empresa estimula la innovación y la creatividad en la mejora de los procesos. e. Cómo se realizan los cambios en los procesos y se evalúan los correspondientes beneficios. a. La percepción que los clientes tienen de los productos, servicios y relaciones de la empresa con sus clientes. b. Medidas complementarias relativas a la satisfacción delos clientes de la organización. a. La percepción que los empleados tienen de su empresa. b. Medidas complementarias relacionadas con la satisfacción del personal. a. La percepción de la comunidad en general del impacto de la organización en la sociedad. b. Medidas complementarias relativas al impacto de la organización en la sociedad. a. Medidas económicas del éxito de la organización. b. Medidas no económicas del éxito de la organización. Su respuesta a este apartado debe incluir medidas de los procesos críticos relacionados en 5 a . EDUCACIÓN Cómo implanta el centro educativo los cambios de procesos y evalúa los beneficios. La percepción que tiene los padres y los alumnos de la formación que dispensa el centro educativo, d ella calidad de sus servicios y de su relación con ellos. .Medidas complementarias relativas a la satisfacción de los clientes del centro. La percepción que el personal (docente y no docente) tiene de su centro educativo. Medias complementarias relacionadas con la satisfacción del personal. La percepción que la sociedad en general tien del centro educativo. Medidas adicionales relacionadas con el impacto del centro educativo en la sociedad. Medida de los resultados económicos del centro educativo. Medida del resultado de los procesos de enseñanza y aprendizaje del centro educativo. . Cuadro 20. Criterios y subcriterios del modelo de evaluación 108 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Cuadro 21. Observaciones que afectan a criterios de calidad promovidos por la Administración Pública La autoevaluación a partir de los criterios y subcriterios puede utilizar, según señala la Fundación Europea para la Gestión de la Calidad, diferentes estrategias metodológicas: Evaluación del proceso formativo y del aprendizaje 109 de 142 Máster en Formación de Formadores Sociolaborales 1.- Simulación de presentación al premio establecido: Redacción de un informe completo con los datos correspondientes a cada una de las secciones, de acuerdo con el sistema de puntuación establecido. Un equipo de evaluadores externos elabora un informe después de una visita, que se contrasta con el realizado por la propia organización. El equipo directivo establece prioridades y planes de acción. 2.- Por formularios: Se elaboran formularios detallados sobre los puntos de cada sub-criterio. Un equipo de evaluadores internos formados recoge a través de entrevistas los puntos fuertes y débiles de cada punto analizado; posteriormente, se elabora un informe de las evidencias en las que se han basado los juicios emitidos. 3.- Mediante una matriz de mejora: Se otorgan puntuaciones individuales a las situaciones presentadas en una matriz que luego se contrastan colectivamente hasta llegar a unas puntuaciones consensuadas. La matriz recoge los criterios y subcriterios y una escala de 1 a 10, que especifica mediante frases las diferentes situaciones posibles. 4.- Reunión de trabajo: Los miembros del equipo directivo reúnen individualmente datos y evidencias para justificar su evaluación, que luego se contrata y consensua con los demás miembros. 5.- Cuestionario: Se reparten cuestionarios de dos o más opciones entre las personas de una muestra. 6.- Implicación paritaria: La unidad sujeta a evaluación elabora su propio informe de autoevaluación De la misma forma que se hace en el sistema de simulación del Premio. Otro grupo de evaluadores formados de otras unidades de la misma organización realizan también otro informe, que luego servirá para contrastar las valoraciones. Una aplicación concreta es el cuestionario de autoevaluación realizado por el Ministerio de Educación y Cultura de España para aplicar en los centros públicos de educación (MEC, 1997). Cada pregunta proporciona la oportunidad de evaluar la eficacia de los esfuerzos realizados por el centro para satisfacer los requisitos cubiertos por la pregunta. Las diferentes preguntas se refieren a los llamados criterios Agentes y criterios Resultados. 110 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Bajo los criterios Agentes se valora el enfoque y el despliegue cuando se contesta a cada una de las preguntas. Con el enfoque, se pretende saber si la realidad descrita en el enunciado reúne características relacionadas con: la fundamentación, el cumplimiento sistemático, la prevención de los errores, la revisión sistemática, la implantación de las mejoras, la incardinación en actuaciones habituales y la revisión de la efectividad del enfoque. Con el despliegue, se pretende conocer como se extiende la acción a lo largo de la institución, analizando: si se extiende verticalmente por todas las unidades de una misma sección, horizontalmente en todas las unidades que se encuentran en un mismo plano, por todos los procesos críticos y por todos los servicios prestados por la institución educativa. Bajo los criterios Resultados se valora la magnitud y el alcance cuando se contesta a cada una de las preguntas. Con la magnitud se pretende conocer el impacto cuantitativo de la realidad haciendo referencia a niveles conseguidos, tendencias positivas, comparación de los resultados con los objetivos previstos y con los obtenidos por otras organizaciones, las medidas correctoras adoptadas, los resultados positivos de la institución educativa han de proceder de un enfoque y los resultados negativos de la institución son objeto de acciones de revisión. Con el alcance se quiere saber la extensión de la realidad descrita en el enunciado de la pregunta haciendo referencia a si afecta a todas las partes de la institución o a todos los procesos que se desarrollen. Cada subcriterio se presenta y “califica” por los evaluadores individual y colectivamente según varias opciones (cuatro situaciones que representan desde “ningún avance” a “objetivo logrado”). Las calificaciones así obtenidas se ponderan y proporcionan información sobre el porcentaje del objetivo que se ha cubierto, posibilitando con posterioridad el establecimiento de planes de mejora. Un ejemplo parcial del cuestionario puede verse en el cuadro 22 que guía el análisis del criterio referente al impacto en la sociedad. Evaluación del proceso formativo y del aprendizaje 111 de 142 Máster en Formación de Formadores Sociolaborales Cuadro 22. Aplicación del criterio relacionado con el “impacto en la sociedad” A partir de la evaluación tiene sentido plantear un plan de mejora que partiendo del diagnóstico selecciona las áreas de prioridad y las concreta en objetivos y propuestas de acción. Algunos esquemas que se utilizan quedan expresados a continuación (Ilustración 19). 112 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Ilustración 19. Cuadros de referencia para la concreción del Plan de Mejora La utilización del modelo presentado tiene sentido siempre y cuando se considere: • Los elementos del modelo • La aplicación mecánica de las propuestas. • Los principios y convicciones subyacentes al cuestionario como puedan ser, entre otros: • Todos los planteamientos y métodos deben revisarse de manera periódica y obedecer a ciclos de mejora. • La Dirección debe ir predicando con su ejemplo y hacer que se favorezca constantemente la motivación por la calidad. • Es fundamental el “benchmarking” de los procesos clave o del conjunto del centro, lo que permite aprender de los otros. Evaluación del proceso formativo y del aprendizaje 113 de 142 Máster en Formación de Formadores Sociolaborales • El trabajo interno debe ser un procedimiento normal para conseguir la mejora. • Se deben reconocer los esfuerzos que tiendan a aportar mejoras dentro del centro. Fuera del sentido y utilidad de la propuesta, su carácter tecnológico, centrado en una concepción y aplicación mecanicista y estandarizada, queda evidenciado con sólo considerar algunos elementos de control que utiliza y que se definen de la forma siguiente: Benchmarking: la acción por la que una institución se compara con los mejores para tratar de emularles. Gestión de calidad: la forma de gestionar una institución para alcanzar la excelencia; se basa en conceptos fundamentales tales como: orientación hacia el cliente, relaciones de asociación con los proveedores, desarrollo y compromiso del personal, etc. Estándar operativo: resultado deseado de un proceso (por ejemplo, la duración máxima deseable de una clase). Los estándares se fijan a partir de la experiencia histórica propia y ajena, son modificables y sirven para establecer objetivos y medir el progreso. Indicador: además de los clientes y del personal del centro, son todos los que tienen un interés en los resultados educativos, económicos o de otro tipo. 114 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 5.3. LA AUTOEVALUACIÓN DESDE PERSPECTIVAS CULTURALES Y SOCIOCRÍTICAS La evaluación desde la perspectiva cultural suele enfatizar en su valor como instrumento para comprender una determinada realidad. Configuradas las instituciones como marcos que tienen significados precisos para las personas, su funcionamiento queda condicionado por las imágenes, ideas, concepciones, etc. que sugieren a las personas que en ellas trabajan. La evaluación sirve, al respecto, como un medio y excusa para intercambiar puntos de vista, compartir criterios y participar en la elaboración de propuestas. La perspectiva socio-crítica enfatiza en la naturaleza política de las instituciones, considerándolas como estructuras de poder, y en su capacidad para promover y transformar la realidad. La evaluación debe evidenciar, al respecto, las disfunciones existentes y ser el prólogo a un proceso de cambio que permita mejorar el valor y sentido social de las organizaciones. La mayor utilidad a este tipo de propuestas se encuentra en los procesos de evaluación interna, dirigidos a mejorar los procesos y prácticas educativas con gran repercusión en el desarrollo profesional de los docentes y en la mayor utilidad social de lo que son y hacen los centros educativos. Sus limitaciones afectan, sobre todo, a la falta de propuestas prácticas sobre su aplicación en contextos educativos y a falta de implantación de una cultura coherente con la naturaleza y sentido de las propuestas. 5.3.1.- Los enfoques culturales Las realizaciones existentes son escasas y no siempre se pueden encuadrar en los enfoques que analizamos. Pueden citarse en esta línea el Proyecto GRIDS (Guidelines for Review and Internal Development in School), el modelo etnográfico de Sabirón y el Modelo Administración/96, citados por Cardona (1997b). Por nuestra parte, haremos referencia y comentaremos nuestro propio modelo (Gairín y Gimeno, 1994a 1994b, 1996; Gairín y Navío, 1996). Priorizar el conocimiento, respeto y contrastación de las percepciones y expectativas que tienen las personas de la organización sobre su funcionamiento, es otra forma de guiar el proceso de autoevaluación. Se trata, en este caso, de arbitrar mecanismos que faciliten el intercambio de experiencias y la implicación de todo el personal en la mejora. Un ejemplo de aplicación, referido a instituciones de formación del ámbito de la educación no formal, se comenta a continuación. Los objetivos básicos que se persiguen habitualmente en esta perspectiva son: • Determinar fortalezas y debilidades de la institución. Evaluación del proceso formativo y del aprendizaje 115 de 142 Máster en Formación de Formadores Sociolaborales • Fomentar la creación de una cultura común y un compromiso con la mejora. • Facilitar el intercambio de ideas y el desarrollo institucional. El diagnóstico institucional dirigido a la mejora se fundamenta en los siguientes principios de acción: a) Globalidad. La evaluación debe considerar todos los aspectos del funcionamiento de la institución (misiones, estructura de organización y funcionamiento y sistema de relaciones) y, especialmente, la coherencia que se establece entre ellos. Se trata de evaluar, en un primer momento, la institución en su totalidad y no un aspecto específico de ella. b) Participación, que supone el conocimiento y la posibilidad de incidir en los resultados por parte d todas las personas y estamentos implicados en la evaluación, tratando así de garantizar la vinculación de todas las personas dela institución en las propuestas de mejora realizadas. c) Utilidad. Los informes parciales o finales que se realizan deben ser entregados con tiempo suficiente para incorporar las mejoras sugeridas. d) Funcionalidad, entendida como practicidad y realismo, tanto por lo que se refiere al análisis como a los resultados. e) Sistemicidad. La institución y su evaluación se consideran como dos conjuntos holísticos en interacción permanente y en relación de interdependencia. Las estrategias de trabajo son, a menudo, variadas y dependen de la realidad institucional donde se actúa, dado el carácter instrumental del modelo. Sin embargo, podemos establecer, a modo de ejemplo, lo que podría ser el proceso de autoevaluación en el contexto de un centro de formación ocupacional La idea básica sería la de promover la revisión interna con o sin la ayuda de facilitadores externos. Una vez negociado el plan de evaluación específico y propio de cada institución, se trata de concretar el período de actuación, las estancias en el centro de los facilitadores, la definición de los instrumentos a utilizar y el proceso a seguir. Respecto al análisis del funcionamiento general de la institución, se trata, por un parte de reunir información global a partir de los documentos existentes (estadísticas, actas de las reuniones, documentos de gestión, etc.); por otra, de profundizar a partir de entrevistas individuales y colectivas con los diferentes estamentos (mediante técnicas como el autoanálisis o la historia institucional) que participan en la institución. Se busca así delimitar tanto los problemas generales como los específicos que tiene el centro. La secuencia aproximada de actuaciones a realizar queda esquematizada en el cuadro siguiente. Como puede apreciarse, después de un proceso de recopilación de información, se pasa a la fase de contraste, que permite opinar a todos los implicados sobre las problemáticas planteadas. Cada participante puede emitir opiniones abiertas sobre lo que han informado otros participantes, recogiendo sus 116 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales aportaciones en los sucesivos informes que se elaboran: Cuadro 23. Ejemplo de plan de actuación para analizar el funcionamiento general de un centro de formación El informe final ha de recoger lo aportado por los diferentes estamentos con las anotaciones que hayan estimado oportuno añadir y una síntesis de las propuestas de mejora más aceptadas. Paralelamente al análisis general, puede o no realizarse la revisión específica de un ámbito de la institución (relaciones externas, administración, área académica, etc.) o de aspectos más concretos, como puedan ser los relacionados con la satisfacción de los usuarios, el desarrollo de la participación, la implicación en el entorno u otros, tal y como especifica el cuadro 6. Lo importante será, como allí puede apreciarse, el compromiso con la mejora, que supone la incorporación de nuevas propuestas de trabajo en próximos períodos. Evaluación del proceso formativo y del aprendizaje 117 de 142 Máster en Formación de Formadores Sociolaborales Cuadro 24. Ejemplo de plan de evaluación interna de una institución Una propuesta con objetivos como los señalados debe utilizar instrumentos que faciliten y primen el debate colectivo. Los instrumentos para recoger información son aquí una excusa para el debate, un mecanismo a través del cual se trata de fomentar el conocimiento y contrastación de puntos de vista y la selección de los compartidos. El autoanálisis y la historia institucional que presentamos a continuación son un ejemplo de lo que decimos. En la misma perspectiva se situarían otras propuestas también descritas en Gairín (1996a) como puedan ser: el estudio de casos, el análisis de situaciones reales de tipo anecdótico o conflictivo, la utilización de esquemas, la realización de grabaciones, la petición de informes, la generación de propuestas a través de esquemas proporcionados, la elaboración de escenarios, los laboratorios de sensibilización, etc. 5.3.2.- Los enfoques sociocríticos Sin dejar de considerar la importancia de la participación y de la construcción colectiva, los enfoques críticos parten o consideran los problemas como base de reflexión, tratando de recuperar el sentido social de las organizaciones y el carácter de compromiso con el cambio que debe de acompañar al trabajo de los profesionales. El modelo de investigación-acción (“Action Research”) vinculado a la reflexión sobre la práctica de los formadores que promueven algunas orientaciones también se utiliza para la autoevaluación institucional. A menudo se le ha definido como el estudio sistemático de tentativas de cambio y mejoras educativas realizadas por los profesionales a través del análisis de sus propias prácticas y por medio de la reflexión sobre los efectos de sus acciones. S. Kemmis estructura el proceso de investigación-acción sobre el eje estratégico, constituido por la acción y la reflexión, y el eje organizativo, en el que interviene la planificación y la observación. La dinámica entre ambas dimensiones ayuda a 118 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales comprender la realidad y salvar los obstáculos que impiden su cambio. La ilustración 20 representa las relaciones entre los diferentes elementos Ilustración 20. Los momentos de la investigación- acción (Kemmis, 1984) La investigación-acción responde a la necesidad de conocer y mejorar continuamente la realidad con la implicación de los profesionales. Sus objetivos se pueden concretar en (González y Latorre, 1997:209): • Ayudar a los formadores a definir, orientar, corregir y evaluar los problemas propios de la práctica escolar. • Despertar una mayor conciencia profesional entre los prácticos de la formación que buscan nuevas formas de plantearse y concebir la práctica educativa. • Fomentar el trabajo institucional en grupo y conseguir la acción colaborativa de un grupo de personas para dar respuesta a sus problemas de una manera reflexiva y crítica. • Proporcionar a los formadores una nueva dimensión de su rol profesional, la función investigadora, que les capacite para su desarrollo profesional y autonomía personal; en definitiva, que les haga más profesionales. • Presentar a los formadores nuevos modelos y estrategias de investigación que les faciliten ser artífices del desarrollo de programas curriculares y ser los auténticos innovadores de la enseñanza. La esencia de la investigación acción es una espiral autoreflexiva formada por círculos sucesivos de reflexión, planificación, acción, observación, reflexión, etc. Las etapas a respetar son señaladas por Elliot y otros (1986): • Una revisión de la idea general (en prevención y ratificación de las modificaciones que se pudieran haber producido en ella), junto a una descripción de los factores y acciones que se vayan a realizar para mejorar la situación inicial. • La realización de negociaciones sobre el contenido de la mejora. Evaluación del proceso formativo y del aprendizaje 119 de 142 Máster en Formación de Formadores Sociolaborales • La descripción, lo más detallada posible, de los recursos necesarios para lograr la mejora, así como de las normas éticas que han de guiar el acceso a la información. Las concreciones del modelo han sido variadas desde las iniciales propuestas de Lewin. La ilustración 7 presenta la propuesta de Elliot que parte del modelo en espiral de Kemmis y McTtagart (Planificar, actuar, observar, reflexionar, planificar,..). Para este autor, la “idea general” debe poder cambiarse y no quedar fijada de antemano, la “exploración” debería implicar un análisis de los hechos y estar presente en todo el proceso ( y no sólo al principio) y, finalmente, “la puesta en marcha” no es un paso fácil y no debería procederse a evaluar los efectos de su acción hasta que no hubiera un control del alcance de su implantación. (González y Latorre: 1987: 216) Los métodos de trabajo no son propios y específicos de este enfoque, si bien tiende a utilizar algunos con mayor profusión. Así, son habitualmente usados en la evaluación de carácter naturalista, la observación participante y prolongada, la entrevista individual o grupal, la utilización de memorandums analíticos, el análisis de documentos, la realización de diarios, la aplicación del cuestionario, etc. La investigación acción también utiliza los diarios, la entrevista, el cassette, el video, y el estudio de casos. Como metodologías aplicables a situaciones diversas (dinámica de la clase, desarrollo de sesiones de trabajo, utilización de espacios y tiempos, situaciones excepcionales, empleo de materiales,...) y a contenidos diferentes ( ¿qué se piensa sobre.....?, ¿por qué sucede?, ¿cómo se podría mejorar?, ¿en qué afectaría a.......?, ¿qué habría que señalar con relación a......?) permiten un registro escrito, fotográfico, por video, etc. 120 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales Ilustración 21. La espiral de actividades del proceso de investigación-acción (Elliot, 1981) Lo importante en el proceso es considerar los conceptos claves de la visión que la micropolítica ha puesto de manifiesto. Son, al decir de Santos (1996:72-73): • El poder es un elemento esencial en las organizaciones. • Existen metas diversas y no una única meta de la organización. • La organización no funciona de manera aséptica sino que está cargada de ideología. Evaluación del proceso formativo y del aprendizaje 121 de 142 Máster en Formación de Formadores Sociolaborales 122 de 142 • Las organizaciones encierran conflictos subterráneos o explícitos y están lejos de ser lugares apacibles, sin tensiones de ningún tipo. • La esencia de la micropolítica son las estrategias que se utilizan, y la negociación es una de ellas. • La teoría del intercambio tiene gran relevancia en la visión micropolítica de la organización. Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 5.4. REFERENTES PARA LA AUTOEVALUACIÓN La realización práctica de la autoevaluación supone clarificar en primer lugar el conjunto de preguntas a que ha de responder. Algunas preocupaciones temáticas, en la línea de las recogidas por Santos (1993:35-37; 1995:26-32), que pueden considerarse serían: a) En relación a los planteamientos institucionales • Existencia de un proyecto colectivo frente a una acción individualista. • Atención a la educación en valores. • La adaptación del centro al medio en el que está enclavado y a la cultura en la que se mueven las familias. • La organización y selección de los contenidos de enseñanza en el aula y en el programa formativo. • Adecuación al Proyecto formativo a la filosofía de la institución de formación. • Gestión que se realiza del currículo. • Existencia de procesos de investigación. • Desarrollo de iniciativas de perfeccionamiento de los formadores vinculadas a la práctica profesional. • • ....................................... b) En relación a las estructuras organizativas • Ejercicio de la autoridad personal sobre la funcional. • Participación de los usuarios la vida del centro y en la negociación del proceso de aprendizaje y de la evaluación. • Funcionamiento de la coordinación vertical y horizontal entre los miembros del equipo de formación. • Existencia de trabajo en equipo. • La flexibilidad organizativa de los espacios y de los tiempos al servicio del proyecto formativo. • La utilización de los medios didácticos, tanto en su vertiente organizativa como didáctica. Evaluación del proceso formativo y del aprendizaje 123 de 142 Máster en Formación de Formadores Sociolaborales • La integración de los usuarios con “handicaps” en el marco del aula y en el desarrollo del programa formativo. • La transparencia y racionalidad en la gestión económica y en el análisis de los criterios que presiden el gasto. • Los fondos bibliográficos y multimedia, los criterios de su selección y uso, tanto por parte de la comunidad formativa como de los ciudadanos en general. • El funcionamiento de los servicios de secretaría, administración, limpieza,.. c) En relación al sistema relacional • La comunicación entre las distintas personas y estamentos del centro de formación es intensa y positiva. • La circulación de la información en sentido vertical (ascendente o decendente) y horizontal y con el exterior es fluida. • Participación de los promotores y otros agentes formativos en todo lo relacionado con la vida del centro y del aula de formación. • Integración en el proyecto del personal de administración y servicios. • El tratamiento de los conflictos entre los formadores o entre estos y los usuarios, o entre los formadores y los promotores redunda en una mejora de actuaciones. • El clima del Centro permite hablar de lugar de convivencia, de trabajo y de respeto mutuo. • La concepción de la disciplina respecto a los usuarios y formadores formativa y se asienta en las normas de convivencia y en la exigencia de su cumplimiento. • La sensibilidad ante el problema de la educación para los valores. • La adaptación del centro al medio en el que está enclavado y a la cultura en la que se mueve la realidad social, cultural y económica. • Existencia de procesos periódicos de evaluación institucional. • La metodología que se utiliza en el trabajo del aula de formación y sus resultados en el rendimiento de los participantes en la formación. d) Otras 124 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales • La forma de realizar la evaluación, tanto dentro del aula de formación como en las sesiones presididas por el tutor. • Las relaciones con las instituciones de supervisión y control externo e interno. Algunas de las actuaciones posibles quedan también recogidas a continuación a partir de algunas de las acciones señaladas por Santos Guerra (1993: 27-30) • Dedicar monográficamente una sesión del Plantel de formadores para realizar el análisis de algún aspecto del funcionamiento del centro de formación: disciplina, formas de evaluación, el fracaso en los estudios, las causas de abandono,.. • Solicitar de los participantes de la formación, por escrito, un informe sobre la marcha del centro. • Nombrar una Comisión para que realice algún estudio valorativo sobre la vida del Centro. • Realizar algunas preguntas a los promotores sobre el funcionamiento del centro. • Analizar de forma rigurosa alguna situación conflictiva del Centro. • Aplicar el mismo cuestionario a todos los estamentos que participan del proceso formativo e institucional para estudiar los contrastes de opinión. • Proponer a un Seminario, Ciclo o Gabinete que haga un informe sobre su actividad. • Proponer la realización de diarios, tanto a formadores como a participantes de la formación. • Hacer un estudio de casos sobre alguno de los aspectos de la vida del Centro que tenga interés para los formadores. • Evaluar una sesión de lo órganos de participación y gestión en su desarrollo completo. • Hacer un estudio de la utilización del espacio de formación. • Realizar lecturas sobre la valoración del funcionamiento de los centros de formación. • Filmar una sesión de evaluación, para su posterior análisis por el grupo de formadores implicados y por otros compañeros. • Obtener una serie de fotografías sobre el espacio escolar para su análisis. Evaluación del proceso formativo y del aprendizaje 125 de 142 Máster en Formación de Formadores Sociolaborales Se trata, en todo caso, de, paralelamente a la aplicación de propuestas estandarizadas dirigidas al análisis de aspectos concretos del centro, desarrollar una preocupación por sistematizar informaciones y someter a revisión aspectos del funcionamiento institucional. 126 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 5.5. INSTRUMENTOS PARA LA REVISIÓN Presentamos, a título de ejemplo, varias propuestas de instrumentos que pueden ayudar a la autoevaluación interna. Por una parte, un esquema de trabajo para la revisión del Programa formativo; por otra, pautas para realizar el autoanálisis y la historia institucional y un listado de referencias para el análisis de las relaciones con el entorno. 5.5.1.- La revisión del programa formativo El presente documento trata de dar elementos que permitan a los equipos de formadores la revisión del programa formativo que se aplica en una institución de formación. Su objeto principal no reside tanto en realizar un diagnóstico específico sobre aspectos puntuales sino en derivar hacia la búsqueda de elementos para la mejora. Desde este punto de vista se prima la atención a los puntos fuertes y débiles significativos respecto a la temática analizada. Su aplicación incluye debates colectivos del equipo de formadores a partir de la reflexión individual que cada uno de ellos realiza. El análisis y contrastación de valoraciones puede y debe ser enriquecido, si es posible, con la información que tenga el centro de formación: pruebas aplicadas sobre conocimientos, observaciones realizadas, informes, registros anecdóticos, etc. La guía que se acompaña para facilitar la reflexión colectiva incluye tres partes. La primera recoge impresiones generales de los formadores sobre el área curricular que se analiza, la segunda analiza los elementos propios del proyecto formativo y la tercera incide en su aplicación en el aula. Cada parte podría ser objeto de revisión de una sesión del profesorado, dedicando la cuarta a la elaboración de conclusiones y a la priorización de actuaciones a realizar. Se trata en todo caso de analizar situaciones y propuestas relacionadas con las posibilidades de actuación real en los centros de formación. I. Aspectos Generales Concreta las tres problemáticas más importantes del área curricular que dificultan la consecución de los objetivos planteados. Delimita las causas más significativas que inciden en las problemáticas planteadas. Acota 3 o 4 decisiones concretas que permitan mejorar algunas de las situaciones problemáticas planteadas. II. Aspectos Específicos Evaluación del proceso formativo y del aprendizaje 127 de 142 Máster en Formación de Formadores Sociolaborales Analiza las siguientes afirmaciones relativas al proyecto curricular, valorando si se puede considerar un aspecto positivo a mantener (fortaleza +) o a modificar (debilidad -). AFIRMACIONES + - OBSERVACIONES I A nivel formal ´ Identifica al centrote formación y a los usuarios. ´ La presentación del documento es aceptable. ´ La redacción está revisada. ´ Su lectura es fácil y comprensible. II A nivel de contenido ´ Globalmente, contexto. tiene elementos relacionados con el ´ Considera las peculiaridades de los estudiantes de la escuela y sus características psicopedagógicas. ´ Respeta principios y concreta objetivos del Proyecto formativo. ´ Toma como existentes. referencia las orientaciones normativas ´ Mantiene relaciones con las propuestas curriculares de otras áreas. ´ Los objetivos son claros y unívocos. ´ Se delimitan claramente los objetivos a conseguir por materias, ciclos y/o niveles. ´ Hay relación clara entre los objetivos de ciclo, de etapa y de área. ´ Los bloques de contenidos seleccionados están coherentemente organizados e interelacionados (sin lagunas ni repeticiones y con progresivos niveles de dificultad) dentro del ciclo / curso y entre los ciclos/cursos de las etapas. ´ Los contenidos permiten desarrollar las capacidades cognitivas, procedimentales y actitudinales señaladas en los objetivos. ´ Están adaptados a las necesidades e intereses de los participantes en la formación. ´ Reúnen requisitos de exactitud y de actualidad. ´ Los temas transversales aparecen vinculados en los contenidos a desarrollar. explícitamente ´ Las estrategias metodológicas quedan suficientemente explicitadas. ´ Las propuestas metodológicas respetan principios del aprendizaje significativo (partir de conocimientos previos, relacionar los nuevos aprendizajes, potenciar lo funcional, …) ´ La metodología 128 de 142 potencia enfoques globalizadores e Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales AFIRMACIONES + - OBSERVACIONES interdisciplinares. ´ Se plantean diversidad de actividades para el estudaintes: individuales, en grupo, verbales, numéricas, icónicas, etc. ´ Se plantean variedad de técnicas para el formador: exposición, uso de escritos, proyecciones, etc. ´ Se tiene en cuenta el espacio y el tiempo como recurso didáctico. ´ Los sistemas de agrupamiento de estudiantes tienen en cuenta la diversidad. ´ Existe preocupación por disponer y desarrollar material didáctico adecuado. ´ El material existente es posibilitador de la propuesta curricular. ´ Los temas transversales se consideran en las actividades, en la acción tutorial y en la metodología. ´ Existe una planificación de la orientación educativa y de la acción tutorial. ´ Se programan y realizan actividades relacionadas con el conocimiento del estudiante, proceso de enseñanza aprendizaje, evaluación, habilidades sociales e integración. ´ Se contemplan actividades de información y seguimiento con los promotores. ´ Existe un seguimiento individual de los estudiantes. ´ La atención a la diversidad se considera y exige la realización de ajustes o modificaciones en los aspectos del diseño curricular (objetivos, contenidos, metodología, evaluación) y organizativo (formación de grupos, tutoría, …) ´ Hay previstos instrumentos y actividades para detectar necesidades educativas especiales. ´ Existe una organización de elementos (personales, materiales,…) para atender a los alumnos con necesidades educativas especiales. ´ La evaluación es coherente con los objetivos planteados. ´ La evaluación tiene en cuenta las diversas funciones: conseguir los objetivos, regular procesos, detectar dificultades, regular ayudas, etc. ´ Hay criterios sobre el tipo y contenido de evaluaciones. ´ La aplicación de los criterios permite realizar ajustes en la programación. ´ Los criterios de evaluación son conocidos por los estudiantes y promotores. ´ Los informes de evaluación incluyen información sobre la evaluación escolar y sobre las medidas a adoptar en caso de dificultades. ´ Los criterios de promoción están claramente definidos. Evaluación del proceso formativo y del aprendizaje 129 de 142 Máster en Formación de Formadores Sociolaborales AFIRMACIONES + - OBSERVACIONES III Aplicación ´ El Proyecto formativo (PF) es conocido por todos los formadores. ´ El PF está disponible para todos los formadores. ´ El PF es el resultado de la participación de todos los fomadores. ´ Permite la participación de otros miembros de la comunidad en temas puntuales (Ed. Salud, tutoría, …). ´ Se programan y realizan actividades de coordinación. ´ Se programan y realizan actividades de seguimiento y evaluación del PF ´ Se establecen tiempos, espacios e instrumentos para evaluar la práctica docente. ´ El PF es un instrumento básico de consulta para la programación. ´ El ritmo de desarrollo de objetivos y contenidos es adecuado. ´ Se aplica la metodología acordada. ´ Los materiales que se utilizan están adaptados a las exigencias del PF. ´ El PF ha mejorado la coordinación pedagógica dentro del centro de formación. ´ El PF ha mejorado el nivel de satisfacción de los formadores en relación a su práctica docente. A la vista de las fortalezas y debilidades mencionadas, completar el siguiente cuadro: Debilidades detectadas Cambios inmediatos Cambios a introducir progresivamente III. Actuación en el Aula 130 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales El PF se considera una explicitación de intenciones que favorece la coordinación docente y el desarrollo de la práctica. No obstante, el auténtico efecto de los compromisos que comporta incluye una transformación de la práctica que se da en las aulas de formación. Bajo esta perspectiva, tiene sentido reflexionar sobre la vida en las aulas y analizar las transformaciones que ha comportado la aplicación del PF. No se trata de evaluar la actuación de cada formador sino de comprometer a todos ellos en la mejora de la enseñanza a partir del análisis de su propia actuación. AFIRMACIONES + - OBSERVACIONES I La planificación del trabajo ´ La evaluación de aula se realiza partiendo de los objetivos, contenidos y criterios de evaluación del PF. ´ La programación de aula es un referente que se utiliza para desarrollar la actividad diaria. ´ La programación de aula parte de los conocimientos previos de los estudiantes y tiene en mente sus intereses y necesidades. ´ La programación de aula contempla una diversificación de elementos curriculares (objetivos, contenidos, actividades, sistemas de evaluación, etc.) para adaptarse a la diversidad de los participantes en la formación. ´ La programación define los objetivos de cada una de las tareas a trabajar, las expectativas del formador respecto a los estudiantes, las experiencias de trabajo a desarrollar, la forma de organización de los participantes en la formación y los mecanismos de ajuste en función del progreso efectuado. ´ La programación utiliza como recursos el espacio y el tiempo y la normativa en función de los objetivos, contenidos planteados y en coherencia con la metodología. ´ Se contemplan formas de organización social del trabajo. ´ Se consideran valores de referencia para guiar el proceso en el aula. ´ ………………. ´ ………………. II El desarrollo de la actividad ´ El estudiane participa en la planificación de tareas y actividades, en la organización de las clases y en la elaboración y cumplimiento de las normas de convivencia. ´ Se emplean diversidad de estrategias didácticas. ´ La dinámica del aula de formación fomenta la curiosidad, el espíritu de investigación y el esfuerzo personal. ´ La dinámica del aula de formación fomenta el espíritu de colaboración y el diálogo entre los estudiantes. ´ El clima del aula de formación da confianza y seguridad. ´ Hay colaboración entre el formador que interviene en el Evaluación del proceso formativo y del aprendizaje 131 de 142 Máster en Formación de Formadores Sociolaborales aula respecto a las exigencias del curriculo. ´ La coordinación de los formadores resulta fundamental en la atención a la diversidad. ´ ………………. ´ ………………. III El seguimiento y evaluación ´ Se analizan periódicamente los procesos y resultados de aprendizaje. ´ Se favorecen e incorporan procesos de autoevaluación de los estudiantes. ´ Se hace un diagnóstico de las dificultades de aprendizaje. ´ Se han contemplado actuaciones para los participantes de la formación con dificultades de aprendizaje. ´ Los promotores están informados convenientemente acerca del proceso formativo de sus hijos. ´ La programación de aula de formación y la práctica docente se revisan con cierta periodicidad. ´ ………………. ´ ………………. A la vista de las fortalezas y debilidades mencionadas, completar el siguiente cuadro: Debilidades detectadas Cambios inmediatos Cambios a introducir progresivamente IV. Resultados de la autoevaluación Se trata de recopilar en este apartado, y a modo de síntesis, los compromisos adquiridos por el equipo de profesores. Habrá modificaciones de introducción inmediata, después de su aprobación por el Plantel de formadores; otras precisaran de mayor reflexión y análisis y pueden formar parte de los compromisos que se adquieran en el próximo Plan Anual o de los años venideros. Debilidades detectadas Cambios inmediatos Propuestas incorporar en el Plan Anual del próximo año. 132 de 142 de trabajo a Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales 5.5.1.- Instrumentos para el análisis global de la realidad A.- El. Autoanálisis Un conjunto de personas se pueden plantear de manera sucesiva preguntas cómo: • ¿Cuáles son los cinco problemas más importantes que afectan a……(por ejemplo, la institución de formación, un programa determinado, los formadores, etc.)? • ¿Qué tres causas más importantes determinan el problema "X" que afecta a ………? • ¿Qué opciones formativas de mayor interés se pueden aportar para solucionar el problema "X" cuya causa es "Y"? • ...... El proceso de interrogación así planteado genera respuestas a los problemas existentes cuya concreción son a menudo programas de formación o de gestión institucional. La aplicación de esta estrategia supone asumir como punto de partida los siguientes presupuestos: • Los ámbitos y contenidos de reflexión quedan circunscritos a las temáticas cuya mejora puede abordar el grupo de reflexión. • Existe siempre una reflexión individual sobre cada pregunta previa a cada puesta en común. En esta se ordenan las aportaciones por ámbitos o espacios de análisis. • Las sucesivas reflexiones se centran en aquellos aspectos en los que hay un mayor nivel de acuerdo. Es importante centrar el análisis y especificar que se trata de incidir en los aspectos de funcionamiento interno, dejando de lado las causas externas y estructurales sobre las que no podemos incidir. Evaluación del proceso formativo y del aprendizaje 133 de 142 Máster en Formación de Formadores Sociolaborales ¿Los cinco problemas más importantes que afectan al programa? ANÁLISIS 1. INDIVIDUAL ...................... (A.I.) 2. ...................... 3. ...................... ¿Las tres causas más importantes que afectan a ese problema? A.I. ANÁLISIS COLECTIVO (A.C.) 1. ...................... 2. ...................... 3. ...................... A.C. 1. ......................... 2. ......................... 3. ......................... 1. ......................... 2. ......................... 3. ......................... ¿Las tres soluciones de mayor interés que puedan acotar la causa del problema? A.I. 1. ....................................... 2. ....................................... 3. ...................................... A.C. PROGRAMAS DE INTERVENCIÓN ... ACCIONES FORMATIVAS ACCIONES ACCIONES... ORGANIZATIVAS Ilustración 22. Esquema básico para guiar el autoanálisis B.- La Historia Institucional Presentado un eje cartesiano con referencia a los últimos 10 ó 12 años (abscisa) y a una hipotética escala de calificación de 5 ó 6 puntos (coordenada), se trata de reflejar en una gráfica la visión personal sobre el funcionamiento de una organización u otro aspecto que se quiera analizar (programa, rol de formador,….). A partir de allí, se puede solicitar al personal que señale en los puntos de inflexión más destacados los tres aspectos que han generado la alta o baja calificación. A partir de la reflexión individual, se puede categorizar en una puesta en común los aspectos que hacen que una organización/ programa, etc. funcione bien o mal. Seleccionado uno de estos aspectos pueden analizarse las causas, las consecuencias, posibles soluciones,... Ilustración 23. Referencias para el análisis de las relaciones institucionales con el entorno 134 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales C.1. El contexto externo El contexto externo es una de las variables que de manera insistente se señala cuando se analiza la eficacia de las instituciones. Los estudios sobre calidad educativa hablan al respecto de: apoyo institucional externo y de asunción, participación y apoyo de la comunidad; asimismo, se menciona la necesidad de que las instituciones proyecten su actividad en el entorno. Si bien es verdad que el contexto externo, tanto próximo como mediato, puede ser categorizado por múltiples variables sociales, culturales, económicas y políticas, que se interrelacionan activamente y evolucionan en el tiempo, lo cierto es que su acción sobre los centros de formación se define en políticas y prácticas concretas. Al respecto, resulta importante recordar la importancia que la autonomía institucional tiene en el proceso de responsabilizar a los centros de formación del producto educativo y el papel que en su desarrollo pueden jugar las autoridades administrativas y los promotores. La descentralización y la autonomía institucional aparecen, por tanto, como factores que facilitan un proceso de mayor implicación de los centros de formación y de sus formadores. Esta implicación exige libertad, pero también responsabilidad respecto a los fines que se han de conseguir. Mayores niveles de autonomía permiten crear realidades diferenciadas y avanzar en la responsabilidad institucional. (OCDE, 1991:170) La participación y compromiso de los promotores en la formación no sólo es un derecho, también supone un deber que implica compromiso con la tarea y responsabilidad en los resultados. La organización de esa participación a nivel estructural conlleva analizar su protagonismo en el desarrollo legislativo y su participación efectiva en el funcionamiento de los centros de formación. Desde una perspectiva más institucional, la implicación de los promotores ha de favorecerse a partir de actuaciones como: • Mejora de los sistemas de comunicación e información entre tutores/profesor y padres respecto a la educación de los hijos. • Colaboración efectiva directa y por medio de representantes en la gestión de la institución. • Compromiso con la mejora de la institución y con el perfeccionamiento de los formadores. • Desarrollo y fortalecimiento del asociacionismo. • Implicación en la definición y seguimiento de políticas y prácticas formativas. Se busca con ello una orientación más acorde con lo que se realiza en el contexto social, cultural y económico, a la vez que reforzar las tareas que mutuamente se delimiten. Evaluación del proceso formativo y del aprendizaje 135 de 142 Máster en Formación de Formadores Sociolaborales C.2. Elementos para la evaluación Todo centro de formación se sitúa en un entorno sociocultural y económico que lo condiciona y sobre el cual trata de influir en un intercambio continuo de informaciones. Las relaciones son múltiples y diversas e implican a otras instituciones (centros educativos, instituciones deportivas, culturales, recreativas, religiosas,...), a asociaciones (de empresarios, de antiguos estudiantes,....) y a organizaciones oficiales (Administración, organizaciones que desarrollan programas formativos, servicios de planificación,..). Además de considerar este hecho diferencial, las evaluaciones relacionadas con el entorno deben vigilar, especialmente, algunas de las características del mismo; particularmente, las relacionadas con el carácter dinámico de la realidad y con la complejidad de las situaciones. Algunas de las preocupaciones temáticas que podemos considerar a partir de lo señalado anteriormente serían: - Relaciones con los promotores: - 136 de 142 • Existencia de programas de desarrollo y participación de los promotores. • Su participación se posibilita, es amplia y correspondida. • La información y comunicación entre formadores y tutores es real y efectiva. • Los promotores mantienen un compromiso con la mejora del centro de formación y con el perfeccionamiento de los formadores. • Respaldo real a las acciones formativas que impulsa el centro de formación. • Existencia de estructuras de debate y gestión participativa. • Grado de satisfacción generado. • ............................. Relaciones institucionales: • Existe relación de las acciones emprendidas con las políticas institucionales respectivas. • Fijación de metas, objetivos y acciones con claridad. • El apoyo de las autoridades es explícito, oportuno en el tiempo y favorable al desarrollo del centro de formación. • El centro comunica y participa a las autoridades sus preocupaciones y logros. Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales • Existe vinculación con entidades socio-culturales-económicas del entorno y se relaciona con las exigencias del programa y la formación de los estudiantes. • El centro de formación actúa como centro comunitario. • La vinculación con las empresas, cuando existe, es efectiva. • • ....................................................... - Otras: • El entorno ayuda a mantener altas expectativas con los estudiantes y formadores. • El centro de formación actualiza y revisa sus programas de acuerdo a las demandas y posibilidades que le ofrece el entorno. • Se evalúan periódicamente las relaciones con el entorno. Se diagnostica el contexto. • Existe garantía de autonomía y esta queda bien definida. • El centro de formación es responsable en el marco de la autonomía establecida. • La autonomía curricular y organizativa permite atender la diversidad de estudiantes, formadores, promotores, etc. • Establecimiento con claridad de la naturaleza y magnitud de los problemas y necesidades. • ....................................................... Cabe pensar, además, los indicadores que puedan considerarse en relación a situaciones específicas, como puedan ser la ejecución de programas de formación ocupacional, los programas de sensibilización social u otros. Algunas actuaciones evaluativas posibles, más allá de las mencionadas cuando abordábamos la evaluación del aula y del centro de formación, serían: • Pedir informes a los promotores sobre la marcha del centro de formación. • Negociar con institucionales. • Realizar encuestas sociales e institucionales sobre las necesidades del entorno respecto al centro de formación. • Realizar un memorandum sobre las necesidades del centro de formación respecto al entorno. las Evaluación del proceso formativo y del aprendizaje autoridades la realización de evaluaciones 137 de 142 Máster en Formación de Formadores Sociolaborales RESUMEN La evaluación institucional podría abordarse desde una perspectiva global o sectorial. Cuando analizamos el Proyecto formativo, la utilidad de las Unidades de programación, el Clima institucional o la eficiencia de un grupo de trabajo revisamos un aspecto parcial de la realidad, que debe interpretarse considerando también otros aspectos contextuales. En sentido contrario, realizar un diagnóstico institucional, hacer un mapa situacional o concretar los resultados de un chequeo institucional tendría poco sentido si no se profundiza en los aspectos detectados como problemáticos y se configuran programas de mejora. Los métodos habitualmente usados en la evaluación institucional suelen ser estandarizados y uniformadores. Sin menospreciar la utilidad parcial de estas propuestas, debemos profundizar en otros modelos más centrados en los procesos y que consideran nuevas herramientas como la observación participante y prolongada, la entrevista individual o grupal, la utilización de memorandums analíticos, el análisis de documentos, la realización de diarios, la aplicación de cuestionarios abiertos, etc. Como metodologías aplicables a situaciones diversas (dinámica del aula, desarrollo de sesiones de trabajo, utilización de espacios y tiempos, situaciones excepcionales, empleo de materiales,...) y a contenidos diferentes (¿qué se piensa sobre.....?, ¿por qué sucede?, ¿cómo se podría mejorar?, ¿en qué afectaría a.......?, ¿qué habría que señalar con relación a......?) permiten un registro escrito, fotográfico, por video, etc. La evaluación de las concreciones que se realizan en los centros de formación en el momento actual adquiere un sentido fundamental por su conexión con la autonomía institucional. Al respecto, resulta imprescindible considerar el papel que tiene la evaluación del Proyecto formativo. Analizar desde la dimensión contextual y crítica los proyectos foramtivos permite elucidar el conjunto de factores que intervienen en su vertebración y que pueden concretarse en preguntas como ¿qué relaciones debe existir entre política formativa y curricular y los proyectos formativos?, ¿qué relaciones establecer entre proyecto formativo y los procesos de innovación y cambio?, ¿cómo se vinculan el desarrollo profesional y los proyectos de centro?, ¿qué compromisos adquiere la sociedad en el desarrollo de proyectos formativos en un centro de formación?, ¿qué vinculaciones existen/deben existir entre el desarrollo de los centros de formación como instituciones sociales de servicio público y los proyectos formativos?, ¿cómo ordenar los procesos de participación activa de los usuarios en la elaboración, desarrollo y evaluación de los proyectos?, ¿qué valores y principios se legitiman para juzgar y valorar las relaciones que se establezcan con los diferentes estamentos de la comunidad educativa y de la realidad social próxima?, etc. Asimismo, supone analizar los entramados de poder y entrar en cuestiones relacionadas con ¿quién evalúa?, ¿quién decide?, ¿quién controla el proceso?, ¿quién decide los cambios y en base a qué?. 138 de 142 Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales La evaluación, por último, debería dejar constancia de lo realizado en informes. Estos deben centrarse en lo esencial y evitar la dispersión de datos, dar información sobre el proceso y comprometer a través de la participación y consenso a los implicados. Bajo los considerandos anteriores deben entenderse las propuestas realizadas en relación a la autoevaluación institucional, presentando la presente unidad algunos elementos y referentes para la evaluación así como algunas propuestas de instrumentos y pautas para la intervención. Evaluación del proceso formativo y del aprendizaje 139 de 142 Máster en Formación de Formadores Sociolaborales BIBLIOGRAFÍA 140 de 142 • Asociación Española de Normalización y Certificación –AENOR(2000): Norma española UNE-En ISO 9001, Madrid. • CALVO DE MORA, J. (1996): Claves para la organización de la práctica escolar. Método ediciones, Granada. • CANTÓN, I. (Coord) (1996): Manual de Organización de centros educativos. Oikos Tau, Barcelona. • CARDONA, J. (1994): Metodología innovadora de evaluación de centros educativos. Sanz y Torres, Madrid. • CARDONA, J. (1997a): La evaluación externa de centros educativos. En Lorenzo, M. (Coord.): La organización y gestión del centro educativo: análisis de casos prácticos. Universitas, Madrid, págs 391416. • CARDONA, J. (1997a): La evaluación interna de centros educativos. En Lorenzo, M. (Coord.): La organización y gestión del centro educativo: análisis de casos prácticos. Universitas, Madrid, págs 419-443. • DE MIGUEL, M. y otros (1994): Evaluación para la calidad de los institutos de educación secundaria. Escuela española, Madrid. • ELLIOT, J. (1981): Action Research. En Framework for Self-evaluation in schools. Cambridge Institute of Education, Cambridge, 1981, pag.1 • ELLIOT, J. y otros (1986): Investigación-acción en el aula. Comunidad Valenciana, Valencia. • GAIRÍN, J. (1992): La dinamización del centro escolar. Estrategias para la mejora de la calidad educativa. En I.C.E.: La dirección, factor clave de la calidad educativa. Universidad de Deusto, Bilbao. • GAIRÍN, J. (1993): La autoevaluación institucional como vía para mejorar los centros educativos. En Bordón, 45 (3), Madrid. • GAIRÍN, J. (1996a): Principios y modelos generales de evaluación en educación. En Pérez y Gairín (Coord): Temario de oposiciones. Psicología y Pedagogía. Estel, Barcelona, págs 83-102 • GAIRÍN, J. y GIMENO, X. (1993): Didáctica de la Educación Primaria. La organización del aula. Curso de Actualización Científica y Didáctica. Subdirección General del Ministerio de Educación y Ciencia, Madrid. Evaluación del proceso formativo y del aprendizaje Máster en Formación de Formadores Sociolaborales • GAIRÍN, J. y GIMENO, X. (1994a): Informe d’avaluació sobre l’organització i funcionament del Col.legi Pùblic Emili Carles Tolrà de Castellar del Vallés (Documento policopiado). • GAIRÍN, J. Y GIMENO, X. (1994b): Informe d’avaluació de l’Escola Cervató de Granollers (Documento policopiado). • GAIRÍN, J. y NAVIO, A. (1996): Informe-avaluació de l’organització i funcionament de l’Àrea de Formació de l’Institut Municipal de Formació i Empresa. Ayuntamiento de Reus (documento policopiado). • GARCÍA ALVAREZ, J. (1997): Evaluación de la formación: marcos de referencia. Ediciones Mensajero, Bilbao. • GIMENO, X. y Gairín, J. (1996): L’avaluació externa de centres educatius amb caràcter participatiu. En Actas de las IV Jornadas sobre Dirección Escolar. Forum Europeo de Administradores de la Educación en Cataluña, Barcelona (Docuemnto policopiado). • ICE (1996): Evaluación de experiencias y tendencias en la formación del profesorado. U. de Deusto, Bilbao. • KEMMIS, S. (1984): Point-by-Point Guide to Action Reseach for Teacher. Deakin University, pág. 1 • LORENZO, M. (1997): La organización y gestión del centro educativo. Análisis de casos prácticos. Universitas, Madrid. • LUJÁN, J. y PUENTE, J. (1996): Evaluación de centros docentes. El Plan EVA, Secretaría de Estado de Educación, Madrid. • MEC (1996): 5 años del Plan EVA. Servicio de Publicaciones del MEC, Madrid. • MEC (1997): La autoevaluación en los centros educativos. Servicio de publicaciones, Madrid. • MEDINA, A. y VILLAR, L.M. (1995)(Coord.): Evaluación de Programas educativos, centros y Profesores. Universitas, Madrid. • NORIEGA, J. y MUÑOZ, A. (1996): Indicadores de evaluación del centro docente. Escuela española, Madrid. • OCDE (1991): Escuelas y calidad de la enseñanza. Informe internacional. Paidós-MEC, Madrid. • QUINTÁS, G. (1996): Reforma y evaluación de la universidad. Universitad de Valencia, Valencia. Evaluación del proceso formativo y del aprendizaje 141 de 142 Máster en Formación de Formadores Sociolaborales 142 de 142 • SANTOS GUERRA, M.A. (1993): Estrategias para la evaluación interna de centros educativos. Curso de formación para equipos directivos. Subdirección General de Formación del Profesorado, M.E.C., Madrid. • SANTOS, M.A. (1995): Como en un espejo. Evaluación cualitativa de centros escolares. Magisterio del Río de la Plata, Argentina. • SANTOS, M.A.(1996): El río de las teorías y el mar de la práctica. En Cantón, I. (Coord.): Manual de organización de centros educativos. Oikos-Tau, Vilassar de Mar, págs 39-80. • SCHARGEL, F.P. (1997): Cómo transformar la eduación a través de la gestión de la calidad total. Diaz de Santos, Madrid. • SOBRADO, L. y OCAMPO, C. (1997): Evaluación psicopedagógica y orientación educativa. Estel, Barcelona. • TORO, M. y LÓPEZ, R. (1995): La participación y la evaluación en la gestión de los centros educativos. Forum Europeo de Administradores de la Educación de Andalucía, Granada. • VILLA, A. y MORALES, P. (1993): La evaluación del profesor. Departamento de Educación, Gobierno Vasco. Evaluación del proceso formativo y del aprendizaje