PROGRAMA NACIONAL DE FORMACIÓN PERMANENTE ENCUENTRO PROVINCIAL DE CAPACITACIÓN DE CAPACITADORES LA PLATA, 12 Y 13 DE AGOSTO LA EVALUACIÓN INSTITUCIONAL PARTICIPATIVA 1. Sobre el concepto de evaluación. La evaluación implica: (a) la producción / construcción de información sobre aquello que se evalúa, (b) el cotejo con ciertos parámetros que nos permitan valorar la información, (c) la toma de decisiones en relación con ese juicio valorativo. 2. La producción o construcción de información sobre aquello que se evalúa implica la “construcción de un objeto”. En esto, la evaluación se acerca a la investigación social, hace uso de sus metodologías y enfoques, sus técnicas y sus herramientas y asume muchas de sus complejidades y problemas. Entre otros, podemos mencionar: (a) el problema de construcción de la “distancia óptima” para la producción de información; (b) el problema del involucramiento subjetivo con el objeto de conocimiento; (c) los supuestos contenidos en las categorías que construyen el objeto; (d) la relación reflexiva entre las categorías teóricas y las categorías sociales; (e) la cuantificación de lo que es cualitativamente heterogéneo. 3. El cotejo con los parámetros que permitan realizar un juicio evaluativo es lo que diferencia a la evaluación de la investigación, pero también lo que aproxima la evaluación a la política educativa. 1 El concepto “parámetros” designa genéricamente cualquier representación de cómo debería ser la realidad analizada, en una o muchas de sus dimensiones. Ese “deber ser” es clave en el proceso de evaluación. Quiénes determinan ese deber ser, cómo lo fundamentan, cuán pública es su definición, en qué medida son conocidos estos parámetros por los protagonistas de la situación evaluada son algunas de las claves para analizar el tipo de evaluación, su pertinencia, su “justicia” con relación a aquello que se evalúa. 4. Así como constituye una construcción del objeto, la evaluación también implica un recorte de la realidad. Cuanto más explícito sea este recorte, en mejores condiciones están quienes evalúan de interpretar la información de que disponen. 5. La condición de “evaluador” depende de las tareas asumidas en el proceso de evaluación. En realidad, una evaluación puede tener distintos protagonistas para distintas etapas del proceso. Puede haber quienes discutan qué mirar y con relación a qué parámetros producir el juicio evaluativo, puede haber quienes recojan la información en el marco de definiciones adoptadas por otros, y puede haber quienes concreten en juicio evaluativo analizando la información producida por unos y los criterios definidos por otros. En este proceso también puede haber actores que tomen más de una posición. La condición de evaluación interna o externa, y de auto-evaluación en el marco de una institución estará dada por un análisis de quiénes desempeñan qué roles, y sobre todo de quiénes son los que se ocupan de las tareas clave de definición de parámetros y producción del juicio evaluativo. 2 6. El juicio evaluativo (es decir, la relación referente / referido) puede ser de dos vías: se puede juzgar la información obtenida de la situación por su cotejo con los parámetros, o bien se puede evaluar la adecuación de los parámetros a expectativas realistas sobre la información obtenida. ¿Es justo esperar en corto plazo un abandono escolar nulo en una escuela que tiene una elevada tasa de abandono? ¿Cómo adecuar los parámetros para que las decisiones que se tomen con la información producida sean factibles de ser concretadas? 7. Muchas veces las concepciones de evaluación se detienen en el punto de producción de un juicio evaluativo y mencionan como un paso posterior a la evaluación el proceso de toma de decisiones a que dan lugar los resultados, o el “uso” de la evaluación. Sin embargo, en la evaluación en el ámbito educativo es fundamental considerar este momento como parte de la evaluación. Esto quiere decir que: (a) en la medida en que la producción de información, la discusión sobre parámetros y la elaboración de un juicio evaluativo exige un esfuerzo y un tiempo determinados, el uso que se realice de los resultados debe guardar proporción con dicho esfuerzo; (b) incluso el “no uso” de los resultados es una decisión sobre los resultados. 8. La iniciativa que impulsa un ciclo de evaluación define si se trata de una evaluación interna, una autoevaluación o una evaluación externa. Esta precisión conceptual permite distinguir dos formas de la evaluación que se diferencian por el grado de compromiso y responsabilización de los actores por los resultados de la evaluación, pero sobre todo, permiten identificar de dónde surgen los parámetros de la evaluación, es decir, en qué medida quienes son parte del hecho, situación o 3 institución evaluada participan de la formulación de los parámetros para la realización del juicio evaluativo. 9. La evaluación interna o autoevaluación involucra a los actores de la institución en la formulación de los parámetros o criterios que serán empleados para realizar el juicio evaluativo. Del mismo modo implica que las decisiones sobre la “construcción” del objeto de la evaluación (la definición de qué se va a evaluar, y por lo tanto, qué información será necesario construir o utilizar) también podrá involucrar a distintos actores de la institución. 10. Una diferencia entre la auto-evaluación y la evaluación externa puede residir en el tipo de concepción sobre los procesos de mejora en las instituciones. Existen distintas formas de pensar en estos procesos de mejora y en el papel que juega la evaluación en ellos. En las evaluaciones externas que conocemos, generalmente los sistemas de evaluación de los aprendizajes a gran escala, se suele suponer que la “devolución” de información producirá decisiones de mejora por parte de los actores institucionales, sea porque éstos recibirán una retro-alimentación sobre los resultados de su trabajo, sea porque recibirán la presión de otros actores, sus pares docentes, las familias o la sociedad, para tomar decisiones de mejora. Implícitamente, esta concepción parece sostener que si no se mejora es porque no se sabe cuáles son los resultados de las propias decisiones, o bien porque no existen las presiones sociales e institucionales suficientes para mejorar. La auto-evaluación, en cambio, al involucrar a los actores de la institución en las decisiones de los parámetros de evaluación y en la producción de información relevante, puede dar lugar a otras lógicas de mejora, ya no fundadas en la 4 retroalimentación (o no únicamente) sino en el compromiso de los propios actores de la institución, en sus hipótesis y explicaciones sobre los procesos que condujeron a esos resultados. 11. La autoevaluación entraña riesgos que tienen que ver con la posibilidad de una definición de parámetros conservadores, que tiendan a justificar las situaciones actuales, considerarlas como inmodificables, o ignorar aspectos importantes que de las demandas sociales o políticas sobre las instituciones. En caso de esto suceda, el esfuerzo evaluativo puede resultar poco eficaz para producir cambios y constituir una justificación de las resistencias institucionales. 12. Otro de los riesgos relacionados con la autoevaluación es que el involucramiento de los actores con la situación evaluada les impida ver aspectos importantes de la vida cotidiana de la institución. En este caso estamos frente al mismo tipo de problemas que se presenta al investigador del campo de las ciencias sociales que estudia una situación familiar de la que participa. En estos casos existen estrategias metodológicas que podrían permitir construir miradas problematizadoras del cotidiano. 13. La complejidad del compromiso institucional involucrado en procesos de autoevaluación conduce a considerar que se trata de construir e instalar culturas evaluativas, es decir, sentidos compartidos entre los distintos actores institucionales. 14. Ahora bien, no alcanza con que algunos actores de la institución formen parte 5 de la definición de criterios y parámetros, sino que si se trata de que la evaluación impulse procesos de mejora, cambios en las instituciones frente a aquellos aspectos que resultan problemáticos, la evaluación debe ser participativa. Esto significa que cada uno de los pasos del ciclo de la evaluación debe involucrar a todos los miembros del equipo docente y directivo: la definición de criterios de evaluación, la construcción de aquello que será evaluado, la producción de la información, el análisis y la elaboración de los juicios evaluativos, las decisiones sobre el uso de los resultados. Esta participación del colectivo docente de una institución también hace posible realizar el análisis de los parámetros y criterios en relación con la información relevada como características de un momento de la institución. Permite ser justos con las expectativas, con aquello que se espera lograr y con el esfuerzo que se le pide a los actores institucionales. 15. En el marco del Programa Nacional de Formación Permanente, el interés indicado por las definiciones políticas se centra en la institución. Es decir, hablamos de auto-evaluación participativa institucional. Esto quiere decir que el objeto a evaluar es la institución. ¿Es posible evaluar el conjunto de dimensiones que hacen a una institución? ¿Es posible componer una evaluación de la institución que supere una sumatoria de factores evaluados? Es difícil responder a estas preguntas. Una institución es más que la suma de actores, regulaciones, prácticas y discursos. Es la configuración relacional de estas dimensiones y otras que podemos no ver. Cuando hablamos de evaluación institucional, entonces, no pretendemos realizar una evaluación exhaustiva de todo lo que hace a una institución. En cambio, se trata de evaluar aquellas dimensiones que para los actores institucionales son los aspectos más relevantes para cumplir con sus 6 expectativas en un marco político y pedagógico determinado. 16. Por lo tanto, el trabajo de autoevaluación institucional participativa es el resultado de un trabajo colectivo de los docentes y directivos de una institución. Parte de un análisis de cuáles son las principales expectativas que debe cumplir la institución en el marco de las definiciones políticas y pedagógicas nacionales y provinciales (en el PNFP este es el trabajo iniciado en el tratamiento del bloque 1). Implica definir las dimensiones de la vida y la labor institucional que deberán ser estudiadas, y por lo tanto, avanza en la “construcción” de su objeto de evaluación. Todo este trabajo supone la producción de acuerdos y compromisos de los equipos docentes y directivos que anticipan aquellos aspectos sobre los que resulta importante encarar procesos de mejora institucional. 17. Estas definiciones y compromisos pueden dar lugar a sistematización de información preexistente, como la que proviene de los sistemas de estadística, las calificaciones, evaluaciones, registros de asistencia, actas y otra documentación que produce cada institución. También puede dar lugar a la elaboración de información nueva, a través de entrevistas, análisis de documentos, registros, observaciones y narrativas docentes. En cualquier caso, es el sentido de la evaluación lo que debe orientar la producción o sistematización de información, de manera que el esfuerzo de esta recolección guarde proporción con lo que se espera conocer. 18. Desde el punto de vista de los enfoques también es importante poner en primer lugar el sentido de la evaluación ya que de otro modo podemos caer en 7 posiciones preconcebidas acerca de los enfoques cualitativos y cuantitativos, la cuestión de la objetividad y la subjetividad, etc. Todas estas cuestiones son importantes para la toma de decisiones metodológicas acerca de cómo y qué información relevar o producir. Sin embargo, si están precedidas por acuerdos, compromisos y claridad respecto del sentido de la evaluación, estas decisiones pueden ser revisadas y adecuadas a lo largo del proceso. Si el sentido de la evaluación no está claro, es muy posible que ocupen el lugar del debate central de los equipos institucionales, y por lo tanto lleve a una parálisis en el trabajo de evaluar o a una acumulación de información irrelevante o poco significativa. 19. Dado que se trata de un trabajo colectivo, que se sostiene a lo largo del tiempo, es importante documentar el proceso de evaluación. Con relación a este aspecto ya hemos trabajado sobre la cuestión del registro, pero habría que insistir en el carácter necesario de esta documentación para poder dar continuidad a la evaluación en el marco de procesos de mejora que le permitan al equipo docente y directivo volver periódicamente sobre los acuerdos establecidos, las dimensiones y parámetros definidos y la información relevada para evaluar los resultados y consecuencias de las decisiones adoptadas y reconsiderar su cambio o permanencia. 8