Can we know a lot and change very little? The uses of educational

¿Basta con saber para que podamos
cambiar? Los usos de la evaluación
educativa en México como objeto de
estudio
Dra. Teresa Bracho
Mtra. María Teresa Gutiérrez
Mtra. Marianela Núñez
Seminario de Estudios Empíricos sobre la Utilización de la Evaluación
25 de noviembre 2015
Que se entiende por uso de las evaluaciones educativas
Acciones deliberadas ejecutadas por diferentes receptores
o usuarios de la información (actores) que retoman -en
diferentes grados y para distintos propósitoslos
resultados, métodos o conceptos de la evaluación
educativa, como uno de los insumos relevantes para
sustentar sus decisiones y actividades en sus contextos
particulares de actuación
2
Hipótesis
• Los usos deseados, entendidos
como los que se traduzcan en
mejoras del Sistema Educativo,
no ocurren de manera
espontánea, automática o
natural por parte de las diversas
audiencias, reales o potenciales
Objetivos
• Plantear el tema de los usos de
la evaluación educativa como un
problema a resolver
• Aportar ideas y evidencias,
producto de trabajos de
investigación, que contribuyan a
una discusión abierta que
mejore la comprensión del tema
• Sugerir una ruta para la
construcción de una política de
fomento de usos de evaluación
educativa por parte del INEE
3
Contenidos de la presentación
1. Revisión de la literatura
2. Los usos de la información proveniente de evaluaciones educativas
en México. Panorama general
3. Propuesta analítica para comprender e impulsar los usos efectivos
para la mejora en el caso de las evaluaciones educativas
4. Conclusiones
4
1. Revisión de la literatura
5
Tipos de uso de acuerdo al propósito (Weiss revisada)
Uso Instrumental,
evaluación utilizada para
la toma de decisiones
Uso Conceptual, los
resultados pueden
cambiar el
entendimiento sobre un
tema
Uso de ilustración, los
resultados de la
evaluación amplían el
conocimiento y pueden
ser usados por
cualquiera
Uso en proceso, la
evaluación se usa para
cambiar programas y
organizaciones.
Saunders (2012)
Uso retórico o
simbólico, uso
persuasivo, de
justificación y con
propósitos políticos
6
Propósitos de la evaluación dentro de los sistemas
educativos
1.
2.
3.
4.
5.
6.
Acreditación y/o certificación
Ordenamiento para la selección
Toma de decisiones “blandas” (de mejora)
Toma de decisiones “duras” (con consecuencias)
Establecimiento de incentivos para individuos o instituciones
Rendición de cuentas y responsabilización por los resultados
(Ravela, 2006).
7
Evaluación educativa: Los usos de la evaluación en el
caso específico de los sistemas educativos
Sistemas educativos
Funciones
•
•
•
•
Acceso
Retención
Clasificación
Ubicación
Tareas
• Reclutar, seleccionar y admitir estudiantes
• Mantenerlos dentro del sistema lo suficiente
para que haya transformación
• Clasificarlos según nivel y tipo de
conocimiento
• Otorgarles certificado para, y ubicarlos en,
las instituciones de la sociedad.
8
Decisiones tomadas basadas en evaluaciones
• Sobre los alumnos para comprender el proceso de aprendizaje y
apoyar a cada alumno individualmente en función de sus dificultades
• Sobre los docentes para darles orientación profesional
• Sobre centros educativos para desencadenar procesos de diálogo
entre los actores para la mejora en relación con los problemas
existentes;
• Sobre el currículo o proyectos específicos cuya finalidad es detectar
necesidades de cambio y mejora;
• Sobre logros educativos nacionales e internacionales cuyo propósito
es contribuir a identificar las principales debilidades de los sistemas
educativos y orientar la reflexión y formulación de las políticas
educativas.
9
2. Los usos de la información proveniente
de evaluaciones educativas en México.
Panorama general
10
Un poco de historia
• En la década de 1990, la SEP desarrolló las primeras evaluaciones de
aprendizaje de los alumnos de educación básica
• En 2002, el Gobierno Federal crea el INEE para realizar evaluaciones
del sistema educativo con el respaldo científico y tecnológico,
buscando la validez y confiabilidad de sus resultados
• A partir del ciclo escolar 2005‐ 2006, la SEP realizó la Evaluación
Nacional del Logro Académico en Centros Escolares, ENLACE
• En 2005, el INEE inició la aplicación del Examen para la Calidad y el
Logro Educativo, EXCALE a una muestra de los grados terminales de
preescolar, primaria y secundaria, con frecuencia trianual y cobertura
nacional
11
¿Qué (no) pasó con los resultados de ENLACE? Estudio
OCDE
• No se apreciaba que los maestros dieran usos formativos a los
resultados de ENLACE, poca conciencia sobre los usos que debían ser
desalentados, así como una desvinculación entre la evaluación de los
maestros y su desarrollo profesional
• Escasos usos por desconocimiento de los sujetos evaluados
(alumnos). Sólo 27% de los padres de los alumnos de escuelas
primarias y 31% de los padres de los alumnos de las escuelas
secundarias buscaban los resultados. El 54% de los padres los
desconocían.
12
Usos no deseados de ENLACE
• Fue uno de los parámetros del Programa Nacional de Carrera
Magisterial (PNCM) para la asignación de incentivos económicos a los
docentes
13
Otros usos no deseados
Usos por parte de los medios de
comunicación para establecer
clasificaciones nacionales o
estatales de las escuelas, basadas
exclusivamente en los puntajes
promedio obtenidos por los
alumnos en cada escuela en
particular
14
Más usos no deseados
• El tiempo invertido en la preparación especial para la prueba de
ENLACE que reducía el tiempo dedicado al plan de estudios regular.
“Enseñar para la prueba”
15
Los usos no esperados y no deseados
• En la práctica, la visibilidad ENLACE y su uso en todos los niveles,
con una gran diversidad de objetivos condujeron a un escenario
muy claro de usos no deseados –algunos perversos
•
•
•
•
•
función formativa y de diagnóstico con los alumnos,
evaluación del sistema,
rendición de cuentas de las escuelas,
rendición de cuentas del Estado,
incentivos monetarios para los maestros y directores de escuela
16
¿Qué (no) pasó con los resultados EXCALE y PISA? ASF
• En los “Resultados y recomendaciones al desempeño relacionadas
con el uso de las evaluaciones” (ASF) de los años 2011, 2012 y 2013
se señala que el INEE no acreditó el que hubiera propiciado el uso de
los resultados – específicamente de las pruebas EXCALE y PISA.
• Desde los propios órganos del Estado se advierte la omisión del tema
del impulso de los usos de las evaluaciones educativas en México
como una prioridad que debiera ser atendida por las agencias del
Estado que producen la evaluación.
17
La calidad técnica o la publicación no bastan para que se
produzcan usos efectivos
• La prueba EXCALE, diseñada para ser una muestra que diera cuenta
de los avances y resultados del Sistema Educativo como un todo,
resultó ser un instrumento que si bien fue riguroso y confiable, no
recibió ni la misma atención ni los usos que ENLACE.
18
¿Por qué pasó eso con EXCALE y PISA? Algunas hipótesis
• EXCALE tenía gran solidez técnica, pero su difusión no fue tanta como
la de ENLACE
• Existió falta de apropiación de los actores del SEN hacia EXCALE
• Los medios de comunicación toman a PISA como un referente de la
calidad del sistema educativo y pasan por alto que se trata de la
medición de habilidades para la vida en matemáticas, lectura y
ciencias, independientemente de si fueron adquiridas o no en el
trayecto escolar
19
3. Propuesta analítica para comprender e
impulsar los usos efectivos para la mejora
en el caso de las evaluaciones educativas
20
Algunas falacias sobre la evaluación
El problema de general información con la calidad idónea, se resuelve
desarrollando instrumentos y procesos que aseguren un “rigor científico”
La mera publicación de resultados científicamente controlados, hace
“accesible” la información proveniente de las evaluaciones o investigaciones
Las evaluaciones deben ser usadas por otros científicos y por los tomadores
de decisiones del más alto nivel, que corresponde al nivel de excelencia de
las evaluaciones
El evaluador sabe lo que hay que evaluar y cómo hacerlo
Promoción del uso significativo de la evidencia
(Premisas)
• Los usos de la evaluación educativa están conectados con la
producción de evaluación con altos estándares de rigor, pertinencia,
suficiencia, confiabilidad y validez
• Los usos deseados, no son una “consecuencia afortunada” que se
daría de manera más o menos espontánea, automática o natural, por
parte de las diversas audiencias, reales o potenciales
• Hay que identificar y caracterizar a los usuarios –actuales y
potenciales- considerando especialmente su posible aporte al ser
involucrados en un proceso de mejora a partir del uso de evidencias
provenientes de evaluación.
22
¿Cómo plantearnos un análisis que conduzca a
una política de impulso a los usos efectivos para la
mejora de los resultados de la evaluación
educativa?
23
Áreas de observación Considerar a TODOS los
ACTORES en su CONTEXTO
Alumnos
Contexto
familiar
Maestro
Ámbito
educativo
Compromisos
hábitos y
destrezas
Alumnos
Contexto
familiar
Currículo y
gestión
pedagógico
Maestro
Ámbito
educativo
¿?
Promover
calidad del
aprendizaje
escolar
Calidad del
aprendizaje
escolar
Gestión
institucional
Director
Microcosmos
escolar
¿?
Gestión
política e
institucional
¿?
Autoridades
Públicas
Macrocosmos
educativo
Fuente: Laboratorio Latinoamericano de evaluación de la Calidad de la Educación (LLECE), UNESCO, 2000.
Director
Microcosmos
escolar
¿?
Autoridades
Públicas
Macrocosmos
educativo
Escenarios de los tipos de comportamientos de la oferta
y la demanda de la información
• Escenario I. Comportamientos de oferta heterogénea y demanda que
usa (con distintos grados de apropiación) la información
• Escenario II. Comportamientos de oferta heterogénea y demanda
indiferente o incipiente
• Escenario III. Comportamientos de oferta homogénea y demanda que
usa (revelando distintos grados de apropiación) de la información
• Escenario IV. Comportamientos de oferta homogénea y demanda
indiferente o incipiente
25
Oferta y demanda de evaluación educativa
Demanda
Uso con distintos grados de Indiferente ante la información
Oferta
apropiación
Heterogénea
Homogénea
Escenario I
Escenario II
Oferta heterogénea
Oferta heterogénea
Demanda que usa
Demanda indiferente o incipiente
Escenario III
Escenario IV
Oferta homogénea
Oferta homogénea
Demanda que usa
Demanda indiferente o incipiente
Fuente: Basado on Guerrero (1999), Evaluation Capacity Development:
Framework for Action.
26
Estrategias para comunicarse con públicos específicos
• Fase 0: Producción de evaluación significativa para diversas audiencias
• Fase 1: Adaptación de los resultados a las necesidades y capacidades
de las diversas audiencias que se desea interpelar
• Fase 2: Comunicar los resultados adaptando los medios de difusión y
diseminación a las características de las audiencias
• Fase 3. Crear espacios de interlocución con las audiencias de manera
que se pueda facilitar, desde la oferta, espacios de interpretación
conjunta de los resultados, identificar los vínculos de esos resultados
con los contextos específicos de acción
• Fase 4: Diseñar mecanismos que permitan dar seguimiento de
acciones de mejora –monitoreo- y eventualmente evaluar la
27
implementación
Analizar el ciclo de uso de la evaluación para la mejora de
la educación
Evaluaciones
que piensen
en los
usuarios
Búsqueda de
información
Evaluación del
uso
Proceso de
mejora de la
educación
Definición de
compromisos y
acciones
Fuente: Adaptado de National Forum on Education Statistics (2012).
Forum Guide to Taking Action with Education Data, U.S.
Department of Education, Washington, D.C., National Center for
Education Statistics.
Acceso y
revisión de la
información
Análisis e
interpretación
de la
información
28
¿Cómo? Pensar el uso de la evaluación como una
intervención de política pública
• NO una consecuencia espontánea
• NO un problema de difusión y comunicación de resultados
Intervención
Propósito
Usos de la
información
Mejora
Definición de usuarios y su contexto
29
4. Conclusiones
30
Responsabilidad como generadores de conocimiento
• Asegurar que los usuarios –los máximos posibles– sepan que la información
existe
• Generar información con valor agregado, incluyendo la credibilidad de quien la
realiza y difunde, así como la calidad científica de los resultados y su
comunicabilidad
• Propiciar que la información sea comprendida por los usuarios, para el fomento
de buenos usos para la mejora educativa
• Ganar la confianza de la gente reconociendo las habilidades de cada protagonista
y la fuerza de su compromiso para conseguir lo que todos estamos buscando: la
mejora de nuestro sistema educativo
31
Una Política
que contemple
a los distintos
actores
Gracias por su
atención
Aumentará los
usos efectivos
Para elevar la
calidad de la
educación
teresa.bracho@inee.edu.mx
mtgutierrez@inee.edu.mx
mnunez@inee.edu.mx
32
33