minuta informe metodología de clasificación en categorías de

Minuta Agencia
Diciembre 2014
MINUTA INFORME METODOLOGÍA DE CLASIFICACIÓN EN CATEGORÍAS
DE DESEMPEÑO
SE GESTA UN CAMBIO EN LA EDUCACIÓN
El año 2006, luego de las manifestaciones estudiantiles conocidas como “movimiento pingüino”,
el Gobierno convocó a más de 80 representantes de distintos sectores del quehacer educacional de
nuestro país, para constituir el Consejo Asesor Presidencial para la Calidad de la Educación.
La reflexión del Consejo Presidencial se centró en la calidad de la educación y en la necesidad de
generar bases legislativas que asegurasen la configuración de una institucionalidad apropiada para
este fin.
Fruto de esta discusión, surgió la idea de definir nuevas funciones institucionales que fortalecieran
el rol ejercido por el Ministerio de Educación. En este contexto surge la importancia de crear un
sistema de rendición de cuentas de los resultados, en parte, por la necesidad de mejorar el sistema de
información del desempeño de los establecimientos educacionales.
Complementariamente, este Consejo sugirió la creación de una institución responsable de verificar
el cumplimiento de los estándares, identificar a establecimientos que debiesen recibir mayor
apoyo para cumplirlos, proveer información a la ciudadanía sobre los logros del sistema escolar y velar
por el derecho a la educación, clarificando el rol del Estado como garante de la calidad de la educación.
Al año siguiente, las dos coaliciones políticas del país plasmaron en el Acuerdo por la Calidad
de la Educación, una serie de consensos en torno a la educación. Este fue un segundo paso en la
definición de los lineamientos más relevantes para la promulgación de la Ley General de Educación1 y,
posteriormente, para la Ley del Sistema Nacional de Aseguramiento de la Calidad (SNAC2). Los acuerdos
alcanzados reforzaban la necesidad de crear una nueva institucionalidad que dotase a la educación
de un sistema de aseguramiento, donde el Estado debe velar no solo por el acceso a la educación, sino
también por la calidad educativa.
Establece como un principio del sistema educacional que se asegure que todos los alumnos y alumnas, independiente de sus condiciones y
circunstancias, alcancen los objetivos de la educación y los estándares que contempla la ley (art. 3.°, LGE).
1
Para efectos de la lectura, en adelante se usará la sigla SAC.
2
www.agenciaeducacion.cl
1
UN PRIMER PASO: LA CLASIFICACIÓN EN CATEGORÍAS DE DESEMPEÑO DE ESTABLECIMIENTOS
EDUCACIONALES
La Clasificación en categorías de desempeño de Establecimientos constituye uno de los elementos
centrales del SAC. Permitiendo asegurar una comparación y evaluación justa de los resultados,
resguardando también el derecho a una educación de calidad a todos los estudiantes del país.
La Clasificación en categorías de desempeño de Establecimientos busca movilizar al sistema
educacional hacia una mejora de la calidad a través de:
• La entrega de información a la comunidad escolar y la sociedad en su conjunto, permitiendo dar una
señal sobre la calidad educativa, con una mirada amplia e integral, otorgando una nueva herramienta de
gestión y responsabilización a los establecimientos y sus sostenedores.
• La intensificación del esfuerzo del Ministerio de Educación en aquellos establecimientos educacionales
que más lo necesitan, en base a un diagnóstico certero elaborado por un equipo multidisciplinario de la
Agencia de Calidad de la Educación y considerando las características de los distintos establecimientos
educacionales en sus diversas realidades en todo el país.
• La generación de incentivos asociados a los resultados para que los establecimientos logren la categoría
Desempeño Alto y para que dejen la categoría de desempeño insuficiente. Los establecimientos que
alcancen la categoría de desempeño Alto pueden optar a ser ATE y los establecimientos que son
consistentemente clasificados en Insuficiente por más de 4 años consecutivos pueden ver revocado su
reconocimiento oficial.
• La determinación de la obligatoriedad de recibir Apoyo Técnico Pedagógico a los establecimientos que
se clasifican en Desempeño Insuficiente
• La entrega de información de las categorías que serán utilizadas para efectos de la ley de Subvención
Escolar Preferencial (SEP).
Construyendo una propuesta de la metodología
Proceso de elaboración
La elaboración de la metodología de clasificación siguió un largo proceso de más de dos años de trabajo
cuyo objetivo fue, entre otros, garantizar una evaluación justa a los establecimientos. Contempló en una
primera instancia la conformación de un comité integrado por profesionales del Ministerio de Educación,
que comenzó a trabajar en la propuesta con la asesoría del Programa de Naciones Unidas para el
Desarrollo, en el marco del convenio entre ambas instituciones. El comité se reunió periódicamente
y elaboró una propuesta inicial de la metodología que recogió la revisión de la experiencia nacional e
internacional en sistemas de rendición de cuentas, y definió los criterios de los indicadores y variables
a ser incluidos.
Esta propuesta fue sometida a una primera ronda de consulta con expertos en educación y académicos.
Se realizaron 16 reuniones en esta instancia, que sirvieron para realizar ajustes a la metodología y
considerar o descartar variables en el modelo. En esta primera ronda, algunos investigadores rebatieron
aspectos relacionados con la ponderación de los indicadores de la metodología propuesta. A raíz de esas
www.agenciaeducacion.cl
2
reflexiones, la mesa acogió los comentarios y se realizaron ajustes considerables en la ponderación de
los índices.
A su vez, en estas reuniones surgió la intención de incluir en los Otros Indicadores de la Calidad la
condición de alumno extranjero. Esta propuesta se analizó en profundidad, a través de diferentes
estrategias que incluyeron visitas en terreno a establecimientos con alto índice de alumnos extranjeros,
análisis cuya conclusión final desestimó esta posibilidad.
Una segunda etapa de validación consistió en la presentación de la metodología a más de 65
sostenedores y directores de establecimientos educacionales, 10 de los cuales poseen importante
trayectoria en el quehacer educativo de nuestro país, y otros 55 fueron seleccionados aleatoriamente,
todo ello con el propósito de conocer la visión de una muestra representativa respecto del trabajo
avanzado en la metodología. En estas reuniones se relevó la importancia de mantener coherencia con
sistemas de clasificación de políticas vigentes, como SEP y SNED, aspecto que se consideró al analizar
los resultados de la metodología propuesta.
Posteriormente, se efectuó una segunda ronda de consultas y validación, que abarcó 20 reuniones con
expertos en educación, quienes pudieron revisar los resultados de simulaciones de la aplicación de una
Clasificación en categorías de desempeño hipotética y efectuar nuevos comentarios y sugerencias
que el equipo a cargo de la metodología fue considerando en su elaboración. Dentro de los análisis de
esta ronda, destaca la inclusión de una nueva variable dentro de las Características de los Alumnos, la
Escolaridad de la madre, lo que constituyó un gran aporte de mejora al modelo propuesto en términos
del ajuste por contexto educativo.
Luego de ese proceso, que implicó ajustar la propuesta y editar un informe preliminar, se presentó
la metodología de Clasificación en categorías de desempeño al Consejo de la Agencia de Calidad de
la Educación. En más de 15 sesiones dedicadas a conocer en detalle su diseño y los resultados de
una simulación de su aplicación, los Consejeros efectuaron observaciones y sugirieron la revisión del
informe por parte de dos expertos independientes3. Una vez recibidos estos informes de evaluación,
se elaboró la propuesta definitiva que fue aprobada por el Consejo de la Agencia de Calidad de la
Educación para ser presentada en el Consejo Nacional de Educación (CNED).
Propuesta de metodología de Clasificación en categorías de desempeño de Establecimientos:
considerando el contexto educativo
La metodología de Clasificación en categorías de desempeño clasifica el desempeño de los
establecimientos en cuatro categorías considerando Resultados Simce, Estándares de Aprendizaje,
Medidas de Progreso y Otros Indicadores de Calidad Educativa4 y tomando en cuenta la dificultad del
contexto educativo a través de las Características de los Alumnos (art. 17, ley SNAC).
El contexto educativo es caracterizado a través de variables como la vulnerabilidad del hogar del estudiante,
la escolaridad de la madre, ruralidad o aislamiento, entre otros aspectos. Según la Figura 1, en la que el
mayor nivel de dificultad del contexto educativo se muestra hacia la derecha del índice, establecimientos
que enseñan en condiciones desfavorables, como B, se ubican en la misma categoría que otros que trabajan
en mejores condiciones de contexto pero obtienen los mismos resultados educativos, como A.
Ver Anexo.
3
Los Resultados Simce son producto de un plan anual de pruebas para todos los establecimientos educacionales; los Estándares de Aprendizaje son
categorizaciones que indican el nivel de aprendizaje alcanzado por los estudiantes; las Medidas de Progreso reflejan la mejora en el tiempo en
los resultados; y los Otros Indicadores de la Calidad Educativa son un conjunto de datos estadísticos, que buscan medir la calidad de la educación
de una manera integral. Estos últimos se enumeran en el Cuadro 1.
4
www.agenciaeducacion.cl
3
Asimismo, aquellos que como C , están en un contexto de poca dificultad y obtienen resultados bajos,
se sitúan en la misma categoría que aquellos que tienen similares resultados, pero su contexto es muy
desfavorable, como D.
Medir a los establecimientos solo por sus resultados educativos, llevaría a categorizar de la misma forma
a establecimientos con realidades socioeconómicas distintas.
Figura 1
Ejemplo de Clasificación en categorías de desempeño que no considera el
contexto socioeconómico
Indicadores
de resultados
educativos
A
B
C
D
Dificultad
del contexto
educativo
Alto
Medio-Bajo
Medio
Insuficiente
Figura 1. Gráfico que muestra las categorías de Desempeño en las que se ubican cuatro
establecimientos cuyos resultados no fueron ajustados según el contexto educativo.
La propuesta de metodología de Clasificación en categorías de desempeño, da un trato distinto a los
establecimientos dependiendo de la dificultad del contexto educativo. Los umbrales que definen las
categorías son diferentes y pueden llevar a que establecimientos con los mismos resultados obtengan
clasificaciones distintas producto del ajuste por la dificultad del contexto educativo.
Con esta propuesta metodológica, mostrada en la Figura 2 con los mismos establecimientos como
ejemplo, a una escuela A , que enseña en un contexto no vulnerable, se le exige más que en el caso en
donde no se tome en cuenta el contexto y quedaría ordenado en Desempeño Medio-Bajo en vez de
Desempeño Medio. Por el contrario, a algunos establecimientos como D , se les exige menos dado que
enseñan en un contexto con mayores dificultades para la enseñanza, por ser vulnerable, y quedarían
ordenados en Desempeño Medio en vez de Insuficiente. Asimismo puede suceder como en el caso de
C , que teniendo pocas dificultades en su contexto no logre buenos resultados, por lo que se ubique en
el Desempeño Insuficiente o el de B, que con alta vulnerabilidad se ordene en una categoría superior.
www.agenciaeducacion.cl
4
Figura 2
Ejemplo de Clasificación en categorías de desempeño que considera el
contexto socioeconómico
Indicadores
de resultados
educativos
A
B
C
D
Dificultad
del contexto
educativo
Alto
Medio-Bajo
Medio
Insuficiente
Figura 2. Gráfico que muestra las categorías de Desempeño en las que se ubican los mismos
establecimientos de Figura 1, con resultados ajustados según el contexto educativo.
En la práctica, simulaciones de la propuesta muestran casos de establecimientos que con mucho
esfuerzo logran promedios Simce menores a 220 puntos y se ubicarían en Desempeño Insuficiente. Sin
embargo, al considerar el contexto en el que imparten la enseñanza, podrían ser clasificados incluso en
la categoría Desempeño Medio.
Dado que uno de los objetivos de la Clasificación en categorías de desempeño es responsabilizar a los
establecimientos y sus sostenedores por el aprendizaje y formación de los estudiantes, no es sensato
utilizar una metodología que no considere las dificultades de contexto que se presentan para impartir
educación. Una parte de los resultados de los estudiantes se explica a través de las características
del hogar y del entorno del establecimiento, y este no debe ser responsabilizado por esa parte del
desempeño.
Etapas de la metodología
La metodología de Clasificación en categorías de desempeño de establecimientos debe velar por
el cumplimiento del artículo 17 de la ley SAC, que establece que la Clasificación en categorías de
desempeño “debe considerar las características de los alumnos del establecimiento”, y, además, debe
respetar el artículo 3.° de la LGE, que señala “que todos los alumnos, independiente de sus condiciones
y circunstancias, alcancen los objetivos generales y los estándares de aprendizaje”.
www.agenciaeducacion.cl
5
La metodología de Clasificación en categorías de desempeño de Establecimientos considera cuatro
etapas para su aplicación, como se describe en la Figura 3.
Etapa 1:
Construcción
de índice sin
corregir
Etapa 2:
Corrección por
características
de los alumnos
Etapa 3:
Clasificación
intermedia en las
cuatro categorías de
desempeño según
índice final
Etapa 4:
Clasificación
definitiva luego
de la aplicación
de filtros
Figura 3. Esquema que muestra las etapas de construcción de la metodología de Clasificación en categorías de
desempeño.
Los resultados a evaluar: La Etapa 1 y su Construcción del Índice sin Corregir
La ley establece cuáles son los resultados que debe evaluar la metodología de Clasificación en categorías
de desempeño de Establecimientos. Señala que se debe considerar la distribución de los alumnos en los
Estándares de Aprendizaje en al menos un 67%, lo que se aplica cabalmente en la metodología ajustada.
Asimismo, la ley determina la inclusión de los Resultados de Aprendizaje de todas las áreas evaluadas
censalmente en las mediciones nacionales (SIMCE), así como las Medidas de Progreso de estas. A estas
variables se suman los Otros Indicadores de Calidad Educativa (art. 17, Ley N.° 20.529).
La metodología opta por otorgarle a los indicadores distintos a Estándares de Aprendizaje el máximo
porcentaje permitido por la ley (33%), y define dividir esta fracción en partes iguales, para no generar
distinciones entre ellos respecto a su nivel de importancia.
Cabe mencionar que los Estándares de Aprendizaje son aprobados por el Consejo Nacional de Educación,
y son elaborados por el Ministerio de Educación en el marco del Sistema de Aseguramiento de la
Calidad, pensando en su utilización en la metodología de Clasificación en categorías de desempeño de
Establecimientos.
Los Estándares de Aprendizaje son referentes que describen lo que los estudiantes deben saber y
poder hacer, para demostrar determinados niveles de cumplimiento de los Objetivos de Aprendizaje
estipulados en el currículo vigente. Existen tres niveles, el Nivel de Aprendizaje Adecuado representa a
estudiantes que logran lo exigido en el currículo, demostrando que han alcanzado las habilidades y los
conocimientos básicos estipulados para el grado y asignatura correspondiente. El Nivel de Aprendizaje
Elemental agrupa a estudiantes que han conseguido parcialmente los aprendizajes, lo que implica que
han alcanzado las habilidades y los conocimientos más elementales contemplados en el currículo. Por
último, el Nivel de Aprendizaje Insuficiente agrupa a estudiantes que no logran demostrar las habilidades
y los conocimientos elementales para el grado y asignatura correspondiente.
www.agenciaeducacion.cl
6
En la Tabla 1 se explicita la ponderación que tienen los indicadores antes mencionados en la metodología
propuesta.
Tabla 1. Ponderación de Indicadores en metodología de Clasificación en categorías de desempeño de
Establecimientos
Dimensión
Resultados de Aprendizaje
Progreso de Aprendizaje
Otros Indicadores de Calidad
Educativa
Nota:
Indicadores
Ponderación(a)
Estándares de Aprendizaje
67,0%
Puntaje Simce
3,3%
Tendencia Simce
3,3%
Autoestima académica y motivación escolar
3,3%
Clima de convivencia escolar
3,3%
Participación y formación ciudadana
3,3%
Hábitos de vida saludable
3,3%
Asistencia escolar
3,3%
Equidad de génerob
3,3%
Retención escolar
3,3%
Tasa de titulación técnico profesionalc
3,3%
a
La ponderación de 3,3% para indicadores distintos a Estándares de Aprendizaje se utiliza cuando se calculan todos los
indicadores, y es el resultado de dividir 33% en 10 indicadores. En caso de que para el establecimiento se calculen menos
indicadores, se divide el 33% en partes iguales entre los indicadores que deban ser calculados.
b
Este indicador se utiliza solo para los establecimientos mixtos.
c
Este indicador se utiliza solo para aquellos establecimientos que imparten educación media técnico profesional.
Método estadístico utilizado en la Etapa 2 de la metodología
Una decisión relevante es cómo definir qué tan distintos son los umbrales que determinan la categoría de
desempeño para dos establecimientos con mismo resultado pero diferente contexto. En la propuesta, el
ajuste de los resultados por contexto educativo se hizo a través de la metodología de Mínimos Cuadrados
Ordinarios, considerando a los estudiantes a nivel individual. Se evaluaron otras formas de determinar
estos límites como son los métodos de Efectos Fijos o distintas variaciones de los Modelos Jerárquicos.
Dependiendo de la especificación de los modelos revisados, es mayor o menor la diferencia que se hace
entre los establecimientos vulnerables y menos vulnerables, siendo la propuesta un caso más cercano a
los modelos que ajustan en mayor magnitud.
De este modo, la metodología seleccionada permite considerar en una magnitud importante al contexto
educativo, para determinar el desempeño del establecimiento en la Clasificación en categorías de
desempeño final, conciliando la justicia en la responsabilización de los establecimientos, con el
resguardo del derecho a una educación de calidad en todos los contextos socioeconómicos.
Lo anterior es analizado empíricamente en el informe presentado al CNED. En esos análisis es posible
concluir que algunas especificaciones de los Modelos Jerárquicos generan expectativas de logro muy
distintas entre estudiantes de diferente contexto, lo que atentaría contra el principio de calidad y equidad
en la educación definido en el artículo 3.° de la LGE.
www.agenciaeducacion.cl
7
Utilizar un método que genere expectativas muy distintas implica en la práctica entregar una señal
que consideraría excelentes los resultados de alumnos más vulnerables, cuando esos mismos resultados
para alumnos de un contexto más favorable serían considerados inaceptables. En otras palabras, que
la clasificación con algunas especificaciones y métodos genere estas situaciones, conlleva el peligro
de encubrir inequidades en las oportunidades educativas que entregan los establecimientos a los
estudiantes de nuestro país.
A lo anterior se suma que un método estadístico con estos problemas fallaría en la correcta identificación
de las necesidades de apoyo de los establecimientos, finalidad principal de la Clasificación en categorías
de desempeño. Dicho de otro modo, privaría de la posibilidad de recibir Visitas de Evaluación y Orientación
y posteriormente, Apoyo Técnico Pedagógico, a establecimientos que tengan bajos resultados en
contextos desfavorables, beneficiando de paso a establecimientos que se desempeñan en contextos
menos vulnerables, lo que impediría la correcta focalización de estos recursos.
El método estadístico utilizado en la metodología propuesta al CNED cuida que estas situaciones no
ocurran y los análisis incorporados en el informe presentado así lo demuestran.
Tamaño de las categorías de desempeño en la Etapa 3
Otra decisión igualmente relevante es la diferencia de tamaño de las categorías. Las dimensiones
se diseñaron para que sean motivantes y desafiantes para los establecimientos. Si, por ejemplo, la
categoría Desempeño Insuficiente fuera muy grande, para muchos establecimientos sería inalcanzable
lograr metas que reflejen sus esfuerzos por mejorar. En segundo lugar, se busca identificar de manera
eficaz el universo de establecimientos que requerirá atención y apoyo especial desde el Sistema de
Aseguramiento de Calidad de la Educación.
Etapa 4: Clasificación definitiva luego de la aplicación de filtros
En el último paso del proceso de categorización se establecen umbrales mínimos de desempeño, que
no dependen del contexto educativo, que pueden afectar la clasificación de un establecimiento y que en
la propuesta se denominaron filtros, los que se diseñaron de manera de afectar a un número mínimo de
establecimientos. El uso de este tipo de mecanismos se ha extendido en políticas vigentes como el SNED
y la clasificación SEP, y en distintas propuestas realizadas por otros expertos nacionales, en sistemas de
responsabilización de otros países y además es fuertemente recomendado por expertos internacionales.
Estos umbrales son fundamentales porque aseguran que se cumplan ciertos requisitos mínimos para
ser parte de cada una de las categorías. Principalmente, este proceso busca mejorar la focalización del
apoyo, y cumplir con el artículo 3.° de la LGE.
Se propone 4 filtros, cada uno establece un conjunto de condiciones de Estándares de Aprendizaje y de
Otros Indicadores de Calidad Educativa que deben cumplirse para ser parte de las distintas categorías.
En los resultados presentados al CNED de una Clasificación en categorías de desempeño hipotética, los
filtros solo modifican la clasificación resultante de la etapa anterior en el 2,8% de los establecimientos
de educación básica, y en el 4,3% de los establecimientos de educación media.
www.agenciaeducacion.cl
8
Resultados simulados
Para tener algún adelanto de lo que sería la propuesta se presentan simulaciones para una Clasificación
en categorías de desempeño hipotética. De acuerdo a estos resultados, en el año 2011, en básica, 882
establecimientos hubiesen sido clasificados en la categoría Desempeño Alto, 2.837 en la categoría
Desempeño Medio, 1.344 en la categoría de Desempeño Medio-Bajo y 661 en la categoría Desempeño
Insuficiente. En educación media5, 444 establecimientos hubiesen sido clasificados en la categoría
Desempeño Alto, 1.190 en la categoría Desempeño Medio, 567 en la categoría Desempeño Medio-Bajo
y 317 en la categoría Desempeño Insuficiente. (Tablas 2 y 3)6.
Tabla 2. Distribución de los establecimientos en categorías de desempeño para una Clasificación en
categorías de desempeño hipotética del año 2011
Categoría
Clasificación
Educación básica
Educación media
Porcentaje
Establecimientos
Cantidad
Establecimientos
Porcentaje
Establecimientos
Cantidad
Establecimientos
Alto
15,41%
882
17,63%
444
Medio
49,56%
2.837
47,26%
1.190
Medio-Bajo
23,48%
1.344
22,52%
567
Insuficiente
11,55%
661
12,59%
317
Fuente: elaboración propia.
Tabla 3. Distribución de alumnos en categorías de desempeño para una Clasificación en categorías de
desempeño hipotética del año 2011
Educación básica
Educación media
Categoría
Clasificación
Porcentaje Alumnos
Cantidad Alumnos
Porcentaje Alumnos
Cantidad
Alumnos
Alto
19,71%
384.566
16,00%
150.561
Medio
50,36%
982.498
49,04%
461.571
Medio-Bajo
21,11%
411.890
23,57%
221.808
Insuficiente
8,81%
171.966
11,39%
107.189
Nota: Debido a que los porcentajes están aproximados, pueden no sumar 100%. Fuente: elaboración propia
A partir de estos resultados se entregaron distintos ejercicios al CNED: (a) analizar la coherencia del
modelo propuesto con la clasificación SEP y con el Sistema Nacional de Evaluación de Desempeño
(SNED); (b) comparar el modelo propuesto con una clasificación que solo considera al Simce, y las
diferencias que exhibe; (c) analizar el número de establecimientos que imparten ambos niveles de
educación que tienen clasificaciones distintas en educación básica respecto de media (por ejemplo,
que en básica se haya alcanzado la categoría Desempeño Alto y en media, la categoría Desempeño
Insuficiente), y (d) realizar estimaciones de la estabilidad de la clasificación.
Para evaluar la estabilidad de la metodología de Clasificación en categorías de desempeño y para
cuantificar a los establecimientos que permanecen consecutivamente en la categoría Desempeño
Insuficiente, se realizaron simulaciones de 7 Clasificaciónes en categorías de desempeño aplicadas
entre los años 2006 a 2012.
La Clasificación en categorías de desempeño de Establecimientos se debe efectuar de manera independiente para educación básica y educación
media, y no se aplica a establecimientos de educación parvularia o de educación especial. En establecimientos que imparten educación básica y
media, existirá un resultado de la Clasificación en categorías de desempeño para cada nivel.
5
La simulación de la Clasificación en categorías de desempeño para el año 2011 se realizó con información de los años 2007 , 2008, 2009 y 2010, y
consideró bases de datos de resultados y cuestionarios Simce, bases de datos Sistema de Información General de Estudiantes (SIGE) e información
provista por el Ministerio de Educación, Ministerio del Interior y Ministerio de Desarrollo Social.
6
www.agenciaeducacion.cl
9
En cuanto a los establecimientos que permanecen consecutivamente más de 4 años en la categoría
Desempeño Insuficiente, las simulaciones muestran que sin el Sistema de Aseguramiento de la Calidad
de la Educación en funcionamiento, y sin aplicar el criterio de la mejora significativa, se le podría haber
revocado el reconocimiento oficial a 119 establecimientos el 2010, a 35 establecimientos el 2011
y a 88 el 2012, lo que da un total de 242 establecimientos en todo ese período. Esta cantidad de
establecimientos representa una cota máxima, que con la entrada en vigencia de la primera Clasificación
en categorías de desempeño y con los apoyos que contempla el sistema, deberá disminuir. Entre estos,
se destacan las Visitas de Evaluación y Orientación que desarrollará la Agencia de Calidad y el Apoyo
Técnico Pedagógico que brindará el Ministerio de Educación.
Calendario de eventuales cierres entre los años 2006 a 2012
Año Eventual Cierrea
Número de Establecimientos
Matrículab
2010
119
29.214
2011
35
9.567
2012
88
20.301
Total
242
59.082
Fuente: elaboración propia.
Nota:
a
Si un establecimiento eventualmente hubiese cerrado durante el 2010, ya no se considera en el cálculo de los
establecimientos que eventualmente hubiesen cerrado en el 2011 o 2012.
b
La matrícula se calcula al año en que ese establecimiento podría haber cerrado. Por ejemplo, la matrícula de los
establecimientos que eventualmente cierran en el 2011, corresponde a la matrícula de esos establecimientos durante
el 2011.
DANDO EL SEGUNDO PASO: VISITAS DE EVALUACIÓN Y ORIENTACIÓN
Características
¿Qué son las Visitas de Evaluación y Orientación?
Son una herramienta de la Agencia para evaluar y orientar a los establecimientos educacionales una
vez realizada la Clasificación en categorías de desempeño. Se desarrollan a través de un equipo de
profesionales que visita establecimientos educacionales y su objetivo es promover una mejora
continua de la calidad de la educación entregada a sus alumnos y alumnas y fortalecer las capacidades
institucionales y de autoevaluación de los establecimientos.
¿Qué establecimientos serán visitados?
Aquellos que reciben aportes del Estado (municipales y particulares subvencionados) y que, tras el
proceso de Clasificación en categorías de desempeño, queden en las categorías Desempeño Medio,
Medio-Bajo o Insuficiente. Los establecimientos clasificados en Desempeño Alto serán visitados con el
propósito de identificar y difundir las buenas prácticas presentes en ellos. Además de lo anterior, y como
reconocimiento a su desempeño, estos últimos pueden incorporarse al registro de entidades de apoyo
técnico-pedagógico administrado por el Ministerio de Educación.
Las visitas se realizarán al menos cada dos años en los establecimientos que estén clasificados en la
categoría Insuficiente y al menos cada cuatro para los de Desempeño Medio-Bajo. La Agencia podrá
presentarse en los establecimientos de la categoría Medio cuando lo estime necesario.
www.agenciaeducacion.cl
10
Las visitas se basarán en Estándares Indicativos de Desempeño y no originarán sanciones para los
establecimientos. Una vez finalizadas, la Agencia entregará recomendaciones de mejora cuya puesta en
práctica y utilización no es obligatoria.
Perfil de los evaluadores
El evaluador debe tener la convicción de que todos los establecimientos pueden mejorar y que todos los
estudiantes pueden aprender, tiene que ser capaz de liderar equipos de trabajo, estableciendo relaciones
positivas y constructivas, debe ser responsable y realizar un trabajo de excelencia. Es importante su
capacidad de solucionar problemas y de establecer buenas relaciones interpersonales para que el
establecimiento vea al equipo como un apoyo importante para mejorar la educación.
Para recopilar la información necesaria durante la visita, es importante propiciar un clima de trabajo
que favorezca las relaciones con los miembros de la comunidad educativa. La rigurosidad también es un
aspecto relevante, especialmente en la recolección de la información para permitir un análisis rápido,
pero a la vez exhaustivo de los datos.
El primer semestre de 2013, la Agencia de Calidad contaba con un equipo de 20 evaluadores, quienes,
además de participar en capacitaciones, estaban en terreno visitando establecimientos, en el contexto
del plan piloto de las visitas. Para la segunda etapa, la dotación aumentó a 46 evaluadores de diversas
áreas: profesores, sociólogos, psicólogos, psicopedagogos, profesores diferenciales, educadoras de
párvulos, entre otros. Ya en febrero de 2014, los evaluadores llegaron a 74, distribuidos en Macrozona
Centro Norte, con 63 profesionales; 3 tanto en MZ Centro Sur como Sur; 4 en Mactozona Norte y 1 en MZ
Austral. Además, cada MZ ya cuenta con su jefatura.
Las capacitaciones que tienen los evaluadores incluyen materias como liderazgo, gestión pedagógica,
legislación educacional, comunicación, convivencia, entre otras.
Balance del primer semestre
Durante el primer semestre, la Agencia de Calidad realizó un plan piloto de visitas de evaluación y
orientación, que abarcó 72 establecimientos en 18 comunas de la región Metropolitana de Santiago y
9 establecimientos en las regiones de Arica y Parinacota, Valparaíso, O’Higgins, Biobío y de la Araucanía.
En total fueron 36 establecimientos municipales y 36 particulares subvencionados. En el proceso se
realizaron entrevistas a sostenedores, directores, profesores, alumnos, padres y apoderados, entre otros
instrumentos aplicados como encuestas, observación de clases y revisión de planificación de clases.
Además se invitó a observadores externos a los equipos de evaluadores a participar de las visitas.
Lo que viene
El objetivo de la Agencia de Calidad para el segundo semestre es empezar una marcha blanca de Visitas
y realizar aproximadamente 70, durante las cuales se ajustarán los instrumentos de evaluación y se irá
a zonas que no fueron visitadas en la primera parte del año, de esta forma, serán cubiertas todas las
regiones de Chile. Se visitarán establecimientos municipales y particulares subvencionados, algunos de
los cuales deberán tener características geográficas que dificulten el acceso, esto último para afinar
detalles logísticos como el tiempo de traslado de los equipos de evaluadores.
www.agenciaeducacion.cl
11
NACE UN NUEVO SISTEMA
El nuevo sistema que asegura la calidad y equidad de la educación ya está comenzando. Como ilustra
la Figura 4, la Clasificación en categorías de desempeño permitirá a la Agencia de Calidad de la
Educación identificar a los establecimientos que requieren apoyos, lo que se traducirá en una primera
etapa en Visitas de Evaluación y Orientación a cargo de un equipo de profesionales que diagnosticará al
establecimiento con una mirada integral, luego le entregará un informe que contempla orientaciones y
sugerencias; y en una segunda etapa, el Ministerio de Educación podrá brindar a los establecimientos la
ayuda técnico pedagógica que requieran.
Etapa 1
Etapa 2
Índice de
Calidad
Características
de los alumnos
de cada
establecimiento
se ajusta
según las
67% Estándares
de Aprendizaje
33% Más Resultados
- Clima de convivencia escolar
- Participación y formación ciudadana
- Hábitos de vida saludable
- Autoestima académica y motivación escolar
- Equidad de género
- Asistencia escolar
- Retención escolar
- Titulación técnico-profesional
- Nivel de vulnerabilidad
- Escolaridad de la madre
- Ruralidad o aislamiento
- Entrada de alumnos con bajo rendimiento
académico
- Entrada de alumnos con alto rendimiento
académico
- Alumnos de ascendencia indígena
- Alumnos con necesidades especiales
- Tasa de delitos de violencia intrafamiliar
Etapa 3
que
genera la
Categoría de
desempeño
de los establecimientos,
en cuatro niveles.
- Desempeño Alto
- Desempeño Medio
- Desempeño Medio-Bajo
- Desempeño Insuficiente
- Tendencia en el tiempo Simce
- Puntaje Simce
Figura 4. Esquema que muestra en forma tanto simbólica como descriptiva, los 4 hitos más relevantes.
El comienzo de este innovador proceso de marcha blanca SAC, Clasificación en categorías de
desempeño y Visitas de Evaluación y Orientación está proyectado para los próximos meses, una vez que
la metodología sea revisada por el Consejo Nacional de Educación. Este proceso es el inicio de un gran
cambio en la educación chilena, un cambio que implica diagnosticar la calidad de nuestra educación
básica y media desde una perspectiva más amplia, en términos transparentes y más justos, con el
propósito de coordinar el apoyo donde se necesita y estimular la mejora continua, para que todos los
estudiantes del país tengan la posibilidad de acceder de manera equitativa a una educación de calidad.
www.agenciaeducacion.cl
12
Anexo
Descripción del análisis de diferentes métodos de estimación de la influencia del contexto
educativo en los resultados
Para escoger el método estadístico en el procedimiento que define las exigencias para los establecimientos
que funcionan en un contexto educativo de menor dificultad, respecto de uno que presenta mayores
dificultades, se presentó un análisis de 5 modelos alternativos: el modelo de Efectos Fijos, el modelo
MCO (Mínimos Cuadrados Ordinarios) a nivel individual, y tres versiones de Modelos Jerárquicos: sin
variables a nivel promedio, solo con escolaridad de la madre a nivel promedio, con todas las variables a
nivel promedio, respectivamente.
Los 5 modelos fueron evaluados en base a 10 ejercicios distintos, y los resultados y conclusiones del
análisis permiten respaldar la opción escogida (MCO).
Los ejercicios realizados fueron:
• Análisis gráfico en que se ilustró qué tan distintos son los umbrales con que se evalúa a
establecimientos que funcionan en contextos de menor y mayor dificultad.
• Análisis del porcentaje de la calificación del establecimiento que solamente se debe a ajuste por
contexto educativo.
• Cómputo de las diferencias de cada modelo respecto a una clasificación basada solamente en
Simce.
• Descripción del perfil de los estudiantes en términos de Estándares de Aprendizaje alcanzados por
los estudiantes en los establecimientos de cada categoría.
• Estudio del comportamiento de los filtros (ver cuerpo del texto, apartado Etapa 4. Clasificación
definitiva luego de la aplicación de filtros).
• Caracterización de las categorías de Clasificación en categorías de desempeño según dependencia
y vulnerabilidad.
• Cómputo del traslape de las clasificaciones en educación básica y educación media para
establecimientos que imparten ambos niveles.
• Medición de la coherencia con el SNED y la clasificación SEP.
• Estudio de la normalidad de los residuos de los modelos jerárquicos.
• Simulación de la estabilidad general y por categoría de los modelos.
Los resultados de este análisis comparativo fueron discutidos con el Consejo de la Agencia de Calidad
de la Educación y con dos expertos en materia educacional, Jorge Manzi A., Profesor Titular Escuela
de Psicología Universidad Católica de Chile y Director MIDE UC; y Ricardo Paredes M., Profesor Titular
Asociado, Departamento de Ingeniería Industrial y Sistemas, Universidad Católica de Chile.
Esos análisis establecieron que uno de los argumentos para proponer el modelo MCO a nivel individual
y no modelos jerárquicos con variables promedio, es que se consideró fundamental que la clasificación
no presente un nivel de ajuste tal que a los alumnos de establecimientos vulnerables se les clasifique en
la categoría Desempeño Alto, cuando con el mismo resultado hubiesen sido clasificados en la categoría
www.agenciaeducacion.cl
13
Desempeño Insuficiente si fuesen poco vulnerables, generando expectativas diametralmente opuestas
respecto a lo que se considera calidad educativa para alumnos de distinta condición socioeconómica.
En los ejercicios presentados, los modelos jerárquicos con variables a nivel promedio dan como resultados
clasificaciones en donde más de un 20% de los establecimientos de la categoría Desempeño Alto
(establecimientos con estudiantes relativamente más vulnerables), tendrían peores resultados de aprendizaje
que establecimientos de la categoría Desempeño Insuficiente con estudiantes menos vulnerables.
14