Alcances e inconsistencias del Indice Sintetico de Calidad Educativa

 Alcances e
inconsistencias
del Indice
Sintetico de
Calidad
Educativa
(ISCE), diseñado
y aplicado por el
Ministerio de
Educación de
Colombia en el
año 2015
Fundación IQ Matrix
- Iniciativas para la
sociedad del
conocimiento Working Paper
Serie: Educación Marco Fidel Zambrano M.
Bogotá – Colombia - Abril de 2015
Correo electrónico: marcofza@gmail.com
1 Alcances e inconsistencias del Indice Sintetico de Calidad Educativa (ISCE),
diseñado y aplicado por el M inisterio de Educación de Colom bia en el año
2015
Scope and inconsistencies Synthetic Index of Educational Quality ( ISCE ) ,
designed and im plem ented by the M inistry of Education of Colom bia in
2015
Resumen
Generar herramientas de medición en el sector educativo es una prioridad y un requisito
para desarrollar políticas educativas con la capacidad de transformar tanto la educación
como la sociedad. Aún así, se debe ser en extremo cuidadoso en lo relacionado a la
calidad de dichas mediciones. Las mediciones correctas tienen la capacidad de favorecer
el cambio educativo bajo parámetros racionales y democráticos. Asunto contrario cuando
por diversas circunstancias las mediciones presentan importantes inconsistencias y sesgos
aumentando los niveles de confusión y generando una pérdida crítica de recursos y
esfuerzos. El presente documento de discusión se da a la tarea de analizar el Índice
Sintético de Calidad Educativa (ISCE) recientemente generado por el Ministerio de
Educación (MEN) de Colombia, el cual muestra importantes limitaciones en cuanto a su
conceptualización y alcances.
Palabras claves: educación, calidad, rankings, mediciones, principios de Berlín,
metodologías.
Abstract
The creation of measuring tools in the education sector is a priority and a requirement to
develop educational policies with the ability to transform both education and society.
Still, one must be extremely careful in regard to the quality of such measurements. The
correct measurements have the ability to promote educational change under rational and
democratic parameters. Subject otherwise when for various reasons the measurements
show significant inconsistencies and biases increasing levels of confusion and generating
a critical loss of resources and efforts. This working paper is given the task of analyzing
the Synthetic Index of Educational Quality ( ISCE ) recently created by the Ministry of
Education ( MEN) of Colombia , which shows significant limitations in their
conceptualization and scope.
Key words: education, quality , rankings , measurements , Berlin principles ,
methodologies .
2 M arco Fidel Zam brano M urillo
Sociólogo de la Universidad Nacional de Colombia. Especializado en medios de
comunicación de la Universidad de los Andes. Magister en sociología de la Universidad
Nacional de Colombia. Experto en calidad educativa. Experiencia internacional en
medios de comunicación y nuevas tecnologías aplicados a la educación. Experiencia en
formación de redes sociales y profesor universitario a nivel universitario (pregrado y
posgrado) y población adulta. Asesor de Naciones Unidas, Presidencia de la República,
Servicio Nacional de Aprendizaje (SENA), Despacho Ministro, Ministerio de Educación.
Co-editor revista Vía Libre. Autor de diversas publicaciones en el tema educativo.
Ganador del tercer premio (1.993), Primer Premio Nacional de Ensayo: “Cultura y
Sociedad en Colombia”, Instituto Colombiano de Cultura (COLCULTURA). Ganador
premio a la excelencia estudiantil (1.991), Galardón al mejor trabajo de grado estudiantil,
relación Universidad – Cultura, Federación Nacional de Cafeteros - Universidad Nacional
de Colombia. 3 Alcances e inconsistencias del Indice Sintetico de Calidad Educativa
(ISCE), diseñado y aplicado por el Ministerio de Educación de
Colombia en el año 2015
Contenido
I.
Antecedentes.
II.
Resultados de la aplicación del ISCE.
III.
La im portancia de los rankings educativos.
IV.
Los principios de Berlín.
V.
Discusión.
VI.
Conclusiones.
VII.
Referencias.
4 I.
1.1.
Antecedentes.
El 25 de Marzo de 2015, el Ministerio de Educación Nacional presentó el Índice
Sintético de Calidad Educativa (ISCE) como un nuevo instrumento de medición de
la calidad educativa en el país.
1.2.
Para la Construcción del ISCE, el MEN manifiesta que se revisaron diferentes
casos de índices de calidad educativa, tales como: i) el Índice de Desarrollo de
Educación Básica (IDEB) de Brasil, ii) el Sistema Nacional de Evaluación del
Desempeño (SNIED) de Chile, iii) el Sistema de Medición de la Calidad de las
Instituciones Educativas de la ciudad de Medellín –SIMCIE, iv) el Indicador
Multidimensional de la Calidad de la Educación –IMCE, Índice básico de calidad
de la Secretaria de Educación de Bogotá, y v) el Índice de Derecho a la
Educación. En concreto se menciona que el ISCE fue construido por el Instituto
Colombiano para la Evaluación de la Educación (ICFES) en desarrollo de su
responsabilidad misional.
1.3.
En desarrollo de este proceso se seleccionaron 4 componentes del ISCE: i)
desempeño, ii) progreso, iii) eficiencia y iv) ambiente escolar. Estos componentes
recogen el mejoramiento continuo, y aquellos aspectos escolares que el MEN
considera relevantes para un adecuado desempeño estudiantil y de los cuales se
cuenta con suficiente información.
1.4.
El MEN manifiesta que se apoyó principalmente en el Índice de Desarrollo de la
Educación Básica (IDEB), creado en el 2007 por el Ministerio de Educación de
Brasil, mediante el cual se mide cada dos años el desempeño y progreso de cada
escuela de dicho país, en este índice al igual que en el caso del Índice Sintético
de la Calidad Educativa (ICSE), se utilizan medidas de calidad y eficiencia basadas
en pruebas de conocimiento estandarizadas de los alumnos, el cálculo de las tasas
aprobación, desaprobación y deserción en cada escuela. Además del IDEB la
construcción del ISCE recoge la experiencia del Estado de Minas Gerais, en
donde la aplicación del Índice da lugar a una estrategia integrada de formación
docente, producción de material de apoyo pedagógico y una acción de
seguimiento constante en el objetivo de cumplir unas metas nacionales,
territoriales y por establecimiento educativo.
1.5.
El MEN menciona que los asesores o expertos que acompañaron el proceso de
5 construcción e implementación del índice, son principalmente la Sra. Ana Lucia
Gazzola, ex secretaria de educación del estado brasilero de Minas Gerais, Estado
de cuyo modelo de evaluación se tomó la inspiración para la implementación de
acciones en torno al ISCE, siendo un aval de su aporte los grandes avances que el
estado de Minas Gerais muestra en términos de educación; igual se mencionan
acercamientos con el INEP, entidad que en el Brasil cumple las funciones que en
nuestro país cumple el ICFES, esto en virtud a que fue desde dicha entidad que se
dio la construcción del INEB, el cual tal y como se dijo anteriormente, fue el punto
de partida para la construcción del ISCE.
1.6.
El Índice Sintético de Calidad Educativa otorga una calificación en una escala de 1
a 10 (siendo 10 la mayor nota), por cada nivel educativo, es decir básica primaria
(de grado los 1o a 5o) , básica secundaria (de los grados 6o a 9o) y media (grados
10o y 11o). La calificación corresponde a la suma de los cuatro componentes que
hacen parte de él.
1.7.
Los componentes que hacen parte del ISCE, son:
1.7.1. Progreso: Este componente busca medir qué tanto ha mejorado el
establecimiento educativo en relación con los resultados que obtuvo el año
anterior. Es decir, se trata de una comparación consigo mismo, independiente
del promedio o desempeño obtenido. Considera el cambio en el porcentaje
de estudiantes ubicados en el quintil inferior de la prueba Saber 11o o en el
nivel de desempeño insuficiente en Saber 3o, 5o y 9o. Esto quiere decir que a
medida que el porcentaje de estudiantes en el quintil 1 y en el nivel de
desempeño insuficiente disminuye, la excelencia aumenta. Este componente
da un máximo de 4 puntos de los 10 posibles que un establecimiento
educativo puede obtener en el ISCE.
1.7.2. Desem peño: Con este componente se busca incentivar mejores resultados
promedios en las pruebas SABER. La calificación de este componente
depende directamente del puntaje promedio del establecimiento educativo
en los grados y áreas tenidos en cuenta en cada ciclo escolar. Se tienen en
cuenta los resultados de las pruebas Saber en Matemáticas y Lenguaje. Entre
mayor sea el puntaje promedio obtenido por el establecimiento educativo en
estas pruebas, mayor será la calificación obtenida en Desempeño, dando un
máximo de 4 puntos de los 10 posibles que un establecimiento educativo
puede obtener en el ISCE.
6 1.7.3.
Eficiencia: mediante este componente se busca balancear el puntaje
obtenido en Desempeño, pues si bien tenemos como propósito obtener
mejores puntajes promedio, también debemos buscar que la mayoría de los
estudiantes alcancen los logros propuestos para cada grado escolar. El valor
asignado en este componente corresponde a la tasa de aprobación, es decir
al número de estudiantes que aprueban el año y son promovidos al siguiente
grado. Para primaria y secundaria el valor de eficiencia corresponde al valor
reportado por cada colegio en SIMAT sobre su tasa de aprobación (es decir
daría máximo 1 punto en el ISCE). Para el caso de la Media, el valor de este
componente se duplica, la tasa de aprobación por dos ( dando máximo 2
puntos en el ISCE), dado que en la educación no se cuenta con datos de
ambiente escolar. Por lo tanto, para todos los colegios el componente
ambiente escolar en la media aparecerá N.R. se debe tener presente que los
establecimientos educativos que no reportan tasa de aprobación, tendrán un
“cero” en el aporte de este componente al Índice.
1.7.4. Ambiente escolar: Este componente busca caracterizar el ambiente escolar
en el que se desarrollan las clases recibidas por los estudiantes. Este
componente se divide en dos criterios: Seguimiento al aprendizaje de los
estudiantes en el aula y el segundo, al ambiente de aula. El valor de ambiente
escolar resulta de hacer análisis factoriales (que el MEN no hace explícitos) a
la encuesta de factores asociados que aplica el ICFES junto con las pruebas
SABER de grados 5o y 9o, para identificar que ocurre con los dos criterios que
lo componen en los establecimientos educativos, esto con base en las
respuestas que los estudiantes dan en estas encuestas. Los establecimientos
educativos que no entreguen los cuadernillos de la encuesta de factores
asociados, tendrán un “cero” en el aporte de este componente al Índice,
componente que máximo daría 1 punto de los 10 posibles que un
establecimiento educativo puede obtener en el ISCE.
1.8.
Con relación al ranking de establecimientos educativos como producto del ISCE,
el MEN menciona que su propósito no es hacer rankings sino ofrecer insumos
objetivos de análisis para que las instituciones educativas puedan mejorar la
calidad de la educación, sin embargo, es del todo factible, según su criterio, el
generar un ranking de establecimientos educativos con base en los resultados que
7 se tengan a la luz de los diferentes componente del ISCE. En otras palabras, no es
un Ranking, pero es el insumo para un Ranking.
1.9.
En criterio del MEN la aplicación del índice busca poner en práctica los principios
de transparencia y rendición de cuentas de tal manera que todos los miembros de
la comunidad educativa y la opinión pública en general puedan tener acceso a la
información de cómo se encuentran los establecimientos educativos en términos
de calidad educativa.
II.
2.1.
Resultados de la aplicación del ISCE.
Los valores agregados que reporta el MEN como resultado de la aplicación del
ISCE son:
2.2.
Unidad de
Índice de Básica
Índice de Básica
Índice de Educación
análisis
Primaria
Secundaria
Media
Bogotá DC
6,04
6,03
6,84
Colombia
5,13
4,89
5,52
A nivel territorial la clasificación arroja a municipios como Zipaquirá (1), Tunja (2),
Mosquera (3) y Chía (4), por encima de ciudades como Bogotá (10), Cundinamarca
(18) y Medellín (41).
2.3.
En instituciones privadas la clasificación arroja 1 en los primeros lugares a
instituciones como los Nogales, Gimnasio Colombo-Británico y Liceo Navarra de
Bogotá. En cuarto lugar el Colegio de la Compañía de María de Medellín, seguido
por el Instituto Alberto Merani de la Capital, el Montessori de Medellín y el Anglo
Americano, Gimnasio Vermont y Santa Francisca Romana de Bogotá.
2.4.
En Instituciones públicas la clasificación arroja en los primeros lugares a
instituciones como el Liceo Integrado de Bachillerato-Universidad de Nariño, IE
San Vicente (Valle del Cauca), Colegio Claretiano (Huila), Colegio Distrital Marie
1
Se replican los resultados sólo a modo de referencia, de ningún modo se pretende validar sus
resultados.
8 Poussepin (Atlantico), Colegio Santo Ángel (Norte de Santander) y Colegio
Sagrado Corazón de Jesús (Norte de santander).
Estos resultados fueron publicados por el MEN sin realizar procesos previos de validación
para corroborar la consistencia de los resultados. Las propias instituciones, ciudades y
municipios se enteraron por los medios de comunicación de los resultados de la
medición En otras palabras, el ranking publicado no ha sido validado en la clasificación
generada. A la fecha se encuentran ausentes por lo menos tres etapas más para avanzar
en la validación: i) Adelantar el trabajo teórico que no se ha adelantado, ii) integrar a las
comunidades académicas y educativas en la discusión de la medición, iii) ir a las
instituciones y entidades territoriales que aparecieron liderando en el ranking, y generar
nuevas mediciones en terreno iv) validar en dichas instituciones los indicadores medidos
e identificar elementos adicionales no tenidos en cuenta en la medición del ranking v)
Corregir los pesos iniciales asignados a los indicadores, integrar factores de corrección en
la formula original e integrar nuevos indicadores. Nos encontramos entonces ante una
clasificación que se encuentra en una etapa preliminar pero que fue publicada como una
medición terminada. Una suerte de experimento con la educación del país a la vista de
todos. Una labor seria de medición se puede tomar algunos años.
III.
La importancia de los ranking educativos.
Los rankings educativos han generado un debate global relacionado con su validez,
intencionalidad y alcances. Sin embargo, la literatura existente converge en algunos
elementos: i) Son útiles para evaluar el papel que cumplen las instituciones y
organizaciones en la sociedad, ii) despliega una función implicita de acreditación, iii)
proporcionan una respuesta concreta a la necesidad de información de los usuarios, iv)
mejoran la toma de decisiones de estudiantes y padres de familia con relación la
selección de las instituciones educativas, v) pueden servir de herramienta para
investigaciones y vi) contribuyen a la construcción de reputación de las organizaciones
educativas.
Sin embargo, igual se reportan efectos negativos como: i) distorsionar e incluso pretender
sustituir la realidad, ii) funcionar como instrumento de manipulación por parte de aquellos
que diseñan y aplican el ranking, iii) destruir la diversidad de las instituciones educativas,
las cuales terminan ajustándose a los parámetros del ranking para evitarse problemas así
sea claramente una medición equivocada, iv) invisibilizar y a la larga destruir todos
aquellos proyectos, iniciativas y concepciones de la educación que no se encuentren
9 dentro del radar conceptual e institucional generado por el ranking. Al final se corre un
gran riesgo que este tipo de mediciones que jerarquizan a las instituciones, se
transformen en una suerte de máquina de guerra burocrática que incrementa de manera
desmedida la intromisión del Estado en las instituciones educativas, empobreciendo la
educación en función de las concepciones educativas de unos funcionarios que al final de
los procesos no responden por los daños causados. Esta situación es más probable
desde rankings construídos desde el Estado sin procesos democráticos de construcción y
sin referentes conceptuales realmente válidos.
Un balance global en cualquier caso establece que es preferible contar con mediciones a
no contar con ellas. El problema se encuentra en cuáles son las mediciones más
apropiadas para generar procesos de respeto a las instituciones educativas, valoración
integral de sus esfuerzos, inclusión de diversas perspectivas teóricas e integración de la
comunidad educativa en su proceso de construcción. De estas decisiones depende si los
rankings son parte de la solución o parte del problema.
IV.
Los principios de Berlín.
Las discusiones contemporáneas indican de manera reiterada que un ranking debe
cumplir de manera clara con criterios de trasparencia, relevancia y estrategias de
validación de los datos. Para limitar los abusos y los impactos adversos de los rankings la
comunidad europea se dio a la tarea de establecer unos principios para garantizar niveles
aceptables de responsabilidad en el proceso de construcción y publicación de rankings.
A estos principios se los ha denominado Principios de Berlín, elaborados por parte del
International Ranking Expert Group (2006). Si bien estos principios son pensados para la
educación superior, son de manera clara un referente importante para evaluar la
pertinencia y alcance de cualquier ranking educativo.
El desarrollo de los principios de Berlín (PB) adaptados a los propósitos del presente
documento de trabajo arrojan el siguiente resultado inicial:
1. Los rankings no deben convertirse en referentes únicos y absolutistas de la calidad
educativa. Las clasificaciones generadas por los rankings
deben ser sólo un
instrumento entre muchos otros enfoques, para la evaluación de la educación. Las
clasificaciones pueden proporcionar
información comparativa, encaminada a
mejorar la comprensión de la educación, pero no debe ser el principal método
para evaluar la calidad educativa.
10 2. Debe existir claridad acerca del propósito y los grupos poblacionales objetivo del
ranking. Los indicadores diseñados para cumplir con un objetivo en particular para
una población especifica, pueden ser contraproducentes para otros propósitos y
destinatarios. Sobre este aspecto llama la atención como el ISCE se encuentra
aparentemente dirigido a las instituciones educativas, pero el proceso de
comunicación estuvo dirigido de manera general e indistinta a toda la sociedad,
con lo cual ya se originaron procesos de señalamiento y estigmatización de las
instituciones
3. El ranking debe reconocer la diversidad en lo referente a las diferentes misiones y
objetivos de las instituciones. Es muy diferente la condición de una institución en
situaciones sociales agudas de marginalidad y violencia a una institución que si
bien es también pública, adelanta su labor en lugares urbanos de estratos 3 y 4.
Estas diferencias deben ser registradas y medidas por el algoritmo estadístico que
soporta el ranking.
4. Es necesario tener claridad de las fuentes de información utilizadas y buscar
combinar diferentes fuentes y perspectivas con el objeto de obtener una visión
más completa de cada institución. En este sentido es importante obtener
información cruzada que integre a los propios maestros y a los padres de familia.
El ISCE se centra en el tema del desempeño académico bajo una concepción
productivista de la educación y reduce la calidad a un problema de notas y
promociones.
5. Se debe buscar un balance que integre las diferentes concepciones de calidad a
fin de evitar la situación en donde se impone una visión de calidad unidireccional
y arbitraria.
6. Se debe ser transparente en cuanto a la metodología utilizada para la creación de
la clasificación. Esta transparencia debe incluir justificación de la selección de
indicadores, origen y manipulación de datos y procesos de ajuste estadístico.
7. La selección de los indicadores debe ser en función de su pertinencia y validez.
Esta selección debe basarse en el reconocimiento de la capacidad de cada
indicador para representar la función de calidad que se pretende desarrollar. Los
indicadores no deben ser seleccionados por la disponibilidad de información
11 existente. Se debe ser claro acerca de las razones y bases teóricas que llevaron a
seleccionar cada indicador que estructura el proceso de clasificación.
8. Se debe medir variables de entrada y de salida. No es posible valorar solamente
los resultados sin una valoración precisa de qué insumos recibe esa institución
educativa para cumplir con su misión. No es posible medir resultados en química
de una manera objetiva, si no se tiene en cuenta que esa institución no cuenta con
laboratorios. Es esta una de las fallas más protuberantes del ISCE al suponer que
todas las instituciones se encuentran en igualdad de condiciones para cumplir con
las metas educativas del gobierno. Se hace integrar un factor compuesto que
integre estado de la infraestructura, nivel de la capacitación docente, motivación
de los profesores, corrupción, estilos de liderazgo de los directivos. El mundo real
en el cual se encuentran las instituciones educativas.
9. Se debe informar al público si los cambios en el ranking a lo largo del tiempo se
deben a variaciones en el desempeño de las instituciones, cambios en los pesos
asignados a los factores o cambios en la metodología.
10. Se deben observar normas éticas y recomendaciones de buenas prácticas en los
procesos de obtención y utilización de datos.
11. En lo posible se deben usar datos auditados, verificables y aceptados por las
instituciones.
12. Se debe usar procedimientos científicos para la recolección de datos.
13. Se deben aplicar medidas de garantía de calidad para el propio diseño y
aplicación del Ranking.
14. Se deben establecer medidas de garantía de la credibilidad de los rankings, tales
como
acompañamiento
de
órganos
asesores
internacionales,
entidades
independientes e instituciones internacionales. Este acompañamiento debe ser
real y el compromiso de dichas instancias y entidades debe ser público, de
ninguna manera secreto o sin posibilidad de comprobación.
15. Se debe garantizar en la población objetivo una clara comprensión de todos los
factores que se utilizaron para desarrollar el ranking. Igualmente se deben crear
12 los espacios para que los usuarios de la clasificación ponderen los indicadores
usados.
16. La clasificación debe realizarse de manera que se eliminen o reduzcan los errores
en los datos primarios y las instituciones educativas puedan advertir los errores y
fallas, las cuales deben igualmente ser publicadas.
Estos principios igual han generado un debate que es crecientemente más intenso en el
espacio común europeo y en menor medida en los Estados Unidos. El gran desorden de
mediciones y acreditaciones en este último país es hoy un importante factor de confusión
en el momento de evaluar sus instituciones educativas.
V.
Discusión.
EL Índice Sintético de Calidad Educativa generado por el Ministerio de Educación de
Colombia tiene la virtud de recordar la necesidad de establecer mediciones nacionales
como un instrumento importante dentro de la política educativa. Pero esta
intencionalidad exige el máximo nivel de profesionalismo, democracia, transparencia y
competencia. El país viene de ocho años de oscuridad en su política educativa en donde
bajo las banderas neoliberales se arrasó con la comunidad educativa del país, originando
un grave retraso con relación a metas estratégicas en el propósito de construir un nuevo
modelo de desarrollo basado en conceptos como el de sociedad del conocimiento.
Parece que los vientos para la educación no cambian en Colombia y que los procesos de
exclusión, marginalidad y empobrecimiento desde la propia educación es una realidad
dificilmente negable. Las condiciones en las cuales ha surgido el ISCE parece confirmar
esta afirmación estructural con relación a la situación educativa del país. Un ejercicio
análitico sobre el Índicador permite afirmar que:
5.1.
El ISCE diseñado y aplicado por el MEN no cumple de manera clara varios
parámetros de los principios de Berlín. i) se muestra como el principal parámetro
de evaluación, ii) no ha sido claro con los grupos poblacionales hacía los cuáles va
dirigido (se supone que va dirigido a las instituciones educativas, pero se le
entregó a todo el país en un ejercicio publicitario que tal vez buscaba incrementar
la popularidad del MEN), iii) desconoce la diversidad y condiciones particulares de
las instituciones educativas, iv) no integra diferentes concepciones de calidad, es
más un indicador de productividad académica con la intención de reforzar lógicas
fabriles al interior de la escuela, v) aparece como una medición de calidad
13 unidireccional y arbitraria, vi) presenta problemas con la selección de los
indicadores, vii) no registra las deficiencias y carencias de las instituciones como
un insumo de entrada y viii) no presenta acompañamiento de instituciones
independientes del gobierno y acreditadas por instancias internacionales, lo cual
deja pendiente el tema de la transparencia.
5.2.
Teniendo en cuenta que el MEN afirma que la clasificación no es un ranking pero
que puede ser insumo para un ranking es necesario establecer que: i) un ranking
ordena de mejor a peor según un conjunto ponderado de indicadores de
desempeño y que una ii) clasificación agrupa instituciones por tipos homogéneos
o por semejanzas a la luz de ciertos atributos significativos. Con la retórica del
MEN de negar que el ranking, es efectivamente un ranking, se termina en una
situación en donde se publica un ranking negando su condición de ranking pero
que tampoco cumple con las condiciones de una clasificación. Si se acepta que es
un ranking, se evidencian serios problemas metodológicos y si es una
clasificación, la situación es aún más dificil.
5.3.
Es incomprensible como en un tema tan delicado que afecta la percepción del
sistema educativo en Colombia y que es sensible para la reputación de sus
instituciones educativas, no exista un solo centro de investigación, universidad ni
expertos nacionales que hayan sido convocado para su conceptualización, diseño
y aplicación. Esta situación origina un serio problema de validez, consistencia y
transparencia. A esta problemática se añade el problema del tiempo. Parece que
el ISCE se elaboró de manera express en pocas semanas, cuando en los países
desarrollados el tiempo de diseño y validación para los rankings se toma incluso
años (ver la experiencia de Multi-Rank en Europa).
5.4.
Los referentes institucionales para la elaboración del ranking son esencialmente
regionales, tomándo a Brasil como referente. Los referentes son de países
subdesarrollados para otro país subdesarrrollado. Para solamente citar un ejemplo
de la inconsistencia de tomar estas experiencias como referente, en una medición
donde se integran mediciones educativas globales, denominada Índice Global de
habilidades cognitivas y logros educacionales, elaborada por la Unidad de
Inteligencia de The Economist y Pearson, Brasil ocupa el puesto 38 y Colombia el
puesto 36 entre 40 países.
(http://thelearningcurve.pearson.com/index/index-
ranking). No existe ninguna justificación razonable para seleccionar a Brasil como
referente de mediciones educativas.
5.5.
Con relación a Mina de Gerais, de tiempo atrás se viene referenciando una
experiencia que no es tan significativa como se quiere hacer parecer. Mina de
Gerais es un Estado subdesarrollado dentro de un país subdesarrollado el cual se
14 encuentra a su vez dentro de un continente subdesarrollado. Si bien pueden
realizar sus esfuerzos respectivos, nada de especial importancia sucede allí para
ser replicado. Si bien se reportan algunas experiencias interesantes en cuanto a
políticas públicas en educación, no se tienen evidencias de que en este lugar se
haya desarrollado un indicador de calidad educativa que soportara la construcción
de un ranking de calidad en educación. Si se tomará un referente serio, debería
estar por los lados de los nuevos paises industrializados (NPI). Tal vez sea el
criterio de la facilidad el que nos lleve a las mismas coordenadas de manera
reiterada.
5.6.
No es claro que los atributos seleccionados, satisfagan los criterios de evaluación
de la calidad educativa como igual no es claro que la distribución de clase
resultante refleje la distribución de clase original (Ruiz, Ruiz-Aguliar y Riquelme,
2001). En otras palabras, no existen evidencias teóricas ni procesos estadisticos a
la vista que permitan afirmar que los atributos seleccionados reflejen de manera
óptima una función de calidad educativa como tampoco que esa función se
corresponda con la realidad.
Para que esto fuera posible sería necesario como primer paso hacer explicito y
transparente los criterios y las metodologias con las cuales se construyó el
algoritmo de selección de atributos que permitan un grado alto de certeza que
esos atributos reflejan realmente una función de calidad educativa. Un elemento
problemático es que se toman datos ya existentes como atributos relevantes lo
que induce un serio problema de validez de la totalidad del instrumento de
medición. Se podría pensar que se tomaron estos atributos porqué existían datos
previos más que por su relevancia para el proceso de medición de la calidad
educativa. Esto sin abordar el problema de la validez de las mediciones previas y
de sus resultados.
5.7.
Con la información proporcionada, el ranking no posee una base teórica que lo
respalde. No se presentan referentes teóricos que permitan integrar esos factores
como la expresión de una configuración de calidad educativa, como tampoco que
respalden los pesos que fueron asignados a esos factores. No se evidencian
procesos de realización de análisis multivariante como estrategia para establecer
los factores y sus correspondientes pesos. Se observa al contrario una estrategia
para establecer factores y pesos a priori, lo cual le resta de manera sería validez al
intento de clasificación de las instituciones educativas.
5.8.
No se evidencian procesos de normalización que permitan mayor claridad en el
proceso de medición. Al comparar ciudades de diferente tamaño, instituciones
15 educativas de diferente tamaño y salones de clase de diferente tamaño, las
mediciones necesariamente tienden a generar un sesgo que debe ser
debidamente corregido. Por esta razón los resultados nos llevan a Zipaquirá, Tunja
y Mosquera como un descubrimiento importante.
Con la información disponible se puede asegurar que nada excepcional sucede
allí y que el hallazgo se encuentra más en el instrumento de medición que en la
realidad. Esta
debilidad
teórica
y
este
problema
metodológico
genera
expectativas en estos municipios y afecta innecesariamente la reputación de las
instituciones educativas que han quedado en los últimos lugares del ranking. Si
tomamos como criterio válido que una buena medición de clasificación es aquella
que coloca en las primeras posiciones los mejores atributos para clasificar el
conjunto de datos, es altamente problemático que las primeras posiciones en la
medición tengan serios indicios de ser altamente inconsistentes, ya que no se
evidencia ningún esfuerzo ni intencionalidad claramente especial de políticas
públicas en estos municipios. Las revoluciones silenciosas o los milagros
educativos tienen escasa probabilidad de que sucedan de manera expontánea.
5.9.
Los resultados no son significativos en cuanto no se sabe con exactitud cuales son
los factores que los producen. A lo sumo es una hipotesis de trabajo que no
tendría que ser publicada como una medición gubernamental y oficial de calidad
educativa.
5.10.
Finalmente, no se evidencian mediciones de la exactitud de la clasificación
generada, la consistencia de la información producida por el ranking, como
tampoco el grado de exactitud del algoritmo utilizado para realizar la clasificación.
Es critica la falta de transparencia en este tema.
VI.
6.1.
Conclusiones.
Generar mediciones en la educación es un aspecto positivo, sin dudas. El
problema es cuando las mediciones se adelantan sin los trabajos teóricos previos
y sin un criterio democrático que posibilite la participación integral de
investigadores, universidades y centros de investigación.
6.2.
observando a lo lejos, el ISCE es una medida foranea que ha sido construida de
manera unilateral por unos funcionarios que han tomado unas experiencias
internacionales que no son relevantes. Un ejercicio positivo si, pero apenas como
ejercicio, no como un indicador confiable.
16 6.3.
Tal y como se presenta, el ISCE es una medida de productividad academica
inscrito dentro de una concepción fabril de la escuela, más no un indicador de
calidad educativa.
6.4.
Debido a la multitud de problemas enumerados, el MEN debería retirar el ISCE
como una medida oficial de la calidad educativa y abrir el espacio para realizar las
investigaciones y analisis corrrspondientes, buscando cumplir por lo menos con
los principios de Berlín. El ejercicio hasta ahora realizado sólo puede ser
considerado como una hipotesis de trabajo que no tiene por que generar falsas
expectativas y afectar innecesariamente la reputación de las instituciones
educativas.
VII.
•
Referencias.
BRUGGEMANN, Rainer; PATIL, Ganapati P. (2011) Ranking and Prioritization for Multiindicator Systems -Introduction to Partial Order Applications-, , Editorial Springer New
York Dordrecht Heidelberg London.
•
JOAO E. Steiner. World University Rankings A Principal Component Analysis, Institute of
Advanced Studies of the University of São Paulo; Institute of Astronomy, Geophysics and
Atmospheric Sciences of the University of São Paulo.
•
RUIZ, Roberto ; AGUILAR-RUIZ, Jesús, RIQUELME, José. Evaluación de Rankings de
Atributos para Clasificación Departamento de Lenguajes y Sistemas Informáticos
Universidad de Sevilla, Sevilla, España {rruiz,aguilar,riquelme}@lsi.us.es. disponible en:
http://www.lsi.us.es/redmidas/Capitulos/LMD28.pdf
•
SANTOS, López Leyva (2012).Los rankings universitarios. bases teoricas, metodologia y su
impacto en la educacion superior global. revista de la educación superior issn: 0185-2760
Vol. XLI (1), No. 161 Enero - Marzo de 2012, pp. 141 -149
•
UNIVERSIDAD DE ANTIOQUIA. Rankins de Universidades, Autoevaluación del Sistema
Universitario
de
Investigación.
2011.
Disponible
en:
http://www.udea.edu.co/portal/page/portal/BibliotecaInvestigacion/InformacionGeneral/si
stemaUniversitarioInvestigaci%C3%B3n/autoevaluacion/Rankings_UniversidadesMar15.pdf
•
O`LEARY, Kathleen; MORGAN, Scott, (editores) Education State Rankings 2005-2006
Pre K-12 Education in the 50 United States, Morgan Quitno Press USA.
•
VAN VUGHT, Frans A.; ZIEGELE Frank (Editores) (2011) Multidimensional Ranking -The
Design and Development of U-Multirank-, , Editorial Springer New York Dordrecht
Heidelberg London.
17