Propuesta para el diseño y desarrollo de un sistema

Propuesta para el diseño y desarrollo de un sistema nacional de
evaluación integral de la educación básica en México*
Sylvia Schmelkes**
Antecedentes
La Dirección General de Evaluación depende de la Subsecretaría de Coordinación y Planeación
Educativa y realiza evaluación educativa desde 1970. Tradicionalmente ha realizado evaluaciones por
muestreo de los diferentes niveles de educación básica. Sin embargo, estas evaluaciones no son utilizadas
para la toma de decisiones, ni se ponen a la disposición de los investigadores para realizar estudios
comparativos o para analizar las tendencias temporales. A lo más, y ello recientemente, los resultados de las
evaluaciones se regresan a las escuelas, con algunos parámetros de comparación (con la zona, con su
estado), para que éstas tengan elementos diagnósticos de su eficacia.
Además de lo anterior, la Dirección General de Evaluación (DGE) realiza evaluaciones de programas
especiales (como los compensatorios) o a solicitud de instituciones o entidades federativas. Aplica una
prueba de aptitudes para la ubicación de alumnos en el nivel secundario, pero únicamente en algunas zonas
urbanas de la República. Desde hace cuatro años, es función de la DGE aplicar los instrumentos
evaluativos propios de "Carrera Magisterial" - mecanismo de promoción horizontal de maestros, en
operación desde 1993. Entre ellos se encuentra una prueba de conocimientos pedagógicos a los candidatos,
y una prueba de rendimiento académico a los alumnos de los mismos, a fin de evaluar desempeño. Este es el
esfuerzo más grande de evaluación que se realiza en el país (el año pasado hubo 800 mil candidatos a
ingreso o promoción en Carrera Magisterial). No obstante, salvo raras excepciones a nivel de los estados, la
información que procede de estos esfuerzos no se hace pública y no se utiliza para informar decisiones de
política ni para alimentar los esfuerzos de planeación de zonas o escuelas. La prueba no ha sido
estandarizada.
Hace tres años se creó el Centro Nacional de Evaluación (Ceneval), institución independiente sin
propósitos de lucro que se creó para realizar exámenes de ingreso al nivel medio y superior, así como
exámenes de actualización de profesionales. Actualmente se espera de este centro el desarrollo del sistema
nacional de evaluación de la educación media y superior. Esta institución está siendo subsidiada por el
gobierno federal mientras logra ser autofinanciable -ya está cerca de serlo. El Ceneval ha desarrollado una
prueba de ingreso a la educación media y otra a la educación superior, que aplica en las instituciones que lo
*
Este documento está fuertemente inspirado en un trabajo realizado por la Universidad Autónoma de
Aguascalientes, concretamente por Felipe Martínez Rizo, y que fue elaborado en el marco de un proyecto
financiado parcialmente por la Secretaría de Educación Pública. El trabajo se titula "Diseño e implementación de
un sistema integral de evaluación de la calidad de la educación básica en Aguascalientes". Este documento fue
ampliamente discutido en un seminario de expertos nacionales llevado a cabo en Aguascalientes los días 11 y 12 de
septiembre del año en curso. En el participaron, además del equipo involucrado en su desarrollo, León Garduño, de
la Universidad de las Américas; Eduardo Backoff, de la Universidad Autónoma de Baja California; Javier Loredo,
de la Universidad Anahuac; Guillermo Tapia, de la Secretaría de Educación de Guanajuato; Margarita Zorrilla, del
Instituto de Educación de Aguascalientes; Marisela Márquez, del Instituto de Educación de Aguascalientes;
Guadalupe Ruiz, de la Universidad Autónoma de Aguascalientes; y SyIvia Schmelkes, del Departamento de
Investigaciones Educativas del Cinvestav-IPN. Los resultados de esta discusión se recogen en el planteamiento que
aquí se hace.
**
Del Departamento de Investigaciones Educativas/ Centro de Investigación y Estudios Avanzados - IPN (México).
solicitan, y se encuentra en proceso de diseñar pruebas de egreso de determinadas profesiones, que servirían
también como pruebas de actualización profesional. En 1996, por primera vez, elaboró el llamado "examen
único" para el ingreso a las diversas modalidades de educación media existentes en el área metropolitana de
la ciudad de México y, además, coordinó la Comisión Metropolitana responsable de su aplicación.
Mediante esta prueba, ubicó a 260 mil aspirantes en las diversas opciones disponibles mediante una
combinación de resultados del examen y opción del estudiante. El ejercicio debe calificarse de exitoso, pues
ubicó a los 260 mil en alguna institución media superior. Sin embargo, tanto su implantación como sobre
todo los resultados causaron un enorme revuelo político. Cuando los resultados se dieron a conocer, hubo
inconformidad manifiesta por parte de un grupo de quienes no fueron ubicados en los planteles de su
primera opción. Los inconformes cerraron la Secretaría de Educación Pública y la oficina de la rectoría de
la Unam, de manera intermitente, a lo largo de cinco semanas. A pesar de todo ello, fue un interesantísimo
ejercicio de utilidad de la evaluación, de racionalización del ingreso a este nivel educativo, e inclusive de
diagnóstico de la educación secundaria en el área metropolitana.
Justificación de la propuesta de un sistema nacional de evaluación integral de la educación
básica
He señalado en otras ocasiones (Schmelkes, 1996) lo urgente que resulta en el caso de México contar
con información para construir uno de los principales indicadores de calidad de la educación, que se refiere
a los resultados de aprendizaje, en este caso de la educación básica. Ello es así:
•
Por lo alarmantemente bajos que resultan los resultados de aprendizaje en los diversos intentos
que se han realizado en el país por medirlos.1
•
Por las evidencias que existen de la forma polar en la que se distribuye la calidad de la
educación primaria (Schmelkes et alfi, 1996) entre las zonas urbanas de clase media, por un
lado, y las zonas marginales urbanas y las rurales e indígenas por otro. La diferencia es tan
abismal que un certificado de educación primaria en zonas marginales y rurales equivale a
menos, y a veces a mucho menos, de un cuarto grado en una zona urbana de clase media.
•
Porque las diferencias en la calidad de los resultados educativos parecen aumentar conforme
progresan los alumnos en su trayectoria escolar.
La ausencia de un sistema de evaluación de los resultados de aprendizaje ha mantenido ocultas
durante largos años estas graves realidades.
La estructura y funcionamiento del sistema nacional de educación básica, así como la legislación de
la misma, y de la propia evaluación, han cambiado significativamente desde 1993. Sin embargo, no ha
sufrido modificaciones notorias lo que se hace desde la Dirección General de Evaluación a nivel nacional.
Es por tanto necesario adecuar la función de la evaluación nacional a la realidad actual del país.
1
No nos referimos solamente a los esfuerzos realizados por la Dirección General de Evaluación, sino a las
investigaciones - fragmentarias, pero coincidentes - que han incluido alguna medición de aprendizajes. Entre ellas
están Tirado, 1986; Guevara, 1992; y Schmelkes, 1996.
Cambios importantes
Son tres los esenciales:
•
En primer lugar, las funciones de la Federación. La Federación conserva las funciones de
normar, compensar y evaluar (art. 12, fracción 9, y art. 29 de la Ley General de Educación,
expedida en 1993). La relación entre las tres funciones, pero sobre todo entre la evaluativa y la
normativa, y entre la evaluativa y compensatoria, es evidente. Es necesario perseguir el
objetivo de facilitar esta relación, así como de dotar al aparato que cumple la función
evaluativa de los elementos de calidad necesaria para desempeñar adecuadamente la función
clave que le corresponde.
•
En segundo lugar, el carácter público de la evaluación. Las autoridades educativas están
obligadas a dar a conocer a la sociedad los resultados de las evaluaciones que realicen (art. 31
de la Ley General de Educación). Ello habla claramente de la conveniencia de que la
evaluación del sistema educativo nacional sea realizada por un órgano desconcentrado
autónomo, lo que además es recomendado por otra serie de razones en la literatura reciente
sobre sistemas nacionales de evaluación.
•
En tercer lugar, las funciones de los estados. Los estados deben poder realizar evaluaciones
complementarias a las que realiza la Federación a fin de contar con elementos más cercanos y
frecuentes para introducir correctivos en sus sistemas educativos. La Federación debe cumplir
una función de promoción del desarrollo de sistemas estatales de evaluación, y
subsidiariamente proporcionar a los estados instrumentos adecuados para su uso a este nivel.
•
Por último, el propósito del presente régimen de montar un sistema nacional de evaluación:
En el ámbito de la evaluación, la SEP diseñará un sistema nacional que tenga como
propósito medir los resultados educativos y abra paso a la construcción de indicadores de
eficiencia, equidad y aprovechamiento. Entre las actividades más importantes estarán la
medición y la evaluación externas a la escuela de los resultados del aprendizaje, pues el
éxito de la acción educativa tendrá que verse reflejado en el desempeño de los estudiantes.
Al avanzar en dicho propósito se contará con elementos de diagnóstico y se podrán
establecer comparaciones entre grupos de alumnos, de escuelas, de instituciones formadoras
de docentes o de regiones, en un momento dado y a lo largo del tiempo. Este tipo de
evaluación del aprendizaje será complementario al que ocurre cotidianamente en el aula...
La definición y utilización de estándares nacionales para medir y evaluar los resultados del
aprendizaje es crucial para mantener la unidad de la educación en nuestro país...
Es muy importante que en cada entidad federativa exista capacidad para la generación,
procesamiento, análisis e interpretación de información relativa al funcionamiento y
desempeño de los servicios educativos... La SEP apoyará el esfuerzo de los estados para la
construcción de sistemas de evaluación y la capacitación de personas y grupos para
operarlos y aprovecharlos...
... Los resultados de las evaluaciones se tomarán en cuenta para mantener al día los
contenidos, materiales, métodos educativos, así como los programas y acciones de
formación y actualización de maestros; orientar la labor compensatoria del gobierno
federal; asignar los recursos presupuestarios entre programas y líneas de acción, revisar de
forma permanente el papel de directores y supervisores escolares, y fortalecer y dar mayor
claridad a la relación entre la autoridad educativa federal y sus contrapartes de las
entidades federativas.
... La SEP establecerá los medios para que se publiquen (los resultados) periódicamente y,
en su caso, acordará con los estados la manera en que hagan pública la información y
evaluación de sus sistemas educativos...
Los resultados de las evaluaciones del aprendizaje, principalmente los que expresan los
logros de grupos escolares y de planteles, estimularán a maestros y alumnos en sus
esfuerzos por alcanzar mayor calidad (Poder Ejecutivo Federal, 1996:38-40).
Parece conveniente especializar un organismo nacional en el diseño, aplicación y análisis periódico de
un sistema nacional de evaluación (monitoreo) integral de la calidad de la educación básica del país.
Definición de calidad de la educación
La calidad es un concepto complejo constituido por, al menos, cuatro componentes, cada uno de los
cuales deberá ser evaluado:
•
La relevancia de los aprendizajes para la vida actual y futura de los educandos; es decir, la
relación entre los objetivos y los resultados de aprendizaje logrados por el sistema educativo y
las necesidades socialmente definidas. Esta dimensión dice relación con la función normativa
del sistema.
•
La eficacia de los aprendizajes, es decir, el grado en el que los resultados logrados por el
sistema educativo realmente responden a los objetivos planteados por el mismo. Esta
dimensión también dice relación con la función normativa del sistema.
La eficacia puede medirse en el corto plazo (eficacia interna) y en el mediano y largo plazos
(impacto).
•
La equidad, que se refiere al grado en que el sistema educativo logra sus objetivos básicos (los
que se definen como los propios de la educación obligatoria, que lo es para todos los
mexicanos) con todos los alumnos, independientemente de sus antecedentes familiares,
socioculturales y económicos. Esta dimensión dice relación con la función compensatoria del
sistema.
•
La eficiencia, que relaciona los costos de los insumos con los productos alcanzados.
Todas estas son dimensiones importantes de la calidad de la educación básica. No obstante, en
ocasiones estas dimensiones entran en conflicto, y no es posible lograrlas todas. Por ejemplo, la relevancia
puede oponerse a la equidad, en la medida en que resulte demasiado costoso llevar educación relevante
(piénsese en computación, por ejemplo) a todos los alumnos. Es necesario reconocer la existencia de estos
posibles conflictos entre las dimensiones y evaluar también el costo que significa para alguna dimensión, en
algún momento dado, el mejoramiento de otra.
Los componentes anteriores hacen clara referencia a los insumos del hecho educativo y al resultado
(producto) del mismo. Sin embargo, entre insumos y resultados media un conjunto de procesos educativos,
que son los que, en última instancia, definen los resultados. Definir estos procesos, y poder evaluarlos,
constituye necesariamente parte de una propuesta de evaluación integral del sistema educativo nacional.
Ahora bien, además de estos componentes del concepto de calidad educativa, la calidad tiene dos
características que interesa tomar en cuenta si se pretende su evaluación:
•
La primera de ellas es que la calidad es un concepto dinámico. La calidad no constituye un
punto fijo de llegada. Siempre es posible lograr mayor calidad. De ahí que su evaluación debe
proponerse también como dinámica, modificando sus parámetros de manera permanente en
función de los logros ya alcanzados y de los objetivos y finalidades perseguidas.
•
La segunda es que la calidad es un concepto relativo. La calidad se juzga en relación con algo
respecto a la cual se compara: el pasado, el futuro deseado, estándares definidos
nacionalmente, estándares internacionales etc. El juicio de valor que emitirá la evaluación
estará en función de la comparación con estos parámetros. De ahí que resulta esencial definir
estos parámetros -que a su vez serán dinámicos - respecto a los cuales nos estamos comparando, de preferencia a partir de ejercicios colectivos y representativos de diversos sectores de
la sociedad nacional. Desde luego, la relación con la función normativa de la Federación queda
clara a partir de esta característica.
Evaluación e investigación evaluativa
La evaluación del sistema educativo permite descubrir el estado del mismo en un momento
determinado. De la misma manera, permite hacer comparaciones de muy diversa naturaleza: en el tiempo,
entre sistemas educativos, entre regiones, entre tipos de escuela etc. La descripción en sí misma permite la
realización de ejercicios prospectivos, a partir de la extrapolación de la información recopilada.
No obstante, la evaluación per se no nos dice por qué están así las cosas. Para ello es necesario la
investigación evaluativa. Puesto que interesa también explicar a fin de poder corregir, el organismo
especializado del que estamos hablando debe realizar, por cuenta propia, investigación evaluativa; permitir
que se realice, a partir de su información descriptiva, investigación evaluativa; y fomentar la realización del
uso investigativo de su información.
La investigación evaluativa que el organismo realizaría por cuenta propia estaría fundamentada en
los planteamientos causales (hipotéticos) que se derivan de la investigación educativa a nivel mundial. De
esta forma, por ejemplo, los indicadores de proceso que incluya en su sistema serán aquellos que la
investigación ha mostrado tienen alguna capacidad de explicar diferencias en los resultados educativos.
El diseño del sistema de evaluación integral de la calidad de la educación básica nacional
•
La dimensión temporal y la integralidad: El diseño de los contenidos de la evaluación.
Se pretendería proponer, como ya se ha dicho, un sistema de evaluación integral de la calidad
de la educación básica a nivel nacional. Sin embargo, es evidente que el sistema no podrá
cubrir todos los aspectos que la integralidad requiere desde el momento de su fundación. Ello
es así por varios motivos, pero uno de los más importantes es el hecho de que no existen
suficientes recursos humanos preparados en los diferentes aspectos para que sea posible. Es
necesario ir preparando estos recursos humanos, quienes deberán irse integrando al sistema en
forma paulatina a lo largo de los próximos 10 años. Otra razón tiene que ver con la necesidad
de preparación instrumental que muchos de los aspectos requieren.
No obstante, se considera esencial imaginarse el sistema como integral desde un principio, y
diseñarlo como tal. Ello implica no sólo la exhaustividad en el listado de aspectos a evaluar
sino, sobre todo, su articulación.
•
El diseño de las metodologías del sistema de evaluación.
Puesto que no todos los aspectos a evaluar en un sistema integral implican el mismo tipo de
procedimientos metodológicos, el diseño del sistema supone una cuidadosa definición de las
metodologías que cada aspecto supone. De esta forma, un sistema integral de evaluación debe
recurrir a procedimientos de tipo censal; a estudios realizados por medio de muestras; a
estudios llevados a cabo a través de encuestas (para definir relevancia, por ejemplo); a
investigaciones de carácter más cualitativo (los referidos a procesos, por ejemplo) etc. Y
nuevamente, requiere de una adecuada visión de la articulación entre estos diferentes
procedimientos metodológicos. Por otra parte, es importante que se diseñe la forma de
mantenernos al día y a la vanguardia en materia de metodología evaluativa.
•
El diseño de la aplicación de la evaluación.
Para algunos de los aspectos a ser evaluados, y notablemente para las pruebas de resultados de
aprendizaje, se requiere, como bien se sabe, de una complicada logística de aplicación. Esto es
algo que la Dirección General de Evaluación ha desarrollado con bastante finura, sobre todo a
partir de la implantación de Carrera Magisterial, y habría que rescatar su experiencia.
•
El diseño del análisis de la información evaluativa.
Es evidente que no basta con recabar la información con procedimientos metodológicos muy
claramente definidos. Es esencial que las formas mediante las cuales se va a procesar,
almacenar y, sobre todo analizar esta información se encuentren claramente definidas desde un
principio. Es recomendable que se prevea también la formación de recursos humanos preparados para llevar a cabo los diferentes tipos de análisis que el sistema requiere, así como
para mantener actualizados estos procedimientos y para mantenernos a la vanguardia en esta
materia.
La metodología y el análisis de la información deben ser claramente previstos en la medida de
lo posible desde un principio. No obstante, se considera recomendable que exista en el sistema
de evaluación la definición explícita de la función de mantenerse el día e innovar y probar
procedimientos en este sentido.
•
El diseño del uso de la información evaluativa.
Esta es quizás la parte más importante del diseño del sistema, no porque sea la más compleja o
difícil, sino porque si el uso de la información, a los diferentes niveles, no está garantizado, de
nada sirve un sistema integral de evaluación.
El uso de la información evaluativa debe considerarse a diversos niveles:
•
A nivel del sistema educativo nacional, para retroalimentar la función normativa (como
resultado de la evaluación de relevancia y eficacia interna e impacto), y la función
compensatoria (como resultado de la evaluación de equidad), así como para racionalizar el uso
y distribución de recursos materiales y humanos (como resultado de la evaluación de
eficiencia). Es conveniente que el organismo que produce los informes evaluativos sea externo
a la Secretaría de Educación Pública (como organismo desconcentrado autónomo) a fin de
asegurar todo lo que permite la autonomía: independencia de juicio, continuidad a pesar de
cambios políticos, posibilidad de profesionalización del servicio. Los informes que produzca
este organismo serán de diferentes tipos y se producirán con diferente periodicidad. No
obstante, al menos cada dos años, deberá producir un informe sobre el estado de la calidad de
la educación básica en el país. Este informe incluirá recomendaciones de política educativa que
se deriven del mismo y que se harán principalmente a la Secretaría de Educación Pública, y
excepcionalmente a otras autoridades o a gobiernos estatales.
•
A la sociedad en general. Una versión menos técnica pero igualmente completa de este
informe bianual se presentará, por parte del organismo, a la sociedad nacional en un acto
público, de preferencia comentado por personas de reconocido prestigio en el campo.
•
A los gobiernos de los estados. La información correspondiente a cada estado, con su
respectivo análisis y comparación con otros estados similares y con la media nacional, será
entregada a cada estado.
•
Cuando proceda, y sea posible generar información a nivel de sector, zona o municipio, se hará
lo propio y se entregará, según corresponda, a la autoridad educativa estatal para que lo haga
llegar a quien corresponda a nivel local. La producción de información a niveles intermedios
del sistema se considera esencial. Esta, sin embargo, deberá ir acompañada de claras instrucciones para su utilización, al menos durante algún tiempo.
•
A nivel de escuela, cuando corresponda, con sus respectivas comparaciones con el promedio
de la zona, con el municipio, con el estado, con la media nacional. Aquí también convendrá, al
menos durante algún tiempo, acompañar la información de instrucciones para su lectura y su
uso. En esto también ya hay considerables adelantos en la Dirección General de Evaluación.
No se considera conveniente, en ningún caso, proporcionar información más detallada que la
de nivel escuela. Al respecto, conviene mencionar que resulta necesario elaborar un código
ético para el manejo y uso de la información evaluativa.
Sobre la previsión de los efectos perversos de la evaluación del aprendizaje
Este apartado simplemente constituye un llamado a tomar en cuenta la experiencia internacional
respecto de los efectos perversos de realizar evaluaciones nacionales de carácter censal, a fin de poder evitar
producirlos en la medida que esto sea posible.
A guisa de ejemplo, me permito señalar tres efectos perversos documentados acerca, concretamente,
de la medición de los resultados de aprendizaje:
•
El primero se refiere a la sustracción y venta de exámenes. Para evitar estos efectos se han
desarrollado diversos mecanismos de protección de las pruebas durante su elaboración,
almacenaje, traslado y aplicación. Los exámenes se aplican exactamente el mismo día en todas
las escuelas, lo cual exige una complicadísima y costosa logística de aplicación.
Quizás el hecho de que los resultados de los exámenes no sean utilizados para tomar decisiones
que afecten a individuos pueda disminuir parcialmente los peligros señalados. Otra vía es la de
elaborar exámenes equivalentes, o producidos en forma aleatoria por computadora. El asunto
amerita un análisis más específico.
•
El segundo se refiere a la tendencia natural de los docentes de enseñar en función de la prueba
(teaching to the test). Con el tiempo los maestros descubren el tipo de aspectos en torno a los
cuales se elaboran los exámenes, y ello comienza a orientar sus prioridades de enseñanza. El
grave peligro de que esto ocurra es que lo que no se incluye en los exámenes no se enseña. Esto
ha sucedido, por ejemplo, con la escritura, que difícilmente puede incluirse en exámenes de
aplicación nacional. Este efecto perverso, que realmente lo es porque puede repercutir en la
calidad de la educación, puede prevenirse parcialmente mediante la aplicación de exámenes
frecuentes de otras áreas por muestreo, mediante la inclusión de aspectos en los exámenes que
no necesariamente tendrán que calificarse censalmente (como escritura, por ejemplo) etc. No
obstante, se trata de otro aspecto que amerita un análisis a fondo.
•
El tercero tiene que ver con la peligrosa tendencia, que puede generar un sistema nacional de
evaluación, a que las escuelas, o los maestros, "disuadan" a los alumnos problemáticos de
continuar en su escuela. Igualmente, puede conducir - como de hecho ya está sucediendo con el
programa de Carrera Magisterial - que los maestros se nieguen a aceptar alumnos con discapacidades dentro de sus grupos, con lo que estaríamos atentando contra la integración educativa
pretendida. Seguramente habrá formas de prevenir este resultado. Una de ellas, que se ocurre
de inmediato, es la de canalizar por otras vías estímulos a los maestros y a las escuelas que
aceptan, mantienen y promueven a alumnos problema y a alumnos con discapacidades.
Los componentes del sistema de evaluación integral de la calidad de la educación básica
Se considera de manera aún tentativa que este sistema deberá contar con información en tomo a al
menos tres grandes ejes. En ellos es conveniente que queden incluidos los indicadores que México debe
entregar a la Unesco, así como los indicadores que ya operan y los que están siendo elaborados más
recientemente por la OCDE. Estos ejes son los siguientes:
Un sistema de evaluación de los resultados de aprendizaje
La calidad se entiende como el logro - creciente - de los objetivos definidos por la instancia
normativa.
Este punto, que es que tiene mayor relación con el evento que nos convoca, supone que se definan
estándares nacionales, para empezar, por ciclos educativos (primaria y secundaria, al menos) y, también
para empezar, para las competencias comunicativas y de razonamiento matemático en situaciones
aplicadas. Con el tiempo, será necesario desarrollar pruebas de conocimiento de las diversas áreas del
currículum, así como pruebas de adquisición de actitudes y valores. 2
Dichos estándares deben permitir la elaboración de exámenes nacionales para el sexto grado de
primaria y para el tercer grado de secundaria. Estos exámenes deberán aplicarse a toda la población de
estos grados. Los resultados de estos indicadores se traducirán al menos en los siguientes indicadores
relacionados con la eficacia y la equidad educativa, ambos componentes de la calidad educativa.
2
Se ha iniciado la construcción de pruebas, construidas como escala, en un proceso tendiente a la estandarización,
y a partir de la definición de estándares nacionales, para todos los grados de primaria y para la comprensión lectora
y las habilidades matemáticas. Se espera contar con una primera prueba, piloteada, para el próximo ciclo escolar
(septiembre 1997).
Respecto a la eficacia
•
•
Logro promedio (desde luego, por diversas desagregaciones) de la competencia comunicativa
en primaria.
Logro promedio de la competencia comunicativa en secundaria.
•
Logro promedio de la competencia en razonamiento matemático en primaria.
•
Logro promedio de la competencia de razonamiento matemático en secundaria.
Deberán realizarse comparaciones en el tiempo (lo cual requiere que los exámenes nacionales
aplicados en los diferentes ciclos escolares sean comparables entre sí), con lo que se genera un indicador de
avance del sistema de la eficacia.
Respecto de la equidad
•
•
Magnitud y significatividad de las diferencias entre regiones, modalidades, sexos..., por
competencia y por nivel.
Magnitud de la dispersión de los restados (por diversas desagregaciones, hasta el nivel de la
escuela misma), por competencia y por nivel.
Respecto a la eficiencia
•
Comparación de costos/resultados (por tipos de escuela, modalidades educativas etc.), y en el
tiempo.
Un sistema de evaluación del personal educativo (maestros, directores, supervisores,
mandos medios, funcionarios)
La calidad se entiende como el logro - creciente - de profesionalismo (que se define a través de
indicadores específicos) en cada uno de estos niveles.
Un sistema de evaluación de los establecimientos escolares
La calidad se entiende como el logro - creciente - de la eficacia y la equidad en el establecimiento y de
profesionalismo de su personal.
Estos indicadores deberán sintetizarse, complementados con algunos otros, en un sistema de
indicadores que permitan monitorear la calidad del sistema educativo.
El sistema de evaluación de los resultados de aprendizaje consiste fundamentalmente en el diseño,
la aplicación, el análisis y la interpretación de pruebas de diversos tipos y para los diversos niveles
educativos.
Entre los tipos de pruebas a desarrollar se encuentran: pruebas de aptitud (lectura, razonamiento
verbal y matemático); pruebas de conocimiento de las diversas áreas del currículum, contemplado toda la
gama de los posibles niveles de dominio y no solamente de los más elementales; pruebas de adquisición de
actitudes y valores etc.
Seguramente habrá que comenzar con pruebas para el fin de la primaria y de la secundaria, aunque
en este segundo caso el Ceneval está desarrollando ya una prueba general que podrá aprovecharse. Luego
habrá que pensar en pruebas para otros grados o niveles.
El número de pruebas a aplicar podrá variar. Las pruebas de fin de primaria y secundaria deberán
aplicarse, deseablemente, a todos los alumnos que terminen estos niveles. Otras pruebas podrán aplicarse a
muestras de alumnos construidas de tal manera que permitan hacer juicios sobre el nivel de una escuela, de
una zona, o de todo el estado.
Las pruebas de tipo más general deberán aplicarse anualmente (de fin de primaria y secundaria). Las
más especializadas de ciertas materias o aspectos podrán aplicarse cada cierto número de años, de suerte
que en un ciclo de, por ejemplo, cinco, se cubran todas.
Las pruebas podrán aplicarse, como ya indicábamos, a principios del año escolar.
El sistema de evaluación de personal educativo deberá monitorear el proceso de profesionalización
del personal a los diferentes niveles del sistema. Habrá de discutirse, en su momento, la relación que guarda
este sistema con las mediciones que actualmente se hacen para Carrera Magisterial. Se considera que las
evaluaciones de Carrera Magisterial tienen un objetivo de carácter fundamentalmente laboral, orientado a
tomar decisiones sobre personas individuales, que escapa a las funciones de un sistema como el que se está
describiendo. No obstante, la información que recaba Carrera Magisterial puede coincidir con la
información que esta parte del sistema de evaluación requiere, por lo que podrá manejar, de manera
agregada, información procedente de esta fuente. Pero lo que este rubro incluye es un sistema que incluya
indicadores que, respecto a los docentes, sigan cercanamente la literatura, y más adelante investigaciones
nacionales, sobre enseñanza efectiva. Además, dicho sistema deberá incluir la evaluación de personal de
diversos niveles: directores de escuela, supervisores, mandos medios e incluso funcionarios.
El sistema de evaluación de los centros escolares se fundamentará, por su parte, en la literatura
sobre escuelas efectivas y, más adelante, en los resultados de estudios nacionales realizados al respecto. La
evaluación externa de centros escolares podrá ser complementada con un mecanismo de evaluaciones
realizadas por parte de los supervisores, así como, cuando sea posible, por autoevaluaciones realizadas por
los centros en función de los problemas que hayan decidido, colectivamente, combatir (mediante procedimientos tales como el proyecto escolar).
El sistema de indicadores para monitorear integralmente la calidad de la educación básica
articula los tres ejes anteriores y añade además algunos indicadores que no caben dentro de estos tres ejes
centrales, tales como información relativa al contexto, información relativa al gasto educativo etc., así como
información requerida por organismos internacionales (Unesco, OCDE, Pnud) y que no haya sido
contemplada en los rubros anteriores.
Los tipos de indicadores
Los conjuntos de indicadores que deberán ser construidos para integrar el sistema serían,
tentativamente, los siguientes:
•
Indicadores de contexto (pirámide de edades, nivel socioeconómico promedio de la población,
presencia de problemáticas especiales etc.). En este rubro caben las expectativas de la
población en relación con la educación.
•
Indicadores de insumos. Estos indicadores se refieren fundamentalmente a datos sobre la
infraestructura física y de equipo de las escuelas, sobre el personal del sistema educativo,
sobre los alumnos y sus características escolares, sobre el gasto educativo etc.
•
Indicadores de proceso. Estos indicadores son los más difíciles de construir dada su naturaleza
fundamentalmente cualitativa. No obstante, su presencia en un sistema como el aquí descrito
es esencial. Se sugiere incluir algún tipo de medidas tales como evidencia de cumplimiento de
la normalidad mínima (asistencia de maestros y alumnos, horas efectivas de enseñanza etc.).
•
Indicadores de resultados. Estos se refieren tanto a los resultados referidos a la eficiencia del
sistema (aprobación, permanencia, eficiencia terminal, tasas de absorción etc.) como a los
relacionados con los resultados de aprendizaje.
•
Indicadores de impacto. Estos indicadores se refieren tanto a la escolaridad promedio de la
población como a la población empleada/desempleada por nivel de escolaridad, los ingresos
por nivel de escolaridad, la participación en actividades cívicas por nivel de escolaridad, los
niveles de analfabetismo funcional de la población adulta etc.
El organismo de evaluación
Las funciones que debe cumplir la instancia que se dedique a la evaluación del sistema integral de
educación básica, así como la experiencia internacional reciente en este sentido, parecen fuertemente sugerir
la conveniencia de que dicha evaluación sea llevada a cabo por un organismo desconcentrado y autónomo
de la Secretaría de Educación Pública. Dicha ubicación permite:
•
Que el organismo mantenga la continuidad necesaria entre regímenes políticos, para conducir
un sistema evaluativo que dé cuenta del progreso educativo del país.
•
Que el organismo mantenga la autonomía e independencia necesarias para emitir juicios de
valor (la actividad evaluativa hace esto por definición) -y consecuentemente recomendaciones
de política - sin sentirse por ello políticamente afectado.
•
Que el organismo opere con el profesionalismo necesario para llevar a cabo las importantes y
complejas tareas que sus actividades implican.
•
Y, por último, que el organismo responda a un claro mandato del Ejecutivo Federal y rinda
cuentas al mismo y a la sociedad en general (por ello es preferible que no se trate de un
organismo privado, como el ETS en Estados Unidos).
El organismo autónomo podrá o no incluir a su interior la función de diseñar, probar, aplicar,
calificar y analizar las pruebas de rendimiento académico. Parecería lógico que así fuera, pero es probable
que dicho organismo considere que esta función requiere de una especialización muy propia de la actividad.
En efecto, esta actividad es la que mayor esfuerzo se lleva y mayor número de personas necesita.
De ser así, el organismo autónomo pudiera subcontratar los servicios de un instituto o centro, que
puede estar representado por un consorcio de universidades, dedicado a estas funciones.3 De la misma
manera, los gobiernos de los estados pudieran encargarle a dicho instituto o centro el desarrollo de pruebas
especiales, o pudieran comprarle al instituto diversos tipos de pruebas que éste elabore. Desde este punto de
vista, puede representar ciertas ventajas que dicho instituto sea externo al organismo.
Si se decide que las pruebas se elaboren internamente, conviene que el departamento respectivo tenga
la flexibilidad necesaria como para, además de dar respuesta a las actividades que tienen que ver con el
desarrollo el mandato central del organismo, pueda a su vez dar respuesta a demandas especiales de
instrumentos de medición de aprendizaje que provengan de los estados.
3
Se tienen ya detectadas cinco universidades con realizaciones en el campo de la elaboración profesional de
pruebas de medición de resultados de aprendizaje: la Universidad Autónoma de Aguascalientes, la Universidad
Autónoma de Baja California, la Universidad Nacional Autónoma de México, la Universidad Anáhuac y la
Universidad de las Américas en Cholula (Puebla).
En todo caso, se considera más conveniente que exista un organismo que ofrezca estos servicios, en
lugar de pretender que todos los estados desarrollen sus propios centros de elaboración de pruebas. En
cambio, en cada estado sí deberá existir un organismo análogo al nacional autónomo, que pueda cumplir las
funciones de investigación, evaluación e información social del estado que guarda la calidad educativa en su
entidad. Será función del organismo federal, en un primer momento, fomentar la creación (con personal
debidamente formado) de estos centros en cada estado y, más adelante, de apoyar su actividad central y su
creciente profesionalismo.
Referencias bibliográficas
Guevara, Gilberto. El malestar educativo. Nexos (170), 1992.
Poder Ejecutivo Federal. Programa de Desarrollo Educativo 1995-2000. México, Poder Ejecutivo
Federal, 1996.
Schmelkes, Sylvia. La necesidad urgente de contar con información para construir uno de los
principales indicadores de calidad de la educación, que se refiere a los resultados de
aprendizaje de la educación básica. Ponencia presentada en el Seminario Internacional de
Expertos en Indicadores Educativos, organizado por la SEP en Manzanillo, Col., México,
1996. (Documentos DIE, 46.)
-------; Lavín, S.; Noriega, C. y Martínez, E La calidad de la educación primaria en México:
estudio de cinco zonas en el estado de Puebla. París, Instituto Internacional para la
Planeación Educativa, 1996.
Tirado, Felipe. La Crítica situación de la educación básica en México. Ciencia y Desarrollo, 12(71),
1986.