LA CALIDAD DE LAS IES Y LA FORMA DE EVALUARLA Y
Anuncio
LA CALIDAD DE LAS IES Y LA FORMA DE EVALUARLA Y PROMOVERLA RETOS Y PERSPECTIVAS DEL SINAES Felipe Martínez Rizo Cátedra Enrique Góngora Trejos "Educación Superior y Sociedad" San José de Costa Rica, septiembre 19 de 2014 Introducción Quiero comenzar diciendo que considero muy honrosa la invitación que me ha hecho el SINAES, para hacerme cargo de esta conferencia en el marco de la Cátedra “Enrique Góngora Trejos”. El tema de la calidad, el tema de la evaluación y de la búsqueda de la mejora, ha sido efectivamente un asunto que me ha ocupado a lo largo de muchos años, durante mucho tiempo fundamentalmente en terrenos de educación superior y desde hace algún tiempo también en educación básica. Por tal motivo acepté la invitación, con cierto atrevimiento, pero esperando que lo que pueda aportarles les resulte de utilidad. Comienzo citando las preguntas que don Gilberto Alfaro me ha recordado. Qué remover para no perder vigencia, a dónde ir además de acreditar carreras, cómo pasar de evaluar únicamente a promover la calidad, qué nuevas formas se podrían encontrar, para hacer ambas cosas. Y una pregunta muy particular que atenderé al final: ¿Será posible hacer una evaluación más confiable, sin tanto esfuerzo, con menos desgaste, tanto por parte del SINAES, como de las instituciones? ¿Estamos acaso presos de un paradigma que tenemos que superar? Para responder esas preguntas voy a comenzar revisando cómo han cambiado las expectativas sociales sobre lo que deben ser las instituciones de educación superior. Me parece que si hablamos de evaluación de la calidad de las instituciones de educación superior, primero tenemos que ponernos de acuerdo en qué entendemos por calidad de las instituciones de educación superior y para esto necesitamos ponernos de acuerdo en qué deben hacer las instituciones de educación superior. Y esto es algo que está cambiando, no es algo inamovible. Voy a comenzar con unas consideraciones al respecto y digo que solo después de haber recorrido estos puntos, entraré propiamente a analizar las formas de evaluar esa calidad y eventualmente de promoverla. Entonces ya podríamos pensar qué podría hacer el SINAES, para enfrentar los retos que tiene actualmente. Reitero que agradezco mucho la distinción de esta invitación y me disculpo de antemano si dijera cosas que no correspondan al contexto costarricense. Ustedes sabrán tomar lo que se aplique y lo que corresponda a su situación. 1. La tarea de las IES y su calidad En relación con la manera en que ha evolucionado la concepción que se tiene de lo que deben hacer las universidades y, de manera más general, las instituciones de educación superior, comenzaré recordando que hasta hace no mucho tiempo la desigualdad social se consideraba completamente normal. Es sólo a partir de la ilustración, con la Revolución Industrial y las revoluciones políticas del siglo XVIII cuando surgen las concepciones modernas de igualdad de derechos humanos. Luego esas ideas avanzan. Se habla de derechos de primera generación, de segunda, tercera y cuarta generación. Los textos que ahora son referentes internacionales al respecto datan sólo de la Segunda Guerra Mundial, con la creación de la Organización de las Naciones Unidas. Hay, además, cambios en el campo económico. En la antigüedad y no hace tanto tiempo las economías solo requerían de un pequeño número de personas formadas con un nivel alto, sofisticado y era perfectamente aceptable y funcional que la gran mayoría de la población no tuviera un alto nivel de educación. Y en lo político, un sistema no democrático, como los del antiguo régimen, no implicaban ciudadanos pensantes, críticos. La evolución de nuestras sociedades ha hecho, pues, que cada vez se vea más necesario que todos los ciudadanos accedan a niveles más y más altos de escolaridad: primero a la educación elemental, la primaria; luego a la secundaria inferior y después a la superior, que en estos momentos se considera en muchos países como lo mínimo que debería tener un ciudadano, y por fin la educación superior. Por ello hasta no hace mucho tiempo los sistemas educativos estaban estructurados con base en ese supuesto, de que era natural que solamente una minoría de muchachos tuviera muy buenos niveles desde la primaria y pudiera por ello acceder a la secundaria, luego a la secundaria superior y a la universidad, mientras se daba por hecho y se veía como normal que la mayoría de los chicos terminara únicamente la enseñanza primaria, lo que se consideraba suficiente. Por eso los países de Europa Occidental, donde se expandió más tempranamente la escolaridad, hasta muy recientemente organizaban sus sistemas educativos en lo que se conoce como sistemas duales, con dos redes: una para la élite y otra para las masas. La red que llegaba hasta la universidad y la que se quedaba en la primaria. Los conocidos estudios de autores como Pierre Bourdieu se entienden en el contexto de los sistemas educativos europeos que estaban organizados de esa manera hasta muy recientemente, a mediados del siglo XX. La forma como tienden a organizarse hoy los sistemas educativos es la que se conoce como sistemas comprensivos, en los que se considera que no debe haber distinto tipo de escuelas para la élite y para las masas sino que, al menos en teoría, todos los niños deberían tener acceso a primarias, y luego a secundarias básicas, de calidad similar. Este cambio comenzó en los Estados Unidos desde el Siglo XIX y en Europa sólo después de la Segunda Guerra Mundial. Fue Suecia el primer país que lo hizo, cuando en 1946 emprendió una reforma de su sistema educativo que llevó a adoptar el modelo comprensivo. Después de Suecia comenzaron a tomarlo otros países escandinavos y posteriormente otros países europeos. Hoy se considera inadecuado lo que hace no mucho era normal. Hoy se ve como deseable que la mayor proporción posible de jóvenes llegue a educación superior, y no sólo una minoría. Los países se mueven en esa dirección, aunque a diferente ritmo. Estados Unidos lo hizo antes que otros porque nació a la vida independiente como república, independizándose del Imperio Británico, como una democracia republicana liberal, una federación que desconfiaba de un estado central fuerte. Un hecho preciso ilustra la diferencia de visión educativa de la naciente república, en contraste con los viejos estados europeos: la aprobación de la Ley Morrill por el Senado norteamericano en 1862. Esa fecha, con Lincoln y la Guerra de Secesión, no era el momento más propicio para plantear ambiciosas propuestas educativas, pero el Senado aprobó la propuesta del representante de Vermont, Justin Morrill, para asignar a cada senador una cantidad de tierra importante, 30.000 acres (unas 12.000 hectáreas), para crear universidades en su Estado. En 1862 en Estados Unidos había, como ahora, dos senadores por Estado, y las ciudades importantes eran Nueva York, Washington o Filadelfia. Chicago era todavía un pequeño pueblo. Los estados de la costa oeste comenzaban sólo a formarse; en California en 1849 había ocurrido la fiebre del oro (gold rush). Las capitales del medio oeste eran pueblos semirurales. En este contexto el Senado otorgó a cada Senador 30.000 acres para fundar centros de estudio, lo que hizo posible que en 1900 en Estados Unidos hubiera alrededor de 1.000 universidades. En ese momento en España había sólo 11 universidades; en Francia 14; otras tantas en el Reino Unido (Inglaterra, Escocia, Gales e Irlanda). En México en esa fecha no había ninguna porque la Real y Pontificia había sido cerrada, y fue hasta 1910 cuando se fundó la actual Universidad Nacional. En los países de América Latina había una o dos o ninguna, mientras en los Estados Unidos la cifra llegaba a un millar, probablemente muchas pobres y precarias, orientadas a estudios de tipo técnico, en especial de agricultura, pero eran instituciones de nivel terciario, porque el país quería que sus jóvenes se formaran. Era una visión muy distinta de la que prevalecía en los sistemas europeos. En 1930 Estados Unidos tenía más de 11 por ciento de cobertura en educación superior, y los países importantes de Europa 2 ó 3 por ciento. En 1970 en Estados Unidos la cobertura era de 45 por ciento, mientras en Europa, Japón o Australia alcanzaba sólo 17 por ciento. En esa fecha Martin Trow señalaba como límite para considerar masivo un sistema de educación superior la cifra de 15 por ciento. En 1990 en Estados Unidos ya había 70 por ciento del grupo de edad haciendo estudios superiores; Europa, Japón y Australia rebasaban el 30 por ciento. Hoy varios países tienen cifras más altas que las de Estados Unidos, donde no han avanzado en 25 años, mientras un país como Corea ha avanzado muchísimo. En México se dice que estamos muy mal porque sólo hay poco más de 30 por ciento, pero vista en perspectiva esta cifra no es baja. En síntesis, hay una tendencia en todo el mundo a universalizar la educación hasta la media superior, y a extender todo lo posible la superior, y esto hace que la tarea de las instituciones de educación superior se modifique substancialmente. Antes la tarea era formar una élite para ocupar puestos directivos en sociedades con bajo nivel de desarrollo en lo económico, lo político y lo cultural, con una población formada en su mayor parte por personas con baja escolaridad. Ahora la tarea de las instituciones de educación superior es diferente. Es formar la mayor proporción posible de jóvenes en gran variedad de programas, de carreras cortas --el sector para-universitario-- a pos-doctorados, pasando por licenciaturas, maestrías y especialidades, para las sociedades del siglo XXI, con economías productivas pero también con democracias sólidas, y además cohesionadas, cultas, tolerantes y pacíficas, lo que implica que la misión de las instituciones educativas, desde la primaria hasta la universidad, no se reduce a capacitar para tareas técnicas, sino que implica formar integralmente a los futuros ciudadanos. De manera que la tarea de las instituciones ha cambiado y la noción de calidad cambia igualmente. Antes una universidad o el conjunto de las instituciones de educación superior de un país se consideraba bueno si formaban esa élite razonablemente bien, aunque dejaran fuera a muchos, eso no se veía mal. Que nada más atienden a un porcentaje muy pequeño y se queda fuera la mayoría, pues sí, qué tiene de malo, así debía ser, era lo que se consideraba correcto. En cambio, ahora un sistema de instituciones de educación superior en un país que quiera estar a la altura de los retos de nuestra época y del futuro que viene, pues solo se podrá considerar bueno si logra atender una proporción muy importante de jóvenes, para desempeñar actividades muy variadas. En esto confluyen las tendencias de desarrollo económico, político, cultural. Antes, no hace mucho tiempo, unos treinta o cuarenta años, un muchacho podía ser un buen mecánico de automóviles sin saber leer, con un maestro más experimentado aprendía el nombre de las piezas, el coche, y las sabía arreglar. Hoy, si no sabe inglés y computación, está perdido, para simplemente poder diagnosticar qué tienen los nuevos automóviles, motores rarísimos. Antes los varones nos burlábamos indebidamente de las mujeres porque decíamos que cuando se les descomponía el coche, pues levantaban el capó y esperaba que llegara un señor a arreglárselo, porque ella no sabía. Y yo hago exactamente lo mismo ahora porque lo abro, pero no lo entiendo, ya no hay carburador, ya es otra cosa. Para muchas tareas que antes se podían realizar sin una educación considerable, ya no es posible. Para cultivar la tierra, un campesino, hace cincuenta años podía ser analfabeta y se defendía perfectamente, si ahora queremos que utilice los fertilizantes más adecuados para su tierra con la combinación que le da la computadora, que con GPS programe su tarea, las mezclas de los alimentos del ganado, etcétera, si quiere dedicarse a una agricultura del Siglo XXI no puede ser analfabeta, tiene que tener una educación importante. De manera que cambió el concepto de qué es lo que se espera en las universidades y en consecuencia cambia el concepto de qué es una buena universidad o qué es un buen sistema de instituciones de educación superior. 2. Formas de evaluar y de promover la calidad Las universidades medievales, eran gremios. La palabra universitas simplemente combina dos términos latinos: universa-societas, sociedad general, que quiere decir precisamente gremio, por lo que requería de un modificador, un calificativo que precisar el sentido indicando quienes se agremiaban: universitas magistrorum o universitas alumnorum, gremio de maestros o gremio de estudiantes. Bolonia era gremio de estudiantes, París lo era de maestros. Como en cualquier gremio, había jerarquías: maestros y aprendices, y había formas tradicionales de evaluación de los aprendices, a cargo de los maestros. Todavía hoy, las instituciones que más han conservado la herencia medieval son las inglesas, Oxford y Cambridge. Estas universidades desde hace siglos cuidan la calidad en una forma sencilla: los tribunales o jurados, para conferir el grado de doctor a un alumno de Oxford deben incluir profesores de Cambridge y los de Cambridge deben tener profesores de Oxford. La presencia de miembros externos en un jurado basta para disminuir considerablemente el riesgo de que los jueces de la misma institución sean excesivamente benévolos en sus apreciaciones sobre los conocimientos del sustentante. Una forma artesanal, pero eficaz, de asegurar niveles aceptables de calidad. A partir del siglo XIX la situación de la educación superior cambió fuertemente en Europa, en dos sentidos, el modelo humboldtiano y el modelo napoleónico. Con algunos antecedentes, la Universidad de Berlin, fundada en 1810 por un grupo en el que destacaba Guillermo de Humboldt, es el modelo de la universidad de investigación moderna, con doctorados enfocados a esa tarea, en donde se conserva el modelo medieval de cuidado de la calidad con base en la crítica recíproca de los pares académicos, internos y externos. El modelo napoleónico es muy diferente. La Revolución Francesa suprimió todos los gremios, incluyendo la universidad, ya que tenían privilegios, leyes privadas (privi-legis) que protegían a los miembros del grupo: ser profesor o estudiante universitario implicaba una especia de fuero, contra el principio de igualdad de todos los ciudadanos ante la ley de las democracias modernas. Napoleón crea lo que se llamó la universidad napoleónica, que es algo distinto: escuelas aisladas, de Jurisprudencia, de Medicina, de Caminos y Puentes, etc., sin una autoridad común y totalmente controladas por el Estado, sin autonomía alguna. Las estrategias de calidad en el modelo napoleónico consistían en que el Estado se encargaba de la selección de alumnos y maestros, así como de la autorización para que los egresados ejercieran la profesión, con exámenes de Estado. Hasta la fecha la Maison des Examens es un órgano importantísimo, porque todo joven tiene que hacer esos exámenes de Estado. Dos modelos de universidad y de cómo entender la evaluación. En Prusia la universidad se autoevalúa, tiene autonomía, el Estado no interviene, mientras que en el modelo napoleónico el estado controla todo. El modelo de Oxford y Cambridge coincide con el de Humboldt en esa idea de autoevaluación, de instituciones con autonomía. El modelo estadounidense tiene elementos del medieval y el de Humboldt, en el contexto de una república federal que desconfía del Estado central y apuesta por la masificación educativa antes que el resto del mundo. Ya no son unas cuantas universidades, sino cientos, y surgen otros mecanismos de evaluación. En 1900 varias universidades de la costa este de los Estados Unidos se unieron para crear el College Board, que nació el 18 de noviembre de ese año, con el propósito inicial de hacer pruebas comunes de selección para el ingreso de los nuevos alumnos. El College Board todavía existe y sigue haciendo pruebas, pero conviene entender el contexto en el que se fundó. Como hemos visto, en 1900 había ya en Estados Unidos un número considerable de universidades, como pasó en México casi un siglo después, cuando en 1994 nació el Centro Nacional de Evaluación para la Educación Superior (CENEVAL) con la misma lógica: había muchas universidades, y un joven que quisiera estudiar una carrera debía hacer un examen de ingreso para la Universidad Nacional, otro para el Instituto Politécnico, uno más para la Universidad Autónoma Metropolitana, o para una o más instituciones privadas. Surgió entonces la idea de crear un organismo que hiciera exámenes para todas esas instituciones, como se hizo en 1900 en Estados Unidos con el College Board. Por la misma época, se crea lo que luego fue la primera agencia acreditadora, para Medicina. Empieza a gestarse en 1904 y se crea formalmente en 1907, con el modelo que persiste hasta hoy: autoestudio y evaluación por pares externos, de una manera mucho más elemental que ahora, pero ya con ese modelo. Y en la misma época, en 1910, surgió en Estados unidos otro mecanismo que ha adquirido importancia: los rankings de instituciones. Como había tantas, surgió la idea de hacer una tabla de posiciones, inicialmente con base sólo en opiniones sobre el prestigio de cada institución, por lo que se hablaba de reputational rankings. No se manejaban indicadores más objetivos; simplemente se hacía una encuesta entre académicos de distintas universidades, o entre empresarios, para preguntarles cuál era la mejor, en su opinión. Los lugares en el ranking se asignaban con base en el número de opiniones favorables que se recogían. Estos mecanismos de evaluación surgen hace más de cien años en el único país que tenía un sistema de educación superior que se masificaba, con gran número de instituciones, lo que hacía funcionales dichos mecanismos de evaluación, que comienzan a surgir en otros países al masificarse su educación superior. ¿Qué pasó después? El College Board sigue haciendo pruebas y otras agencias las hacen también, todas más sofisticadas. Las pruebas de 1900 no tenían preguntas de opción múltiple, que aparecieron por primera vez en las pruebas del College Board aplicadas en 1926. Las de 1900 tenían preguntas de las llamadas de ensayo en nueve áreas: inglés, francés, alemán, latín, matemáticas, física, química etc. Las respuestas eran calificadas por grupos de profesores de las universidades participantes, para que fuera una calificación objetiva. Con el tiempo se desarrollaron modelos de pruebas más sofisticadas, hasta llegar a los actuales. Los autoestudios y la evaluación por pares comenzaron a surgir para acreditar escuelas de medicina, en el marco de la reforma de la educación médica que encabezo el doctor Abraham Flexner y marca el campo todavía hoy, distinguiendo la formación básica (Morfología, Fisiología y Farmacología), a la que debe seguir la formación clínica. En ese contexto se dijo que las escuelas de Medicina tenían que cumplir ciertos requisitos para formar buenos médicos y se creó la primera agencia acreditadora, para verificar el cumplimiento de dichos criterios. Esto se replicó en otras carreras y luego se crearon organismos regionales, para acreditar instituciones completas. A lo largo del siglo de vida que ya tienen, esas agencias han tenido épocas de auge y crisis. Una amenaza siempre latente es que la evaluación se deteriora, se hace laxa, se corrompe, se vuelve una rutina reduciéndose a llenar papeles, y en un momento dado se vuelve irrelevante, cuando ya todas las carreras o instituciones estás acreditadas y no se distingue cuál es mejor o peor, cuál simplemente cumple con mínimos y cuál tiene niveles sobresalientes. Esta situación hace que se añadan nuevos criterios y se aumenten los niveles de exigencia para conceder la acreditación. Los rankings siguen, como sabemos, ahora a nivel internacional, combinando elementos de prestigio con algunos datos objetivos, como ratio de alumnos por profesor, proporción de doctores en la planta académica, libros en biblioteca, etc. Algunos indicadores objetivos se añaden a las opiniones de otros académicos, de empleadores, etc. Como sabemos, los rankings han cobrado mucha importancia, sobre todo a nivel internacional, en la última década. Ha habido también desarrollos particulares interesantes, que en su momento se vio necesario añadir a la metodología convencional de autoestudio y evaluación por pares externos. Unos son los estudios del impacto del college, que exploran el efecto en los jóvenes de la primera formación universitaria, reflejando una preocupación que seguramente será similar a inquietudes que ustedes tienen, y es que los esquemas habituales de acreditación no evalúan lo más importante: qué pasa con nuestros egresados. Evaluamos insumos, recursos, algunos procesos, pero no qué pasa con los egresados, porque es más difícil de estudiar. No sólo interesa ver si los egresados tienen trabajo, si tarden poco o mucho en conseguirlo, si es en el campo que estudiaron o en otro, y luego su trayectoria profesional, si ascienden, si ocupan puestos de mediana responsabilidad o no, etc. Todo eso es importante, pero no es lo único, precisamente porque en un sistema de educación superior que tiende a la masificación se quiere que el mayor número posible de jóvenes accedan a ese nivel, y por ello la misión de esas instituciones no puede olvidarse de otros aspectos de la educación que tradicionalmente se atribuyen a la educación básica. En mi país los primeros estudios de este tipo los hicimos en la década de 1980, inspirados en trabajos americanos, y observando las recurrentes quejas de los profesores que al inicio de cada ciclo escolar solemos lamentarnos de que los jóvenes llegan cada vez peor, no leen, no estudian, etc. Ante esto consideramos que debíamos preguntarnos también si nuestros egresados leen mejor o no. En pocas palabras la respuesta que encontramos fue que no leen mucho cuando llegan pero tampoco cuando salen. Un primer estudio con una muestra pequeña no permitía analizar por carrera. Luego se replicó el estudio con una muestra más grande para hacer análisis por carrera y se encontraron diferencias: en algunas carreras había cierto avance y en otras no. También nos podemos preguntar qué leen nuestros egresados; si leen más que los no universitarios pero también si leen cosas distintas, si votan más, si votan diferente, si tienen una participación política y una vida cultural más rica, si son mejores padres de familia, si se preocupan más por el medio ambiente, etc. Se supone que todo eso no debería ser ajeno a la función de la universidad, y nunca lo evaluamos. Nos quejamos de que llegan mal pero no analizamos qué hicimos. Otros estudios se conocen con la expresión outcomes assessment, que alude a pruebas de egreso, no de los aspectos a los que se refiere el párrafo anterior, sino de los conocimientos que deben desarrollar los estudiantes, con pruebas que no pueden consistir simplemente en preguntas de opción múltiple, sino ser pruebas complejas, que presenten tareas del nivel que se espera de un profesional. Hay también las certificaciones ISO, los sistemas de calidad, las auditorías de calidad, los modelos de valor agregado, el financiamiento por resultados, y una serie de innovaciones, no siempre consistentes. ¿Qué ha pasado en América Latina? Por las circunstancias de nuestra región la tradición gremial tal vez se nota en el celo por la autonomía, pero no en el cuidado de la calidad por pares. Por esa tradición muy latinoamericana desde las reformas de Córdoba de la autonomía universitaria, el cogobierno, etc., y por la debilidad de nuestros estados, son impensables los controles externos napoleónicos: el Estado no se tiene que meter para nada con las universidades. Por otro lado, no tenemos mucha influencia de la tradición humboldtiana. Estamos en una situación precaria. Hacia la década de 1960 se comenzaron a extender los modelos norteamericanos. Se comenzaron a hacer autoestudios y se crean instancias para hacer pruebas: el ICFES de Colombia se funda en 1968. En México los primeros autoestudios se hacen a fines de los 60, también y se van extendiendo. En 1950 en México llegaba a la educación superior solo el 1 por ciento de cada cohorte de jóvenes, pero ya había instituciones de muy buena calidad, no gracias a sistemas de evaluación sofisticados, sino a lo que llamo estrategias tradicionales no explícitas: gran selección de los alumnos, sin exámenes de ingreso, ya que al llegar a la universidad solo uno de cada cien jóvenes, era un grupo selecto, muy filtrado, de jóvenes listos, estudiosos, con ciertos hábitos de estudio, etc. También --tal vez esto sea sólo nostalgia propia de la tercera edad, pero tal vez tenga algo de fundamento-- más dóciles que hoy. También había selección de maestros a los que no se pagaba, maestros por vocación, profesionales exitosos a quienes gustaba la docencia. Había ambiente de estudio que no era fruto de una estrategia explícita, pero existía, y como resultado de todo había instituciones muy buenas, que en cada país se pueden enumerar. En México desde los años 50 había una excelente formación de especialistas en cardiología, con el doctor Chávez, de fama mundial. La carrera de ingeniería civil de la UNAM era muy buena, y México hasta la fecha tiene cosas notables en ingeniería, gracias a estas estrategias implícitas. Esas estrategias implícitas dejaron de funcionar en las décadas de 1960 y 1970, cuando comenzamos a tener una crisis de crecimiento, al crecer fuertemente la matrícula de educación superior y llegar cohortes cada vez más grandes de muchachos, ya no tan filtrados, menos preparados, menos hábitos de estudio, etc. Hubo que contratar maestros a toda prisa, que muchas veces no eran los mejores. Entonces se intentó aplicar estrategias simplistas, para buscar la calidad en ese sistema en masificación: objetivos conductuales, dinámica de grupos, tecnología educativa, sistemas modulares, estructura departamental, fueron innovaciones que se pusieron de moda en aquellas épocas y de las que se esperaba demasiado y no dieron lo que se esperaba de ellas. 3. Los sistemas de acreditación Desarrollando de manera particular lo relativo a los sistemas de acreditación, hemos visto ya que surgen en Estados Unidos y desde entonces tienen el modelo de autoevaluación y evaluación externa, así como el que son manejados por agencias independientes, no por el Estado. Esto es muy americano: mejor agencias independientes, frente a la tradición francesa de un estado central fuerte. Inicialmente estos sistemas, como los rankings, incluían opiniones basadas sólo en encuetas entre académicos y empleadores, pero luego se enriquecen los indicadores, se afinan parámetros y se incluyen otros elementos. La acreditación se ha extendido en todo el mundo en una forma muy interesante, porque parece haber una convergencia de los sistemas tradicionales, entre grados demasiado altos o demasiado bajos de autonomía institucional. El Reino Unido tenía un sistema binario, en el que se distinguían universidades como Oxford, Cambridge, Edimburgo, etc. en las que el Estado no intervenía en absoluto, frente a los politécnicos, que aunque impartían carreras de nivel superior y hacían investigación, no eran autónomos, sino que eran controlados por el Estado en una forma similar al caso francés. Esto cambia radicalmente con la llegada al gobierno de Margaret Thatcher, que planteó a las universidades el siguiente dilema: o bien ustedes mismas diseñan un sistema de evaluación riguroso, o bien les mando al Inspectorado de Su Majestad, que siempre había evaluado a los politécnicos. Las universidades crearon de inmediato una agencia independiente de evaluación de tipo acreditación, y a los politécnicos se les introdujo en el mismo sistema. Ya no era, pues, el Estado el encargado del control de los segundos, sino que todas las instituciones pasaron a tener un mismo estatus de bastante autonomía, a condición de aceptar someterse a evaluación por organismos independientes, pues en caso de no hacerlo serían evaluadas por la instancia estatal que es el Inspectorado de Su Majestad. El caso francés era similar al caso inglés de los politécnicos: las universidades no tenían autonomía alguna, lo que cambió a fines de la década de 1980 y principios de la de 1990, cuando se les dio un amplio margen de autonomía y se creó un sistema de evaluación independiente. Hubo, pues una convergencia: donde había autonomía absoluta se redujo y se exigió la evaluación externa; donde no había autonomía, sino evaluación a cargo del Estado, se amplió la autonomía, pero se exigió la evaluación externa. En América Latina por las mismas fechas comenzaron a consolidarse este tipo de mecanismos. En México en 1991 se creó un primer organismo de este tipo, en 1994 nació el Centro Nacional para la Evaluación de la Educación Superior, y a partir de 1995-1996 surgieron agencias acreditadoras para áreas especializadas. En Argentina, Colombia y Brasil pasaron cosas similares. El caso chileno es muy distinto porque allí no había autonomía en la época de Pinochet, quien ponía a militares como rectores. Con el regreso de la democracia el sistema evolucionó con cosas muy interesantes y problemas que están viviéndose todavía. En síntesis: con matices todos los sistemas de acreditación se basan en el modelo original de autoestudio más evaluación externa, y todos suelen enfrentar desafíos similares. Por un lado, el reto de dar cuenta de la calidad, no solo de la docencia, sino de otros aspectos de la actividad de una institución de educación superior, la investigación, la difusión y la gestión. Por otro lado, la tendencia a limitarse a manejar indicadores de insumos, pocos de procesos y menos aún de resultados. Enseguida, un reto muy importante ya mencionado: es difícil mantener criterios de exigencia elevados y homogéneos. Esto ocurre más cuando hay muchas agencias y de carácter privado. El modelo americano, en un sistema tan grande, con tantas instituciones, se presta para que haya decenas de agencias acreditadoras y se espera que compitan entre sí y que sea la competencia la que muestre cuáles son mejores y cuáles son peores. Aún así se deteriora el nivel de exigencia. En países menos grandes e inclusive chicos, como los nuestros, y menos ricos, no se puede pensar en tantas agencias y es razonable pensar una sola agencia como el SINAES con sus retos propios. 4. De la evaluación a la mejora de la calidad Retomo la idea de que en los sistemas antiguos de educación superior, elitistas, bastaban pseudo-estrategias implícitas para tener buena calidad, pero que en los sistemas masificados se necesitan estrategias más complejas y explícitas. Y creo que todas tienen que partir de un punto fundamental: una concepción diferente del sistema de instituciones de educación superior y su papel. Un sistema que no esté formado sólo por universidades en el sentido tradicional de la expresión, sino por instituciones de diferente tipo, desde grandes universidades de investigación con licenciatura y posgrado, investigación de buen nivel, etc., hasta las instituciones que llamamos para-universitarias, que dan formaciones inferiores al grado de licenciatura, pero que son también de educación superior porque requieren de la secundaria superior como antecedente, pasando por instituciones que ofrecen sobre todo carreras de nivel licenciatura, y en algunos casos posgrados de los llamados de orientación profesionalizante, pero que no pretenden hacer investigación ni tener posgrados orientados a esta función. Todos los sistemas que tienen ahora altas coberturas en educación superior, de 70 por ciento o más, tienen una muy alta proporción de jóvenes en carreras cortas. En Estados Unidos más de la mitad de la matrícula de educación superior está en Community Colleges. Suele manejarse un lugar común que yo no comparto, que si una institución de educación superior no hace investigación, no puede ser buena. Yo pienso que, por el contrario, una institución puede ser muy buena sin hacer investigación, pero de distinta manera que una que tenga investigación. Las instituciones que ofrecen solo formaciones de técnico superior, pueden y deben ser muy buenas en su propio nivel. También las que forman solamente profesionales a nivel de grado pueden serlo perfectamente. Los docentes que trabajen en esas instituciones, desde luego, tienen que estar al corriente de los avances de sus disciplinas, pero no tienen que producirlos ellos mismos que es lo que hace el investigador, producir conocimientos nuevos, hacer avanzar la frontera del conocimiento. No es indispensable que cada maestro haya inventado o descubierto lo que enseña, puede perfectamente enseñar cosas descubiertas por otros, pero que maneja bien. El punto inicial para diseñar mejoras, para mí, es modificar el concepto de “sistema de educación superior”, para que incluya diferentes tipos de instituciones, cada una de las cuales debe ser evaluada por un concepto de calidad propio de esa institución y con indicadores propios. Evaluar implica diferentes cosas, se evalúan de maneras diferentes una carrera de nivel inferior a la licenciatura y un doctorado de investigación. También se reconoce cada vez más que no necesariamente todo posgrado tiene que formar para la investigación, puede haber perfectamente lo que en mi país se llama posgrados profesionalizantes muy dignos, aunque no formen para la investigación. Las estrategias de promoción de la calidad tienen que tener en cuenta, pues, los perfiles de las instituciones: en unas hay selección rigurosa y en otras no. Una anécdota personal porque puede ilustrar esto. Cuando comenzaba mi carrera en la Universidad de Aguascalientes, a mediados de la década de 1970, visité algunas universidades norteamericanas, para ver lo que hacían en aspectos que nos interesaban, incluyendo las universidades de Berkeley, Standord y otras. Una de las cosas que me interesaban por haber leído algo al respecto, tenía que ver con sistemas para mejorar el nivel de lectura de los alumnos de nuevo ingreso. Pregunté sobre el particular en Berkeley y Stanford sin lograr que me entendieran, lo que atribuí a que mi inglés no era muy bueno, hasta que finalmente un maestro me dijo: ya sé lo que usted quiere, pero aquí no lo tenemos; vaya a un Community College, donde tienen ese tipo de programas. Para entender lo anterior hay que pensar en que, desde la reforma del sistema de educación superior de California que impulsó Clark Kerr en 1963, los campi de la Universidad de California (Berkeley, UCLA, etc.), las de mayor prestigio en el estado, tenían como requisito para poder entrar al proceso de selección estar en el octil superior de resultados de high school. O sea que sólo el 12.5 por ciento de los egresados de la secundaria superior, los de mejor nivel, podían simplemente presentar el examen de admisión. Luego, dependiendo de la carrera, se admitía a uno de cada dos, a uno de cada cuatro o cinco, de tal manera que los estudiantes eran la crema de la crema, el 2 por ciento del total, y tenían buenos niveles de lectura, no había que preocuparse por ello. Los community colleges, en cambio, aceptaban a cualquier joven sin selección, para carreras cortas, por lo que una buena proporción de los muchachos provenía de medios familiares menos favorables y leía mal, y esas instituciones, lógicamente, tenían actividades para mejorar su nivel de lectura. Las estrategias de calidad de cada institución, pues, dependen de su contexto, de su alumnado, de sus circunstancias, no pueden ser iguales en todos los casos. Toda institución de educación superior necesita buenos académicos, pero de perfil diferente. Se suele decir que mientras más doctores y mientras más profesores de tiempo completo haya, mejor, pero depende de los propósitos institucionales. Si se quiere formar mecánicos automotrices, no hacen falta doctores ni personal de tiempo completo, sino personas con y que trabajen en ese campo. Si se quiere formar médicos no hacen falta sólo médicos que estén en la universidad de tiempo completo, sino médicos con práctica clínica, o abogados que tengan ejercicio profesional, etc. Entonces, dependiendo del perfil de cada institución o programa, de su propósito, será el perfil deseable de su personal académico, y exigir el mismo porcentaje de doctores o de tiempos completos, no es adecuado. Y lo mismo dígase de las instalaciones, los laboratorios y cualquier otro tipo de recursos que se necesiten. La masificación de la educación superior implica, pues, un sistema formado por instituciones de distinto perfil, que requieren de recursos humanos y materiales específicos para atender a cuerpos estudiantiles diferentes. La meta genérica de alcanzar la calidad debe especificarse de manera particular en cada caso, y en todos es fundamental que atender a los estudiantes según las características que tengan en cada caso. Reiterando la idea central: cuando la sociedad funcionaba con una minoría ilustrada y una masa poco educada, llegaban a la universidad jóvenes bastante seleccionados, y bastaban sistemas e instituciones con pocas universidades, con unas cuantas carreras tradicionales de licenciatura, sin posgrado ni investigación. En un sistema masificado eso ya no basta. Proporciones crecientes de los muchachos que llegan hoy a la universidad tienen una preparación escolar deficiente, hábitos de estudio pobres y escaso apoyo familiar, pues muchas veces son los primeros de su familia en llegar a la educación superior y sus padres no los pueden apoyar. Provienen cada vez más de ambientes y subculturas ajenas a las normas académicas y tienen otros rasgos desfavorables para el trabajo escolar. No quiero decir que los muchachos cada vez sean peores, sino que son distintos: son más altos y fuertes y tienen una gran capacidad de aprendizaje y más información sobre el mundo, pero son distintos. Antes llegaban a la universidad pocos y homogéneos; ahora llegan muchos y heterogéneos. Si no queremos únicamente preparar profesionales con buen nivel académico y técnico, sino también buenos ciudadanos, pensantes, críticos y con otras cualidades, tenemos ante nosotros un reto muy grande e inédito. Para hacerle frente no bastan estrategias simplistas que prometen maravillosos resultados en poco tiempo. Es terrible que proliferen mercaderes de la calidad que venden espejitos y prometen resultados milagrosos: lea 3.000 palabras por minuto en un mes. Falso, imposible. Lograr mejoras importantes implica mucho más. Entre las cosas que, a mi juicio, hay que evitar, porque pertenecen a ese campo de las recetas milagrosas y falsas, hay algunas que se refieren a la evaluación. Recomiendo evitar evaluaciones simplistas o lejanas a las características de las universidades, como los rankings, que me parece que son nefastos. Daré sólo un ejemplo referido a mi país. Cada año, cuando se difunden resultados de algunos rankings internacionales, Universidad Nacional Autónoma de México, que aprecio, presume de que es la mejor de México, y una de las mejores de América Latina, por el lugar que ocupa en esas listas internacionales. Considero que esos rankings son engañosos e imprecisos. La UNAM es una institución enorme en la que hay cosas buenísimas y cosas malísimas. ¿Cuál es la base para afirmar que es la mejor institución, y en qué sentido, mejor en qué y comparada con qué? Entre los indicadores del ranking de Shanghai se incluye cuántos premios Nobel han salido de cada universidad. De la UNAM salieron Octavio Paz, Mario Molina y Alfonso García Robles, pero nunca dieron clases en la UNAM, desarrollaron su trabajo en otros lados. ¿Qué le aportan a la UNAM esos grandes personajes a los alumnos de las preparatorias, las escuelas y las facultades de la UNAM? Nada. ¿Por qué son peores otras instituciones que no tienen premios Nobel entre sus egresados? Las evaluaciones de calidad basadas en las normas ISO tampoco me convencen. Pueden tener sentido en empresas, en relación con procesos de manufactura o administrativos, pero en las universidades, y en general en el sistema educativo, a pesar de que hay esfuerzos explícitos para adaptar, me parece que no funcionan. Deben desarrollarse evaluaciones que no se limiten a indicadores de insumos, sino que incluyan procesos y productos. Hay cosas que pueden ser relativamente sencillas y pueden decir bastante. Un indicador que he propuesto, aunque creo que nadie ha usado, es simplemente ver el proceso de difusión de la universidad de que se trate: cómo se anuncia, cómo se “vende”. Pienso que la calidad real de una universidad es inversamente proporcional a lo que gasta en promover su propia imagen: mientras más gasta, más mala es; esa publicidad, además, suele ser engañosa: promete y habla de excelencia sin fundamento real. Es posible evaluar de manera sencilla procesos como el mencionado: ¿es honesta la difusión de una institución, o es engañosa? Cómo busca atraer a los jóvenes: ¿ofreciendo buenas instalaciones deportivas, piscina, etc.? ¿Qué relación tiene eso con la calidad en el sentido no superficial que nos interesa? Es más difícil evaluar de manera precisa los resultados de la formación, pero creo que hay que atenderlo. Una posibilidad es que haya un organismo para desarrollar pruebas de egreso. Se trata de otra tarea monumental, por lo que no creo que deba ser el que se encarga de la acreditación. En México existe el CENEVAL, que no alcanza todavía a satisfacer todas las necesidades en este sentido. Pero en un proceso de acreditación, en la evaluación por pares externos, es viable incluir algunos productos clave. Una evaluación externa debería incluir revisar una muestra de trabajos finales (tesis u otro trabajo final) para valorar qué puede hacer un estudiante al terminar su carrera. Si los que egresan son capaces de hacer buenos trabajos finales, eso es una evidencia razonable de que se formaron bien. Obviamente los trabajos que se revisen deberán ser representativos del universo respectivo, y no simplemente los que escojan los responsables del programa. Desde luego sería sensacional ver resultados de los egresados tiempo después, ya que finalmente esa es la prueba del ácido: dónde están los egresados, y no solo en qué trabajan, sino también qué leen, cómo participan, etcétera. Por lo anterior creo que es conveniente mantener el esquema básico de autoevaluación con evaluación externa, evitando que se relaje o se corrompa. Si hay evaluaciones externas de aprendizaje, que no se reduzcan a superficiales pruebas de opción múltiple, lo que en este nivel sería inaceptable. Añadir a lo anterior otros elementos, como trabajos serios de seguimiento de egresados, evaluación de los docentes, tanto por los alumnos como por sus productos, evaluaciones tipo portafolio, etcétera. La evaluación de los docentes universitarios por parte de los alumnos es polémica, pero creo que si se hace con cuidado puede ser confiable. Los alumnos están en contacto con el profesor mucho tiempo, y por ello pueden valorar con mayor precisión que otros actores el desempeño de sus propios maestros. Quienes se oponen a la evaluación de docentes con base en la opinión de los alumnos suelen argumentar que esa opinión se basa en razones como la simpatía o la benevolencia, y no realmente en la calidad: si un profesor es muy benévolo, sus estudiantes lo califican bien, y si es muy severo lo califican mal. Mi experiencia es que no es así. Si un maestro es muy benévolo los muchachos lo aprovechan, desde luego, pero a la hora de evaluarlo no lo evalúan bien, ellos saben que no es bueno. Por el contrario un maestro muy exigente, pero bueno, es bien evaluado. Al que evalúan mal es al exigente pero además arbitrario y que no les aporta. Hay que cuidar ciertos aspectos, desde luego, como el tamaño del grupo de que se trate. Con números pequeños (v. gr. un curso al que asisten sólo cinco alumnos) la opinión de uno o dos puede sesgar mucho el resultado. Pero con grupos de treinta o cuarenta alumnos los resultados suelen ser consistentes, y creo que habría que tenerlos en cuenta. Una pieza fundamental para la mejora son las evaluaciones del aprendizaje de los alumnos que hacen los profesores, que son las más importantes de todas: las que se hacen a lo largo de toda la carrera, de toda la formación. Lamentablemente es frecuente que esas evaluaciones tampoco se hagan bien, y es frecuente que las instituciones lo quieran corregir con medidas no muy sólidas. Las normas para eso dicen que se debe dar una calificación numérica de 0 a 10, o en letras, A, B, C, D, E, o de 0 a 20, de 0 a 100, etc.; que se debe hacer al final del semestre, o varias veces a lo largo del semestre; que cada evaluación debe tener un peso de tanto, para aprobar. Si se usa una escala de 0 a 10 la nota mínima para aprobar puede ser 6 ó 7, un alumno que repruebe una materia puede tener dos posibilidades de volverla a presentar, o bien una o tres, o las que sea. Pero finalmente no se establece con precisión cómo se hacen las evaluaciones, lo que se deja a criterio de cada maestro. Se dice que las evaluaciones deben corresponder a lo que dicen los programas de estudio, pero no se cuida que esto ocurra y se deja más al criterio individual del maestro que no siempre es confiable. Esto hace que una misma calificación numérica o con letra diga poco. Cuando los alumnos se quejan de la severidad de algunos profesores y los docentes de que los alumnos están cada vez peor, se quiere corregir eso con medidas administrativas: vamos a subir la nota mínima aprobatoria de 6 a 7, y con eso mejoraremos la calidad. No es tan sencillo. El maestro laxo, si antes daba 6 ahora da 7, mientras no cambie su postura de no reprobar a nadie. Es muy sencillo ese cambio de número, pero con eso no se arregla nada. Las instituciones tienen que descansar en los maestros, pero deben hacerlo de una manera más rigurosa. La evaluación debe verse como medio, no como fin. El fin es el aprendizaje, la evaluación es un medio. Una buena evaluación puede ayudar, pero la evaluación por sí misma, no produce la mejora, depende de qué se haga con la evaluación y tanto antes como después de la evaluación. Obviamente, cosas como las nuevas tecnologías, pueden ayudar, pero lo fundamental es finalmente lo que hagan los alumnos bajo la dirección de los maestros. La premisa básica de la evaluación que hagan los maestros y las instituciones es que no sea responsabilidad individual de cada maestro, sino que sea una responsabilidad institucional. Que la institución oriente de lineamientos precisos y vigile que se cumplan, para que las evaluaciones, las de todo el tiempo, las de cada momento, se cumplan bien. No hacerlo bien quiere decir poner como criterio para aprobar o reprobar a un alumno elementos que no son esenciales, como por ejemplo la exigencia de que haya un mínimo de asistencia: si un alumno no asiste al menos al 80 por ciento de las clases ya no puede aprobar. En principio no es absurdo, pero no va al punto central. Lo fundamental es que el estudiante consiga aprende lo que se pretendía. Si un muchacho no vino el 80 por ciento de las veces y sabe mucho, ¿por qué no aprobarlo? Precisamente lo que sabemos que hoy podemos intentar con las nuevas tecnologías, es también que la enseñanza y el aprendizaje no siempre requieren la presencia física, ya que puede haber enseñanza a distancia, en ambientes mixtos, etc., que tienen sus propias dificultades pero son posibilidades muy interesantes. Conclusión Alemán sin Esfuerzo, era el título de una pequeña obra que se vendía muy bien. La presentación comenzaba con estas palabras: “Si usted quiere aprender alemán sin esfuerzo pronto se convencerá que es imposible, pero este libro le ayudará para que comience…” La única manera de lograr calidad es con un esfuerzo intenso, continuo, perseverante y bien orientado. No se ha inventado la manera de aprender sin estudiar. La misma idea me ayudará a terminar esta presentación intentando responder la pregunta que dejé para el final: si se podrá hacer evaluaciones más confiables con menos energía, tantos por parte del SINAES como de las propias instituciones. Mi respuesta es en sentido negativo: no se ha inventado la manera evaluar bien sin trabajar mucho. Creo que eso no se puede, pero sí creo que hay complejidades evitables, que hay cosas innecesarias que se podrían reducir. Hay que evitar prisas no justificadas, una buena evaluación implica esfuerzo, pero en sí misma es interesante y es una oportunidad de mejora. Idea final: la evaluación y la mejora son, ante todo, responsabilidad de las propias instituciones, y no de la agencia acreditadora, que puede actuar como catalizador, pero no sustituye el esfuerzo de las propias instituciones. Decir que una institución es miembro del SINAES tiene que ser algo más que un documento formal firmado por la autoridad institucional: tiene que ser un compromiso de toda la institución, de sus académicos, para participar, entendiendo que ello implica en primer lugar aceptar someterse a la evaluación, aunque piensen que no la necesitan. Cuando se promovía la evaluación externa en México en la década de 1990, en una universidad pública muy buena unos maestros decían: “somos muy buenos, no necesitamos que nos evalúen”. Yo respondía (sin éxito, por cierto): les creo; creo que esta universidad es buena pero, por favor, déjense evaluar, por bien de todo el sistema de educación superior. Si se dejan evaluar y son buenos como lo creo, van a poder mostrar los resultados y confirmar su opinión. Y si se llevan la sorpresa de que no son tan buenos, podrán revisar a qué se debe esa discrepancia de su percepción y los resultados. Esto implica que una institución tiene todo el derecho de cuestionar criterios que se están utilizando y puede decir que un criterio no es pertinente, por tales razones, y sería mejor otro. Es legítimo, e indispensable, que la participación institucional en la evaluación sea crítica, pero hay que comenzar participando. Si una institución, probablemente muy buena, no se deja evaluar, ¿con qué argumento se puede pedir a otras, tal vez no tan buenas, que se dejen evaluar? ¿Por qué unas sí y otras no? Toda institución de educación superior debería estar abierta a la evaluación externa, y aprovecharla como oportunidad para reflexionar, para autoevaluarse y hacerlo en serio, no solo llenando papeles, sino con una reflexión colectiva para saber dónde estamos bien, dónde estamos mal, qué debemos mantener y que podríamos mejorar, aprovechando la visión externa para enriquecer la interna. Participar en un sistema de evaluación, por otro lado implica evaluar a otros, o sea aceptando, de buena gana y con entusiasmo, ser par externo, para evaluar a otras universidades, otras instituciones, otros programas, ya que para poder hacerlo bien se necesita mucha gente. Y saber que el participar como par externo de otra institución también va a ser beneficioso para el que va a evaluar, ya que le permitirá ver otras experiencias, tomar ideas, el analizar otra institución le hace pensar en otros aspectos de la suya. Con esto llego al final. La buena calidad no puede resultar de esfuerzos superficiales. Frente a la demagogia de los charlatanes de la excelencia afirmo que no hay atajos ni recetas mágicas: la calidad implica un compromiso sostenido a lo largo del tiempo. El punto de partida es lo que un gran educador mexicano que falleció hace unos años y voy a citar en seguida designaba con la expresión “normalidad mínima”, que los profesores vayan, que los alumnos vayan, que se cumplan los programas etc. Parece obvio, pero no se puede dar por supuesto, hay que verificarlo. En algunas universidades públicas de mi país, con su gran autonomía, me atrevo a decir que hay casos en que el porcentaje de asistencia efectiva de los docentes a sus clases ronda el 50 por ciento o incluso menos. Así no puede haber calidad. Y a partir de la normalidad mínima avances paulatinos en dirección de metas exigentes pero alcanzables, sabiendo que la tarea de alcanzar la excelencia es inalcanzable en su totalidad, ya que es imposible alcanzar la perfección. En su máxima expresión la calidad es una utopía de referencia, y no una meta que se pueda alcanzar en un horizonte definido. Y así llego a las citas finales, la primera de don Pablo Latapí, quien dice: La calidad no es un estado, sino un proceso; es la auto exigencia razonable de superación permanente. Me parece que no le sobra ni una palabra. La calidad no es un estado, es un proceso. Es auto exigencia: no se busca porque alguien externo me lo imponga, yo me exijo a mí mismo, la institución se exige a sí misma. Es exigencia de superación permanente, no momentánea. Y es exigencia razonable, para no volvernos locos. Una última cita de Daniel Seymour, especialista en calidad de universidades: La calidad no es un subproducto de exámenes o estándares externos, es un estado anímico intrainstitucional sano. Muchísimas gracias.
