- LA EVALUACIÓN Y LA METAEVALUACIÓN: DOS PROCESOS DE LA ESTRATEGIA DE GESTIÓN DE LA CALIDAD DE LA EDUCACIÓN SUPERIOR CENTROAMERICANA. Febrero, 2005 Introducción En el proceso de la evaluación de servicios públicos, la pregunta fundamental es qué tan satisfactoriamente se han desarrollado las tareas encomendadas en relación con los recursos asignados y los objetivos propuestos. Entre estos están las instituciones de educación superior y su oferta académica. La evaluación y desarrollo de las instituciones de educación superior no se pueden separar, la evaluación es parte integral de toda actividad sistémica. La dirección y la administración de toda organización requieren información del impacto y de los resultados de sus actividades, por ejemplo cuales objetivos se han logrado y cuales no. En otras palabras, la toma de decisiones y la reorganización de las instituciones requiere información sobre los éxitos y los fracasos. En educación los indicadores de calidad no son tan evidentes y requieren de una comprensión y análisis diferenciado. ¿Cómo se podría definir cero errores en educación? ¿Es la ausencia de reprobación, sinónima de cero errores? ¿El mejoramiento de la productividad en educación, significará mas graduados en menor tiempo? ¿La calidad total significará la atención de toda la población matriculada con los recursos asignados? Podemos deducir que la evaluación de la calidad en educación no es una tarea simple y requiere de instrumentos específicos así como de la decisión al más alto nivel para poder ejecutarla. Los procesos que involucran la auto-evaluación y la evaluación externa requieren ser evaluados y determinar, no solo si los resultados obtenidos reflejan la realidad de las instituciones evaluadas, sino también evidenciar la calidad de los procesos mismos. Desde 1997 las instituciones de educación superior de la región Centroamericana con la creación del SICEVAES, se sometieron a un proceso de evaluación de la calidad que consistió, no solo en los procesos de auto-evaluación y evaluación externa, sino que también incluyo aspectos de capacitación, pasantias, talleres y laboratorios que permitieran crear una masa crítica de personal capacitado para poder conducir los procesos de evaluación. Durante los siguientes años las universidades voluntariamente se sometieron a procesos de auto - evaluación y de evaluación externa con el fin de promover, en el futuro cercano, la acreditación de la educación superior de la región. Los procesos desarrollados permitieron avanzar en la concepción de una propuesta de Consejo de Acreditación de la Educación Superior, organismo que se encuentra en sus etapas iniciales de organización. A finales de 2003 y principios de 2004 se determinó la importancia de realizar la meta - evaluación de las actividades desarrolladas, proceso que las instituciones igualmente se comprometieron a desarrollar para evidenciar, con datos objetivos y verificables, que la evaluación tuvo un impacto significativo en el mejoramiento cualitativo de la educación superior de la región La evaluación de la calidad de la educación superior centroamericana se realiza en un marco de voluntariedad (las universidades promueven el proceso) bajo procedimientos activos y participativos, comprometido con los valores de negociación, consenso y responsabilidad. En consecuencia, la meta-evaluación se realiza como parte de un continuo y se centra en la perspectiva de los directivos y participantes de las universidades en el proceso, con el fin de valorar el camino recorrido a través de criterios establecidos. En concreto, la auto-evaluación y la evaluación externa utilizan los criterios establecidos por el SICEVAES (Sistema Centroamericano de Evaluación de la Calidad de la Educación Superior). La Meta-evaluación utiliza los criterios establecidos para tal fin El presente documento intenta analizar el proceso de la evaluación y la metaevaluación realizado en el SICEVAES, para determinar el impacto de las actividades desarrolladas en el marco de la evaluación de la calidad de la educación superior en las universidades centroamericanas y valorar los cambios producidos en las mismas por los procesos de Auto-evaluación y evaluación externa. OBJETIVOS DEL TRABAJO I. • Estimular la reflexión en torno a la necesidad y justificación de la metaevaluación como parte del proceso de la evaluación y como una estrategia para velar por los procesos de gestión de la calidad de la educación en la región centroamericana, impulsada por las universidades a través del CSUCA y su organismo especializado de evaluación, el SICEVAES, con la cooperación de InWent y otros organismos de la cooperación Alemana. • Contribuir al establecimiento de un sistema de información y documentación que de cuenta de la actividad que se genera en la región en materia de evaluación de la calidad y que sea de provecho a los investigadores para avanzar en el conocimiento de la situación de la educación superior y proponer soluciones a los problemas encontrados LA EVALUACIÓN DE LA CALIDAD DE LA EDUCACIÓN SUPERIOR EN CENTROAMÉRICA 1.1 El Concepto de Evaluación En este trabajo planteamos el concepto de evaluación como parte de las actividades normales y del desarrollo de una organización o institución que ofrece servicios públicos. Puesto que la entrega de servicios públicos y la evaluación están íntimamente ligadas a la planificación de los mismos; el concepto de evaluación en estos casos se puede interpretar de manera bastante amplia, de tal forma que su meta puede ser el impacto, la eficiencia, la calidad de los recursos humanos y la eficacia, entre otros. En cualquier proceso de evaluación que se realice, se pueden identificar las siguientes dimensiones (Ministry of Interior, Ministry of Finance, Helsinki, 2001) • • • • Evaluación simbólica. Que se establece para mantener las estructuras existentes. Es un proceso técnico, pero no promueve el cambio o la transparencia en las actividades. La esencia del concepto actual de la evaluación no ha sido internalizado. Evaluación Ritualìstica. Este tipo de evaluación no promueve el cambio real ni el aprendizaje organizacional. El personal involucrado percibe la evaluación como un proceso para mejorar la imagen institucional. La estrategia organizacional no esta clara y la administración no apoya la evaluación. La función coordinadora. La evaluación esta basada en la idea de control y rendición de cuentas. Este modelo intenta fortalecer la relación entre la política de toma de decisiones y la producción de servicios. Evaluación como proceso de aprendizaje. Enfatiza en el desarrollo continuo de la organización. Las bases del modelo son instrumentos de calidad y de autoevaluación. A través del modelo es posible empoderar al personal involucrado y fortalecer la tendencia de los servicios centrados en el cliente. Para los efectos de esta investigación, analizaremos la evaluación de la calidad de la educación superior de Centroamérica como proceso de aprendizaje y como proceso de función de coordinación, donde las organizaciones han podido estimular o crear una cultura organizacional de transformación y cambio permanente, además de hacer pública y visible su quehacer fundamental. 2. El Proceso de Evaluación de la Calidad de La Educación Superior en Centroamérica. 2.1 El Contexto: La Educación Superior en Centroamérica La educación superior en la región se ha caracterizado por un rápido crecimiento de instituciones de diversa índole. Hoy día el número de universidades es muy variable de país a país y no guarda una relación proporcional al tamaño de la población que demanda el servicio. Si comparamos el número de universidades por país: Honduras (16 universidades), Nicaragua (34), Panamá (15), El Salvador (26), Costa Rica (52), y Guatemala (10), para un total de 149 universidades en la región. La gran mayoría de las universidades de la región están concentradas en Costa Rica, Nicaragua y El Salvador (76.2%). La Cobertura bruta es de 10.1% en Guatemala, Honduras 11.6%, Nicaragua 11.9%, El Salvador 17.8%, Panamá 25% y Costa Rica de 34.5%, lo que nos da una cobertura promedio de 18.5% a nivel regional1. Haciendo una 1 Cálculo propio según los datos proporcionados en la fuente (Alarcón Francisco, Luna Guillermo, 2003). comparación, en 1997 la UNESCO reportaba que las regiones menos desarrolladas tenían una tasa bruta de cobertura en educación superior promedio de 10.3%, América Latina una tasa promedio del 19.4%, en Asia y Oceanía del 42.1%, en Europa 50.7% y en Norte América de 80.7%3. Se estima que el conjunto de las universidades de la región ofrecen un total de 3,094 programas o carreras, de los cuales el 72.95% corresponde a programas de grado y el 27.05% a programas de postgrado. Del total, 1,445 son ofrecidos por universidades estatales (47%) y 1,649 programas por universidades privadas (53%), mientras que la mayoría de los programas de postgrado (57%) son ofrecidos por universidades estatales. (Alarcón Francisco, Luna Guillermo, 2003) 2.2 Políticas de evaluación de calidad en la región El tema de la evaluación, aseguramiento y acreditación de la calidad de la educación superior surge ante un creciente número de demandas, tanto de carácter interno como externo. En el ámbito externo se evidencia: a) tendencia a la homogenización de los parámetros de desempeño, evaluación y organización curricular, b) la desaparición de fronteras expresadas en el desembarco de universidades extranjeras, la educación a distancia y la fuga de cerebros. A nivel interno se evidencia un proceso creciente y agudo de heterogenización, tanto entre países, como al interior de los mismos.; y un proceso de deterioro de la calidad en un marco de expansión cuantitativa de la matricula y una reducción de los recursos financieros necesarios para sostenerlas. (Alarcón Francisco, Erazo Iris, 2003) El CSUCA, como ente coordinador de las instituciones de educación superior ha jugado un papel muy destacado en el tema de la evaluación y acreditación de calidad, específicamente a partir de 1962 por medio del Sistema de Carreras y Postgrados Regionales SICAR, y a partir de 1998 con la creación y desarrollo del Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior SICEVAES a partir del cual, más recientemente, se ha creado el Consejo Centroamericano de Acreditación de la Educación Superior (CCA). Desde estas instancias, las políticas definidas por este organismo en materia de evaluación y acreditación han incidido de manera importante en la toda la región centroamericana II. LA META EVALUACIÓN 1. El Concepto de la Meta Evaluación El concepto de meta-evaluación fue desarrollado por primera vez por Michael Scriven, en 1969, quien elaboró una definición mas completa posteriormente, definiendo la meta-evaluación como: “La evaluación de las evaluaciones – indirectamente, la evaluación de los evaluadores y representa una responsabilidad ética y científica cuando está de por medio el bienestar de otros. Puede y debe hacerse en primer lugar por un evaluador(a) de su propio trabajo; no obstante que la credibilidad puede ser pobre, los resultados son considerados como un plus de la validación del proceso. Aun cuando los resultados de la auto-evaluación no son confiables, es deseable el uso de evaluadores independientes para realizar la metaevaluación. (Scriven, 1991) Es la evaluación de la evaluación (Cook & Gruder, 1978; Scriven, 1969), y las recomendaciones de cuando hacerla varían desde hacerlas después de cada evaluación hasta hacerlas periódicamente. La meta-evaluación se puede aplicar en cualquier momento de la evaluación, desde la planificación de la misma y los métodos, hasta una evaluación completa que requiera la opinión de evaluadores externos (Shadish, William (1998). El objetivo de la meta evaluación es asegurar la calidad de los servicios evaluativos, evitar enfrentarse a las prácticas ilegales y a los servicios que no son de interés público, señalar el camino para el perfeccionamiento de la profesión y promover una mayor comprensión de la empresa evaluativa (Stufflebeam, Daniel. L, Shinkfield J. Anthony , 1987). Según Diaz, Luis Fernando y Rosales Rotsay(2003) en la realización de procesos de evaluación se utilizan dos acepciones de la meta evaluación. Una es la actividad o conjunto de actividades que consisten en la elaboración de listas de comprobación y en la aplicación directa de estas listas a un caso especifico para, con base en ellas, construir, como resultado, un juicio sobre la evaluación. La otra se refiere a dar sentido y explicar el significado del conjunto de actividades humanas que denominamos evaluación en una situación concreta. La meta evaluación no es un proceso esencialmente técnico, sino que tiene naturaleza política y ética. es un proceso social de aprendizaje, que genera a su vez otros procesos de aprendizaje no menos importantes (Guerra Santos Miguel. A, 1998). Se define como el proceso que permite asegurar la calidad de los servicios evaluativos, evitar o enfrentarse a las prácticas ilegales o a los servicios que no son de interés publico, señalar el camino para el perfeccionamiento de la profesión y promover una mayor comprensión de la empresa evaluativa” (Stufflebeam, 1987). No obstante que el término meta-evaluación ha sido tradicionalmente usado para referirse a la evaluación de la evaluación y a la síntesis de resultados de una o más evaluaciones, existe una diferencia entre ambas: la síntesis de la evaluación sirve a los propósitos de resumir los resultados de una evaluación. De hecho el énfasis esta en los resultados. Su propósito fundamental no es evaluar y medir el proceso de la evaluación, sino tener datos empíricos para juzgar los resultados generales de la evaluación de los programas. De hecho, aunque el prefijo meta puede tener connotaciones temporales (“después de”) no necesariamente se realiza la metaevaluación una vez finalizado el proceso, pueden ser actividades paralelas (Guerra Santos Miguel. A 1998). Otra función que la meta-evaluación puede cumplir es la describir, analizar y evaluar los procesos de evaluación Los evaluadores son profesionales que están obligados a analizar el proceso utilizado y las decisiones que se han tomado a lo largo del proceso de evaluación (Stufflebeam, 1987). Dentro de los marcos de referencia disponibles sobre como conducir la metaevaluación se identifican tres modelos: el modelo que requiere validación y que esta asociado con las prácticas científicas; el modelo de los estándares desarrollado por asociaciones de evaluadores; y los modelos independientes propuestos por diferentes autores. 2. Tipos de Meta-evaluación La meta-evaluación, tal como la entendemos, es una evaluación cuyo objeto de estudio es la evaluación del programa de evaluación y no el programa mismo. Para distinguir los tipos de meta- evaluación, Bustelo Maria (2003) plantea cuatro tipos básicos: Considerando el papel de la evaluación: formativa o sumativa. Es sumativa cuando la función es recapitular el proceso completo de la evaluación. La metaevaluación es formativa cuando se usa como un instrumento de cambio durante el proceso de la evaluación, el propósito es mejorar el diseño de la evaluación en proceso. Considerando el contenido o la fase del programa evaluado: diseño, proceso o resultados. La meta-evaluación del diseño implica el análisis y valoración del plan y el diseño de la evaluación, como fue concebido, sus propósitos, objetivos, coherencia interna, contextualizaciòn, estrategias de implementación, entre otros. También debe analizar el costo beneficio del proceso, las expectativas, la utilidad, la rendición de cuentas, calendario de ejecución realista. La metaevaluación de proceso analiza la implementación de la evaluación. Incluye el análisis de las dificultades en la implementación del proceso, ajustes al calendario de ejecución, adecuación a las necesidades y efectividad de los equipos de trabajo. La meta-evaluación de los resultados analiza tanto la información obtenida como los resultados y efectos. La información obtenida (outputs) son los resultados, la información y la evidencia producida (hallazgos, interpretaciones, juicios, y recomendaciones), que se encuentran en los reportes de evaluación. La meta-evaluación de los resultados debe al final ayudar a un mejor entendimiento del proceso, a un aprendizaje por parte de los equipos, en suma directamente relacionado con la utilidad de los procesos. Considerando el momento de la evaluación: ex- ante (antes de la implementación del proceso) o ex –postfacto (durante el proceso o inmediatamente finalizado). Considerando el agente que la realiza: interno o externo. La meta-evaluación interna es desarrollada por los evaluadores mismos, es decir las mismas personas que estuvieron a cargo de la evaluación, desarrollan la meta-evaluación y por consiguiente son responsables del control de la calidad de los procesos de evaluación. La meta-evaluación externa es desarrollada como su nombre lo indica por un agente externo que no estuvo involucrado en el proceso de evaluación, lo que consecuentemente le da más credibilidad al proceso y un reconocimiento externo y consolidación del mismo. En el caso del SICEVAES se realizo una combinación de ambos; una evaluación externa validada por evaluadores externos, dando al proceso una verdadera credibilidad externa. 3 La Meta- Evaluación del SICEVAES El tema de la meta-evaluación ha adquirido en los últimos tiempos una actualidad nunca antes vista, a los evaluadores continuamente se les solicita que evalúen su trabajo y que demuestren a los beneficiarios directos de sus acciones y a la sociedad en general que los procesos que realizan son de beneficio para el mejoramiento de las instituciones. La región centroamericana no escapa de este movimiento y desde 1997 la educación superior ha estado sujeta a procesos de evaluación de la calidad. Las instituciones de educación superior a través del CSUCA y con la cooperación de InWent promovieron el proceso de evaluación de la calidad de la educación superior creando el SICEVAES (Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior). Asimismo, para ambas organizaciones, era importante determinar si los esfuerzos financieros, académicos, técnicos y de capacitación desarrollados tanto por las instituciones de educación superior como por el CSUCA e InWent han sido de utilidad. Con este propósito se considero de importancia desarrollar la meta-evaluación del SICEVAES. 4 El Significado de la Meta- Evaluación en el SICEVAES La Meta-evaluación se definió para los intereses del SICEVAES, y para los efectos de este documento como la evaluación de la evaluación, es decir como un proceso de control de calidad de las evaluaciones de programas e de instituciones desarrolladas por el SICEVAES. 5 Objetivos de la Meta-evaluación del SICEVAES La meta- evaluación desarrollada por el SICEVAES tenia como propósito establecer si este ha estado cumpliendo los objetivos primarios que se asumieron, considerando, además, la cooperación con la actual InWEnt, a fin de: a. Tomar decisiones que apunten a su mejor accionar en la región; b. Proveer bases para una eventual continuación de la cooperación señalada, c. Valorar el impacto de la cooperación InWent (financiera, académica) en el desarrollo alcanzado en materia de evaluación en las universidades de la región (Guía meta-evaluación, 2003)2. La meta evaluación se desarrolló considerando la evaluación interna (autoevaluación) y la evaluación externa (por pares), con los propósitos de desarrollar 2 Guía General de la Meta-evaluación del SICEVAES. CSUCA. SICEVAES, 2003 conocimiento y potenciar el aprendizaje en los participantes así como promover, al mismo tiempo, procesos de coordinación en la toma de decisiones En suma se analizó si el proceso fue eficiente (en esfuerzo), suficientemente informativo (relevante, útil), y asegurar que no hubo problemas en entender (comprensión y claridad) los procesos de auto-evaluación y de evaluación externa, y con ello, las guías diseñadas por la comisión técnica del SICEVAES y validadas por la CCR. Nuestra meta no fue valorar una propuesta teórica sino más bien valorar los esfuerzos de las instituciones de educación superior a través del CSUCA y su organismo especializado en evaluación de la calidad, el SICEVAES. .6 Instrumentos para La Meta-evaluación El instrumento utilizado para realizar la meta-evaluación fue un guía diseñado específicamente al respecto que incluye aspectos relacionados con los procesos de auto-evaluación y de evaluación externa, y con los procedimientos realizados. La guía se desarrollo a través de un sistema de trabajo activo y participativo de los expertos evaluadores, de la Comisión de Coordinación Regional (CCR) y la Comisión Técnica (CTE) del SICEVAES, considerando los estándares tradicionales de objetividad y validez, optimizando las decisiones para elevar la capacidad de respuesta o la capacidad de adaptación a las necesidades de información de los participantes en el proceso. 7 Factores a Evaluar en la Meta-evaluación del SICEVAES: La interrogante de fondo a responder es: ¿Ha contribuido el SICEVAES al desarrollo de una “cultura de evaluación” y a la implantación de un sistema de aseguramiento de la calidad educativa en las instituciones integradas al Sistema? Tal “cultura de evaluación” y “aseguramiento de calidad” implica, en general, el camino hacia la promoción de la calidad y la garantía pública de la misma, y supone acciones tales como la realización de procesos evaluativos y el establecimiento de estructuras organizacionales Ad-Hoc en las instituciones integradas, la tendencia a una profesionalización de las funciones, la planificación e implantación de cambios para el mejoramiento, la sistematización y distribución de información a usuarios y beneficiarios, retroalimentación por los mismos y la socialización de conceptos y lenguaje en torno a la gestión para la calidad3. Los criterios establecidos están referidos a los aspectos de: a)Realización de autoevaluación focalizada, b)Establecimiento de estructuras organizacionales para la conducción de los procesos, c)Definición de planes de mejoramiento como resultado de las evaluaciones , d)Planes y programas de acción implementados en las instituciones para atender problemas puntuales, e) Intercambio de experiencias en el campo del aseguramiento de la calidad educativa con organismos y personeros 3 Guía General de la Meta-evaluación. CSUCA/SICEVAES.2003 de la comunidad profesional, del sector productivo y de servicios, e)Desarrollo de actividades de capacitación de personal académico de las universidades integradas f)Producción y difusión de material de trabajo y de estudio, respecto de los procesos de auto-evaluación, evaluación externa y gestión institucional, g)Aplicación, con adaptación o sin ella, de los principios y procedimientos de regulación de calidad educativa, en las instituciones, h)Efecto positivo en las áreas de docencia y gestión institucional, en las instituciones, i)Incremento de la capacidad auto regulativa de las instituciones, j)Intercambio de experiencia y conocimiento técnico para el establecimiento de un sistema de acreditación en la región; k)Generación de información para facilitar el intercambio académico;,l)Apoyo financiero y oportuno para la realización de las actividades de evaluación; m)El propósito de los dos primeros criterios, está orientado a los procesos mismos de la evaluación (Validez); Los criterios c y d se orientan a verificar el desarrollo e implementación de planes de mejora y planes de acción puntuales, producto de la evaluación (relevancia, utilidad.) Los criterios e, f, g apuntan al tema de la formación de recursos humanos en procesos de evaluación de la calidad (relevancia y utilidad.) Los criterios h, i, están referidos a la transformación de las instituciones como resultado de la evaluación (relevancia y utilidad.) El criterio j se refiere a los avances en el campo de la acreditación (eficacia, rendición pública), y finalmente el l a los aspectos financieros del proceso (transparencia y rendición de cuentas.) el k esta referido a la generación de sistemas de información Para llevar a cabo la meta evaluación se consideró de importancia desarrollar las siguientes actividades4: 1. Analizar la información de base, considerando las cartas de intención suscritas entre InWEnt y el CSUCA, así como los convenios establecidos y cualquier otra documentación que tanto CSUCA como InWEnt consideren pertinente hacer llegar a los evaluadores. Esta información de base constituirá el marco de referencia para la evaluación y permitirá definir los objetivos en función de los cuales se analizarán las acciones del programa. 2. En primer lugar se consensuó con los actores principales del proceso sobre la necesidad de realizar la meta evaluación. Para ello se realizó un taller con la participación de los y las responsables de las Unidades Técnicas de Evaluación (UTAS) de las universidades de la región, de la Comisión Técnica (CTE) y del Comité de Coordinación Regional (CCR), con el apoyo de los expertos que diseñaron los criterios de la meta evaluación. En este taller de elaboró la Guía y se definieron estrategias de socialización y adecuación. 3. Analizar los documentos pertinentes e informes de autoevaluación elaborados por las UTAS como parte de la evaluación del SICEVAES, así como los 4 Ver cronograma de Actividades de la Evaluación Externa de la Meta Evaluación en Documentos del SICEVAES 4. 5. 6. 7. 8. informes de síntesis elaborados por el Comité Técnico de Evaluación y los informes nacionales preparados para la evaluación. Efectuar entrevistas a profundidad a los principales actores: Miembros del CSUCA, del CCR, de la CTE, del CCA; representantes de las agencias de aseguramiento de la calidad existente, en el ámbito nacional o regional; representantes de gobierno en los distintos países; y representantes de la cooperación alemana (al menos InWEnt y GTZ). Efectuar visitas a instituciones en los diversos países. Para ello, sobre la base del análisis de los informes mencionados en el punto 2, se elaborará una pauta de visita, y cada uno de los evaluadores visitará dos países, con la compañía de representantes de la CTE designados por el CSUCA. Preparar y participar en el seminario taller sobre metaevaluación Elaborar un informe de evaluación que será enviado a la División de Educación de InWent y la Dirección de CSUCA para sus observaciones. Presentación del informe ante los organismos cooperantes III. RESULTADOS DE LOS PROCESOS DE AUTOEVALUACION Y DE EVALUACION EXTERNA A juicio tanto de la auto-evaluación como la evaluación externa los resultados fueron exitosos. El análisis de los objetivos generales planteados para el sistema mismo muestra que se ha logrado incorporar, en los sistemas de educación superior centroamericanos, hábitos sistemáticos de autoevaluación y evaluación externa, comprometiendo no sólo a las autoridades de las universidades públicas sino también a sus colegas de universidades privadas. Los académicos de las instituciones participantes conocen el programa, han participado en muchas de las actividades organizadas y por consiguiente, hoy el concepto de aseguramiento de la calidad de la educación superior vigente en Centroamérica forma parte de la cultura de las instituciones y sistemas de educación superior en la región. La incorporación de otros actores al proceso ha resultado también razonablemente eficaz. Autoridades de gobierno, representantes de instituciones privadas y de asociaciones profesionales y gremiales han participado en los Foros (cuatro) Centroamericanos por la Acreditación de la Educación Superior realizados durante la vigencia del programa. Si bien se mantienen ciertas distancias, y la incorporación de estos actores no es todo lo amplia que sería deseable, se trata de un esfuerzo importante por cuanto permitió romper barreras que hace algunos años habrían parecido infranqueables. En este contexto es esencial destacar el rol desempeñado por el Consejo Superior Universitario de Centroamérica (CSUCA), que no obstante ser un organismo constituido por las universidades públicas de la región, ha favorecido la discusión sobre aseguramiento de la calidad a otros actores del mundo universitario y fuera de él. Es importante señalar la visión y las orientaciones establecidas por los organismos responsables de la cooperación alemana, que con creatividad, flexibilidad y rigurosidad permitieron orientar el programa de modo tal que éste es ampliamente reconocido por su alto grado de sintonía con las necesidades, los requerimientos y la cultura de la educación superior centroamericana. Las instituciones reconocen de manera significativa el desarrollo de una masa critica en la región comprometida con los esfuerzos de mejoramiento de la calidad 3.1 Principales Logros en el Sistema centroamericano a) Desarrollo del Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior (SICEVAES), expresado en procesos de capacitación y entrenamiento de personal, diseño y desarrollo de guías y materiales de evaluación, implementación de procesos de auto-evaluación y evaluación externa y, al final pero no por ello menos importante, el desarrollo de instancias de reflexión, evaluación y análisis de las experiencias realizadas. b) Empoderamiento de autoridades instituciones, académicos y otros centros de interés, a traves de los conocimientos y la experiencia apropiadas para organizar y llevar a cabo procesos de auto-evaluación y evaluación externa de programas e instituciones de educación superior. c) Organización y sistematización de un conjunto significativo de documentos de apoyo a los procesos de evaluación, ampliamente reconocidos, valorados y utilizados. Estos documentos cubren desde la formulación de estándares para la evaluación hasta guías y manuales para orientar el trabajo de los equipos institucionales y de pares externos. d) El impacto de los procesos de evaluación sobre programas e instituciones, que han permitido mejorar la articulación entre los procesos de formación, los egresados de las distintas carreras y el medio laboral. Entre estos impactos es posible señalar el cierre de carreras que no cumplen con criterios de calidad, la consideración de estos criterios en el diseño de nuevas carreras y modificaciones curriculares, pedagógicas y administrativas en ya carreras evaluadas. e) El fortalecimiento de instancias de integración en la región, como resultado de la reflexión compartida acerca de las acciones necesarias para el aseguramiento de la calidad entre autoridades de gobierno, líderes de la educación superior estatal y privada, representantes de asociaciones profesionales y gremiales, apoyados por especialistas de otros países. f) La constitución del Consejo Centroamericano de Acreditación de la Educación Superior (CCA), como un organismo que integra a diversos actores en su interior y que puede desempeñar un rol fundamental para la sustentabilidad de las acciones contempladas en el programa, su fortalecimiento y desarrollo futuro. g) El desarrollo de metodologías de capacitación y entrenamiento innovadoras y eficaces, que pueden servir de modelo a otros procesos tanto en la región como fuera de ella. Asimismo, el énfasis en el desarrollo de la región como un todo, unido al apoyo concreto prestado a cada uno de los países constituye también un elemento innovador y sugerente para otras regiones con características similares. 3.2 Aspectos a mejorar h) El desarrollo de los procesos de evaluación de la calidad en las universidades no ha sido homogénea, lo que sugiere la necesidad de explorar las razones que pudieron haber afectado y que eventualmente conduzcan a una desmotivación para la continuidad del proceso. Ante esta situación se hace necesario la expansión de los sistemas de evaluación i) Algunas de las actividades no lograron desarrollarse de manera satisfactoria. Un ejemplo de esto es el trabajo realizado en torno al diseño e implementación de estudios de egresados. Dada la importancia de este tipo de estudios, parece esencial profundizar en las condiciones que redujeron su impacto y buscar nuevas alternativas para su desarrollo. j) Si bien el conjunto de personas que participaron en las diversas actividades del programa constituyeron una suerte de red informal, su eficacia y capacidad para prestar apoyo a los integrantes se reduce significativamente debido a su escasa formalización, lo que impide el logro del efecto multiplicador que facilitaría la actualización y profundización de las actividades de evaluación y aseguramiento de la calidad. Pro lo tanto el establecimiento de sistemas de gestión de la calidad daría un impulso significativo a este proceso. k) El énfasis del programa, correctamente a juicio de los evaluadores, estuvo esencialmente en las tareas asociadas a la auto-evaluación y la evaluación externa de programas e instituciones. En este aspecto se hace necesario abordar: o El tema de la participación de los egresados y empleadores en procesos más allá de la evaluación. o La necesidad de profundizar en el desarrollo de capacidades de planificación, diseño y seguimiento de planes de mejoramiento, o Revitalizar las funciones del SICEVAES en el marco de la gestión de la calidad en la región como un proceso integrador para la transformación de las instituciones. o 3.4 Resultados de la Meta evaluación (Auto evaluación y Evaluación Externa) en función de la Validez, Utilidad Y Relevancia de los procesos a- Comprensión: Los resultados demuestran que las personas responsables de responder a la guía de auto-evaluación como a las entrevistas de evaluación externa las encontraron fácil de responder. Algunas preguntas se podían responder con un si o un no, sin embargo se esperaba que las UTAS (Unidades Técnicas) aportaran detalles a sus respuestas. Esto se logro parcialmente como se puede verificar en los informes institucionales. Con la visita de los pares externos se logro completar la información b- Claridad. El alto índice de respuestas satisfactorias indica en general un nivel de claridad de la guía, y de los procesos realizados en las visitas de los evaluadores externos, que permitió valorar el proceso de la evaluación de la calidad de la educación superior, tanto por los actores directos como por los usuarios. c- Relevancia. En general, todos los factores analizados como las respuestas, revelan su importancia para entender el proceso realizado. Se observa un incremento en los aspectos relacionados con la capacitación y la formación de recursos humanos en el campo de la evaluación de la calidad de la educación, área en la que las universidades han logrado un mejoramiento significativo en el conocimiento científico y en la experiencia ganada. d- Utilidad. Los altos puntajes de satisfacción recibidos en general, en todos los factores de la guía, indican la potencial importancia para el mejoramiento continuo de los procesos de evaluación y de la calidad de las instituciones de educación superior de la región. Esto se confirma en el informe de evaluación externa 3.5 Conclusiones • • • • • • Los logros que en materia de evaluación de la calidad ha alcanzado la región son de gran significado para los procesos de integración Centroamericana y brindan un claro mensaje a la sociedad del interés de la educación superior por elevar sus estándares y contribuir de manera significativa al desarrollo educativo, social, económico y político de la región. La meta-evaluación debe verse como un proceso de comprensión e interpretación de la evaluación de la calidad de la educación superior de la región centroamericana. Como todo proceso, la evaluación de la calidad de la educación, necesita someterse a la meta-evaluación, con el propósito de analizar los posibles problemas y dificultades y encontrar soluciones para su mejoramiento. Por lo novedoso del proceso en el área centroamericana, se construyo una guía que respondiera a los objetivos planteados. Consecuentemente, la guía se construyó considerando la importancia que para los procesos de acreditación tendrían los resultados obtenidos y por otro lado aprender de los errores para futuros procesos. En general se puede concluir que la meta-evaluación tuvo resultados satisfactorios, permitiendo detectar problemas específicos tanto en el procedimiento como en la instrumentación y la necesidad de reformular o adecuarlos. En relación a los propósitos de la evaluación planteados tanto por Stufflebeam y Bustelo, concluiremos que la meta- evaluación desarrollada por el SICEVAES cumplió los propósitos de aprendizaje, desarrollo de conocimiento y el de rendición de cuentas. La meta-evaluación es un proceso social de aprendizaje de gran importancia para las instituciones, por lo tanto su aplicación requiere algo mas que una guía o una lista de criterios, se requiere que el metaevaluador plantee interrogantes, sugerencias y perspectivas que apoyen a la comprensión del proceso tanto de los mismos evaluadores como de distintas audiencias. 3.6 Perspectivas Futuras 1. Se debe reconocer el valor del proceso realizado tanto para los efectos de valorar el impacto del apoyo económico de InWent, como de evidenciar ante la sociedad civil y las comunidades universitarias las transformaciones producidas en el seno de las mismas. Se puede afirmar que el estudio se desarrollo como un primer esfuerzo de sistematizar la información obtenida en las instituciones, y con la aspiración de mejorar continuamente los procesos de la evaluación de la calidad en la educación superior de la región, las conclusiones por lo tanto no intentan ser generalizables. Por el contrario, reconocemos que su utilidad fundamental concierne al mejoramiento de procesos específicos para el establecimiento de un sistema de calidad en el contexto de nuestras universidades, no descartando la posibilidad que este trabajo motive a otros investigadores a conducir proceso de meta-evaluación, como una actividad critica de auto-análisis, dirigida a mejorar su propio trabajo. 2. Se reconoce la necesidad de impulsar el establecimiento de sistemas de información y estudios de la universidad que permitan generar conocimiento sobre las nuevas realidades en las que se mueven nuestras instituciones de educación superior. Dentro de esto la definición de políticas, la toma de decisiones, el estudio de graduados, entere otros. 3. Impulso a ka integración y armonización académica regional, a través de la definición de competencias que deben tener los graduados de la región, estudios comparativos sobre grados y títulos, 4. Independientemente de las realidades políticas y los intereses creados dentro de las instituciones, estamos convencidos de la importancia que los procesos de evaluación de la calidad tienen en el mejoramiento y reforzamiento de las personas y de las instituciones. REFERENCIAS Acta Constitutiva del Consejo Centroamericano de Acreditación. Consejo Superior Universitario Centroamericano, (CSUCA), 2004. Alarcón Francisco, Luna Guillermo: Antecedentes, Situación Actual y perspectivas de la Evaluación y la Acreditación de la Educación Superior Centroamérica. IESALC, UNESCO, 2003. http://www.iesalc.unesco.org.ve/ Alarcón Francisco, Erazo Iris: Estado Actual de la Evaluación y la Acreditación. Documento de trabajo para la Conferencia sobre Educación Superior. Universidad de Krems, Austria, 2003. Bustelo, Maria: Meta-evaluation as a Tool for the Improvement and Development of the Evaluation Function in Public Administration. www.europeanevaluation.org/docs/BusteloSevillaEES.pdf Chelimsky, E. (1983). The definition and measurement of evaluation quality as a management tool. New Directions for Program Evaluation, 18, 113-126. Chelimsky, E. (1997). The coming transformations in Evaluation. In E. Chelimsky & W.R. Shadish (Eds.). Evaluation for the 21st century. A handbook (pp. 1-26). Thousand Oaks, CA: Sage. Diaz Luis Fernando y Rosales, Rotsay: Meta evaluación: Evaluación de la Evaluación de políticas, programas y Proyectos Sociales, 2003. Guerra Santos Miguel. A. “Evaluar es Comprender. Colección Respuestas Educativas. Magisterio Rio de la Plata, 1998. Guía General de la Meta-evaluación del SICEVAES. CSUCA. SICEVAES, 2003. Guía de Auto-evaluación de Programas. Consejo Superior Universitario Centroamericano (CSUCA), Sistema Centroamericano de Evaluación y Acreditación de la educación Superior. Comisión Técnica de Evaluación. Editorial UPNFM, 2003 Joint Committee on Standards for Educational Evaluation (1981). Standards for evaluations of educational programs, projects and materials. New York: McGrawHill. . Ministry of Interior: Ministry of Finance Towards a Shared Evaluation of Public Services. Discussion Initiative. Vision Productivity for the future Programme and association of Finnish Local and regional Authorities. Helsinki, 2001. www.pldg.pl/p/pl/TarJF/downloadFile/19/4/1/6 Rebolloso, E. (1994a). La evaluación del personal profesional: ¿Un modelo de evaluación nuevo o una síntesis de modelos previos? Revista de Psicología Social, 2, 231-255. Rebolloso, E. (1994b). Los standards de evaluación de la Joint Committee. Su utilidad como guía para la práctica profesional en educación y servicios sociales. Revista de Psicología Social Aplicada, 4, 63-91. Scriven. Michael en Bustelo, Marìa “Metaevaluación as a toll for the Improvement and Development of the Evaluation function in Public Administration. www.europeanevaluation.org/docs/BusteloSevillaEES.pdf Stufflebeam, Daniel. L, Shinkfield J. Anthony. Evaluación Sistémica: Guía Teórica y Práctica. Temas de Educación, Paidos, 1987. Scriven, M. (1969). An introduction to metaevaluation. Educational Product Report, 2, 36-38. Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior. Documento de creación, CSUCA, 1998. Shadish, William (1998). Some evaluation questions. Practical Assessment, Research & Evaluation, 6(3). http://PAREonline.net/getvn.asp . Stufflebeam Daniel, Meta- Evaluation, Occasional Papers series, 1974. http://www.wmich.edu/evalctr/pubs/ops/ops03.pdf Stufflebeam, D.L. & Shinkfield, A.J. (1987). Evaluación sistemática. Barcelona: Paidós/MEC