Informe de Evaluación Nivel de logro del Plan Maestro CSUCA – HRK – DAAD 2004 – 2006 Preparado por Dr. Gilberto Alfaro-Varela Mter. Bayardo Mejía 21 de marzo de 2007 Tabla de Contenidos Descripción General ........................................................................................................... 3 Objetivos............................................................................................................................. 3 Metodología ........................................................................................................................ 4 Resultados y Análisis de Resultados .................................................................................. 5 Conclusiones....................................................................................................................... 6 Recomendaciones ............................................................................................................... 6 2 Descripción General El CSUCA, en conjunto con la Conferencia de Rectores Alemanes (HRK) y el DAAD en el periodo 2004 - 2006 desarrollaron un Plan Maestro de trabajo orientado a dar el sosten necesario para la consolidación de proyectos concretos de apoyo al desarrollo académico universitario en la región centroamericana, que en el mediano plazo aportarán significativamente al mejoramiento de la calidad en la educación superior en la región. Con el propósito fundamental de valorar el nivel de logro de los objetivos propuestos en el plan maestro, se llevó a cabo un proceso de evaluación de los componentes del plan que incluirá en principio los siguientes aspectos, relacionados con la calidad y pertinencia de los proyectos desarrollados en cuanto a: 1. La organización de las actividades de los diferentes proyectos 2. Aprovechamiento de las oportunidades de encuentro como espacios para fortalecer la academia centroamericana 3. Contribución a la constitución de equipos regionales de trabajo 4. Generación de documentos y lineamientos pertinentes para el trabajo en los diversos sectores académicos centroamericanos La evaluación se llevó a cabo a partir de la información generada de un cuestionario que se aplicó a los actores de los diversos sectores que participaron en las actividades del plan maestro. Entre los actores principales se solicitó información a autoridades universitarias, académicos de los diferentes proyectos, representantes de organismos externos a las universidades y que han participado en las actividades, entre otros. Posterior a la encuesta, se realizó un taller evaluativo en el que se analizaron los datos y se procedió a su interpretación desde la perspectiva de los contextos de las instituciones involucradas en los procesos incluidos CSUCA, HRK, DAAD, Agencias de Acreditación, Colegios profesionales, universidades entre otros. Del taller que analiza los resultados desde las diferentes perspectivas se aportan elementos valiosos de contexto que permiten identificar logros, dificultades, y hacer importantes recomendaciones para futuros proyectos en esta línea. Objetivos Con la evaluación llevada a cabo se pretendió alcanzar los siguientes objetivos: 1. Valorar el nivel de logro de los objetivos propuestos en el Plan Maestro 2. Compartir entre los diversos sectores los logros alcanzados con los diversos componentes del Plan. 3. Visualizar el trabajo generado y el potencial generado para promover el desarrollo de nuevas acciones conjuntas. 3 4. Documentar los aportes de los participantes, como un medio para conformar una base común de ideas y propuestas de trabajo que darán seguimiento a los logros alcanzados hasta ahora. Metodología Para el desarrollo del proceso de evaluación se partió en principio del análisis de las acciones propuestas en el Plan Maestro, a fin de identificar los objetivos, las actividades y los participantes involucrados en el logro de los mismos. De este análisis se produce un documento básico que se adjunta entre los anexos de este informe bajo el título de Guía generada para la elaboración del cuestionario. A partir de esa guía se elabora un cuestionario que es revisado por diferentes personas, a las que se les solicita su colaboración a fin de que valoren si los ítems incluidos correspondian a los objetivos de la evaluación y si se referian de manera apropiada a los alcances de las acciones propuestas en el Plan Maestro. Una vez recogidas las sugerencias se conforma el cuestionario definitivo, el cual aparece en los anexos de este informe bajo el título de Cuestionario enviado. El cuestionario consta de tres secciones: 1. Información General: la cual pretende ubicar el tipo de actividades en las que participaron los que responden 2. Valoración de las actividades: Se orienta a valorar la calidad de las actividades desde el punto de vista de organización y pertinencia para los fines que fueron organizadas 3. Aportes de las actividades para el mejoramiento de la calidad de la Educación Superior en la Región. Este apartado pretendía valorar la trascendencia de las actividades hacia la conformación de un estilo de pensamiento que contribuya en la región al mejoramiento continuo y al aseguramiento de la calidad de las acciones que se realizan en torno a los procesos universitarios (evaluación, acreditación, diseño curricular entre otros). Dado que la aplicación de este cuestionario se dio en el periodo de vacaciones de la mayoría de las universidades de la región, se decidió enviar el cuestionario, vía correo electrónico, a todos los participantes en las actividades llevadas a cabo en el marco del Plan Maestro. Esta lista se extrajo de las listas suministradas por la SP-CSUCA según los listados enviados de participantes en cada actividad. Es importante mencionar que hay muchas personas que aparecen como participantes en más de una actividad de las llevadas a cabo. En el anexo se incluye la lista de correos, donde se hizo llegar la encuesta, bajo el título de Lista de correos. Del total de correos enviados (431), se recibieron por la misma vía en forma leible y completas 65 encuestas que fueron procesadas y la información tabulada. A partir de los resultados obtenidos en las encuestas, se organizó la información para la discusión en el taller que se llevó a cabo en el Hotel Villas Tournon en San José, Costa Rica. En este taller hubo participación de diversos sectores, de los que estuvieron involucrados en el desarrollo del plan Maestro. En el anexo se incluye la lista de participantes bajo el título de lista de participantes. La discusión y comentarios que 4 surgieron en el taller fueron documentados como un complemento a este informe (ver informe de documentación preparado por la Mter. Maribel Duriez). Me imagino que dependerá si envía o no algún informe Resultados y Análisis de Resultados Según el documento de la propuesta de evaluación, términos de referencia que se adjunta en el anexo, se procedió según lo planificado, con la variante de que se envió el cuestionario a toda la población de participantes (431), de los cuales 66 direcciones no recibieron el documento y se reportaron como incorrectas. De las restantes 365 direcciones se recibieron de vuelta 65 respuestas, de las cuales solo 62 fueron válidas, dado que tres por la forma de envío se desconfiguraron y no fue posible leerlas. Esto indica que la información procesada representa un 14.3% de los cuestionarios enviados, y un 17% de las encuestas que llegaron a su destino. Es importante analizar esta situación dado el hecho que el periodo en el que se solicitó la evaluación coincidió con el periodo de vacaciones de la mayoría de las universidades de la región; además de que muchas de las direcciones dadas podrían ser temporales para muchos de los participantes o no consultadas con mucha frecuencia. Direcciones del tipo Yahoo y Hotmail representan aproximadamente el 30% de los participantes, con el riesgo de que no sean las direcciones que consultan para asuntos propios de la universidad. De los que respondieron la encuesta se encuentra que hay un grupo que participó en más de una de las actividades, lo cual indica que hay un grupo de académicos en quienes se concentra la participación en actividades vinculadas con las temáticas de gestión de la calidad y los procesos de evaluación y acreditación en la región. Por la naturaleza de las actividades realizadas y los posibles insumos de los datos para una enriquecedora discusión, se procedió a organizar la información en grupos de las preguntas más relevantes según la línea de trabajo del Plan Maestro que se estaba analizando. Para estos efectos es importante la información sistematizada que se encuentra en la carpeta Presentaciones del taller, que se incluye en los anexos de este informe. La información fue organizada para una presentación en números relativos (porcentajes) de manera que se puede hacer una interpretación más fácil de sus significados Para efectos del taller, se presentaron (ver carpeta de presentaciones en el anexo) los resultados de cada línea de trabajo con sus objetivos, las actividades realizadas, los resultados de las valoraciones según la apreciación de los participantes (distribución de porcentajes de preguntas más relacionadas con los objetivos de la línea a que corresponden) y una lista de preguntas clave que orientaron la discusión, para recuperar la apreciación de los participantes en el taller, quienes contribuyeron a enriquecer la interpretación de los resultados obtenidos. Los comentarios y discusiones fueron recuperados en la documentación paralela que se llevó a cabo y cuyo documento complementa este informe. En un apartado independiente en la carpeta de presentaciones (resumen de comentarios) se incluyen los comentarios adicionales que hacen los participantes que respondieron y que se consideró que aportan elementos valiosos a tomar en cuenta para futuros proyectos. 5 Conclusiones Del proceso valorativo que se llevó a cabo en torno a las actividades ejecutadas en el marco del Plan Maestro que desarrollaron conjuntamente el CSUCA – HRK y DAAD se puede llegar a las siguientes conclusiones: 1. Los participantes que respondieron y los que estuvieron presentes en el taller (que podrían en muchos casos ser los mismos), coinciden en el valor de las actividades realizadas tanto por el contenido como por la forma y la oportunidad en que se llevaron a cabo. 2. Los objetivos propuestos por el Plan Maestro fueron superados en número y calidad dado que al contextualizar las acciones y al seleccionar a los participantes en cada una de ellas se logró maximizar los recursos utilizados para el desarrollo de las mismas y realizar más lo que se había planificado. Los participantes muestran que se aprovechan las oportunidades más allá de lo que se propuso en un inicio. 3. El esfuerzo conjunto realizado por el CSUCA, HRK y DAAD ha mostrado la capacidad de colaboración entre instituciones y la disposición de los participantes por aprovechar las oportunidades para generar nuevas y mejores formas de organización de acciones tendientes al mejoramiento de la calidad del quehacer universitario Recomendaciones Para efectos de organizar futuras evaluaciones similares a la que se llevó a cabo para el Plan Maestro es recomendable: 1. Planificar la ejecución de procesos similares a este con mayor anticipación, de manera que se permita un periodo de tiempo en el cual se pueda contactar con mayor facilidad a los participantes. 2. Prever evaluación permanente desde el principio y realizar procesos de evaluación al final de cada una de las actividades, de manera que al final lo que se tenga sea una integración de los aportes de cada mini evaluación y el complemente con una apreciación global de las actividades. 3. asegurar en el taller final la participación efectiva de las personas más indicadas para aportar en la línea que corresponde. Las personas que sustituyen no siempre tienen la información adecuada y la visión requerida para hacer aportes significativos 4. Contemplar la evaluación desde la formulación como una etapa importante del proyecto. 5. Debe haber un equipo de monitoreo que lleve un record del trabajo que se va realizando y así poder llevar a cabo una evaluación que tome en cuenta todas las etapas del proyecto. 6. En los aspectos débiles como lo es el caso del REESCA, debe tenerse el nombre de por lo menos un responsable por país a quien se le pueda solicitar constantemente el alimento de la base de datos. 6 7. Al final de cada etapa de un proyecto debe determinarse el nivel de logro alcanzado respecto de los objetivos propuestos aclarando acerca de las dificultades para encontrarle solución 8. Debe haber un seguimiento de cómo se están implementando los planes de “aseguramiento de la calidad”. 9. Las buenas experiencias, las lecciones aprendidas y las buenas prácticas deben documentarse y publicarse en todas las Universidades. Esto puede ayudarnos mucho para el logro de la homologación de estudios. 10. Debe recomendarse a las Universidades con candidatos para las becas, que estos tengan la preparación apropiada para aprovechar de la mejor manera posible la oportunidad de la beca. 11. Debe estimularse a las comisiones “pro tempore” para que se constituyan en comisiones de seguimiento de las agencias creadas o que están por crearse. 7