EL SEGUIMIENTO COMO BASE DE LA ACREDITACIÓN. LA ESTRATEGIA DE ACSUG Isabel Belmonte Otero Unidad de Programas Axencia para a Calidade do Sistema Universitario de Galicia (ACSUG) Introducción El proceso de seguimiento de los títulos oficiales de grado y máster en las universidades del SUG ha centrado gran parte del trabajo de la Unidad de Programas de ACSUG en los últimos años, fruto de la estrategia acordada con las propias universidades gallegas, que también han trabajado en consecuencia. En el año 2010, partiendo de la información que las universidades tenían más reciente, las memorias de verificación de los títulos, y del también reciente diseño de sus Sistemas de Garantía de Calidad (SGC), 1 de acuerdo con el programa FIDES-AUDIT , se diseñó un proceso de seguimiento tratando de unificar los criterios de verificación y las directrices del SGC, aprovechando al máximo los beneficios mutuos entre los diferentes programas, con el objetivo de minimizar el esfuerzo realizado por las universidades. Todo ello respetando los propósitos del proceso de seguimiento, de acuerdo con las recomendaciones de REACU y CURSA. El resultado fue un seguimiento centrado en tres dimensiones, en las que deben estar estructurados los auto-informes de seguimiento anuales que elabora cada título: 1. La información pública 2. El cumplimiento del proyecto establecido por la universidad en sus memorias verificadas 3. La respuesta a las recomendaciones establecidas en los diferentes informes El proceso Lo singular del proceso de seguimiento que realiza ACSUG reside en la dimensión 2 “Cumplimiento del proyecto establecido” dado que esta dimensión se estructura en torno a los 10 criterios en los que también están estructuradas las memorias de verificación de títulos. Esto implica que, en cada uno de los criterios, la universidad debe justificar la valoración del cumplimiento del criterio (satisfactorio, suficiente, insuficiente, ausencia de evidencias) realizando una reflexión apoyada en datos objetivos y estableciendo propuestas de mejora que deben ser fruto de esa reflexión. Además, en cada criterio, se deben indicar las modificaciones realizadas o que se van a realizar, así como una breve justificación de las mismas. Por último, cada título puede destacar buenas prácticas realizadas, de acuerdo con la definición de buena práctica que se recoge en la propia guía de evaluación. A continuación se presenta 1 El programa AUDIT en la CCAA de Galicia se denomina FIDES-AUDIT. “Programa FIDES. Establecimiento del Sistema de Garantía de Calidad de Títulos Universitarios” y “Programa AUDIT. Guía para el diseño de Sistemas de Garantía Interna de Calidad de la formación universitaria. 1 un ejemplo de la estructura de la información que se debe incluir en cada criterio (como ejemplo criterio 3. Competencias): 2. CUMPLIMIENTO DEL PROYECTO ESTABLECIDO 3. Competencias Se valorará el criterio de “Competencias” de la memoria para la solicitud de verificación de títulos oficiales (anexo I del Real decreto 1393/2007) y la directriz de “Objetivos del plan de estudios” del Programa FIDES-AUDIT. Valoración general del grado de cumplimiento del criterio Satisfactoria A Suficiente B Insuficiente C Ausencia de evidencias documentales D Reflexión (justificación de la valoración)/Conclusiones: BUENAS PRÁCTICAS: PROPUESTAS DE MEJORA: BREVE DESCRIPCIÓN Y JUSTIFICACIÓN DE LAS MODIFICACIONES: De esta manera se pretende garantizar que cada año, a través de los auto-informes de seguimiento, se aporte una información exhaustiva de la implantación del título. Dificultades encontradas En las dos primeras convocatorias oficiales del programa de seguimiento, correspondientes a los años 2012 y 2013, el proceso se desarrolló con ciertas dificultades y esto repercutió de forma negativa en los resultados. Los auto-informes de seguimiento no generaban la información esperada, sino que se limitaban, en su mayoría, a remitirse a los datos consignados en la memoria de verificación del título y a la información publicada en la web, sin apenas incluir reflexión sobre lo que en realidad estaba sucediendo y sin aportar datos objetivos sobre el desarrollo del título. Ello generó un porcentaje muy elevado de “no conformes” en los informes emitidos por ACSUG, llegando a un 62% en la convocatoria 2 2012. Sin embargo, estos resultados no implicaban, en la mayoría de los casos, un incumplimiento de los criterios mínimos de calidad, sino una falta de adecuación de los auto-informes con la metodología de seguimiento empleada. Las claves del proceso Tras la finalización de la convocatoria 2013 y analizados los resultados que se estaban obteniendo, desde la Unidad de Programas de ACSUG se decidió poner énfasis en explicar a las universidades qué aspectos en concreto deberían incluir en sus auto-informes de seguimiento. Para ello se organizaron una serie de charlas informativas por las tres universidades explicando las claves del proceso de seguimiento y qué aspectos deberían abordar a la hora de analizar cada uno de los 10 criterios. Estos aspectos se recogen en la segunda versión de la guía de seguimiento publicada en febrero de 2014: DIMENSIÓN 2. CUMPLIMIENTO DEL PROYECTO ESTABLECIDO Analizar y valorar si el desarrollo del plan de estudios se realiza conforme a lo establecido en la memoria verificada y no se produjeron incidencias graves, lo que permite una adquisición correcta de las competencias de los estudiantes. Una vez realizada la valoración y la reflexión de cada uno de los criterios, se incluirán las buenas prácticas detectadas, las propuestas de mejora, así como, si es el caso, las modificaciones que se deben hacer en el título para desarrollar las mejoras establecidas. Aspectos que el título debe/puede tener en cuenta a la hora de realizar la reflexión: 1. DESCRIPCIÓN DEL TÍTULO Tipo de enseñanza Coordinación intercentros/interuniversidades Régimen de estudios Número de plazas de nuevo ingreso ofertadas Idiomas en los que se imparte el título Relación oferta/demanda 2. JUSTIFICACIÓN Interés actual del título Contacto con los organismos con los que se realizaron consultas externas Demanda del título 3. COMPETENCIAS Adquisición de las competencias recogidas en la memoria del título Adquisición de las competencias en las distintas modalidades de impartición Cómo se está comprobando la adquisición de las competencias Satisfacción de los diferentes grupos de interés sobre la adquisición de competencias 3 DIMENSIÓN 2. CUMPLIMIENTO DEL PROYECTO ESTABLECIDO 4. ACCESO Y ADMISIÓN DE ESTUDIANTES Mecanismos de captación y acogida de estudiantes Perfil de ingreso recomendado y perfil de ingreso real del estudiantado matriculado en el título y adecuación con el perfil de ingreso recogido en la memoria de verificación Satisfacción de los diferentes grupos de interés en relación al acceso y admisión Curso puente o de adaptación (diseño curricular, criterios y condiciones de acceso) Complementos formativos, en cuanto a la función que cumplen de nivelación y adquisición de competencias y conocimientos, en función de la formación previa acreditada por el estudiante 5. PLANIFICACIÓN DE LAS ENSEÑANZAS Estructura del programa formativo: denominación de módulos/materias, créditos, organización temporal, carácter obligatorio u optativo, desarrollo de actividades, metodologías docentes, sistemas de evaluación, etc. Coordinación intercentros/interuniversidades Coordinación horizontal y vertical Desarrollo del trabajo fin de grado/máster Desarrollo de las prácticas externas Movilidad del estudiantado Satisfacción de los diferentes grupos de interés con el desarrollo de la planificación de las enseñanzas 6. RECURSOS HUMANOS Adecuación del profesorado que imparte docencia en el título. En caso de centros adscritos: evolución del número de doctores Adecuación de otros recursos humanos disponibles para el desarrollo del plan de estudios Comparación, análisis y realización de las mejoras oportunas, si fuese el caso, de la situación actual y lo incluido en la memoria de verificación Satisfacción de los diferentes grupos de interés con los recursos humanos Movilidad del profesorado Resultados de los procesos de evaluación del personal académico: programa DOCENTIA o similares 7. RECURSOS MATERIALES Y SERVICIOS Adecuación de los recursos materiales, infraestructuras y servicios En caso de enseñanza semipresencial o virtual, adecuación de los recursos materiales y servicios (videoconferencia, nuevas tecnologías, etc.) Comparación, análisis y realización de las mejoras oportunas, si fuese el caso, de la situación actual y lo incluido en la memoria de verificación Actualización de los convenios para la realización de las prácticas externas Satisfacción de los diferentes grupos de interés con los recursos materiales y servicios 8. RESULTADOS 4 DIMENSIÓN 2. CUMPLIMIENTO DEL PROYECTO ESTABLECIDO Resultados de aprendizaje: valoración sobre la adquisición de las competencias Análisis sobre el perfil de egreso Tasas de rendimiento, abandono, eficiencia, graduación y éxito (tasas por título/materias). Se tienen en cuenta los resultados para la mejora y la revisión del plan de estudios Otras tasas que el título hace públicas (SGC). Se tienen en cuenta los resultados para la mejora y la revisión del plan de estudios Análisis de sugerencias y reclamaciones. Se tienen en cuenta los resultados para la mejora y la revisión del plan de estudios Resultados de inserción laboral. Se tienen en cuenta los resultados para la mejora y la revisión del plan de estudios Satisfacción de los diferentes grupos de interés con los resultados 9. SISTEMA DE GARANTÍA DE CALIDAD Análisis del grado de implantación del SGC Coordinación en la implantación del SGC en títulos intercentros/interuniversidades: coordinación a través de una comisión de calidad intercentros/interuniversidad Revisiones, actualizaciones y mejoras realizadas al SGC 10. CALENDARIO DE IMPLANTACIÓN Incidencias en el desarrollo del calendario previsto Resultados En ACSUG hemos realizado ya 4 convocatorias de seguimiento, correspondientes a 2011 (piloto), 2012, 2013 y 2014, emitiendo hasta este momento 384 informes de seguimiento. Sin tener en cuenta los datos de la convocatoria piloto, nos situamos en este momento en torno a un 54% de “conformes”. Si analizamos los informes observamos que la tendencia está cambiando. Ahora nos encontramos con auto-informes donde, por lo general, abundan los datos objetivos y la reflexión, aunque esta no viene acompañada de propuestas de mejora encaminadas a resolver las dificultades encontradas. Este aspecto es el que debemos reforzar a partir de ahora. El plan de acciones de mejora La clave del seguimiento de títulos, y “termómetro” de la implantación del SGC, son los planes de mejora. Observamos que aquellos centros que tienen totalmente implantado su SGC, están obteniendo y analizando los datos que éste genera. Esto les permite apoyar su reflexión y detectar áreas de mejora, y todo queda debidamente registrado en el plan de acciones de mejora. Siendo esto así, sería suficiente con analizar anualmente el seguimiento de esos planes de mejora y la evolución de los resultados de cada título. 5 Seguimiento + Evidencias = Bases de la acreditación Por todo lo anteriormente expuesto, ACSUG no solicita a las universidades la redacción de un autoinforme para la renovación de la acreditación, sino que la evidencia fundamental en el proceso de renovación de la acreditación de ACSUG es el auto-informe de seguimiento anual del título correspondiente al último curso académico, junto con el plan de acciones de mejora. En el momento en que la universidad envía a ACSUG este auto-informe, remite también las evidencias e indicadores, relacionados con los siete criterios de acreditación, para que las Comisiones de Evaluación realicen una revisión de las mismas antes de la visita al centro. Fuentes utilizadas: GUÍA DE SEGUIMENTO DE TÍTULOS OFICIAIS DE GRAO E MÁSTER http://www.acsug.es/gl/titulos/seguimiento/documentacion GUÍA DE EVALUACIÓN PARA LA RENOVACIÓN DE LA ACREDITACIÓN DE TÍTULOS OFICIALES DE GRADO Y MÁSTER http://www.acsug.es/gl/titulos/acreditacion/documentacion 6