XII FORO DE ALMAGRO D O C

XII FORO DE ALMAGRO
EL PAPEL DE LOS INDICADORES EN EL SEGUIMIENTO Y EN LOS SISTEMAS DE GARANTÍA INTERNA DE LA CALIDAD
DOCUMENTOS TÉCNICOS
ALMAGRO 14 y 15 de Octubre de 2010
XII FORO DE ALMAGRO
EL PAPEL DE LOS INDICADORES EN EL SEGUIMIENTO Y
EN LOS SISTEMAS DE GARANTÍA INTERNA DE LA CALIDAD
UNIVERSIDADES QUE PRESENTAN DOCUMENTOS:
Q
UNIVERSIDAD DE A CORUÑA:
“ANÁLISIS DE LAS HERRAMIENTAS DE RECOGIDA DE DATOS SOBRE LA SATISFACCIÓN DEL ALUMNADO CON LA
ACTIVIDAD DOCENTE”
Q
UNIVERSIDAD DE LAS ISLAS BALEARES:
“SEGUIMIENTO DE LAS TITULACIONES: EL ABANDONO DE LOS ESTUDIOS UNIVERSITARIOS”
Q
UNIVERSIDAD DE MÁLAGA:
1.
“INDICADORES EN LOS SISTEMAS DE GARANTÍA DE LA CALIDAD DE LA UNIVERSIDAD DE MÁLAGA:
CONTRIBUCIÓN AL SEGUIMIENTO DE LOS TÍTULOS OFICIALES”
2.
“ASPECTOS DIFERENCIALES DEL PROGRAMA DOCENTIA-UMA Y SU RELACIÓN CON EL SEGUIMIENTO DE LOS
TÍTULOS”
Q
UNIVERSIDAD DE VALENCIA:
“SEGUIMIENTO DE LAS TITULACIONES Y SISTEMA DE GARANTÍA DE CALIDAD. IMPORTANCIA DE LA HERRAMIENTA
INFORMÁTICA”
Q
UNIVERSIDAD POLITÉCNICA VALENCIA:
“LA EVALUACIÓN DE LA ACTIVIDAD DOCENTE EN LA UPV. UN MODELO BASADO EN DOCENTIA”
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
ANÁLISIS DE LAS HERRAMIENTAS DE RECOGIDA
DE DATOS SOBRE LA SATISFACCIÓN DEL
ALUMNADO CON LA ACTIVIDAD DOCENTE
Dr. D. Jesús Miguel Muñoz Cantero (Universidad de A Coruña. Dpto. MIDE)
Dra. D.ª María Paula Ríos de Deus (Axencia para a Calidade do Sistema Universitario de Galicia –ACSUG-)
Dra. D.ª Eva Maria Espiñeira Bellón (Psicopedagoga. Freelance en Calidad)
D. ª Nuria Rebollo Quintela (Universidad de A Coruña. Tercer Ciclo. Dpto. MIDE)
La evaluación de la actividad docente del profesorado ha tomado una gran relevancia, no sólo en el
ámbito educativo sino también en el ámbito social, debido a que el marco de la Enseñanza Superior otorga una
mayor responsabilidad a las universidades en la valoración del desempeño del profesorado, en su formación e
incentivación, en la mejora de los procesos de selección y en la adaptación de la docencia al Espacio Europeo
de Educación Superior (EEES). Dicha evaluación constituye un eslabón más de la cadena para poder alcanzar
instituciones universitarias de calidad. Aún así no existe homogeneidad a la hora de abordarla, por ello, la
Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) ha diseñado el programa DOCENTIA, que
respetando la autonomía de cada institución, propone un modelo de evaluación.
El programa DOCENTIA, en el que participan también las agencias de calidad de las Comunidades
Autónomas, se puso en marcha en 2007. Toma como referencia el documento elaborado por la European
Association for Quality Assurance in Higher Education (ENQA) “Criterios y Directrices para la Garantía de
Calidad en el Espacio Europeo de Educación Superior”, que establece que las instituciones deben dotarse de
medios para garantizar que su personal docente está cualificado y sea competente para la docencia. También
se han tenido en cuenta para el diseño del programa los estándares establecidos por organizaciones de
evaluación del personal, como The Personnel Evaluation Standards, elaborados por el The Joint Commite of
Standards for Educational Evaluation.
El objetivo de este programa es proporcionar un marco de referencia, un modelo y unos
procedimientos que permitan abordar la evaluación de la actividad docente que se desarrolla en las
universidades, situando dicha evaluación en el marco de las prácticas internacionalmente reconocidas, a la vez
que se alinea la evaluación de la actividad docente con los criterios de garantía de calidad de los títulos
universitarios.
Según lo establecido en el Programa DOCENTIA, las tres dimensiones para realizar la evaluación
docente son: Dimensión estratégica, Dimensión metodológica y Dimensión resultados de la evaluación. La
dimensión estratégica debe abordar el para qué de la evaluación; es decir, la definición de los objetivos
establecidos por la universidad para la evaluación de la actividad docente de su profesorado. La dimensión
metodológica comprende las dimensiones, criterios y fuentes para la recogida de información sobre cómo se
2
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
realizará la evaluación de la actividad docente, es decir, se analizará si la Universidad se ha dotado de los
mecanismos necesarios para valorar adecuadamente la actividad docente de su profesorado. Y la dimensión
resultados hace referencia a los resultados en términos de objetivos formativos logrados por el alumnado y a la
revisión y mejora de la actividad docente.
La recogida de información, sobre las tres dimensiones de la evaluación docente, se hace a través del
autoinforme que realiza el propio profesorado evaluado, un informe que elaboran los responsables académicos
y la información que aporta el alumnado a través de herramientas de recogida de datos sobre su satisfacción.
El objetivo es implicar a todos los agentes interesados convirtiéndolos en fuentes de información del sistema.
De estas tres fuentes de información se han analizado las herramientas de recogida de datos de la satisfacción
del alumnado con el objetivo de poder establecer una comparación entre ellas, realizando un estudio
psicométrico atendiendo a la denominación, número de ítems empleados, escala de valoración utilizada,
distribución de los ítems y contenido de los mismos.
Las universidades participantes en el Programa DOCENTIA han diseñado herramientas similares para la
recogida de información sobre la satisfacción del alumnado. Disponemos, de todas las guías de evaluación de la
actividad docente de las universidades que tienen evaluado positivamente el programa, pero algunas no
incorporan, a dicha guía, la herramienta de obtención de datos sobre la satisfacción del alumnado, por tanto
las herramientas analizadas pertenecen a 34 universidades españolas: A Coruña, Abat Oliba CEU, Alicante,
1
Andalucía , Burgos, Cardenal Herrera, Católica de Ávila, Extremadura, Internacional de Cataluña, Jaume I, La
Laguna, Las Palmas de Gran Canaria, Miguel de Cervantes, Murcia, Oviedo, País Vasco, Politécnica de
Cartagena, Politécnica de Valencia, Pública de Navarra, Ramón Llull, Salamanca, Santiago de Compostela, SEK,
Valladolid, Vic y Vigo.
- Denominación
La recogida de información sobre las dimensiones de evaluación de la actividad docente se realiza a
través de encuestas/cuestionarios de satisfacción de la opinión del alumnado sobre la docencia. Tras el análisis
podemos detallar que no existe homogeneización a la hora de determinar la denominación del sistema de
recogida de información: cuestionario o encuesta y si este a su vez será de satisfacción, de opinión o de
evaluación (Tabla 1.).
UNIVERSIDAD
DENOMINACIÓN DE LA HERRAMIENTA
A Coruña
Cuestionario de evaluación de la docencia por el alumnado
Abat Oliba CEU
Encuesta institucional a los estudiantes sobre la actividad docente del profesorado
Alicante
Cuestionario para los estudiantes
Andalucía (9 universidades)
Encuesta de opinión de los estudiantes sobre la labor docente del profesorado
Burgos
Encuesta institucional de satisfacción del alumnado
Cardenal Herrera
Cuestionario de evaluación de la docencia
Católica de Ávila
Encuesta de opinión sobre la calidad docente
1
En Andalucía, el programa DOCENTIA ha sido elaborado tras un trabajo conjunto y consensuado entre 9 Universidades Andaluzas; el
documento representa un esfuerzo de integración y colaboración para adoptar un marco común para el Sistema Universitario Andaluz. En
el Programa DOCENTIA-ANDALUCÍA participan todas las universidades andaluzas excepto la Universidad de Sevilla.
3
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Extremadura
Cuestionario de satisfacción del alumno
Internacional de Catalunya
Encuesta de los alumnos
Jaume I
Cuestionario de evaluación de la docencia por el estudiantado
La Laguna
Encuesta de evaluación de la actividad docente del profesorado
Las Palmas de Gran Canaria
Encuesta institucional de satisfacción del alumnado con la tarea docente
Miguel de Cervantes
Encuesta docente
Murcia
Encuesta de opinión del alumno con la actividad docente de su profesorado
Oviedo
Cuestionario de estudiantes
País Vasco
Encuesta de opinión al alumnado sobre la docencia de su profesorado
Politécnica de Cartagena
Encuesta a estudiantes sobre la actividad docente del profesorado
Politécnica de Valencia
Encuesta de opinión del alumnado
Pública de Navarra
Cuestionario de satisfacción del estudiante
Ramón Llull
Encuesta de los estudiantes sobre la actividad docente del profesorado
Salamanca
Encuesta de satisfacción de los estudiantes con la actividad docente
Santiago de Compostela
Encuesta de evaluación de la satisfacción del alumnado con la docencia
SEK
Encuesta a estudiantes sobre la actividad docente del profesorado
Valladolid
Encuesta de docencia
VIC
Encuesta a los estudiantes sobre la actividad docente del profesorado
Vigo
Encuesta de satisfacción de estudiantes
Tabla 1. Denominación de la herramienta
• El 20,59% de las universidades utiliza el término “cuestionario” (siguiendo la definición de Pérez Juste
(1997:16) entendemos que un cuestionario es un conjunto de preguntas, normalmente de varios tipos,
preparado sistemática y cuidadosamente, sobre los hechos y aspectos que interesan en una investigación o
evaluación, y que puede ser aplicado en formas variadas, entre las que destacan su administración a grupos o
su envío por correo). Frente al 79,41% que emplea el término “encuesta” (definido por Stanton, Etzel y Walker
(2004:216) como un método que consiste en obtener información de las personas encuestadas mediante el
uso de cuestionarios diseñados de forma previa). De estas definiciones podemos concluir que la palabra
encuesta se utiliza para denominar a todo el proceso que se lleva a cabo, mientras que la palabra cuestionario
quedaría restringida al formulario que contiene las preguntas que van dirigidas a los sujetos objeto de estudio.
• El 17,65% de las universidades enfatizan en la denominación el concepto “satisfacción”, frente al 38,23% que
utiliza “opinión”. El resto, emplean mayoritariamente el término de evaluación de la actividad docente.
• La mayoría de las herramientas incorporan, en la denominación, la finalidad del instrumento (docencia,
actividad docente, labor docente del profesorado,...) así como el colectivo al que va dirigido, que en algunos
casos se denomina alumnado, estudiantado, alumno, alumnos, estudiante, estudiantes… Algunas universidades
añaden el objeto del instrumento que es: “conocer la opinión de los estudiantes sobre la docencia”.
- Distribución de los ítems
Desde la multidimensionalidad del concepto de evaluación docente y de cómo cada universidad lo interpreta,
encontramos que unas universidades presentan instrumentos donde no existe una división de los ítems por
dimensiones mientras que otras han optado por establecerla.
4
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
El objetivo que se pretende con la distribución de los ítems en distintos bloques es, tal como señalan
Repolludo Labrador, Donado Campos y Casas Anguita (2003), agrupar las preguntas que se refieren a las
mismas cuestiones y que poseen una coherencia secuencial en el tiempo. Esta agrupación y secuencia de
tiempos sitúa al sujeto en el momento, evitándole tener que ir hacia adelante o hacia atrás en su memoria,
facilitando las respuestas.
Tras el análisis, encontramos que el 41,18% de las universidades no estructuran el instrumento en
dimensiones (Tabla 2.). De aquellas que sí lo hacen, las dimensiones más utilizadas son las siguientes:
•
Desarrollo de la asignatura/ Desarrollo de la enseñanza: 52,94%.
•
Programa de la asignatura/ Planificación de la docencia: 44,12%.
•
Resultados: 32,35%
•
Valoración global/ Satisfacción global: 20,59%.
•
Relación con los estudiantes/ Actitud del profesor respecto a los estudiantes: 17,65%.
Algunos instrumentos introducen ítems para obtener datos sobre el alumnado, la asignatura y el
profesorado objeto de estudio. Otras facilitan la posibilidad de incorporar observaciones, aspectos positivos y
preguntas abiertas.
5
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DISTRIBUCIÓN DE LOS ÍTEMS
0
A Coruña.
Abat Oliva CEU.
Alicante.
Cardenal Herrera.
Internacional de
Catalunya.
Jaume I.
La Laguna.
Murcia.
Politécnica de
Cartagena.
Ramón Llull.
Santiago de
Compostela.
SEK.
Vic.
Vigo.
Andalucía (9
universidades).
Extremadura.
Las Palmas de Gran
Canaria.
Miguel de
Cervantes.
Politécnica de
Valencia.
Pública de Navarra.
Valladolid.
Programa de
la asignatura.
Planificación
de la
docencia.
Desarrollo
de la
asignatura.
Desarrollo
de la
enseñanza.
Práctica
pedagógica.
Forma de
impartir las
clases.
Cualidades
docentes.
Relación con los
estudiantes.
Actitud del
profesor
respecto a los
estudiantes.
Profesionalidad
Capacidad de
comunicación
Dominio.
Organización
y claridad.
Conocimiento
de la materia.
Utilización
de
recursos.
Cumplimiento
del plan
docente.
Cumplimiento
del programa y
contenido de
las clases.
Sistema de
evaluación
Tutorías
académicas
Valoración
global.
Satisfacción
global.
Resultados
14
15
6
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DISTRIBUCIÓN DE LOS ÍTEMS
0
Andalucía (9
universidades).
Burgos.
Católica de Ávila.
Extremadura.
Las Palmas de Gran
Canaria.
Oviedo.
País Vasco.
Politécnica de
Valencia.
Pública de Navarra.
Valladolid.
Católica de Ávila.
Miguel de
Cervantes.
Valladolid.
Católica de Ávila.
Extremadura.
Oviedo.
País Vasco.
Politécnica de
Valencia.
Valladolid.
Salamanca.
País Vasco.
Politécnica de
Valencia.
País Vasco.
Salamanca.
Programa de
la asignatura.
Planificación
de la
docencia.
Desarrollo
de la
asignatura.
Desarrollo
de la
enseñanza.
Práctica
pedagógica.
Forma de
impartir las
clases.
Cualidades
docentes.
Relación con los
estudiantes.
Actitud del
profesor
respecto a los
estudiantes.
Profesionalidad
Capacidad de
comunicación
Dominio.
Organización
y claridad.
Conocimiento
de la materia.
Utilización
de
recursos.
Cumplimiento
del plan
docente.
Cumplimiento
del programa y
contenido de
las clases.
Sistema de
evaluación
Tutorías
académicas
Valoración
global.
Satisfacción
global.
Resultados
18
3
6
1
2
2
7
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DISTRIBUCIÓN DE LOS ÍTEMS
0
Programa de
la asignatura.
Planificación
de la
docencia.
Oviedo.
País Vasco.
Salamanca.
País Vasco.
Miguel de
Cervantes.
Católica de Ávila.
Extremadura.
Oviedo.
País Vasco.
Politécnica de
Valencia.
Pública de Navarra.
Salamanca.
Andalucía (9
universidades).
Las Palmas de Gran
Canaria.
Pública de Navarra.
Desarrollo
de la
asignatura.
Desarrollo
de la
enseñanza.
Práctica
pedagógica.
Forma de
impartir las
clases.
Cualidades
docentes.
Relación con los
estudiantes.
Actitud del
profesor
respecto a los
estudiantes.
Profesionalidad
Capacidad de
comunicación
Dominio.
Organización
y claridad.
Conocimiento
de la materia.
Utilización
de
recursos.
Cumplimiento
del plan
docente.
Cumplimiento
del programa y
contenido de
las clases.
Sistema de
evaluación
Tutorías
académicas
Valoración
global.
Satisfacción
global.
Resultados
3
1
1
7
11
Tabla 2. Distribución de los ítems.
8
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
- Número de ítems
El instrumento debe contener, tal como señala Azofra (1999), el número de preguntas justas y
necesarias para realizar la investigación. Un cuestionario excesivamente largo puede provocar el cansancio de
las personas encuestadas, disminuyendo el número de cuestiones respondidas y la fiabilidad de éstas. En este
tipo de instrumentos deben incluirse las preguntas que no pueden responderse de otro modo, es decir,
aquéllas cuya información se pueda conseguir por otras fuentes no deberían formar parte del instrumento.
Como podemos observar en la tabla 3, el número de ítems utilizados en los diferentes instrumentos
analizados oscila entre los 7 ítems del modelo establecido por las universidades Abat Oliba CEU y Santiago de
Compostela y los 34 ítems del modelo conjunto desarrollado por las universidades andaluzas.
NÚMERO DE ÍTEMS
UNIVERSIDADES
NÚMERO DE ÍTEMS
<15 ÍTEMS
Abat Oliva CEU
Santiago de Compostela
7
2
litécnica de Valencia
9
1
Alicante
Internacional de Catalunya
10
2
Valladolid
12
1
Salamanca
13
1
Oviedo
15
1
Extremadura
Miguel de Cervantes
SEK
16
3
Jaume I
18
1
Murcia
Politécnica de Cartagena
20
2
País Vasco
Vigo
21
2
La Laguna
22
1
A Coruña
24
1
Burgos
Ramón Llull
Vic
25
3
Católica de Ávila
27
1
Las Palmas de Gran Canaria
Pública de Navarra
28
2
Cardenal Herrera
30
1
Andalucía (9 universidades)
34
9
TOTAL
7
15-25 ÍTEMS
14
>25 ÍTEMS
13
Tabla 3. Número de ítems
El 41,18% de los instrumentos utilizados por las universidades, tienen un número de ítems
comprendido entre 15 y 25.
- Escala de estimación utilizada
Las escalas de estimación permiten realizar la observación y el reconocimiento de los datos obtenidos
de forma ordenada y sistemática, bien a través del registro de su frecuencia o intensidad. Estas escalas se
9
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
pueden expresar de forma numérica, grafica o descriptiva tal como señala Casanova (1999). Las escalas
numéricas valoran el grado de ejecución de la actividad evaluada a través de un número de una serie ordenada,
las gráficas mediante marcas que se realizan en las descripciones establecidas y posteriormente se unen para
formar un gráfico y las descriptivas valoran el grado de ejecución mediante “expresiones verbales.”
La escala de estimación Likert es una de las más utilizadas en la medición de actitudes. Utiliza
afirmaciones sobre las que se tiene que manifestar el individuo. Cada ítem se presenta seguido de una escala
de estimación que consiste en una graduación que va desde "totalmente de acuerdo" hasta "totalmente en
desacuerdo", incluyendo grados intermedios, con respecto a la afirmación. Según Elejabarrieta, e Iñiguez
(1984) es habitual cifrar la graduación de 1 a 5, donde 1 significaría que está totalmente en desacuerdo y 5
totalmente de acuerdo.
Según se observa en el gráfico 1, la escala Likert de 1 a 5 se utiliza en un 26%, siendo la más utilizada la
escala Likert de 1 a 5 que incorpora NS/NC (no sabe/no contesta) que supone un 32,35%.
ESCALA DE ESTIMACIÓN
0 a 10
4,00%
De 0 a 10 y NS/NC
8,00%
De 0 a 5
12,00%
De 1 a 7 y NS/NC
12,00%
De 1 a 7
4,00%
De 1 a 5
36,00%
De 1 a 6
4,00%
De A a D + 4 ítems de 1 a 5
4,00%
De 1 a 5 y NS/NC
12,00%
De 1 a 5 y preguntas abiertas
4,00%
Gráfico 1: Escala de estimación.
Además de incorporar NS/NC, algunas universidades, también incorporan preguntas abiertas y
generales, así como la posibilidad de realizar observaciones.
Los valores más bajos de las diferentes escalas representan la calificación más baja teniendo los
siguientes significados: nada de acuerdo, totalmente en desacuerdo, muy en desacuerdo, deficiente y
completamente en desacuerdo. Los valores más altos tienen los siguientes significados: muy de acuerdo,
totalmente de acuerdo, excelente y completamente de acuerdo.
La Universidad Pública de Navarra utiliza una escala de estimación Likert no numérica de “A” a “D”. La
“A” representa la calificación más alta (muy de acuerdo) y la “D” la más baja (muy en desacuerdo).
Igual que la anterior, la Universidad de Extremadura utiliza una escala no numérica, siendo la
valoración empleada: NS/NC (no sabe/no contesta), MD (muy en desacuerdo), D (en desacuerdo), N (neutral),
MA (muy de acuerdo) y CA (completamente de acuerdo).
10
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
- Análisis de contenido
En cuanto al análisis de contenido, resaltan algunas particularidades existentes, lo que da una visión global
de cómo la evaluación docente es tratada por algunas universidades, en concreto (Tabla 4):
•
La Universidad Europea Miguel de Cervantes, con el ánimo de prestar una mejor docencia y un mejor
servicio al alumnado, ha elaborado, además de la encuesta docente, una encuesta para conocer cuál
es la opinión del alumnado sobre la actividad del tutor personal, compuesta por 11 ítems relativos a la
disponibilidad, resolución de dudas, orientación e información proporcionada, trato, coordinación,
motivación, organización,... de las tutorías. Utiliza una escala de estimación tipo Likert de 1 (muy
deficiente) a 5 (muy bueno) incluyendo NS/NC.
•
La Universidad de Extremadura ha elaborado un cuestionario con el objeto de recoger información
sobre las prácticas de laboratorio compuesto por 14 ítems distribuidos en los apartados de:
planificación, desarrollo de actividades, desarrollo de actividades de tutoría, profesionalidad y
obligaciones docentes y valoración global. Utiliza una escala de estimación tipo Likert de 1 (muy
deficiente) a 5 (muy bueno).
•
Las Universidades Cardenal Herrera y Extremadura incorporan ítems a la encuesta para evaluar
materias prácticas.
•
La Universidad de Las Palmas de Gran Canaria incorpora preguntas para obtener información sobre los
datos de la asignatura y del estudiante, además de 3 preguntas dicotómicas de respuesta “si” o “no”
para discriminar al alumnado asistente a clase, el asistente a tutoría o el que ha realizado alguna
prueba de evaluación de aquel que no lo ha hecho. En esta línea, la Universidad Pública de Navarra
incluye 4 preguntas de respuesta obligatoria sobre la asistencia a clase y tutorías, interés por la
asignatura y tiempo de estudio y trabajo dedicado.
•
Otras Universidades como la de Burgos, Católica de Ávila, Extremadura, Internacional de Catalunya,
Oviedo y SEK incluyen datos de identificación sobre el estudiante (sexo, edad, número de veces que se
ha matriculado el alumno en la asignatura, interés por la materia, asistencia tutorías,...) y la
asignatura, con la idea de incorporar acciones de mejora.
•
La Universidad Abat Oliba CEU permite la posibilidad de que el alumnado introduzca puntos débiles y
puntos fuertes sobre la planificación y contenidos de la asignatura y la metodología utilizada por el
profesorado. La Universidad de Salamanca, en la misma línea utiliza 2 preguntas abiertas, para
completar con texto libre, los aspectos positivos y aquellos aspectos que se deben a mejorar del
profesorado.
•
Las universidades de Alicante, Católica de Ávila, Jaume I, Politécnica de Cartagena, Ramón LLull, SEK,
VIC y Vigo permiten, que al final de la encuesta, el alumnado incorpore las observaciones que quiera
hacer constar sobre el profesorado que imparte esa materia.
11
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
UNIVERSIDADES
Los materiales y los recursos
docentes
han
facilitado
el
aprendizaje.
*
*
*
*
*
*
*
*
*
*
*
*
Lo explicado en clase responde a
los objetivos y contenidos del
programa.
*
*
*
*
*
Vic
Vigo
*
*
*
*
*
*
*
*
*
*
*
*
5
*
*
*
13
*
19
2
*
*
*
3
*
*
*
*
*
*
32
6
*
*
*
*
*
*
*
*
*
*
*
Clima de comunicación con los
estudiantes.
Valladolid
*
*
SEK
*
*
Santiago de
Compostela
*
Salamanca
*
*
*
Actualiza los contenidos de la
asignatura.
*
Ramón Llull
*
Pública de Navarra
*
Politécnica de
Cartagena
*
Poltécnica de
*
País Vasco
*
Oviedo
*
Murcia
*
Miguel de
Cervantes
Las Palmas de Gran
Canaria
*
*
Sabe transmitir sus conocimientos.
Las tareas previstas/contenidos del
programa guardan relación con lo
que pretende que aprendan los
alumnos.
*
*
Formación y conocimiento de la
materia.
El desarrollo de la actividad se
adecúa a los planes y objetivos
establecidos.
La Laguna
Andalucía (9
universidades)
Alicante
*
Jaume I
*
*
Internacional de
Catalunya
Recursos técnicos del centro.
*
Extremadura
*
*
Católica de Ávila
Recursos bibliográficos del centro.
*
Cardenal Herrera
*
Burgos
Información proporcionada por el
profesor.
Abat Oliva CEU
Total
A Coruña
CONCEPTO A EVALUAR
*
*
*
*
*
*
12
*
*
*
*
*
19
*
*
19
*
5
12
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
UNIVERSIDADES
Aporta una visión aplicada de los
contenidos teóricos.
*
La dedicación que exige esta
actividad docente se corresponde
con la prevista en el programa.
*
*
*
*
Cumple el horario fijado.
*
*
*
Asiste regularmente a clase.
*
Vigo
*
Vic
Valladolid
SEK
Santiago de
Compostela
Salamanca
Ramón Llull
Pública de Navarra
Poltécnica de
Politécnica de
Cartagena
País Vasco
*
*
*
*
*
*
*
*
*
*
20
*
*
*
*
*
*
*
*
8
*
*
*
10
*
*
15
2
*
*
*
*
*
*
*
2
*
El trato a los estudiantes es
adecuado.
Oviedo
Murcia
*
*
*
*
Miguel de
Cervantes
*
*
Adaptación de la metodología y la
planificación
a
las
dificultades/necesidades
de
aprendizaje de los alumnos.
En caso de no asistir a clase, avisa.
Las Palmas de Gran
Canaria
*
Coordinación de clases teóricas y
prácticas.
Los créditos asignados a la actividad
docente guardan proporción con el
volumen de contenidos y tareas
que se plantean.
La Laguna
*
Jaume I
*
Internacional de
Catalunya
Católica de Ávila
*
Extremadura
Cardenal Herrera
Andalucía (9
universidades)
Alicante
*
Burgos
No hay solapamientos con los
contenidos de otras actividades y
se relacionan los contenidos.
Abat Oliva CEU
Total
A Coruña
CONCEPTO A EVALUAR
*
*
12
14
*
12
*
1
13
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
UNIVERSIDADES
Habitualmente he asistido a esta
clase.
y
*
*
*
*
*
*
*
*
*
Realiza el seguimiento y asesora
sobre las actividades o trabajos.
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
Abre la posibilidad de realizar
consultas y está dispuesto a ayudar
al alumnado.
Procura saber si los alumnos
entienden lo que les explica.
*
*
más
Resolución de dudas y orientación a
los alumnos.
Vigo
Vic
Valladolid
SEK
Santiago de
Compostela
Salamanca
Ramón Llull
Pública de Navarra
Poltécnica de
*
*
*
*
*
Explica con claridad.
Destaca
los
aspectos
importantes de la asignatura.
Politécnica de
Cartagena
1
Tiene en cuenta sugerencias de los
alumnos al planificar las actividades
de las clases.
Está ilusionado e interesado por la
docencia, domina la asignatura.
País Vasco
Oviedo
Murcia
Miguel de
Cervantes
Las Palmas de Gran
Canaria
La Laguna
*
Reduce o amplía el programa en
función del nivel de conocimientos
previos de los estudiantes.
Preparación,
organización
estructuración de las clases.
Jaume I
Internacional de
Catalunya
Extremadura
Católica de Ávila
Cardenal Herrera
Burgos
Andalucía (9
universidades)
Alicante
Abat Oliva CEU
Total
A Coruña
CONCEPTO A EVALUAR
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
6
*
*
28
*
*
2
*
*
*
*
*
*
*
*
*
*
23
6
*
*
*
*
*
*
*
*
*
*
*
*
*
6
*
26
7
*
6
1
14
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
UNIVERSIDADES
Tiene
en
cuenta
trabajos,
intervenciones en clase u otras
actividades desarrolladas, para la
evaluación de la asignatura.
*
Vigo
Vic
Valladolid
SEK
Santiago de
Compostela
Salamanca
Pública de Navarra
Ramón Llull
*
4
*
2
*
Asistir a sus clases, seminarios, etc.
facilita el aprendizaje.
1
*
*
Fomenta el autoaprendizaje.
*
*
*
*
*
*
*
6
*
*
Utiliza metodologías para implicar
activamente a los estudiantes en el
aprendizaje.
4
*
*
Informa de la finalidad y el horario
de tutorías.
Resulta fácil acceder al profesor en
su horario de tutorías.
Poltécnica de
*
*
Facilita formas de comunicación a
través del correo electrónico,
intranet, etc.
Realicé tutorías o consultas con el
profesor de esta asignatura.
Politécnica de
Cartagena
*
Complementa las explicaciones
mediante ejemplos, ejercicios, etc.,
que facilitan la comprensión de la
asignatura.
Considera importante acudir a las
tutorías.
País Vasco
Oviedo
Murcia
Miguel de
Cervantes
Las Palmas de Gran
Canaria
La Laguna
Jaume I
Internacional de
Catalunya
Extremadura
Católica de Ávila
Cardenal Herrera
Burgos
Andalucía (9
universidades)
Alicante
Abat Oliva CEU
Total
A Coruña
CONCEPTO A EVALUAR
*
*
*
*
*
*
2
*
2
*
1
*
3
*
*
*
*
*
*
*
*
*
13
15
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
UNIVERSIDADES
Procura
que
los
alumnos
desarrollen su capacidad de
reflexión, síntesis y razonamiento.
*
La evaluación se ha ajustado a los
criterios trabajados durante el
curso.
*
*
Informa con claridad de los criterios
y el método de evaluación de la
asignatura.
*
*
*
En los exámenes o trabajos
tenemos la posibilidad de conocer
los errores cometidos y comentar
su valoración.
*
*
*
*
*
*
*
*
*
*
*
*
*
*
SEK
Santiago de
Compostela
Salamanca
*
*
*
25
*
*
24
*
*
14
*
*
*
*
*
*
*
*
5
*
*
*
*
*
Vigo
*
Vic
*
*
*
*
*
Ramón Llull
Pública de Navarra
Poltécnica de
*
*
Valladolid
*
*
*
*
*
*
*
Politécnica de
Cartagena
*
*
País Vasco
*
*
Miguel de
Cervantes
Internacional de
Catalunya
*
*
*
*
*
Oviedo
*
*
*
*
Es esta asignatura los estudiantes
tenemos claro lo que se nos va a
exigir.
Extremadura
*
*
La bibliografía recomendada por el
profesor es útil para desarrollar las
tareas.
Favorece la participación del
estudiante en el desarrollo de la
actividad docente.
*
Murcia
*
*
Las Palmas de Gran
Canaria
*
*
La Laguna
Utilización adecuada de recursos
didácticos
para
facilitar
el
aprendizaje.
*
Jaume I
*
Católica de Ávila
*
Cardenal Herrera
La ayuda recibida en tutorías
resulta eficaz y de ayuda para
aprender.
Burgos
Andalucía (9
universidades)
Alicante
Abat Oliva CEU
Total
A Coruña
CONCEPTO A EVALUAR
*
*
*
*
*
29
*
*
9
11
*
*
*
18
1
16
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
UNIVERSIDADES
Los criterios y sistemas de
evaluación me parecen adecuados.
*
Aplica de un modo adecuado los
criterios de evaluación recogidos en
el programa.
*
Despierta el interés por la materia
que imparte.
Ha facilitado mi aprendizaje.
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
Facilita estrategias/herramientas de
aprendizaje.
*
*
*
*
*
Vigo
Vic
Valladolid
SEK
Santiago de
Compostela
*
*
*
*
*
*
*
*
*
*
*
13
*
*
24
*
*
24
*
*
6
*
2
*
6
*
*
*
*
1
*
*
*
*
*
*
*
*
*
*
*
Evaluación global del profesor.
*
*
*
*
*
*
*
Programación y tiempo dedicado.
*
Salamanca
11
El porcentaje de logro de los
objetivos de la asignatura es
superior al 50%.
Satisfacción general con la labor
docente del profesor.
Ramón Llull
*
He mejorado mi nivel de partida,
con relación a las competencias
previstas en el programa.
Valoración de lo aprendido.
Pública de Navarra
Poltécnica de
Politécnica de
Cartagena
País Vasco
Oviedo
Murcia
Miguel de
Cervantes
Las Palmas de Gran
Canaria
La Laguna
Jaume I
Internacional de
Catalunya
Extremadura
Católica de Ávila
Cardenal Herrera
Burgos
Andalucía (9
universidades)
Alicante
Abat Oliva CEU
Total
A Coruña
CONCEPTO A EVALUAR
3
*
*
*
*
5
*
*
27
Tabla 4. Análisis de contenido.
17
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Si se eliminan los elementos que son utilizados por las universidades en 6 o menos ocasiones, resulta
un instrumento compuesto por 23 ítems (tabla 5).
CONCEPTO A EVALUAR
Total
Información proporcionada por el profesor
24
Favorece la participación del estudiante en el desarrollo de la actividad docente
21
Preparación, organización y estructuración de las clases
20
Satisfacción general con la labor docente del profesor
19
Resolución de dudas y orientación a los alumnos
18
La ayuda recibida en tutorías resulta eficaz y de ayuda para aprender
17
Utilización adecuada de recursos didácticos para facilitar el aprendizaje
16
Despierta el interés por la materia que imparte
16
Ha facilitado mi aprendizaje
16
Explica con claridad
15
Los materiales y los recursos docentes han facilitado el aprendizaje
13
Resulta fácil acceder al profesor en su horario de tutorías
13
Aplica de un modo adecuado los criterios de evaluación recogidos en el programa
13
No hay solapamientos con los contenidos de otras actividades y se relacionan los contenidos
12
Formación y conocimiento de la materia
11
Lo explicado en clase responde a los objetivos y contenidos del programa
11
El desarrollo de la actividad se adecúa a los planes y objetivos establecidos
11
Los créditos asignados a la actividad docente guardan proporción con el volumen de contenidos y tareas que se plantean
10
Informa con claridad de los criterios y el método de evaluación de la asignatura
10
La evaluación se ha ajustado a los criterios trabajados durante el curso
9
Coordinación de clases teóricas y prácticas
8
La dedicación que exige esta actividad docente se corresponde con la prevista en el programa
7
Abre la posibilidad de realizar consultas y está dispuesto a ayudar al alumnado
7
Tabla 5: Ítems repetidos en más de 6 universidades.
Propuesta de instrumento
Tras las observaciones anteriores, se propone un instrumento para ser aplicado al alumnado de
diferentes títulos, tipos de titulaciones y cursos de la Universidad de A Coruña, con la finalidad de valorar la
adecuación de cada uno de los ítems reflejados en él, así como la fiabilidad y la validez del mismo, como
elemento importante para la evaluación de la actividad docente del profesorado.
18
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Si el instrumento resultante además de ser válido y fiable es aceptado como “modelo de cuestionario”
por la mayoría de las universidades españolas, podría servir para establecer la relación entre la actividad
docente de las mismas, obtener parámetros de excelencia, la rendición de cuentas a la sociedad y la
responsabilidad social, entre otros, así como para racionalizar las mejoras y realizar el seguimiento de forma
conjunta y global, siempre respetando la autonomía universitaria y la diversidad de contexto y cultura de cada
una de ellas.
La propuesta del instrumento es la siguiente (tabla 6):
DENOMINACIÓN: “Cuestionario sobre la actividad docente”.
NÚMERO DE ÍTEMS: 25.
ESCALA DE ESTIMACIÓN: Escala Likert de 1 (Muy en desacuerdo) a 5 (Totalmente de acuerdo).
DISTRIBUCIÓN DE LOS ÍTEMS: En 4 dimensiones:
-
Planificación de la docencia.
-
Desarrollo de la enseñanza.
-
Tutorías.
-
Resultados y satisfacción.
CUESTIONARIO SOBRE LA ACTIVIDAD DOCENTE
Titulación:
Tipo de titulación (Grado/Máster/Diplomatura/Licenciatura):
Curso:
Marca con una “x” tu valoración sobre los siguientes aspectos, teniendo en cuenta la siguiente escala:
1 Muy en desacuerdo
2 Poco de acuerdo
3 De acuerdo
4 Bastante de acuerdo
5 Totalmente de acuerdo
Si consideras que cada uno de los ítems reflejados a continuación, constituyen un elemento importante para la evaluación de la
docencia del profesor.
PLANIFICACIÓN DE LA DOCENCIA
1
2
3
4
5
1
2
3
4
5
La información proporcionada por el profesor/a en el programa (o guía) docente es accesible
La información proporcionada por el profesor/a en el programa (o guía) docente es útil
El profesor/a prepara, organiza y estructura bien las clases
El profesor/a muestra una formación y un conocimiento adecuado de la materia
El profesor/a informa con claridad de los criterios y el método de evaluación de la asignatura
Los créditos asignados a la actividad docente (asignatura) guardan proporción con el volumen
de contenidos y tareas que se plantean
DESARROLLO DE LA ENSEÑANZA/DOCENCIA
El profesor/a favorece la participación del/la estudiante en el desarrollo de la actividad
docente
El profesor/a resuelve las dudas y orienta al alumnado en el desarrollo de sus tareas
El profesor/a despierta el interés por la materia que imparte
El profesor/a explica con claridad
19
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
El profesor/a utiliza adecuadamente los recursos didácticos para facilitar el aprendizaje
En el desarrollo de la actividad docente no hay solapamientos con los contenidos de otras
actividades y se relacionan los contenidos
El profesor/a aplica, de un modo adecuado, los criterios de evaluación recogidos en el
programa
Lo explicado en clase responde a los objetivos y contenidos del programa
La evaluación responde a los objetivos y contenidos del programa
El desarrollo de la actividad docente del profesor/a se adecua a los planes y objetivos
establecidos
Las clases teóricas y prácticas están coordinadas
El profesor/a abre la posibilidad de realizar consultas y está dispuesto a ayudar al alumnado
TUTORÍAS
1
2
3
4
5
1
2
3
4
5
Resulta fácil acceder al profesor en su horario de tutorías
La ayuda recibida en tutorías resulta eficaz para aprender
SATISFACCIÓN/RESULTADOS
El profesor ha facilitado mi aprendizaje, gracias a su ayuda he logrado mejorar mis
conocimientos, habilidades o modo de afrontar determinados temas
Los materiales y los recursos docentes que el profesor ha recomendado y ha utilizado me han
facilitado el aprendizaje
La evaluación se ha ajustado a los criterios trabajados durante el curso
La dedicación que exige esta actividad docente se corresponde con la prevista en el programa
En general, estoy satisfecho con la labor docente de este profesor
Tabla 6. Propuesta de instrumento.
RESULTADOS GLOBALES
Para la validación de este instrumento se ha procedido a su aplicación en la Universidad de A Coruña a
610 alumnos. La muestra fue elegida al azar teniendo en consideración todas las ramas de conocimiento,
cursos y títulos que se imparten en la universidad. Su distribución por rama de conocimiento ha sido la
siguiente:
RAMA DE CONOCIMIENTO
FRECUENCIA
PORCENTAJE
Ciencias de la Salud
74
12,13
Ciencias
46
7,54
Artes y Humanidades
57
9,34
Ingeniería y Arquitectura
178
29,18
Ciencias Sociales y Jurídicas
255
41,80
Total
610
100
Tabla 7. Distribución de los ítems por rama de conocimiento.
Al realizar el análisis descriptivo de los datos podemos observar (tabla 8) que en los ítems I1, I8, I12 y
el I17 se obtiene un N=610, por lo que solamente un 16% de los ítems han sido respondidos por la totalidad de
la muestra de estudiantes.
20
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
ITEMS
N
Media
Desv. típ.
I1
La información proporcionada por el profesor/a en programa (o guía)
docente es accesible
610
3,39
0,964
I2
La información proporcionada por el profesor/a en programa (o guía)
docente es útil
608
3,4
0,969
608
3,44
1,065
I3
El profesor prepara, organiza y estructura bien las clases
I4
El profesor muestra una formación y un conocimiento adecuado de la
materia
606
3,82
1,009
I5
El profesor informa con claridad de los criterios y el método de evaluación
de la asignatura.
608
3,57
1,055
I6
Los créditos asignados a la actividad docente (asignatura) guardan
proporción con el volumen de contenidos y tareas que se plantean
603
2,96
1,18
I7
El profesor favorece la participación del estudiante en el desarrollo de la
actividad docente
608
3,21
0,964
I8
El profesor resuelve las dudas y orienta a alumnos en el desarrollo de sus
tareas
610
3,56
1,077
609
3,15
1,146
609
3,32
1,123
I9
I10
El profesor despierta el interés por la materia que imparte
El profesor explica con claridad
I11
El profesor utiliza adecuadamente los recursos didácticos para facilitar el
aprendizaje
607
3,23
0,988
I12
En el desarrollo de la actividad docente no hay solapamientos con los
contenidos de otras actividades y se relacionan los contenidos
610
3,09
1,079
I13
El profesor aplica, de un modo adecuado, los criterios de evaluación
recogidos en el programa
607
3,39
0,97
609
3,5
0,943
608
3,47
0,962
I14
I15
Lo explicado en clase responde a los objetivos y contenidos del programa
La evaluación responde a los objetivos y contenidos del programa
I16
El desarrollo de la actividad docente del profesor se adecua a los planes y
objetivos establecidos.
607
3,3
0,892
I17
Las clases teóricas y prácticas están coordinadas
610
3,24
1,191
I18
El profesor abre la posibilidad de realizar consultas y está dispuesto a
ayudar al alumnado
608
3,85
1,028
599
3,38
1,173
594
3,58
0,998
I19
I20
Resulta fácil acceder al profesor en su horario de tutorías
La ayuda recibida en tutorías resulta eficaz para aprender
I21
El profesor ha facilitado mi aprendizaje, gracias a su ayuda he logrado
mejorar mis conocimientos, habilidades o modo de afrontar determinados
temas
601
3,26
1,035
I22
Los materiales y los recursos docentes que el profesor ha recomendado y
ha utilizado me han facilitado el aprendizaje
601
3,28
0,914
597
3,35
0,997
I23
La evaluación se ha ajustado a los criterios trabajados durante el curso
I24
La dedicación que exige esta actividad docente se corresponde con la
prevista en el programa
600
3,17
1,029
I25
En general, estoy satisfecho con la labor docente de este profesor
598
3,36
1,059
Tabla 8.Estadísticos descriptivos.
21
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
La media de respuesta de todos los ítems (gráfico 2) se encuentra, en la mayoría, por encima de 3, sólo
el ítem: “Los créditos asignados a la actividad docente (asignatura) guardan proporción con el volumen de
contenidos y tareas que se plantean” no sobrepasa esta puntuación, obteniendo un valor de 2,96.
4,5
4
3,5
3
2,5
2
1,5
1
0,5
0
I1
I2
I3
I4
I5
I6
I7
I8
I9
I10 I11 I12 I13 I14 I15 I16 I17 I18 I19 I20 I21 I22 I23 I24 I25
Gráfico 2. Media de respuesta.
Los ítems más valorados son el I18 e I4 con una media de 3,85 y 3,82 respectivamente:
•
I18: El profesor abre la posibilidad de realizar consultas y está dispuesto a ayudar al
alumnado: 3,85.
•
I4: El profesor muestra una formación y un conocimiento adecuado de la materia: 3,82.
Los ítems menos valorados son el I6 e I12 con una media de respuesta de 2,96 y 3,09 respectivamente:
•
I6: Los créditos asignados a la actividad docente (asignatura) guardan proporción con el
volumen de contenidos y tareas que se plantean: 2,96.
•
I12: En el desarrollo de la actividad docente no hay solapamientos con los contenidos de otras
actividades y se relacionan los contenidos: 3,09.
Se ha obtenido un coeficiente de fiabilidad Alpha de Cronbach de .948, lo que nos indica una alta fiabilidad
de la prueba.
Al considerar las correlaciones, a partir de 0,35, estadísticamente significativas más allá del nivel del 1%
(Cohen-Manion, 1990), no es necesario desechar ni reformular ningún ítem porque la correlación ítem-total de
nuestro cuestionario oscila entre ,490 de los ítems I1 e I12 y ,733 de los ítems I8 e I10 (tabla 9).
En cuanto al comportamiento de los ítems podemos observar que este ha sido, en general, bueno. La fiabilidad
del instrumento sólo variará una centésima si se elimina el ítem I12, por el contrario la fiabilidad del
instrumento disminuirá entre una y dos centésimas en el resto de ítems si se diera su eliminación.
22
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
ITEMS
Correlación
elemento-total
corregida
Correlación
múltiple al
cuadrado
Alfa de
Cronbach si se
elimina el
elemento
I1
La información proporcionada por el profesor/a en programa (o
guía) docente es accesible
,490
,359
,947
I2
La información proporcionada por el profesor/a en programa (o
guía) docente es útil
,576
,417
,947
I3
El profesor prepara, organiza y estructura bien las clases
,719
,599
,945
I4
El profesor muestra una formación y un conocimiento adecuado
de la materia
,620
,493
,946
,570
,393
,947
,542
,368
,947
I6
El profesor informa con claridad de los criterios y el método de
evaluación de la asignatura.
Los créditos asignados a la actividad docente (asignatura) guardan
proporción con el volumen de contenidos y tareas que se plantean
I7
El profesor favorece la participación del estudiante en el desarrollo
de la actividad docente
,520
,357
,947
I8
El profesor resuelve las dudas y orienta a alumnos en el desarrollo
de sus tareas
,733
,634
,945
I9
El profesor despierta el interés por la materia que imparte
,709
,609
,945
I10
El profesor explica con claridad
,733
,660
,945
I11
El profesor utiliza adecuadamente los recursos didácticos para
facilitar el aprendizaje
,698
,509
,945
I12
En el desarrollo de la actividad docente no hay solapamientos con
los contenidos de otras actividades y se relacionan los contenidos
,490
,288
,948
,632
,470
,946
,661
,550
,946
I5
I13
I14
El profesor aplica, de un modo adecuado, los criterios de
evaluación recogidos en el programa
Lo explicado en clase responde a los objetivos y contenidos del
programa
I15
La evaluación responde a los objetivos y contenidos del programa
,667
,573
,946
I16
El desarrollo de la actividad docente del profesor se adecua a los
planes y objetivos establecidos.
,637
,502
,946
I17
Las clases teóricas y prácticas están coordinadas
,598
,398
,946
I18
El profesor abre la posibilidad de realizar consultas y está
dispuesto a ayudar al alumnado
,653
,507
,946
,626
,598
,483
,454
,946
,946
,707
,599
,945
,642
,486
,946
,689
,554
,945
,637
,506
,946
,689
,526
,945
I19
I20
Resulta fácil acceder al profesor en su horario de tutorías
La ayuda recibida en tutorías resulta eficaz para aprender
El profesor ha facilitado mi aprendizaje, gracias a su ayuda he
I21
logrado mejorar mis conocimientos, habilidades o modo de
afrontar determinados temas
Los materiales y los recursos docentes que el profesor ha
I22
recomendado y ha utilizado me han facilitado el aprendizaje
La evaluación se ha ajustado a los criterios trabajados durante el
I23
curso
La dedicación que exige esta actividad docente se corresponde con
I24
la prevista en el programa
I25
En general, estoy satisfecho con la labor docente de este profesor
Tabla 9. Correlaciones múltiples.
Los valores de la correlación múltiple al cuadrado oscilan entre ,288 del I12 y ,660 del I10.
El test de esfericidad de Bartlett permite contrastar la hipótesis nula de que la matriz de correlaciones
es una matriz identidad, indicando la existencia de intercorrelaciones significativas entre los ítems, lo que
confirma la adecuación de la matriz para proceder a un análisis de componentes principales. La adecuación del
índice KMO (según el baremo de Kaiser) es muy bueno, indicando que las correlaciones entre pares de ítems
pueden ser explicados por los otros ítems, confirmando nuevamente que la matriz es adecuada para proceder
al análisis factorial (tabla 10).
23
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Medida de adecuación muestral de KAISER-MEYER-OLKIN.
Prueba de esfericidad de BARTLETT
,962
Chi-cuadrado aproximado
7262,637
Gl
300
Sig.
,000
Tabla 10. KMO y prueba de Bartlett.
Para conseguir una correcta interpretación de cada uno de los factores se realiza la rotación Varimax.
Observamos, en la matriz de componentes rotados (tabla 11), que los tres factores obtenidos tienen ítems con
peso. Compuestos, el primero y segundo por 9 ítems y el tercero por 7.
COMPONENTE
ITEMS
I3
La información proporcionada por el profesor/a en programa (o guía) docente es
accesible
La información proporcionada por el profesor/a en programa (o guía) docente es
útil
El profesor prepara, organiza y estructura bien las clases
I4
El profesor muestra una formación y un conocimiento adecuado de la materia
I1
I2
I5
I6
El profesor informa con claridad de los criterios y el método de evaluación de la
asignatura.
Los créditos asignados a la actividad docente (asignatura) guardan proporción con
el volumen de contenidos y tareas que se plantean
1
2
3
,199
,496
,161
,332
,375
,310
,654
,383
,352
,686
,362
,077
,365
,592
,116
,247
,099
,929
,464
,194
,248
,815
,351
,242
I8
El profesor favorece la participación del estudiante en el desarrollo de la actividad
docente
El profesor resuelve las dudas y orienta a alumnos en el desarrollo de sus tareas
I9
El profesor despierta el interés por la materia que imparte
,899
,206
,389
I10
El profesor explica con claridad
,843
,257
,392
,512
,384
,334
,279
,173
,546
,207
,577
,333
I7
I14
El profesor utiliza adecuadamente los recursos didácticos para facilitar el
aprendizaje
En el desarrollo de la actividad docente no hay solapamientos con los contenidos de
otras actividades y se relacionan los contenidos
El profesor aplica, de un modo adecuado, los criterios de evaluación recogidos en el
programa
Lo explicado en clase responde a los objetivos y contenidos del programa
,220
,580
,302
I15
La evaluación responde a los objetivos y contenidos del programa
,206
,595
,360
I16
El desarrollo de la actividad docente del profesor se adecúa a los planes y objetivos
establecidos.
,121
,504
,412
I17
Las clases teóricas y prácticas están coordinadas
,336
,424
,598
,529
,513
,155
,364
,804
,169
I11
I12
I13
I19
El profesor abre la posibilidad de realizar consultas y está dispuesto a ayudar al
alumnado
Resulta fácil acceder al profesor en su horario de tutorías
I20
La ayuda recibida en tutorías resulta eficaz para aprender
,342
,575
,154
I21
El profesor ha facilitado mi aprendizaje, gracias a su ayuda he logrado mejorar mis
conocimientos, habilidades o modo de afrontar determinados temas
,506
,323
,503
I22
Los materiales y los recursos docentes que el profesor ha recomendado y ha
utilizado me han facilitado el aprendizaje
,322
,353
,402
I23
La evaluación se ha ajustado a los criterios trabajados durante el curso
,288
,456
,515
,177
,403
,653
,457
,375
,502
I18
I24
I25
La dedicación que exige esta actividad docente se corresponde con la prevista en el
programa
En general, estoy satisfecho con la labor docente de este profesor
24
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Tabla 11. Matriz de componentes rotados.
El cuadro de la varianza total explicada (tabla 12), muestra esos tres factores. Los tres resumen el
54,389% de la variabilidad total de los ítems. El primer factor obtiene un valor propio de 12,190 y explica el
45,350% de la varianza total, el segundo obtiene un valor propio de 1,272 explicando el 4,732% de la varianza
total y el tercero obtiene un valor propio de 1,158 y explica el 4,307% de la varianza total.
SUMAS DE LAS SATURACIONES AL CUADRADO DE LA
EXTRACCIÓN
AUTOVALORES INICIALES(A)
COMPONENTE
TOTAL
% DE LA
VARIANZA
% ACUMULADO
TOTAL
% DE LA
VARIANZA
% ACUMULADO
1
12,190
45,350
45,350
12,190
45,350
45,350
2
1,272
4,732
50,082
1,272
4,732
50,082
3
1,158
4,307
54,389
1,158
4,307
54,389
4
1,052
3,912
58,301
5
,985
3,665
61,966
6
,886
3,296
65,262
7
,850
3,161
68,423
8
,806
2,997
71,420
9
,722
2,687
74,107
10
,654
2,435
76,542
11
,624
2,321
78,863
12
,591
2,200
81,063
13
,546
2,032
83,095
14
,504
1,877
84,971
15
,481
1,791
86,763
16
,464
1,725
88,488
17
,425
1,582
90,070
18
,411
1,530
91,600
19
,403
1,500
93,100
20
,355
1,319
94,419
21
,340
1,267
95,685
22
,313
1,165
96,850
23
,292
1,086
97,936
24
,285
1,059
98,994
25
,270
1,006
100,000
Tabla 12. Varianza total explicada.
INSTRUMENTO RESULTANTE
25
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Después de los análisis realizados se obtiene un cuestionario distribuido en 3 factores. El primer factor (tabla
13) está compuesto por 9 ítems y se denomina: “Planificación y desarrollo de la enseñanza”.
PRIMER FACTOR: PLANIFICACIÓN Y DESARROLLO DE LA ENSEÑANZA
Factor
cuestionario
inicial 2
Ítems
PD
I3
El profesor prepara, organiza y estructura bien las clases
PD
I4
El profesor muestra una formación y un conocimiento adecuado de la materia
DE
I7
El profesor favorece la participación del estudiante en el desarrollo de la actividad docente
DE
I8
El profesor resuelve las dudas y orienta a alumnos en el desarrollo de sus tareas
DE
I9
El profesor despierta el interés por la materia que imparte
DE
I10
El profesor explica con claridad
DE
I11
El profesor utiliza adecuadamente los recursos didácticos para facilitar el aprendizaje
DE
I18
El profesor abre la posibilidad de realizar consultas y está dispuesto a ayudar al alumnado
S
I21
El profesor ha facilitado mi aprendizaje, gracias a su ayuda he logrado mejorar mis conocimientos,
habilidades o modo de afrontar determinados temas
Tabla 138. Primer factor resultante del análisis factorial.
El segundo factor (tabla 14) está compuesto por 9 ítems y se denomina: “Cumplimiento del plan docente y
relación con los estudiantes”.
SEGUNDO FACTOR: CUMPLIMIENTO DEL PLAN DOCENTE Y RELACIÓN CON LOS ESTUDIANTES
Factor
cuestionario
inicial2
Ítems
PD
I1
La información proporcionada por el profesor/a en programa (o guía) docente es accesible
PD
I2
La información proporcionada por el profesor/a en programa (o guía) docente es útil
PD
I5
El profesor informa con claridad de los criterios y el método de evaluación de la asignatura.
DE
I13
El profesor aplica, de un modo adecuado, los criterios de evaluación recogidos en el programa
DE
I14
Lo explicado en clase responde a los objetivos y contenidos del programa
DE
I15
La evaluación responde a los objetivos y contenidos del programa
DE
I16
El desarrollo de la actividad docente del profesor se adecúa a los planes y objetivos establecidos.
T
I19
Resulta fácil acceder al profesor en su horario de tutorías
T
I20
La ayuda recibida en tutorías resulta eficaz para aprender
Tabla 14. Segundo factor resultante del análisis factorial.
El tercer factor (tabla 15) está compuesto por 7 ítems y se denomina: “Valoración global”.
2
Denominación del factor, en el que se encontraba incluido el ítem, en el cuestionario inicial: PD: Planificación de la Docencia; DE:
Desarrollo de la Enseñanza/Docencia; T: Tutorías; S: Satisfacción/Resultados.
26
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
TERCER FACTOR: VALORACIÓN GLOBAL
Factor
cuestionario
inicial2
Ítems
PD
I6
Los créditos asignados a la actividad docente (asignatura) guardan proporción con el volumen de
contenidos y tareas que se plantean
DE
I12
En el desarrollo de la actividad docente no hay solapamientos con los contenidos de otras actividades y
se relacionan los contenidos
DE
I17
Las clases teóricas y prácticas están coordinadas
S
I22
Los materiales y los recursos docentes que el profesor ha recomendado y ha utilizado me han facilitado
el aprendizaje
S
I23
La evaluación se ha ajustado a los criterios trabajados durante el curso
S
I24
La dedicación que exige esta actividad docente se corresponde con la prevista en el programa
S
I25
En general, estoy satisfecho con la labor docente de este profesor
Tabla 15. Tercer factor resultante del análisis factorial.
CONCLUSIONES
Del análisis de las herramientas utilizadas por las diferentes universidades españolas para la
evaluación de la docencia del profesor por parte de los alumnos, se deduce que no hay uniformidad en los
aspectos tratados, no existe consenso a la hora de establecer su denominación, puesto que atiende a
diferentes conceptualizaciones, el número de ítems a tratar oscila entre los 7 ítems establecidos por las
universidades Abat Oliba CEU y Santiago de Compostela y los 34 del modelo conjunto desarrollado por las
universidades andaluzas además de la escala de estimación que es muestra también de la diversidad que hay
entre las universidades.
Se ha propuesto un modelo de cuestionario para la mayoría de las universidades españolas, que
podría servir para establecer la relación entre la actividad docente de las mismas, obtener parámetros de
excelencia, la rendición de cuentas a la sociedad y la responsabilidad social, entre otros, así como para
racionalizar las mejoras y realizar el seguimiento de forma conjunta y global, siempre respetando la autonomía
universitaria y la diversidad de contexto y cultura de cada una de ellas.
Los resultados obtenidos tras el análisis de la propuesta de cuestionario muestran un instrumento válido y
fiable siendo bueno el comportamiento general de los ítems, como muestran los diferentes resultados. Se
obtiene, finalmente, un cuestionario formado por 25 ítems distribuidos en tres factores.
27
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
REFERENCIAS
- ANECA (2006). Modelo para la elaboración de diseños de evaluación. Recuperado el 6 de Marzo de 2010 en
http://www.aneca.es/actividadesevaluacion/evaluacionense%C3%B1anzas/docentia.aspx
- ANECA (2008). Guía para la evaluación externa del diseño. Recuperado el 4 de Noviembre de 2009 en
http://www.aneca.es/media/165880/docentia_2008_guia_080903.pdf
- ANECA y ACSUG (2007). Protocolo para la verificación del diseño de evaluación de la actividad docente.
Recuperado el 4 de Noviembre de 2009 en http://www.acsug.es/webs/ficheros/protocolov.pdf
- Azofra, M.J. (1999). Cuestionarios. Madrid: Centro de Investigación Sociológica.
- Casanova, M.A. (1999). La evaluación, garantía de calidad para el centro educativo. Madrid. Luis Vives.
- Cohen, L. y Manion, L. (1999). “Introducción: La Naturaleza de la Investigación” en Métodos de Investigación
Educativa, Cp I(pág. 23-74). Madrid. Ediciones La Muralla.
- Elejabarrieta,
F. J. e Iñiguez, L. (1984). Construcción de escalas de actitud tipo Thurst y Likert. UAB.
Recuperado el 15 de Marzo de 2010 en http://antalya.uab.es/liniguez/Materiales/escalas.pdf
- Ley Orgánica 6/2001, de 21 de diciembre, Ley Orgánica de Universidades (L.O.U.)
- Ley Orgánica 4/2007 de 12 de Abril por la que se modifica la Ley Orgánica 6/2001 de 21 de diciembre de
Universidades.
- Madrid Izquierdo, J.M. (2005). La formación y la evaluación docente del profesorado universitario ante el
espacio europeo de educación superior. Educatio, 23, 49-68.
- Martínez Gómez, M. (2005) Estudio del cuestionario de evaluación del profesorado de la UPV mediante
opinión de los estudiantes: Tratamiento estadístico. Tesis doctoral, Universidad Politécnica de
Valencia.Recuperado el 12 de enero de 2010 de http://dspace.upv.es/xmlui/handle/10251/1891
- Martínez Jiménez, M.P., Pedrós Pérez, J. y Pontes Pedrajas, A (2002). Evaluación docente y motivación del
profesorado en la universidad de Córdoba. En J. M. De Mesa López-Colmenar, R. Castañeda Barrena y L. M.
Vilar Angulo, (Ed.) Asegurar la calidad en las universidades (91-101) Vol I. Sevilla: Instituto de Ciencias de la
Educación. Universidad de Sevilla.
- Martínez Herrera, B. y Ñeco García, R.P. (1999). Implantación de la evaluación de la calidad docente. Revista
electrónica interuniversitaria de formación del profesorado, 2(1), 345-352.
- Muñoz Cantero, J.M., Rios de Deus, M.P. y Abalde Paz, E. (2002).Evaluación Docente vs Evaluación de la
Calidad. Revista Electrónica de Investigación Evaluativa (RELIEVE), 8(2). Recuperado el 4 de Diciembre de 2009
en http://www.uv.es/RELIEVE/v8n2/RELIEVEv8n2_4.htm Consultado en 04/12/2009
- Pérez Juste, R. (1997). Pedagogía Experimental. La Medida en Educación. Curso de Adaptación. Madrid: UNED.
- Repolludo Labrador, J.R., Donado Campos, J. y Casas Anguita, J. (2003). La encuesta como técnica de
investigación. Elaboración de cuestionarios y tratamiento estadístico de los datos (I). Atención primaria:
Publicación oficial de la Sociedad Española de Familia y Comunitaria, 31(8),527-538.
- Resolución del 17 de octubre de 2002 de la Dirección General de Universidades por la que se publican los
criterios generales de la evaluación de la Agencia Nacional de evaluación de la Calidad y Acreditación para la
contratación de personal docente e investigador y se determina el procedimiento de presentación de
solicitudes de evaluación o informe.
28
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
- Stanton, W. J. Etzel, M.J. y Walker, B.J. (2004). Fundamentos de Marketing. México: McGraw Hill.
Enlaces Web de los manuales de las universidades
 http://qualitas.usal.es/docs/Manual_DOCENTIA_final.pdf (Evaluación de la actividad docente del profesorado
en la Universidad de Salamanca)
 www.acsug.es/galego/webs/ficheros/docentia%20UDC.pdf (Procedimiento para la evaluación de la actividad
docente del profesorado de la UDC)
 www.acsug.es/galego/webs/ficheros/DOCENTIA%20UVIGO%20galego.pdf?PHPSESSID=9b262ba6b464cf075b
1a7a5b6c5a5dfa (Programa de avaliación da actividade docente do profesorado. Universidad de Vigo)
 www.centros.ulpgc.es/etsitulpgc/node/103?mini=calendar/2009/3/all& (Evaluación de la actividad docente
del profesorado en la Universidad de Las Palmas de Gran Canaria)
 www.ikasketa-berrikuntza.ehu.es/p272content/es/contenidos/noticia/presentacion_docentiaz/es_presdoce/adjuntos/DOCENTIAZ%20weboct.07.pdf (Programa para la Evaluación de la Actividad Docente del Profesorado de la UPV/EHU)
 www.ua.es/es/servicios/upec/Documentos/ProcedEvDoc.pdf (Procedimiento de evaluación de la actividad
docente en la Universidad de Alicante)
 www.ubu.es/ubu/cm/profesores/tkContent?pgseed=1234781623191&idContent=103500&locale=es_ES&tex
tOnly=false (Manual de Evaluación de la actividad docente: Universidad de Burgos)
 www.uca.es/dpto/C112/grado/docentiaAndalucia (Manual Para La Evaluación De La Actividad Docente Del
Profesorado Universitario: Universidades Andaluzas)
 www.ucm.es/cont/descargas/documento23383.pdf (Programa De Evaluación De La Actividad Docente Del
Profesorado De La Universidad Complutense De Madrid )
 www.uji.es/bin/serveis/opaq/prom/jorn/8jorn/ffargue.pdf (El modelo de evaluación de la actividad docente
del profesorado en la Universidad Politécnica de Valencia)
 www.uji.es/bin/serveis/opaq/prom/jorn/8jorn/pjara.pdf (Evaluación de la Docencia en la Universitat Jaume I)
 www.ull.es/Private/folder/calidad/DOCENTIA/Docentia.pdf (Manual de la Universidad de La Laguna para la
evaluación de la actividad docente)
 www.unavarra.es/pdf/evaluacion_actividaddocente.pdf (Evaluación de la actividad docente del profesorado
en la Universidad Pública de Navarra)
 www.usc.es/~calidade/doc/docentia_manual_usc.pdf (Manual de Avaliación da Actividade Docente da
Universidade de Santiago de Compostela)
 www.uva.es/cocoon_uva/impe/uva/contenido?pag=/contenidos/gobiernoUVA/Vicerrectorados/Vicerectorad
oCalidadInnovacion/doCENTIA&idMenuIzq=3991&idSeccion=106374&tamLetra=&idMenus
(Manual
de
evaluación de la actividad docente del profesorado de la Universidad de Valladolid)
29
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
SEGUIMIENTO DE LAS TITULACIONES:
EL ABANDONO DE LOS ESTUDIOS UNIVERSITARIOS
(Mairata, M.J; Miró, R.; Montaño, J.J.; Palou, M. y Sánchez, R.)
INTRODUCCIÓN
El seguimiento de la implantación y desarrollo de los títulos oficiales es una actividad que se inicia a
partir del primer plan nacional de evaluación de calidad de las universidades (PNECU). Desde entonces ha ido
adquiriendo mayor magnitud y protagonismo. La aparición del RD 1393/2007, ha contribuido a consolidar
algunos aspectos y ha introducido nuevas aportaciones.
A lo largo de los últimos años, el seguimiento se ha ido adaptando a las necesidades y a las normativas
internas y externas que han ido surgiendo. En la actualidad, el seguimiento de los títulos oficiales se lleva a
cabo mediante el Sistema de garantía interno de calidad de los títulos de la UIB (SGIQ). El SGIQ ha sido
diseñado conforme a los requisitos de la ANECA y se adapta a los principios que subyacen en el desarrollo de
los estándares y directrices para el aseguramiento de la calidad en el EEES (ENQUA, 2005):
1.
La adecuada atención a los intereses de los estudiantes, los empleadores y la sociedad en general.
2.
La importancia de la autonomía institucional ligada a la rendición de cuentas y a la información
pública.
3.
La implantación de un sistema interno de garantía de calidad.
El sistema de garantía interno de calidad de la UIB abarca el ciclo de vida de la titulación: el nacimiento o
diseño del plan de estudios, la implementación o desarrollo y los resultados obtenidos.
Respecto a la fase de implementación, el sistema prevé la evaluación y el seguimiento continuo de las
titulaciones verificadas. El seguimiento se realiza mediante la recogida y el análisis sistemático de la
información y resultados y las correspondientes acciones de mejora posteriores.
En nuestro sistema de calidad, y especialmente en la fase de seguimiento de la implantación de los títulos,
el alumnado juega un papel preponderante. Por ello, desde el SEQUA se ha procedido a la planificación de las
acciones en base a los distintos momentos evolutivos del alumnado en la Institución: Ingreso o entrada,
desarrollo y resultados o salida (tabla 1).
Temporalización
Ingreso
Acciones
Auditorías de Accesibilidad de la Información web
Estudio del Perfil del alumnado de nuevo de ingreso
Encuestas de Satisfacción acciones de tutorización y matrícula
Desarrollo
Estudio de Abandono
Indicadores de Progreso y Resultados aprendizaje
Encuestas de Satisfacción grupos de interés
Encuestas de Evaluación docente
Resultados
Estudio de adquisición de competencias
Estudios de Inserción laboral
Tabla 1. Temporalización de las acciones de seguimiento de los títulos oficiales.
Una de las acciones más novedosas, y a su vez más relevantes, que se han integrado en el actual
procedimiento de seguimiento de la implantación de los títulos oficiales es el estudio del abandono de los
estudios universitarios por parte del alumnado. El abandono puede definirse como la “deserción voluntaria del
30
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
estudiante que se retira de la Institución sin completar el programa académico en el que estaba matriculado”
(Tinto, 1982).
El abandono o deserción estudiantil, sumado a las tasas de graduación y al nivel de prolongación
indefinida de los estudios, se considera un indicador de desempeño de la Universidad (ANECA, 2007). Aunque
puede ser resultado de diversas causas, sin duda está vinculado con la calidad (Cabrera, 2006), entendida como
la capacidad para alcanzar sus objetivos, y puede ser reflejo de desajustes del sistema entre los elementos que
participan en el proceso de aprendizaje: estudiantes, profesorado y programas en general.
Sin embargo, la tasa de abandono ofrece únicamente información de tipo cuantitativo. Esta
información, aunque importante por cuanto expresa la magnitud del fenómeno, no ofrece explicación del
mismo. Es decir, no permite conocer las causas o factores que la generan o favorecen, ni facilita la intervención
al objeto de mejorar la gestión universitaria.
La investigación que presentamos analiza el fenómeno del abandono de los estudios universitarios
desde la perspectiva del alumnado desertor. Se trata de una investigación novedosa ya que, diferenciando
entre abandono parcial (cambio de titulación o de institución) y abandono total, se ha centrado en el estudio
de los factores relacionados con el abandono del sistema educativo. Así mismo, pretende poner las bases para
la elaboración de un sistema de atención y detección precoz de los estudiantes de riesgo.
El presente estudio ha sido realizado gracias a las ayudas a la financiación de la adaptación de las
instituciones universitarias al Espacio Europeo de Educación Superior (Acuerdo del Consejo de Ministros de 27
de noviembre de 2009.
FINALIDAD Y OBJETIVOS
La finalidad del estudio es identificar los factores que influyen en el abandono del sistema universitario
con la intencionalidad de tomar decisiones e intervenir para disminuir este fenómeno.
En cuanto a los objetivos específicos se concretan en:
a) Conocer el perfil de los estudiantes que abandonan los estudios universitarios.
b) Recabar información sobre las causas del abandono diferenciando entre causas externas a la
institución (familiares, laborales, etc.) y las internas debidas a cuestiones como insatisfacción,
dificultades, ...
c)
Establecer las estrategias prioritarias que debería desarrollar la UIB para evitar o paliar este problema.
MÉTODO
Definición operativa de abandono
La mayoría de los estudios sobre abandono utilizan métodos longitudinales, sin embargo, en nuestro caso,
por motivos de gestión universitaria se precisaban con urgencia resultados concluyentes, se optó por poner en
práctica una metodología de tipo transversal. Así mismo, se ha establecido un espacio temporal de dos años sin
actividad académica a partir del cual el estudiante es considerado desertor.
Dado que se pretende identificar los motivos del abandono, se ha querido abrazar el mayor número
posible de casos. Así, integran el presente estudio todos los estudiantes que, habiendo tenido actividad
académica durante el curso 2007-08, y sin haber finalizado los estudios, no se han matriculado por dos cursos
académicos consecutivos (2008-09 y 2009-10). Por lo tanto, el estudio incluye estudiantes de todas las
titulaciones oficiales que se imparten en la UIB, independientemente del año académico de inicio de los
correspondientes estudios.
Población y muestra
Sobre una población de 530 estudiantes que abandonaron los estudios universitarios el curso 2006-2007,
se ha seleccionado una muestra aleatoria estratificada por rama de conocimiento y por género, con un nivel de
confianza del 95,5% y un margen de error del +/- 5%, lo cual supone un total de 223 alumnos distribuidos de la
manera siguiente
31
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Rama de conocimiento
Mujeres
Hombres
Experimentales
6
9
Humanidades
14
9
Salud
8
5
Sociales y Jurídicas
76
59
Técnicas
5
32
Total
109
114
Tabla 1: Muestra de estudiantes a los que se ha aplicado el cuestionario.
Técnicas e instrumentos
Para llevar a cabo este estudio se han utilizado las técnicas de encuesta y de entrevista. Como
instrumento de recogida de información se ha empleado el cuestionario, el cual ha sido posteriormente
adaptado como guión de entrevista.
El cuestionario de abandono consta de 5 ítems:
1. Motivo principal de inicio de los estudios universitarios.
2. Causas por las cuales no se han continuado los estudios (motivo principal y otros motivos). Se
diferencia entre causas personales y socioeconómicas y causas del contexto universitario.
3. Intención de continuar o no con los estudios iniciados y factores que pueden condicionar esta
decisión.
4. Y, finalmente, indaga las acciones institucionales que ayudarían a reingresar en el sistema universitario
para finalizar los estudios iniciados.
El cuestionario contiene preguntas cerradas, con diferentes alternativas de respuesta, y preguntas
abiertas, para completar el abanico de variables presentadas y de ampliar la información.
Procedimiento
La investigación se llevó a cabo, durante los meses de Mayo y Junio de 2010, en dos fases. En la primera
el cuestionario se envió por correo electrónico al total de alumnos seleccionados. Posteriormente, se aplicó
telefónicamente el guión de la entrevista a los sujetos de los cuales no se había obtenido respuesta telemática.
De acuerdo con los diferentes enfoques teóricos estudiados, los factores que determinan la decisión
de abandonar corresponden a factores institucionales, socioeconómicos, académicos e individuales. Para
incluir el mayor número de variables, se ha utilizado información de diferentes fuentes: Los datos personales y
sus resultados académicos fueron extraídos de la base de datos del sistema académico (AGORA). Esta
información permite identificar el conjunto de variables correspondientes al seguimiento académico del
estudiante (vías de acceso a la universidad, estudios cursados, créditos matriculados y aprobados, número de
materias cursadas y aprobadas) y detectar el estado de desertor, graduado o activo. La información sobre los
factores individuales, relacionados con características demográficas del estudiante (edad, género y estado civil)
y los factores socioeconómicos del estudiante y su familia se obtuvieron directamente del formulario de
matrícula.
RESULTADOS
Perfil de ingreso
En las gráficas 1 y 2 se presenta la distribución según el género y por edades de los alumnos que han
abandonado los estudios universitarios. Cómo se observa, la proporción de hombres es ligeramente superior a
la de mujeres. Con respecto a la edad de abandono de los estudios, la mayoría de los que abandonan tienen
32
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
entre 21 y 25 años.
Gráfica 1. Alumnos por género
Gráfica 2. Alumnos por edad.
En la tabla siguiente (tabla 1), se observa el nivel de formación de los padres. La mayoría de los padres
de los estudiantes que abandonan los estudios no han finalizado los estudios primarios.
El porcentaje de alumnos desertores con algún de los padres universitarios es del 18,83%.
Padre
Estudios
Madre
Nº.
%
Nº.
%
Diplomatura, licenciatura o doctorado
26
11,66%
16
7,17%
EGB, ESO, bachiller elemental, bachiller superior, FP grado
medio, FP grado superior
40
17,94%
43
19,28%
En blanco
39
17,49%
29
13,00%
Estudios primarios
49
21,97%
53
23,77%
Sin estudios
69
30,94%
82
36,77%
Total general
223
100,00%
223
100,00%
Tabla 1: Estudios de los padres
La tabla 2 muestra la situación laboral de los estudiantes en el momento de cursar los estudios.
Podemos ver que hay un elevado porcentaje de estudiantes que trabajaba más de 15 horas semanales (25%).
Los que se dedicaban únicamente al estudio representan el 35,87%.
33
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Situación laboral
Nº
%
No realiza ningún trabajo
80
35,87%
Menos de 15 horas a la semana
67
30,04%
15 horas a la semana o más
56
25,11%
En blanco
20
8,97%
223
100,00%
Total general
Tabla 2: Horas de trabajo semanal
En el gráfico 3 se recogen las vías de acceso a los estudios universitarios. Se observa que más de la
mitad de los estudiantes que acceden en la universidad lo hacen mediante las pruebas de acceso (PAU). Los
estudiantes que ingresan por otras vías representan porcentajes muy inferiores. Sin embargo, el sumatorio de
los porcentajes de las otras vías es del 35,43%. Esto implica que, como mínimo, el 26,45% del total de personas
que inician estudios universitarios cuentan ya con una profesión o título anterior.
Gráfica 3: Estudios previos a los universitarios
Datos académicos
En las figuras siguientes se pueden observar los años de permanencia a la Universidad (gráfica 4) y el
número de créditos matriculados, los créditos presentados a evaluación y los créditos superados según el
tiempo de permanencia (tabla 3).
Gráfica 4. Años de permanencia en la UIB
34
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Años de
permanencia
Número de
alumnos
Media de créditos
matriculados
Media de créditos
presentados a
evaluación
Media de créditos
superados
1
104
51,05
14,92
7,85
2
27
99,83
37,13
21,52
3
6
92,42
40,17
33,42
4
20
208,00
134,50
92,80
5
20
226,45
134,25
98,48
6
20
306,03
167,83
132,20
7
9
368,17
218,72
151,11
8
5
442,20
281,10
213,90
9
4
488,50
237,75
168,50
10
6
516,58
327,58
186,58
11
2
588,75
329,75
236,25
Total general
223
157,51
82,86
57,23
Tabla 3. Media de créditos matriculados, presentados y superados durante los años de permanencia
En la tabla 3 se puede observar que la media de créditos superados el primer año es inferior a 10.
En términos globales, independientemente de los años de permanencia, la media de créditos
matriculados que se presentan a evaluación es del 82,86% y la media de créditos que son superados respecto
de los presentados es del 57,23%.
Respecto al número de asignaturas superadas (tabla 4), podemos observar que durante el primer año
la mayoría de los estudiantes desertores aprueba entre una y cinco asignaturas y que hay un 16,14% de
alumnos que no supera ninguna. Por otra parte, un 6, 27% de los estudiantes aprueban entre 6 a 10
asignaturas el primer año.
Asignaturas superadas
Años de permanencia
1
2
3
4
5
6
7
Ninguna
36
3
1
1
4
1
1
De 1 a 5
50
15
3
5
2
2
2
De 6 a 10
14
4
1
4
10
13
5
De 11 a 15
3
2
1
5
4
4
1
De 16 a 20
1
3
Más de 20
8
9
5
10
11
1
5
4
5
2
Tabla 4. Asignaturas superadas durante los años de permanencia
En la tabla 5, se puede observar que el mayor número de abandonos tiene lugar el primer año de los
estudios, independientemente del tipo de estudio. En el segundo año el número de alumnos que abandonan en
las diplomaturas duplica al número de deserciones en las licenciaturas.
35
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Diplomatura
Curso
%
Nº alumnos
Licenciatura
%
Total alumnos
Nº alumnos
1
59
48,36
50
49,50
109
2
21
17,21
10
9,90
31
3
42
34,43
12
11,88
54
4
17
16,83
17
5
12
11,88
12
Total
122
101
223
Tabla 5. Curso más alto en que estaban matriculados en el momento de abandonar los estudios
Motivo principal por el cual se iniciaron los estudios universitarios
Entre los motivos por los cuales se iniciaron los estudios (tabla 6), el 52% de los alumnos refieren
motivos vocacionales. El enriquecimiento personal es manifestado por el 32% de los estudiantes y los motivos
laborales por un 30%.
Otros motivos mencionados, aunque con porcentajes mínimos, son la promoción laboral, la carencia
de ocupación y la imposición paterna.
Motivo
%
Vocación
52,15
Enriquecimiento personal
32,29
Encontrar trabajo
30,04
Promoción laboral
10,31
No encontraba trabajo
2,69
Imposición paterna
0,90
Otros
1,35
Tabla 6. Motivo de inicio de los estudios
Motivos por los que decidieron no volver a matricularse
El gráfico 5 muestra los principales motivos de abandono de los estudios. Cómo se puede observar, el
78% manifiesta motivos de cariz personal y/o socioeconómicos y el 14% carencia de satisfacción con la
titulación o con la institución.
Gráfico 5. Motivo principal por el que decidió no volver a matricularse
36
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
En la tabla siguiente (tabla 7), se observan los motivos concretos por los que los estudiantes deciden
abandonar los estudios superiores. Dentro del grupo de “factores personales y/o socioeconómicos”, la
incompatibilidad con el horario laboral es el motivo más señalado por los estudiantes. Siguen la incorporación
en el mundo laboral y los motivos de tipo económico. El resto de causas expuestas representan porcentajes
muy inferiores.
En el grupo “falta de satisfacción con la institución o titulación”, los principales factores que se señalan
son, en este orden, el exceso de teoría, haber recibido una información inadecuada, el descontento con la
docencia, la carencia de tutorización y el desagrado con el ambiente universitario.
Motivo
%
Incompatibilidad horaria con el trabajo
42,15
Incorporación al mercado laboral
29,15
Motivos económicos.
13,00
Cambio de idea
8,07
Cambio de residencia
8,07
Estudios demasiado teóricos
7,62
Recibió una información inadecuada
6,73
Descontento con la docencia
3,59
Falta de tutorización
3,14
Ambiente universitario
3,14
Problemas de salud
2,69
Conocimientos previos insuficientes o dificultad superación estudios
2,24
Dificultades con el idioma
1,79
Otros
22,87
Tabla 7. Motivos concretos por los que decidieron no volver a matricularse
Intención de continuar o no con estudios iniciados y factores que pueden condicionar esta decisión.
La proporción entre los estudiantes que tienen intención de continuar con los estudios iniciados, los
que no piensan regresar a la Universidad y los indecisos está muy igualada (gráfica 6). La tabla 8 muestra las
causas de las que depende el regreso de los alumnos que se manifiestan indecisos.
Gráfico 6. Intención de continuar con los estudios iniciados en la universidad
37
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Factor facilitador
Nº
Poder compaginar estudio y trabajo
32
Posibilidades económicas
8
Poder compaginar estudios y familia
3
No lo especifica
15
Total
58
Tabla 8. Factores que favorecerían el reingreso de los indecisos
En la tabla siguiente (tabla 9) se recogen los motivos mencionados por los alumnos que han manifiestado la
intención de no retomar los estudios universitarios. Podemos ver que, de los motivos señalados, la
incompatibilidad con el trabajo es el motivo principal mencionado.
Causa
Nº
Incompatibilidad laboral
19
Descontento con la UIB
15
Cursan estudios no universitarios
4
Motivos económicos
2
40
Tabla 10. Causas de no continuación de los estudios
Acciones de mejora que podría llevar a cabo la Universidad para facilitar el reingreso en el sistema
de educación superior.
Los cambios de los horarios son las acciones más mencionadas como los principales facilitadores del
reingreso en el sistema universitario (27,34%). En estas modificaciones se incluyen la creación de nuevos
turnos y la flexibilización horaria.
Siguen, por orden, la diversificación y ampliación de las modalidades de las enseñanzas, con estudios
y/o de asignaturas en línea o semipresencials (21,87%). A continuación, los cambios de tipo metodológico y
didáctico (14%).
En tercer y cuarto lugar, las ayudas económicas (11,71%) y las modificaciones de los planes de
estudios, con menos teoría y más adaptados a la realidad (9,37%). Finalmente, con un 3,12% y 2,34%
respectivamente, la mejora de la información y la ampliación de la oferta de estudios.
Acciones de mejora
Número de veces que se propone
Cambios en los horarios
35
Diversificar las modalidades de enseñanza
28
Cambios metodológicos y didácticos
18
Modificaciones contenido del plan de estudios
12
Ampliar oferta formativa
3
Mejorar la información/orientación
4
Ayudas o facilidades económicas
15
Otros
13
128
Tabla 10. Acciones de mejora
38
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
CONCLUSIONES
Los resultados obtenidos en este trabajo nos permiten concluir que:

El perfil de los estudiantes que han abandonado el sistema de la educación superior es el correspondiente
a jóvenes de entre 21 y 25 años. Apenas se encuentran diferencias por género aunque el porcentaje mayor
corresponde al sexo masculino.

Respecto al nivel de estudios de los padres, el porcentaje mayoritario corresponde a los que no han
finalizado estudios primarios.

Los estudiantes han accedido, mayoritariamente, mediante las pruebas de acceso a la universidad y el
motivo del ingreso es básicamente vocacional.

Respecto a la situación laboral, el porcentaje más elevado es el correspondiente a los estudiantes que no
tienen cargas laborales, aunque el porcentaje de estudiantes trabajadores es considerable.

En cuanto a los resultados académicos, el rendimiento de los desertores es muy bajo; en términos
generales, sólo aprueban una tercera parte de los créditos matriculados.

El estudio revela que el mayor número de deserciones tienen lugar en los primeros dos años,
especialmente el primer año. Se trata de un periodo crítico (Tinto, 1989) que se caracteriza por el paso de
un ambiente conocido a un mundo en apariencia impersonal, lo que implica serios problemas de ajuste
para los estudiantes.

El abandono de los estudios obedece a diversas causas. Los resultados obtenidos confirman que se trata
de un fenómeno policausal. No se puede apuntar a una única causa pero sí a causas con frecuencias
porcentuales más altas.

Entre los factores más mencionados por los estudiantes se encuentran los motivos de tipo laboral, los
cuales son expuestos por la mayoría de los encuestados. En segundo lugar los motivos relacionados con el
mundo universitario, siguen los factores económicos. A continuación, la escasa vocación o carencia de
interés y finalmente la dificultad de los estudios.
A diferencia de los resultados otros estudios (Latiesa, 1998), las dificultades para superar los estudios
como motivo de abandono es mencionado sólo un 2,24% por lo cual es presivible que sea una resultante
de los otros factores (Canales, 2007).

La proporción de ex alumnos que no prevén finalizar estudios universitarios, la de los que piensan regresar
en un futuro y los indecisos es muy similar. En todo caso, la decisión de devolver a cursar estudios
superiores dependerá de poder compaginar trabajo y estudios. El factor económico no parece ser un
obstáculo importante para el reingreso.

En consecuencia, y de acuerdo con la opinión de los estudiantes que han abandonado los estudios
superiores, las acciones institucionales que podrían facilitar el reingreso son de tipo organizativo y van en
la línea de permitir compaginar estudios y trabajo.
De forma mayoritaria, manifiestan la necesidad de adaptar la organización de las enseñanzas a los
estudiantes trabajadores. En este sentido, las sugerencias son diversas: flexibilización horaria de las
actividades presenciales, ampliar y diversificar turnos, utilización de las TIC (asignaturas y titulaciones en
línea), asistencia no obligatoria, menos presencialidad, etc.
Las conclusiones que presentamos en este estudio son fruto de un primer análisis de los datos obtenidos.
Actualmente, el equipo investigador esta llevando a cabo un nuevo análisis en profundidad de la información
recogida a partir de la cual podremos ofrecer, en breve, conclusiones más exhaustivas.
39
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
REFERENCIAS
Agencia Nacional de Evaluación de la Calidad y Acreditación (2008). Protocolo de evaluación
Para la verificación de Títulos universitarios Oficiales (grado y máster). 3. Recuperado el 27 de septiembre de
2010 de
http://www.aneca.es/actividadesevaluacion/evaluacionense%C3%B1anzas/verifica.aspx#198
Cabrera, L., Bethencourt, J.T., Álvarez, P. y González, M. (2006). El problema del abandono de los estudios
universitarios. RELIEVE, v. 12, n. 2. Recuperado el 25 de septiembre de 2010 de
http://www.uv.es/RELIEVE/v12n2/RELIEVEv12n2_1.htm .
Canales, A. y D. de los Ríos (2007). Factores explicativos de la deserción universitaria. Revista Calidad en la
Educación, 26, 173-201.
European Association for Quality Assurance in Higher Education (2005). Standards and Guidelines for Quality
Assurance in the European Higher Education Area. Helsinki: ENQUA.
Latiesa, M. (1998). Tipología y causas de la deserción universitaria y el retraso en los estudios. Granada:
Universidad de Granada.
Tinto, V. (1982). Limits of theory and practice in student attrition. Journal of Higher Education, 53,687-700.
40
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social
Secretariado de Calidad y Desarrollo Estratégico
INDICADORES EN LOS SISTEMAS DE GARANTÍA DE LA CALIDAD DE
LA UNIVERSIDAD DE MÁLAGA: CONTRIBUCIÓN AL SEGUIMIENTO DE
LOS TÍTULOS OFICIALES
J. Eva Vallejo García
Cristina Quintana García
Vanesa F. Guzmán Parra
41
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
INDICADORES EN LOS SISTEMAS DE GARANTÍA DE LA CALIDAD DE LA UNIVERSIDAD DE MÁLAGA:
CONTRIBUCIÓN AL SEGUIMIENTO DE LOS TÍTULOS OFICIALES
ÍNDICE
1. INTRODUCCIÓN.......................................................................................................................
2. INDICADORES DE LOS SISTEMAS DE GARANTÍA DE LA CALIDAD DE LOS CENTROS DE LA
UNIVERSIDAD DE MÁLAGA…………………………………………………………………………………………………….
2.1. Indicadores asociados a procesos…………………………………….……..............................................
2.2. Ejemplo de indicador..............................................................................................................
3. MEDIDA DE LA SATISFACCIÓN DE LOS GRUPOS DE INTERÉS EN LOS SISTEMAS DE GARANTÍA
DE LA CALIDAD DE LOS CENTROS DE LA UNIVERSIDAD DE MÁLAGA…………………………………...….
3.1. Cuestionario de satisfacción de Estudiantes..…………………….….……........................................
3.2. Cuestionario de satisfacción del Profesorado….…………………………………………………………………
3.3. Cuestionario de satisfacción del Personal de Administración y Servicios……………………………
3.4. Cuestionario de satisfacción de Egresados……………………………...….........................................
3.5. Cuestionario de percepción social………………………...………………..............................................
4. CONTRIBUCIÓN DEL SISTEMA DE GARANTÍA DE LA CALIDAD DEL CENTRO AL SEGUIMIENTO
DE LOS TÍTULOS OFICIALES……………………………………………………………………………………………………..
5. REFERENCIAS BIBLIOGRÁFICAS Y DOCUMENTALES...................................................................
6. DIRECCIONES WEB DE INTERÉS…………………………......................................................................
42
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
1.
INTRODUCCIÓN
En la Universidad de Málaga, para dar respuesta a las exigencias en materia de calidad de los nuevos
títulos oficiales y teniendo en cuenta los criterios y directrices para la garantía de calidad imperantes en el
Espacio Europeo de Educación Superior (ENQA, 2005) y lo dispuesto en el Real Decreto 1393/2007, de 29 de
octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales, se ha diseñado un
Sistema de Garantía de la Calidad (SGC) en cada Centro.
Este documento versa sobre los indicadores que se han definido para el seguimiento y medición de
los Sistemas de Garantía de la Calidad de los Centros de esta Universidad y su contribución al seguimiento de
los títulos oficiales. Se analizan los cuestionarios diseñados para recabar información sobre el grado de
satisfacción de los distintos colectivos implicados en estos Sistemas, como herramienta clave para la medición
de la opinión de estudiantes, profesores, personal de administración y servicios, egresados y sociedad en
general.
2.
INDICADORES DE LOS SISTEMAS DE GARANTÍA DE LA CALIDAD (SGC) DE LOS CENTROS DE LA
UNIVERSIDAD DE MÁLAGA
En este apartado se describen los indicadores definidos en los Sistemas de Garantía de la Calidad de
los Centros de la Universidad de Málaga, para dar respuesta a las directrices del Programa AUDIT de la ANECA
(ANECA; 2006, 2007 y 2007b). Se finaliza el epígrafe proporcionando el ejemplo concreto de la ficha de un
indicador.
2.1.
INDICADORES ASOCIADOS A PROCESOS
Los Sistemas de Garantía de la Calidad de los Centros de la Universidad de Málaga cuentan con
indicadores para su seguimiento y medición (Vallejo, 2010: 195). Estos indicadores se dividen en comunes y
específicos. Los indicadores comunes son los mismos para todos los Centros de la Universidad de Málaga.
En total se han diseñado 65 indicadores comunes. Entre estos indicadores se recogen las tres tasas
previstas en el Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las
enseñanzas universitarias oficiales (tasa de graduación, tasa de abandono y tasa de eficiencia). En cuanto a los
indicadores específicos, éstos son propios de cada Centro. Dadas las peculiaridades de los Centros se ha
permitido la posibilidad de definir indicadores propios que complementen la información de los indicadores
comunes. En el cuadro 1 se recogen los indicadores comunes, así como los procesos con los que están
relacionados.
45
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
CÓDIGO
DENOMINACIÓN DEL INDICADOR
01
02
03
04
05
Definición de la política de calidad y objetivos de calidad
Nivel de cumplimiento de los objetivos de calidad
Tasa de graduación
Tasa de abandono
Tasa de eficiencia
Porcentaje de propuestas de programas de grado
verificadas por el Consejo de Universidades
Número de títulos que se suspenden (Grado y Posgrado)
Duración media de estudios
Esfuerzo de difusión de la oferta formativa
Existencia de una política de personal académico
Esfuerzo de difusión de la política de personal académico
Existencia de una política de personal de administración y
servicios
Esfuerzo de difusión de la política de personal de
administración y servicios
Establecimiento de los indicadores del SGC
Realización del Informe de resultados del SGC
Porcentaje de acciones de mejora realizadas
Revisión de los programas formativos
Porcentaje de programas de doctorado conforme al RD
1393/07 con mención de calidad
Nivel de satisfacción de los estudiantes con el proceso de
selección, admisión y matriculación
Grado de cobertura de las plazas ofertadas
Esfuerzo de difusión de perfiles
Demanda de la titulación
Porcentaje de estudiantes que participan en actividades de
orientación
Nivel de satisfacción de los estudiantes con las actividades
de orientación
Porcentaje de asignaturas con programa completo
Grado de cumplimiento de la planificación
Tasa de rendimiento
Tasa de éxito
Satisfacción del alumnado con los sistemas de evaluación
Porcentaje de alumnos del Centro que participan en
programas de movilidad
Grado de satisfacción de los alumnos de programas de
movilidad (enviados)
Porcentaje de alumnos que participan en programas de
movilidad cuyo destino es el Centro sobre el total de
alumnos que recibe la Universidad
Grado de satisfacción de los alumnos de programas de
movilidad (recibidos)
Nº de usuarios asesorados por el servicio de orientación
Nivel de satisfacción de los usuarios con respecto a los
servicios de orientación profesional
Inserción en el tejido socioeconómico de los egresados
Oferta de prácticas externas
Nivel de satisfacción con las prácticas externas
Nº de informes negativos de ANECA
Cumplimiento de la difusión de la información
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
PROCESOS VINCULADOS
PE01
PE01
PE02
PE02
PE02
PC01
PC01
PC01
PE02
PC01
PE02
PE02
PE02
PE03
PE03
PC01
PC01
PC01
PC12
PC06
PC12
PC12
PC02
PC07
PC13
PC12
PE04
PE04
PE05
PE05
PE05
PC02
PC02
PC03
PC03
PC04
PC04
PC05
PC05
PC06
PC06
PC06
PC07
PC07
PC08
PC07
PC08
PC09
PC09
PC10
PC10
PC10
PC11
PC11
PC13
PC14
PC12
PC02
CUADRO 1
INDICADORES DE LOS SISTEMAS DE GARANTÍA DE LA CALIDAD DE LA UNIVERSIDAD DE MÁLAGA
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
46
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
CÓDIGO
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
DENOMINACIÓN DEL INDICADOR
Nivel de satisfacción de los usuarios con respecto a la
gestión de expedientes y tramitación de títulos
Número de quejas y reclamaciones recibidas sobre la
gestión de expedientes y tramitación de títulos
Grado de cumplimiento de las necesidades de personal
académico
Relación porcentual entre el número total de PDI
funcionario sobre el total de PDI
Porcentaje de mujeres del total de PDI
Realización del Informe global de la Universidad
Porcentaje de informes de Departamentos/Centros
recibidos
Nivel de cumplimiento de la oferta pública
Nivel de satisfacción del alumnado con respecto a la
actividad docente
Porcentaje de informes valorativos del proceso recibidos
Porcentaje de servicios con una gestión por procesos
Porcentaje de puestos con competencias definidas
Nº de personal promocionado por servicio
Porcentaje de profesores que participan en actividades de
formación
Grado de satisfacción del PDI con la formación recibida
Porcentaje de PAS que participa en actividades de
formación
Grado de satisfacción del PAS con la formación recibida
Satisfacción de los grupos de interés con respecto a los
recursos materiales
Número de puestos de trabajo por estudiante
Número de reclamaciones recibidas en los servicios
Nivel de satisfacción de los usuarios de los servicios
Número de incidencias, sugerencias y quejas atendidas
Porcentaje de acciones implantadas
Porcentaje de encuestas realizadas sobre el total de
encuestas solicitadas
Nivel de satisfacción de los usuarios
PROCESOS VINCULADOS
PA02
PA02
PA03
PA03
PA03
PA03
PA03
PA04
PA05
PA05
PA06
PA06
PA06
PA07
PA07
PA08
PA08
PA09
PA09
PA10
PA10
PA11
PA11
PA12
PA12
CUADRO 1 (Continuación)
INDICADORES DE LOS SISTEMAS DE GARANTÍA DE LA CALIDAD DE LA UNIVERSIDAD DE MÁLAGA
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
2.2.
EJEMPLO DE INDICADOR
Para cada indicador se ha elaborado su ficha correspondiente, en la que se recogen los siguientes
ámbitos: código, denominación, identificación del proceso, definición, fórmula de cálculo, fuente, responsable
y periodicidad. Actualmente se va a proceder a la revisión de la ficha de indicadores para ajustarla a lo
establecido en la Norma UNE 66175:2003. Sistemas de gestión de la calidad. Guía para la implantación de
sistemas de indicadores.
A modo de ejemplo, en el cuadro 2 se puede observar la ficha que se ha elaborado para el indicador
IN28. Tasa de éxito, relacionado con el proceso PC07. “Evaluación del aprendizaje” del Sistema de Garantía de
la Calidad.
47
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
FICHA TÉCNICA DE INDICADOR
Denominación
Identificación del proceso o
procesos al o a los que afecta
Definición
Fórmula de cálculo
Fuente
Responsable
Periodicidad
Código IN28
Tasa de éxito
PC07. Evaluación del aprendizaje
Para el cálculo de este indicador se realizará una diferenciación entre las distintas
titulaciones que oferte el Centro
Se mide la relación de créditos superados sobre los créditos presentados
Siendo,
a: nº de créditos superados en el curso x
b: nº de créditos presentados en el curso x
x: curso anterior al que se realiza la medición del indicador
(a/b)*100
Servicio Central de Informática
Coordinador de Calidad del Centro
Anual, antes de la revisión del Sistema
CUADRO 2
IN28. TASA DE ÉXITO
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
3.
MEDIDA DE LA SATISFACCIÓN DE LOS GRUPOS DE INTERÉS EN LOS SISTEMAS DE GARANTÍA DE LA
CALIDAD DE LOS CENTROS DE LA UNIVERSIDAD DE MÁLAGA
La Universidad de Málaga ha adquirido un compromiso con la garantía de la calidad, resultando
primordial la colaboración de todos los miembros de la comunidad universitaria.
En este epígrafe se analizan los distintos cuestionarios que se han diseñado en el Vicerrectorado de
Calidad, Planificación Estratégica y Responsabilidad Social para dar respuesta a las exigencias de los Sistemas
de Garantía de la Calidad de los Centros de la Universidad de Málaga, en lo que se refiere a la medida del grado
de satisfacción de los grupos de interés.
El diseño de estos cuestionarios se realizó por el personal del Vicerrectorado de Calidad,
Planificación Estratégica y Responsabilidad Social y se consensuó con los Centros, representados por sus
respectivos Coordinadores de Calidad.
3.1.
CUESTIONARIO DE SATISFACCIÓN DE ESTUDIANTES
El cuestionario de satisfacción de estudiantes recoge un apartado de datos generales, donde el
alumno debe seleccionar la titulación, el Centro, el último curso en el que ha estado matriculado, el sexo y la
edad. Por otro lado, incorpora una serie de ítems que debe valorar mediante el uso de una escala de likert que
va desde 1 (mínimo grado de satisfacción, conocimiento, utilidad, conformidad) a 5 (máximo grado de
satisfacción, conocimiento, utilidad, conformidad). En caso de desconocimiento no se valorará la pregunta.
Estos ítems se han agrupado en 9 apartados, que son los siguientes:
48
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
1
1
1.1
1.2
1.3
2
2.1
2.2
2.3
3
3.1
3.2
3.3
3.4
4
4.1
4.2
4.3
4.4
4.5
4.6
4.7
4.8
5
5.1
5.2
5.3
5.4
5.5
5.6
5.7
5.8
6
6.1
6.2
6.3
7
7.1
7.2
7.3
7.4
7.5
7.6
7.7
7.8
8
8.1
2
3
4
5
Proceso de selección, admisión y matriculación
Organización de las pruebas de acceso a la Universidad de Málaga
Información facilitada durante el proceso de matriculación
Proceso de matriculación
Plan de estudios y su estructura
Distribución y secuencia de las asignaturas en el plan de estudios
Relación de créditos teórico-prácticos
El plan de estudios, en general
Organización de la enseñanza
Coordinación entre el profesorado de una misma asignatura
Coordinación entre el profesorado de distintas asignaturas de un
mismo curso
Distribución de las pruebas de evaluación
Información recibida en la guía académica
Proceso de enseñanza-aprendizaje
Metodologías docentes
Sistemas y criterios de evaluación
Utilidad de las tutorías
Programas de movilidad
Información facilitada de las asignaturas (objetivos, programa, …)
Uso del campus virtual por el profesorado
Material de estudio recomendado
Fondos bibliográficos
Prácticas externas
Información sobre los objetivos de las prácticas
Información sobre las actividades a desarrollar en las prácticas
Ambiente de trabajo en las prácticas
Material disponible para las prácticas
Relación entre las actividades desarrolladas en las prácticas y los
estudios que está realizando
Logro de objetivos previamente planteados en las prácticas
Satisfacción global con las prácticas
Disponibilidad de trabajar en la empresa/entidad en la que ha
realizado las prácticas
Recursos humanos
Profesorado
Personal de administración y servicios (secretaría, conserjería,
biblioteca,…)
Labor realizada por el Equipo Decanal/Directivo
Instalaciones e infraestructuras
Aulas
Talleres y laboratorios
Espacios de estudio y trabajo individual o en grupo
Horario de salas de estudio en época de exámenes
Aulas de informática
Biblioteca
Servicios externos (reprografía, cafetería, limpieza)
Instalaciones, en general
Acogida y orientación del alumno
Actividades de acogida en primer curso
CUADRO 3
CUESTIONARIO DE SATISFACCIÓN DE ESTUDIANTES
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
49
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
1
8.2
8.3
8.4
8.5
9
9.1
9.2
9.3
9.4
9.5
9.6
9.7
9.8
9.9
9.10
9.11
9.12
2
3
4
5
Actividades de apoyo al estudiante
Orientación profesional y laboral recibida
Formación integral (actividades culturales, deportivas,…)
Canales para recoger quejas y sugerencias
Aspectos generales
Universidad, en general
Imagen de la Universidad
Acciones de la Universidad relativas a Responsabilidad Social
Actividades de preservación y/o defensa del medio ambiente de la
Universidad
Programas de voluntariado
Respuesta de la Universidad a las personas con necesidades
especiales
Medios de transporte para acceder a la Universidad
Titulación, en general
Nivel de preparación inicial con el que llegó a la titulación
Grado de dedicación a sus estudios
Salidas profesionales de la titulación
Gestión de expedientes y tramitación de títulos
CUADRO 3 (Continuación)
CUESTIONARIO DE SATISFACCIÓN DE ESTUDIANTES
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
Finalmente se recoge un apartado en el que el alumno puede incluir los aspectos que considere
mejorables.
3.2.
CUESTIONARIO DE SATISFACCIÓN DEL PROFESORADO
El cuestionario de satisfacción de profesores, al igual que el de alumnos, recoge un apartado de
datos generales, donde el profesor debe seleccionar la titulación, el Centro, el sexo, la edad y la categoría.
Por otro lado, incorpora una serie de ítems que debe valorar desde 1 (mínimo grado de satisfacción,
conocimiento, utilidad, conformidad) a 5 (máximo grado de satisfacción, conocimiento, utilidad, conformidad).
En caso de desconocimiento no se valorará la pregunta. Estos ítems son los siguientes:
1
1
2
3
4
5
6
7
8
9
10
11
12
2
3
4
5
4
5
Competencias que deben adquirir los egresados al finalizar sus
estudios
Perfil de ingreso de los estudiantes
Programas de acogida y orientación del alumnado de nuevo ingreso
Plan de estudios
Coordinación y secuenciación horizontal y vertical de las materias de
la titulación
Adecuación de la dedicación real de los estudiantes a la planificación
del programa formativo
Procedimiento de fijación de horarios
CUADRO 4
CUESTIONARIO DE SATISFACCIÓN DEL PROFESORADO
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
1
2
3
Contenido de la guía de la titulación
Créditos asignados a las distintas materias
Ratio alumnos/profesor por grupo
Ratio alumnos/profesor por semestre
Metodología de enseñanza-aprendizaje utilizada en el programa
formativo
50
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
Criterios de evaluación utilizados en la titulación
Desarrollo de las prácticas externas
Programa de movilidad
Tutorías
Cualificación y experiencia de los profesores de la titulación
Cualificación y experiencia del PAS asignado al Centro
Instalaciones e infraestructuras asignadas al programa formativo
Recursos tecnológicos físicos asignados al programa formativo
Recursos tecnológicos telemáticos (campus virtual) destinados al
programa formativo
Recursos que ofrece la Biblioteca al programa formativo
Servicios externos (cafeterías, limpieza, seguridad,…)
Sistema de Garantía de la Calidad del Centro
Política de personal académico
Proceso de selección del profesorado
Proceso de evaluación del profesorado
Proceso de promoción del profesorado
Desarrollo profesional
Sistema de reconocimiento del profesorado
Sistema de incentivos del profesorado
Programa de formación del profesorado
Comunicación interna en la Universidad
Plan de acción social de la Universidad
Principales resultados académicos del programa formativo
Principales resultados de la inserción laboral de los estudiantes
Sistema de quejas y sugerencias de la titulación
Satisfacción de los alumnos con el programa formativo
Labor realizada por el Equipo Decanal/Directivo
Grado de satisfacción con las materias que imparte
Grado de satisfacción con la Universidad
Imagen de la Universidad
Acciones de la Universidad relativas a Responsabilidad Social
Actividades de preservación y/o defensa del medio ambiente de la
Universidad
Programas de voluntariado
Respuesta de la Universidad a las personas con necesidades
especiales
Medios de transporte para acceder a la Universidad
CUADRO 4 (Continuación)
CUESTIONARIO DE SATISFACCIÓN DEL PROFESORADO
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
Finalmente se recoge un apartado en el que el profesor puede incorporar aquellos aspectos que
considere mejorables.
3.3.
CUESTIONARIO DE SATISFACCIÓN DEL PERSONAL DE ADMINISTRACIÓN Y SERVICIOS
El cuestionario de satisfacción del PAS recoge un apartado de datos generales, donde se debe
seleccionar el Centro, el Servicio, el sexo, la edad y la categoría. Además incorpora una serie de ítems que debe
valorar mediante el uso de una escala de likert que va desde 1 (mínimo grado de satisfacción, conocimiento,
utilidad, conformidad) a 5 (máximo grado de satisfacción, conocimiento, utilidad, conformidad). Estos ítems
son:
51
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
2
3
4
5
Sistema de Garantía de la Calidad del Centro
Política de personal de administración y servicios
Proceso de selección del personal de administración y servicios
Proceso de evaluación del personal de administración y servicios
Proceso de promoción del personal de administración y servicios
Sistema de reconocimiento del personal de administración y servicios
Sistema de incentivos del personal de administración y servicios
Programa de formación del personal de administración y servicios
Programas de voluntariado
Cualificación y experiencia del PAS del Centro
Procedimiento de adscripción de horarios
Instalaciones e infraestructuras del Centro
Servicios externos (cafeterías, limpieza, seguridad,…)
Sistema de quejas y sugerencias del Centro
Grado de satisfacción con el Equipo Decanal/Directivo
Imagen de la Universidad
Acciones de la Universidad relativas a Responsabilidad Social
Actividades de preservación y/o defensa del medio ambiente de la
Universidad
Respuesta de la Universidad a las personas con necesidades
especiales
Medios de transporte para acceder a la Universidad
CUADRO 5
CUESTIONARIO DE SATISFACCIÓN DEL PERSONAL DE ADMINISTRACIÓN Y SERVICIOS
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
Finalmente se recoge un apartado en el que el profesor puede reflejar los aspectos que considere
mejorables.
3.4.
CUESTIONARIO DE SATISFACCIÓN DE EGRESADOS
El cuestionario de satisfacción de egresados recoge un apartado de datos generales, donde se ha de
reflejar la titulación y el curso académico en el que se finalizaron los estudios.
Por otro lado, incorpora una serie de ítems que debe valorar desde 1 (mínimo grado de satisfacción,
conocimiento, utilidad, conformidad) a 5 (máximo grado de satisfacción, conocimiento, utilidad, conformidad).
En caso de desconocimiento no se valorará la pregunta. Estos ítems son los siguientes:
1
1
2
3
4
5
6
7
8
2
3
4
5
Contenidos del plan de estudios
Calidad de la docencia
Formación teórica
Formación práctica
Adecuación de la formación recibida a las exigencias del mercado
laboral
Contribución de los estudios realizados a su desarrollo profesional
Instalaciones del Centro
Funcionamiento administrativo del Centro
CUADRO 6
CUESTIONARIO DE SATISFACCIÓN DE EGRESADOS
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
Finalmente se recoge un apartado en el que el egresado puede exponer aquellos aspectos que
considere mejorables.
52
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
3.5.
CUESTIONARIO DE PERCEPCIÓN SOCIAL
El cuestionario de percepción social pretende recoger la opinión de la sociedad con respecto a la
labor de la Universidad de Málaga. Diferencia un apartado de datos generales, donde se debe reflejar el sexo,
la edad, la zona de residencia y el nivel de estudios.
Por otro lado, incorpora una serie de ítems que debe valorar desde 1 (mínimo grado de satisfacción,
conocimiento, utilidad, conformidad) a 5 (máximo grado de satisfacción, conocimiento, utilidad, conformidad).
En caso de desconocimiento no se valorará la pregunta. Estos ítems son los siguientes:
1
1
2
3
4
5
6
7
2
3
4
5
Grado de interés particular por la Universidad de Málaga
Grado de implicación de la Universidad de Málaga con el entorno
(administración, empresas,…)
Nivel de impacto de la Universidad de Málaga en el entorno
Imagen pública de la Universidad de Málaga
Calidad de los estudios de la Universidad de Málaga
Actividades culturales organizadas por la Universidad de Málaga
Actividades deportivas organizadas por la Universidad de Málaga
CUADRO 7
CUESTIONARIO DE PERCEPCIÓN SOCIAL
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
Finalmente se recoge un apartado en el que se pueden incluir aquellos aspectos que se consideren
mejorables.
4.
CONTRIBUCIÓN DEL SISTEMA DE GARANTÍA DE LA CALIDAD DEL CENTRO AL SEGUIMIENTO DE LOS
TÍTULOS OFICIALES
Este epígrafe versa sobre la contribución del Sistema de Garantía de la Calidad del Centro al
seguimiento de los títulos oficiales que éste oferta.
Según la REACU (2010), los criterios para el seguimiento de los títulos oficiales parten de tres
principios básicos que subyacen en el desarrollo de los Estándares y Directrices para el aseguramiento de la
calidad en el Espacio Europeo de Educación Superior (EEES):
-
Atender a los intereses de los estudiantes, los empleadores y la sociedad en general en una
educación superior de buena calidad.
-
Reconocimiento de la importancia central de la autonomía institucional y de sus subsiguientes
responsabilidades.
-
El reconocimiento de que la responsabilidad primera del aseguramiento de la calidad reside en
la misma institución.
Los propósitos del seguimiento son:
-
Asegurar la ejecución efectiva de las enseñanzas conforme a lo recogido en el plan de estudios
del título implantado, tal y como consta en el Registro de Universidades, Centros y Títulos, junto
con las modificaciones aprobadas por el Consejo de Universidades.
53
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
-
Asegurar la disponibilidad pública de la información pertinente y relevante a los diferentes
agentes de interés del sistema universitario.
-
Detectar posibles deficiencias en el desarrollo efectivo de las enseñanzas, las acciones
realizadas para su subsanación, así como la introducción de modificaciones no aprobadas por el
Consejo de Universidades al objeto de determinar la eventualidad de una nueva verificación.
-
Aportar recomendaciones y/o sugerencias de mejora en el transcurso de la implantación del
plan de estudios.
-
Identificar buenas prácticas para su difusión en el marco del sistema universitario.
En el caso de los Centros de la Universidad de Málaga, la contribución del Sistema de Garantía de la
Calidad (SGC) al seguimiento de los títulos oficiales se basa en la aportación de información relativa a las
siguientes cuestiones:
-
Responsables del Sistema de Garantía de la Calidad del Plan de Estudios. En cada Centro se ha
constituido una Comisión de Garantía de la Calidad, la cuál ha elaborado su Reglamento de
funcionamiento (F02-PE01).
-
Procedimientos de evaluación y mejora de la calidad de la enseñanza y el profesorado. Se han
documentado los siguientes procesos: PE03. “Definición de la política de personal académico”,
PA05. “Evaluación, promoción, reconocimiento e incentivos del personal académico”, PC02.
“Garantía de calidad de los programas formativos” y PE05. “Medición, análisis y mejora
continua”.
-
Procedimientos para garantizar la calidad de las prácticas externas y los programas de
movilidad. Se han diseñado los siguientes procesos: PC08. “Gestión y revisión de la movilidad de
los estudiantes enviados”, PC09. “Gestión y revisión de la movilidad de los estudiantes
recibidos” y PC11. “Gestión de las prácticas externas”.
-
Procedimientos de análisis de la inserción laboral de los graduados y de la satisfacción con la
formación recibida. En este sentido, se diferencian los siguientes procesos: PC10. “Gestión y
revisión de la orientación e inserción profesional” y PA12. “Satisfacción de necesidades y
expectativas de los grupos de interés”.
-
Procedimiento para el análisis de la satisfacción de los distintos colectivos implicados
(estudiantes, personal académico y de administración y servicios, etc.), y de atención a las
sugerencias o reclamaciones. Criterios específicos en el caso de extinción del título. Para dar
respuesta a estas exigencias, los Centros cuentan con los siguientes procesos: PA11. “Gestión y
revisión de incidencias, reclamaciones y sugerencias”, PA12. “Satisfacción de necesidades y
expectativas de los grupos de interés” y PC13. “Suspensión/Extinción del título”.
-
Manual del Sistema de Garantía de la Calidad.
-
Manual de Procedimientos del Sistema de Garantía de la Calidad.
-
Evidencias del Sistema de Garantía de la Calidad. Como resultado del desarrollo de los procesos
54
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
del Sistema, se generan evidencias que están reflejadas en el apartado 7. “Archivo” de las fichas
de los procesos.
-
Listado de documentos en vigor del Sistema de Garantía de la Calidad. Como parte del Sistema
de Garantía de la Calidad, se dispone de una ficha denominada F01.PA01. “Listado de
documentos del SGC”, en la que se recogen todos los documentos del Sistema, la fecha de la
primera edición, la edición en vigor y su fecha correspondiente.
-
Plan de Mejora. Anualmente, se realiza una revisión del SGC, tal y como se recoge en el proceso
PE05. “Medición, análisis y mejora” y como resultado de la misma, se obtienen las mejoras
correspondientes que se trasladarán al Plan de Mejora.
El Sistema de Garantía de la Calidad de los Centros que se ha diseñado en la Universidad de Málaga,
siguiendo las Directrices del Programa AUDIT de la ANECA, da respuesta no solo a las exigencias del apartado 9.
“Sistema de Garantía de la Calidad” del Anexo I del Real Decreto 1393/2007, sino que también proporciona
cobertura a otros apartados recogidos en el citado Anexo I para la presentación de la Memoria de verificación
de títulos oficiales. De este modo:
-
El Centro dispone de objetivos que ha definido como resultado del proceso estratégico PE01.
“Elaboración y revisión de la política y objetivos de calidad”, concretamente aparecen en la
ficha F03-PE01. “Objetivos de calidad”.
-
En cuanto al acceso y admisión de estudiantes se dispone del proceso clave PC03. “Selección,
admisión y matriculación de estudiantes”.
-
La planificación de las enseñanzas está definida en el proceso clave PC06. “Planificación y
desarrollo de la enseñanza”.
-
El personal académico cuenta con varios procesos: PE03. “Definición de la política de personal
académico”, PA03. “Captación y selección del personal académico” y PA05. “Evaluación,
promoción, reconocimiento e incentivos del personal académico”.
-
Los recursos materiales y servicios cuentan con dos procesos que son: PA09. “Gestión de los
recursos materiales” y PA10 “Gestión de los servicios”.
-
Los resultados previstos recogen tasas que en el SGC se miden como indicadores definidos
dentro de los procesos PE02. “Diseño de la oferta formativa de la Universidad”, PC01. “Diseño
de la oferta formativa de los Centros”, PC06. “Planificación y desarrollo de la enseñanza” y PC12
“Análisis y medición de los resultados de la formación”. En relación a estas tasas, el Real
Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas
universitarias oficiales incluye las siguientes tasas: tasa de graduación, tasa de abandono y tasa
de eficiencia. La REACU añade, además, la tasa de rendimiento. Todas estas tasas están
recogidas entre los indicadores comunes de los Sistemas de Garantía de la Calidad de los
Centros de la Universidad de Málaga. En los siguientes cuadros se detallan las fichas del SGC de
los Centros de la Universidad de Málaga, diseñadas para estos indicadores.
55
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
FICHA TÉCNICA DE INDICADOR
Denominación
Identificación del proceso
procesos al o a los que afecta
o
Definición
Fórmula de cálculo
Fuente
Responsable
Periodicidad
Código IN03
Tasa de graduación
PE02. Diseño de la oferta formativa de la Universidad
PC01. Diseño de la oferta formativa de los Centros
PC12. Análisis y medición de los resultados de la formación
Para el cálculo de este indicador se realizará una diferenciación entre las distintas
titulaciones que oferte el Centro
Porcentaje de estudiantes que finalizan la enseñanza en el tiempo previsto en el
plan de estudios (d) o en año más (d+1) en relación con su cohorte de entrada. Se
trata de una medida de aprovechamiento académico
Porcentaje de estudiantes que finalizan la enseñanza en el tiempo previsto en el
plan de estudios (d) o en año más (d+1) en relación con su cohorte de entrada
Servicio Central de Informática
Coordinador de Calidad del Centro
Anual, antes de la revisión del Sistema
CUADRO 8
IN04. TASA DE GRADUACIÓN
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
FICHA TÉCNICA DE INDICADOR
Denominación
Identificación del proceso
procesos al o a los que afecta
Definición
Fórmula de cálculo
Fuente
Responsable
Periodicidad
o
Código IN04
Tasa de abandono
PE02. Diseño de la oferta formativa de la Universidad
PC01. Diseño de la oferta formativa de los Centros
PC06. Planificación y desarrollo de la enseñanza
PC12. Análisis y medición de los resultados de la formación
Para el cálculo de este indicador se realizará una diferenciación entre las distintas
titulaciones que oferte el Centro
Relación porcentual entre el número total de estudiantes de una cohorte de
nuevo ingreso que debieron finalizar la titulación el curso anterior al momento de
la medición y que no se han matriculado ni en ese curso ni en el anterior
Siendo,
a: nº de alumnos de nuevo ingreso en el curso x-n+1
x: curso anterior al que se realiza la medición del indicador
n: nº de años de duración de la titulación
En el caso de programas de máster de 1 año se aplicará la siguiente definición:
relación porcentual entre el número total de estudiantes de una cohorte de
nuevo ingreso que debieron obtener el título el año académico anterior y que no
se han matriculado ni en ese año académico ni en el posterior
% de alumnos de “a” que no se matriculan en los dos últimos cursos (x y x-1)
Servicio Central de Informática
Coordinador de Calidad del Centro
Anual, antes de la revisión del Sistema
CUADRO 9
IN04. TASA DE ABANDONO
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
FICHA TÉCNICA DE INDICADOR
Denominación
Código IN05
Tasa de eficiencia
56
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Identificación del proceso
procesos al o a los que afecta
o
Definición
Fórmula de cálculo
Fuente
Responsable
Periodicidad
PE02. Diseño de la oferta formativa de la Universidad
PC01. Diseño de la oferta formativa de los Centros
PC12. Análisis y medición de los resultados de la formación
Con este indicador se pretende ver cuanto le cuesta al alumno superar los
créditos del plan de estudios
Para el cálculo de este indicador se realizará una diferenciación entre las distintas
titulaciones que oferte el Centro
Siendo,
x: curso anterior al que se realiza la medición del indicador
Relación porcentual entre el número total de créditos establecidos en el plan de
estudios y el número total de créditos en los que han tenido que matricularse a lo
largo de sus estudios el conjunto de estudiantes titulados en un determinado
curso académico
Relación porcentual entre el número total de créditos establecidos en el plan de
estudios y el número total de créditos en los que han tenido que matricularse a lo
largo de sus estudios el conjunto de estudiantes titulados en un determinado
curso académico
Servicio Central de Informática
Coordinador de Calidad del Centro
Anual, antes de la revisión del Sistema
CUADRO 10
IN05. TASA DE EFICIENCIA
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
FICHA TÉCNICA DE INDICADOR
Denominación
Identificación del proceso
procesos al o a los que afecta
Definición
Fórmula de cálculo
Fuente
Responsable
Periodicidad
o
Código IN27
Tasa de rendimiento por curso
PC06. Planificación y desarrollo de la enseñanza
PC07. Evaluación del aprendizaje
Para el cálculo de este indicador se realizará una diferenciación entre las distintas
titulaciones que oferte el Centro
Se mide la relación de créditos superados sobre los créditos matriculados
Siendo,
a: nº de créditos superados en el curso x
b: nº de créditos matriculados en el curso x
x: curso anterior al que se realiza la medición del indicador
(a/b)*100
Servicio Central de Informática
Coordinador de Calidad del Centro
Anual, antes de la revisión del Sistema
CUADRO 11
IN27. TASA DE RENDIMIENTO
Fuente: Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social.
Secretariado de Calidad y Desarrollo Estratégico de la UMA
57
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
5.
REFERENCIAS BIBLIOGRÁFICAS Y DOCUMENTALES
AENOR (2003): Norma UNE 66175:2003. Sistemas de gestión de la calidad. Guía para la implantación de
sistemas de indicadores. Asociación Española de Normalización y Certificación. Madrid.
ANECA (2006): Documento sobre Criterios y Directrices para la Acreditación de Enseñanzas Universitarias en
España. Agencia Nacional de Evaluación de la Calidad y Acreditación. Madrid.
ANECA (2007): Programa AUDIT Guía para el diseño de Sistemas de Garantía Interna de la Calidad de la
formación universitaria. Documento01. Agencia Nacional de Evaluación de la Calidad y Acreditación.
Madrid.
ANECA (2007b): Programa AUDIT Directrices, definición y documentación de Sistemas de Garantía Interna de
la Calidad de la formación universitaria. Documento 02. Agencia Nacional de Evaluación de la Calidad y
Acreditación. Madrid.
ENQA
(2005): Criterios y Directrices para la Garantía de Calidad en el Espacio Europeo de Educación Superior.
European Association for Quality Management, Helsinki. Traducción de la Agencia Nacional de
Evaluación de la Calidad y Acreditación. Madrid.
REACU (2010): Seguimiento de títulos oficiales. Red Española de Agencias de Calidad Universitaria. Madrid.
REAL DECRETO 1393/2007, de 29 de octubre, por el que se establece la ordenación de enseñanzas
universitarias oficiales (BOE núm. 260, de 30 de octubre).
VALLEJO GARCÍA, J. E. (2010): Gestión de la calidad en los procesos de enseñanza-aprendizaje. Tesis Doctoral
dirigida por la Profa. Dra. QUINTANA GARCÍA, C. Facultad de Ciencias Económicas y Empresariales.
Universidad de Málaga. (Inédita). Málaga.
6.
DIRECCIONES WEB DE INTERÉS
http://www.agae.es/evaluacion/index.asp?pagina=titulos
http://www.aneca.es/actividadesevaluacion/evaluacionenseñanzas/audit.aspx
http://www.aneca.es/actividadesevaluacion/evaluacionenseñanzas/verifica.aspx
http://www.enqa.eu/
http://www.uma.es/calidad
59
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Vicerrectorado de Calidad, Planificación Estratégica y Responsabilidad Social
Secretariado de Calidad y Desarrollo Estratégico
ASPECTOS DIFERENCIALES DEL PROGRAMA DOCENTIA-UMA Y SU RELACIÓN
CON EL SEGUIMIENTO DE LOS TÍTULOS
- Yolanda Gil Ojeda
- Cristina Quintana García
- Carlos G. Benavides Chicón
60
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
ASPECTOS DIFERENCIALES DEL PROGRAMA DOCENTIA-UMA Y SU RELACIÓN CON
EL SEGUIMIENTO DE LOS TÍTULOS
ÍNDICE
1. INTRODUCCIÓN.......................................................................................................................
2. FASES DE DESARROLLO DEL PROGRAMA……………………………………………………………………………...
2.1. Elaboración del Manual para la Evaluación de la Actividad Docente del Profesorado
Universitario del Programa “DOCENTIA-ANDALUCIA”………………………………………………………..
2.2. Implantación de una Fase Experimental a través del desarrollo de una Experiencia Piloto…
2.3. Adaptación del Programa DOCENTIA-ANDALUCÍA al contexto específico de cada
universidad…...........................................................................................................................
3. ELEMENTOS ESTRUCTURALES Y METODOLÓGICOS DEL PROGRAMA “DOCENTIA-ANDALUCÍA”
3.1. Características del Programa………………………………………………………………..…………………………...
3.2. Ámbito y periodicidad del Programa………………………………………………..……….……….….……….....
3.3. Posibles consecuencias…………………….……………………………………………….……………………………....
3.4. Agentes implicados…………………….……………………………………………….........................................
3.5. Dimensiones de evaluación………………………………………………..……….….………............................
3.6. Fuentes y herramientas para la recogida de información…….….……………………………………......
4. ADAPTACIONES DE LA UNIVERSIDAD DE MÁLAGA. PROGRAMA “DOCENTIA-UMA…………………
4.1. Ámbito y periodicidad………………….……….….………...................................................................
4.2. Consecuencias…………………….….………......................................................................................
4.3. Agentes implicados…………………….………………………….………………………………………………………....
4.4. Puntuación por dimensión, subdimensión, variable e Indicador…….....………….………......…....
5. RELACIÓN DEL PROCEDIMIENTO PARA LA EVALUACIÓN DE LA ACTIVIDAD DOCENTE DEL
PROFESORADO DE LA UNIVERSIDAD DE MÁLAGA CON EL SEGUIMIENTO DE LOS TÍTULOS
OFICIALES…………………………………………………………………………………….…………………………………………
6. REFERENCIAS BIBLIOGRÁFICAS Y DOCUMENTALES.………………………………………………………………..
61
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
1.
INTRODUCCIÓN
El Programa “DOCENTIA-ANDALUCÍA” (UUAA, 2008) se inscribe en el Programa de Apoyo para la
Evaluación de la Actividad Docente del Profesorado Universitario (DOCENTIA), de la Agencia Nacional de
Evaluación de la Calidad y Acreditación (ANECA, 2006), en el que están implicadas más de 65 universidades
españolas (ANECA, 2009). La Agencia Andaluza de Evaluación y Acreditación Universitaria (AGAE) suscribió un
convenio de colaboración con la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA 2009b)
para el desarrollo de este programa en las universidades de Andalucía y ha apoyado técnicamente el mismo. La
Universidad de Málaga ha venido participando activamente desde junio de 2007 en las distintas fases de
elaboración del Programa de Apoyo para la Evaluación de la Actividad Docente del Profesorado Universitario
(DOCENTIA-ANDALUCÍA), desarrollado mediante un grupo de trabajo compuesto por responsables de calidad y
personal técnico de las Unidades Técnicas de Calidad de todas las universidades andaluzas.
El Secretariado de Calidad y Desarrollo Estratégico del Vicerrectorado de Calidad, Planificación
Estratégica y Responsabilidad Social de la Universidad de Málaga fue designado para la elaboración de un
modelo común en lo que concierne a la evaluación de la actividad docente del profesorado dentro del Sistema
Universitario Andaluz. Este modelo tiene como precedente reciente los sistemas de valoración de la actividad
docente del profesorado aspirante a la acreditación nacional, en concreto el Programa de Acreditación para el
acceso a los Cuerpos Docentes Universitarios (Programa ACADEMIA), de la Agencia Nacional de Evaluación de
la Calidad y Acreditación (ANECA, 2008). Su aplicación obligó a las universidades andaluzas a tener que
implantar unos procedimientos de urgencia, que fueron certificados por la AGAE, cuyos fundamentos y
directrices han servido de base para la elaboración del en el presente el Programa “DOCENTIA-ANDALUCÍA”
(UU.AA., 2008).
2.
FASES DE DESARROLLO DEL PROGRAMA
El método de trabajo para la elaboración del Programa “DOCENTIA-ANDALUCÍA” (UU.AA., 2008) se
ha desarrollado a través de tres fases:
a) Elaboración del “Programa DOCENTIA-ANDALUCIA”. Manual para la evaluación de la actividad
docente del profesorado universitario.
b) Implantación de una Fase Experimental a través del desarrollo de una Experiencia Piloto.
c) Adaptación del Programa “DOCENTIA-ANDALUCÍA” al contexto específico de cada universidad.
2.1.
ELABORACIÓN DEL MANUAL PARA LA EVALUACIÓN DE LA ACTIVIDAD DOCENTE DEL
PROFESORADO UNIVERSITARIO DEL PROGRAMA DOCENTIA-ANDALUCIA
En la primera fase de elaboración del Programa “DOCENTIA-ANDALUCÍA” se elaboró el Manual para
la Evaluación de la Actividad Docente del Profesorado Universitario del Programa “DOCENTIA-ANDALUCIA”.
Esta fase a su vez la podemos dividir en tres etapas:
-
Una primera etapa de presentación del Programa de Apoyo para la Evaluación de la Actividad
Docente del Profesorado Universitario (DOCENTIA), de la Agencia Nacional de Evaluación de la
Calidad y Acreditación (ANECA, 2006) por parte de ANECA a las universidades españolas en el mes
de marzo de 2007 en Madrid. En el caso de las universidades andaluzas, en colaboración con la
ANECA, participó en la presentación la Agencia Andaluza de Evaluación y Acreditación Universitaria
(AGAE, 2008). Desde el inicio se realizaron reuniones y jornadas de formación tanto para
vicerrectores como para técnicos de agencias y de universidades.
-
En una segunda etapa, las universidades andaluzas acordaron elaborar un modelo y
procedimientos de evaluación similares en un alto porcentaje en todas ellas, admitiéndose la
posibilidad de incorporar algún aspecto puntual que fuera propio de cada universidad en la
evaluación de la actividad de su profesorado. La Agencia Andaluza de Evaluación y Acreditación
Universitaria (AGAE) abrió el plazo de la convocatoria para la participación de las Universidades
Andaluzas en el mes de mayo estableciendo la finalización del mismo el 30 de junio de 2007. A esta
convocatoria concurrieron oficialmente nueve universidades andaluzas. La Universidad de Sevilla,
única universidad que no participó oficialmente, solicitó estar presente en todas las reuniones y
grupos de trabajo que se desarrollaran.
62
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
-
Como consecuencia de este acuerdo, las universidades andaluzas, en una tercera etapa,
atendiendo a las bases del programa establecidas por la ANECA, y en coordinación y colaboración
con la Agencia Andaluza de Evaluación y Acreditación Universitaria (AGAE), constituyó un grupo de
trabajo para dar respuesta a la definición de los elementos estructurales y metodológicos que
debían conformar un modelo de evaluación de la actividad docente del profesorado universitario.
Inicialmente, se realizó un análisis documental de las temáticas a trabajar: dimensiones estratégicas
de evaluación; especificaciones del modelo de evaluación; criterios de evaluación; etc. A
continuación se diseñó cada uno de los contenidos del borrador del manual y se elaboró un primer
Manual para la evaluación de la actividad docente del profesorado universitario.
En el mes de diciembre de 2007 se envió a la AGAE-ANECA el documento Programa “DOCENTIAANDALUCÍA”. Manual para la evaluación de la actividad docente del profesorado universitario (UUAA, 2008)
para su verificación. En mayo de 2008, la AGAE remitió el resultado de la valoración global del Manual, siendo
ésta “positiva con condiciones”. El informe recogía una valoración global, un listado de condiciones, que era de
obligado cumplimiento subsanar para la posterior verificación del procedimiento y un listado de
recomendaciones que la Comisión de verificación proponía para la mejora del Manual. Una vez recibido el
informe de verificación, a las universidades participantes en el programa se les concedió un plazo de seis meses
para subsanar las condiciones y recomendaciones formuladas. Transcurrido este plazo, se debería enviar de
nuevo el Manual para su revisión y verificación con el objeto de disponer, con carácter definitivo, de un Manual
para la evaluación de la actividad docente del profesorado universitario que pudiera ser implantado en cada
universidad.
2.2.
IMPLANTACIÓN DE UNA FASE EXPERIMENTAL A TRAVÉS DE UNA EXPERIENCIA PILOTO
En una segunda fase y debido a la importancia en la implantación del modelo de la existencia de una
fase experimental, se realizó una experiencia piloto, conjuntamente por todas las universidades andaluzas,
para garantizar la pertinencia, suficiencia y adecuación del manual. El Grupo de Trabajo del Programa
“DOCENTIA ANDALUCÍA” estuvo especialmente vinculado a la planificación y desarrollo de la experiencia piloto
a través de la cual se obtuvo información útil para contrastar y mejorar el procedimiento de evaluación.
Para ello, se contó con la participación voluntaria de un número limitado de profesores, cada
universidad debía seleccionar de diez a quince profesores y además con la aceptación, por parte de ellos, de
que la evaluación realizada, durante la experiencia piloto, no tendría consecuencias.
La muestra a seleccionar debía ser representativa de todas las ramas de conocimiento, de todos los
niveles funcionariales y categorías contractuales y además que quedase en ella representada la trayectoria
profesional (docencia, investigación, gestión e innovación y mejora). Para poder seleccionar la muestra el
Grupo de Trabajo del Programa “DOCENTIA ANDALUCÍA” obtuvo información de las Secretarías Generales y
Vicerrectorados de Profesorado de las distintas Universidades Andaluzas estableciendo un doble compromiso:
confidencialidad e intercambio de información.
En el cuadro 1 se recoge la muestra seleccionada en la Universidad de Málaga en la cual, quedan
representados profesores de las distintas ramas de conocimiento así como de los diferentes niveles
funcionariales y categorías contractuales.
SITUACIONES DEL PROFESORADO DE LA
UNIVERSIDAD DE MÁLAGA
CONTRATADOS
RAMAS DE CONOCIMIENTO
FUNCIONARIOS
Doctor
No Doctor
TEU
TU y CEU
CU
Ciencias de la salud
0
0
1
1
0
Ciencias
1
0
0
1
0
Arte y humanidades
1
0
0
1
0
Ciencias sociales y jurídicas
0
1
0
1
0
Ingenierías y arquitectura
0
1
0
0
1
Total
2
2
1
4
1
63
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
CUADRO 1
PARTICIPACIÓN DEL PROFESORADO DE LA UNIVERSIDAD DE MÁLAGA EN LA EXPERIENCIA PILOTO DESARROLLADA
PARA LA ELABORACIÓN DEL PROGRAMA DOCENTIA-ANDALUCÍA
Fuente: elaboración propia a partir del Grupo de Trabajo del Programa “DOCENTIA-ANDALUCÍA”, 2008
Una vez seleccionada la muestra, cada universidad andaluza desplegó el procedimiento y debió realizar
la recopilación de información necesaria para el desarrollo de la evaluación de la actividad docente del
profesorado seleccionado.
Para cada profesor se tuvo que recabar la siguiente documentación:
-
Solicitud de participación.
-
Expediente del profesor.
-
Informes de responsables académicos.
-
Encuestas del alumnado.
-
Autoinforme del profesor.
-
Tablas de valoración.
Esta documentación se recogió en soporte físico de papel y organizada en cinco carpetas, una por
cada dimensión y otra con las evidencias y se puso a disposición del Grupo de Trabajo del Programa
“DOCENTIA-ANDALUCÍA” que se constituyó como Comisión de Evaluación para validar, a través de su
despliegue, el procedimiento desarrollado en el Manual para la evaluación de la actividad docente del
profesorado universitario.
Esta Comisión se reunió en San José (Almería) del 24 al 27 de junio de 2008, asistiendo como
evaluadores dos personas de cada universidad. En el caso de la Universidad de Málaga, fueron designadas las
Técnicas de Calidad, Planificación Estratégica y Responsabilidad Social. Como observadores podían asistir
miembros de las distintas universidades sin limitación. Por la Universidad de Málaga asistieron el Vicerrector de
Calidad, Planificación Estratégica y Responsabilidad Social y la Directora de Secretariado de Calidad y Desarrollo
Estratégico.
La evaluación de cada dimensión se organizó en sesiones de cuatro horas distribuyendo a la
Comisión en pequeños grupos de trabajo de cuatro o cinco personas, los cuales evaluaron un determinado
número de expedientes. Cada grupo de trabajo cumplimentó unas hojas de evaluación en las que se recogían
los criterios de adecuación, relevancia, etc. que se fijaron para cada variable del modelo.
Una vez realizado el trabajo anterior, se expusieron las hojas de evaluación y se propusieron los
cambios en el modelo para mejorar los indicadores, variables y la valoración y ponderación de los mismos
dentro de cada subdimensión y dimensión de las consideradas.
El despliegue del Procedimiento de Evaluación de la Actividad Docente del Profesorado
Universitario puso de manifiesto la problemática que conllevaba la recopilación de la información necesaria
para el cálculo de los indicadores seleccionados. Como resultado, se redujo el número de indicadores de 47 a
26, esto exigió la redefinición de algunos de los instrumentos de recogida de información.
Además se acordó dejar como marco común a todas las universidades las puntuaciones de las
dimensiones y subdimensiones y que cada universidad estableciera las puntuaciones de los indicadores y de las
variables.
Otro resultado importante de esta experiencia fue ampliar los niveles de calidad docente,
basándose en los criterios y puntuaciones establecidas: desfavorable, favorable, muy favorable y excelente. Con
carácter indicativo se fijó inicialmente que un profesor sería valorado como “excelente” cuando alcanzase una
puntuación igual o superior a 90 puntos, en un sistema global de 100 puntos.
Con la validación del procedimiento a través de la experiencia piloto y el periodo al que estuvo
sometido a debate público se dio por concluido el diseño el documento Programa “DOCENTIA-ANDALUCÍA”.
Manual para la evaluación de la actividad docente del profesorado universitario (UU.AA., 2008).
64
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Este Manual se sometió al Consejo Andaluz de Universidades (CAU) para que una vez aprobado cada
universidad lo adaptara a su contexto y lo pudiera aplicar. Esta aprobación no tuvo lugar porque los
representantes del profesorado argumentaban que el manual se había elaborado sin su participación que
consideraban preceptiva.
Esta circunstancia motivó que a la Mesa Sectorial del Personal Docente Investigador del Consejo Andaluz
Universidades se le diera el mandato de elaborar una propuesta que definiera el Marco Andaluz de Evaluación de la
Actividad Docente del Profesorado Universitario. Dicha propuesta, tras varios meses de reuniones y debates, fue
aprobada en el pleno del Consejo Andaluz de Universidades (CAU) de 19 de febrero 2010.
2.3.
ADAPTACIÓN DEL PROGRAMA DOCENTIA-ANDALUCÍA AL CONTEXTO ESPECÍFICO DE CADA
UNIVERSIDAD
Aprobado el Marco Andaluz de Evaluación de la Actividad Docente del Profesorado Universitario cada
universidad andaluza, en esta tercera fase, adaptó el documento Programa “DOCENTIA-ANDALUCÍA”. Manual
para la evaluación de la actividad docente del profesorado universitario (UU.AA., 2008) a su contexto,
cumpliendo con lo establecido en el Marco Andaluz y con las recomendaciones del informe de verificación
emitido por la Comisión nombrada por la AGAE-ANECA (AGAE, 2008).
La Universidad de Málaga, atendiendo a lo establecido en el citado Marco Andaluz, constituyó la
Comisión de Garantía del Programa “DOCENTIA-UMA” y el Vicerrectorado de Calidad, Planificación Estratégica
y Responsabilidad Social de la Universidad de Málaga presentó una propuesta del Procedimiento para la
Evaluación de la Actividad Docente del Profesorado de esta universidad.
La propuesta, tras ser expuesta a la Comisión de Garantía del Programa DOCENTIA-UMA, fue
mejorada y se generó el Procedimiento para la Evaluación de la Actividad Docente del Profesorado de la
Universidad de Málaga (UMA, 2010) aprobado posteriormente por el Consejo de Gobierno en su sesión del día
siete de mayo de dos mil diez.
Tras la aprobación por Consejo de Gobierno, el Vicerrectorado de Calidad, Planificación Estratégica y
Responsabilidad remitió el Procedimiento para la evaluación de la actividad docente del profesorado de la
Universidad de Málaga, a la Agencia Andaluza de Evaluación de la Calidad y Acreditación (AGAE) para su
verificación.
3.
ELEMENTOS ESTRUCTURALES Y METODOLÓGICOS DEL PROGRAMA “DOCENTIA-ANDALUCÍA”
El documento Programa “DOCENTIA-ANDALUCÍA”. Manual para la evaluación de la actividad
docente del profesorado universitario (UUAA, 2008) supone una adaptación del Programa de Apoyo para la
Evaluación de la Actividad Docente del Profesorado Universitario (DOCENTIA), de la ANECA, a las características
e idiosincrasia de las universidades andaluzas. El Programa “DOCENTIA-ANDALUCÍA” es el resultado de un
trabajo conjunto y consensuado por todas las universidades andaluzas y representa un esfuerzo de integración
y colaboración para adoptar un modelo común en la evaluación de la calidad de la actividad docente en las
mismas.
A continuación se exponen los elementos que conforma dicho Programa “DOCENTIA-ANDALUCÍA”.
3.1.
CARACTERÍSTICAS DEL PROGRAMA
El Modelo de evaluación de la actividad docente del profesorado del Programa DOCENTIAANDALUCÍA tiene como misión proporcionar un sistema de evaluación de la actividad docente del profesorado
universitario y como visión dotar a las universidades andaluzas de un punto de referencia y de un modelo
integral de evaluación válido, fiable, útil, viable y preciso (UUAA,2008).
El Programa posibilita una evaluación formativa del docente, que es aquella que permite obtener
información para la mejora y el perfeccionamiento de sus actuaciones, y a la vez hace posible una evaluación
sumativa en cuanto proporciona resultados finales sobre la labor docente, facilitando el que la universidad
pueda proporcionar esta información a la sociedad.
El “DOCENTIA-ANDALUCÍA” se basa en información objetiva a través de indicadores que ayudan a la
toma de decisiones y permiten abordar la evaluación de la actividad docente en todos los ámbitos de actuación
del profesorado, teniendo presentes las fases que se suceden en un proceso o ciclo de mejora continua
(planificar, actuar, evaluar y mejorar). Además, utiliza diversas fuentes y distintos procedimientos de recogida
de información.
65
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
3.2.
ÁMBITO Y PERIODICIDAD DEL PROGRAMA
Se trata de un modelo de evaluación de la actividad docente que reúne las siguientes características
(UUAA, 2008):
-
Único para todo el profesorado universitario, independientemente de su relación contractual y
categoría profesional. Su alcance es, por tanto, universal.
-
Carácter obligatorio se aplicará a todo el profesorado, una vez esté totalmente implantado, tras
el periodo experimental.
-
El resultado de la evaluación podrá ser: desfavorable, favorable, muy favorable o excelente.
Este modelo evaluará la docencia de los últimos cinco cursos académicos, por lo que el profesor no
podrá volver a solicitar evaluación hasta que no transcurra un periodo similar al de la docencia evaluada (cinco
años), salvo en caso de evaluación desfavorable, en la que el profesor podrá solicitar que se le vuelva a evaluar
en la siguiente convocatoria
3.3.
POSIBLES CONSECUENCIAS
Este Modelo plantea un sistema de evaluación de la actividad docente del profesorado coherente con el
modelo docente universitario andaluz, consensuado con la comunidad universitaria y adaptado a los
requerimientos metodológicos del Espacio Europeo de Educación Superior (EEES, 1999) cuyos resultados, una vez
culminado el proceso que posteriormente se detalla, podrían quedar vinculados a las siguientes consecuencias
(UUAA, 2008):
-
Si la Evaluación es favorable se podrá asignar: menciones de excelencia docente, informar
favorablemente la solicitud para profesor emérito, así como las de promoción, selección,
reconocimiento y concesión de incentivos del profesorado, autorización para la dirección o
docencia en cursos de enseñanza no reglada, concesión de ayudas para la innovación, mejora
de la docencia y/o investigación educativa.
-
Si la Evaluación es desfavorable, se podrán realizar cursos de orientación y/o formación para la
mejora de la calidad docente.
Cada universidad podrá tomar las decisiones que considere oportunas con al finalidad de reconocer y/o
premiar a aquellos docentes evaluados favorablemente, así como establecer las medidas oportunas con aquellos
profesores cuya evaluación haya sido desfavorable de forma continuada. Todo ello teniendo como referencia la
política de profesorado y/o el Plan Estratégico de cada universidad.
3.4.
AGENTES IMPLICADOS
El procedimiento a seguir requiere la participación de diversos agentes implicados en la evaluación de la
actividad docente del profesorado; éstos son los siguientes:
3.5.
-
El alumnado encargado de cumplimentar una encuesta de opinión sobre la docencia recibida.
-
Los responsables académicos, que cumplimentarán un informe sobre cada uno de los profesores
que haya solicitado la evaluación.
-
El propio profesorado que se acoja a la convocatoria, aportando la información que se le solicite y
toda aquella relacionada con su docencia que considere de interés.
-
El vicerrectorado responsable en materia de calidad y/o evaluación garante del proceso y
encargado de su apertura y seguimiento.
-
El servicio o unidad responsable en materia de calidad y/o evaluación que proporciona datos
institucionales y asesoramiento técnico.
-
El vicerrectorado encargado de custodiar el expediente de evaluación.
-
Las Comisiones de Calidad que puedan existir en cada universidad sobre aspectos académicos.
-
La Comisión de Evaluación, responsable de valorar las dimensiones del modelo.
DIMENSIONES DE EVALUACIÓN
66
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
El Programa “DOCENTIA-ANDALUCIA” contempla cuatro dimensiones objeto de evaluación: planificación
de la docencia, desarrollo de la docencia, resultados, e innovación y mejora.
La propuesta asumida en este modelo entiende la tarea del docente desde una perspectiva integral que
no se circunscribe a las actividades llevadas a cabo dentro del aula. La evaluación de la calidad docente implica
asumir que el trabajo del profesorado se desarrolla desde el momento mismo en el que planifica sus actuaciones
ligadas al proceso de enseñanza-aprendizaje, las realiza tal y como han sido diseñadas, comprueba en qué medida
se alcanzan los resultados previstos y, en función de esos resultados, pone en funcionamiento acciones
encaminadas a modificar sus actividades docentes con el fin de corregir y perfeccionar los aspectos detectados
como deficitarios.
Una de las principales aportaciones del Programa “DOCENTIA-ANDALUCÍA”, ha sido la propuesta de
dividir la dimensión prevista por la ANECA “resultados”, en dos dimensiones independientes: “resultados”, por una
parte, e “innovación y mejora”, por otra, dada la importancia de la innovación y mejora en los procesos de
enseñanza y en la búsqueda de la excelencia a través de la mejora continua.
En el modelo “DOCENTIA-ANDALUCÍA”, dicha dimensión adquiere una especial relevancia, lo que se
traduce en el peso valorativo que se le otorga, superior proporcionalmente al del resto de las dimensiones.
3.6.
FUENTES Y HERRAMIENTAS PARA LA RECOGIDA DE INFORMACIÓN
Siguiendo las directrices marcadas por la Agencia Nacional de Evaluación de la Calidad y Acreditación
(ANECA) en el documento Modelo de Evaluación del Programa de Apoyo para la Evaluación de la Actividad
Docente del Profesorado Universitario (DOCENTIA), (ANECA, 2006) y con la finalidad de obtener información con
las suficientes garantías científicas de fiabilidad y validez, los datos sobre la actuación docente se extraerán a partir
de tres fuentes complementarias: los estudiantes, el profesor y los responsables académicos.
Siguen siendo tres las herramientas que este modelo propone para la recogida de información, aunque
se ha considerado oportuno elaborar instrumentos propios, teniendo en cuenta en todo momento, el
cumplimiento de los requisitos propuestos por el Programa de Apoyo para la Evaluación de la Actividad Docente
del Profesorado Universitario (DOCENTIA), de la Agencia Nacional de Evaluación de la Calidad y Acreditación
(ANECA, 2006) que aseguren la calidad de la información que debe servir de base para la evaluación.
Consecuencia de esto es que, tanto la encuesta al alumnado, el autoinforme del profesor, como el
informe de los responsables académicos presentan diferencias con respecto a los sugeridos por la ANECA. Los tres
instrumentos de recogida de información permitirán obtener una visión integral y cruzada de las distintas variables
incluidas en el modelo. Todo ello se complementa, dada la necesidad para la realización de la evaluación de
disponer de datos e indicadores que no se encontraban recogidos en los instrumentos propuestos por la ANECA,
con el “expediente del profesor” que incorpora los datos de archivo facilitados por la universidad y verificados por
el profesor.
4.
ADAPTACIONES DE LA UNIVERSIDAD DE MÁLAGA. PROGRAMA “DOCENTIA-UMA”
En este epígrafe, trataremos las principales adaptaciones del Programa “DOCENTIA-ANDALUCÍA”.
Manual para la evaluación de la actividad docente del profesorado universitario (UUAA, 2008) y del Marco
Andaluz de Evaluación de la Actividad Docente del Profesorado Universitario (CAU, 2010) en el caso de la
Universidad de Málaga (Gil, 2010).
4.1.
ÁMBITO Y PERIODICIDAD
El carácter del procedimiento seguirá siendo obligatorio, pero en la Universidad de Málaga tendrá una
implantación progresiva de 5 cursos académicos, a partir del curso académico posterior a su aprobación por los
órganos competentes. El resultado de la evaluación podrá ser: favorable o desfavorable.
Para obtener la calificación favorable, será necesario alcanzar el 50 por ciento de la puntuación absoluta
establecida en el sistema global de puntuación, que es de 120 y no se podrá solicitar otra hasta que, como mínimo,
transcurra un periodo igual al de la docencia evaluada (cinco años).
En el caso de evaluación desfavorable, se podrá volver a solicitar la misma transcurridos dos cursos
académicos.
4.2.
CONSECUENCIAS
67
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Atendiendo a la posibilidad de determinar las consecuencias de la evaluación, la Universidad de Málaga
ha incluido como novedades las siguientes:
4.3.
-
En caso de evaluación favorable, la Mención de “excelencia docente” al profesorado cuya
puntuación sea igual o superior a noventa puntos.
-
Y, en caso de evaluación desfavorable, la Universidad de Málaga, en coordinación con los Centros y,
fundamentalmente, con los Departamentos, establecerá un plan de mejora personalizado para
cada profesor. Este plan de mejora será de obligado cumplimiento.
AGENTES IMPLICADOS
La principal diferencia en los agentes implicados es la inclusión de la Comisión de Garantía del Programa
“DOCENTIA-UMA”.
La Comisión de Garantía del Programa “DOCENTIA-UMA” es una comisión paritaria formada por diez
miembros: cinco representantes de la Universidad designados por la Rectora, y cinco representantes de las
organizaciones sindicales nombrados por las citadas organizaciones sindicales conforme a los criterios de
representatividad que establece la Ley orgánica 11/1985, de 2 de agosto, de Libertad Sindical.
Actualmente los miembros de la Comisión de Garantía del Programa “DOCENTIA-UMA” son los
siguientes (UMA, 2010):
-
Vicerrector de Calidad, Planificación Estratégica y Responsabilidad Social.
-
Vicerrectora de Ordenación Académica o persona en quien delegue.
-
Vicerrector de Profesorado, Formación y Coordinación o persona en quien delegue.
-
Secretario General o persona en quien delegue.
-
Directora de Secretariado de Calidad y Desarrollo Estratégico.
-
Dos miembros del sindicato CC.OO.
-
Un miembro del sindicato CSIF.
-
Un miembro del sindicato FETE-UGT.
-
Un miembro del sindicato CGT.
En función de lo previsto en la Ley 30/1992, de 26 de noviembre, de Régimen Jurídico de las
Administraciones Públicas y del Procedimiento Administrativo Común actuará como Secretario de la Comisión de
Garantía del Programa “DOCENTIA-UMA”, con voz pero sin voto, un miembro del Personal de Administración y
Servicios designado por el Vicerrector de Calidad y Planificación Estratégica y Responsabilidad Social.
La Comisión de Garantía del Programa “DOCENTIA-UMA” acordará propuestas sobre:
4.4.
-
La adecuación y adaptación del Manual de evaluación al Marco Andaluz de Evaluación de la
Actividad Docente del Profesorado Universitario.
-
La implantación, el desarrollo y la revisión del “Procedimiento para la Evaluación de la Actividad
Docente del Profesorado de la Universidad de Málaga. Programa DOCENTIA-UMA”.
-
El seguimiento del sistema de evaluación, y de las circunstancias que se señalan en el punto 11 del
Marco Andaluz de Evaluación de la Actividad Docente del Profesorado Universitario.
-
Todos aquellos asuntos que el Marco Andaluz de Evaluación de la Actividad Docente del
Profesorado Universitario deja a la competencia de las Universidades.
PUNTUACIÓN POR DIMENSIÓN, SUBDIMENSIÓN, VARIABLE E INDICADOR
En el Procedimiento para la Evaluación de la Actividad Docente de la Universidad de Málaga se
mantienen las cuatro dimensiones objeto de evaluación; cada dimensión, a su vez, ha sido dividida en dos
subdimensiones, ocho en total, compuestas por dieciocho variables distintas, cada una de las cuales lleva asociado
un conjunto de indicadores de medida, que en total suman veintiséis, contrastables con las evidencias obtenidas
para en los distintos instrumentos de recogida de información. La principal diferencia con respecto al Programa
“DOCENTIA ANDALUCÍA” se halla en el sistema global de puntuación; en el cuadro 2 se especifica el mismo para
cada dimensión, subdimensión, variable e indicador de evaluación de las que recoge el Procedimiento para la
68
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Evaluación de la Actividad Docente del Profesorado de la Universidad de Málaga. El Sistema tiene una puntuación
total de ciento veinte puntos, de los cuáles a la dimensión planificación de la docencia se le asignan veinte, al
desarrollo de la enseñanza treinta, a los resultados cuarenta y a la innovación y mejora treinta puntos.
Máx. Máx. Máx
Máx.
Puntuación total
120
DIMENSIÓN I: PLANIFICACIÓN DE LA DOCENCIA
20
SUBDIMENSIÓN I.1: ORGANIZACIÓN Y COORDINACIÓN DOCENTE
10
Variable I.1.1. Encargo docente
8
Indicador I.1.1.1. Créditos impartidos
3
Indicador I.1.1.2. Grado de diversidad y número de estudiantes
3
Indicador I.1.1.3. Tutela de estudiantes
2
Variable I.1.2. Coordinación con otros docentes
Indicador I.1.2.1. Participación en comisiones de coordinación
académica
2
2
CUADRO 2
PUNTUACIONES TOTALES MÁXIMAS PARA CADA DIMENSIÓN, SUBDIMENSIÓN, VARIABLE E INDICADOR
Fuente: elaboración propia a partir del Grupo de Trabajo del Programa “DOCENTIA-ANDALUCÍA”, 2008
SUBDIMENSIÓN I.2: PLANIFICACIÓN DE LA ENSEÑANZA Y APRENDIZAJE
10
Variable I.2.1. Diseño de guías docentes
Indicador I.2.1.1. Elaboración de Guías Docentes
5
5
Variable I.2.2. Adecuación de las guías docentes
Indicador I.2.2.1. Conocimiento y comprensión de las Guías
Docentes/Programas de asignaturas por parte de los estudiantes
5
5
DIMENSIÓN II: DESARROLLO DE LA DOCENCIA
30
SUBDIMENSIÓN II.1: DESARROLLO DE LA ENSEÑANZA
20
Variable II.1.1. Cumplimiento de la planificación
6
Indicador II.1.1.1. Cumplimiento de la planificación
2
Indicador II.1.1.2. Cumplimiento de las tutorías
2
Indicador II.1.1.3. Coordinación de actividades teóricas y prácticas
2
Variable II.1.2. Metodología docente
5
Indicador II.1.2.1. Organización de las actividades planificadas en la
guía docente / programa de la asignatura
3
Indicador II.1.1.2. Utilidad de recursos didácticos
2
Variable II.1.3. Competencias docentes desarrolladas
Indicador II.1.3.1. Satisfacción del alumnado con las competencias
docentes desarrolladas por el/la profesor/a
5
5
Variable II.1.4. Satisfacción personal con el desarrollo de la enseñanza
Indicador II.1.4.1. Valoración de la enseñanza por el/la profesor/a
4
4
SUBDIMENSIÓN II.2: EVALUACIÓN DE LOS APRENDIZAJES
10
Variable II.2.1. Sistemas de evaluación
Indicador II.2.1.1. Diversidad de sistemas e Instrumentos de evaluación
10
2
69
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Indicador II.2.1.2. Conocimiento y satisfacción del alumnado con la
información sobre los instrumentos de evaluación y los sistemas
adoptados
4
Indicador II.2.1.3. Cumplimiento del profesorado en lo relativo a
revisión de actividades de evaluación
4
DIMENSIÓN III: RESULTADOS
40
SUBDIMENSIÓN III.1: RESULTADOS EN RELACIÓN AL ALUMNADO
34
Variable III.1.1. Rendimiento académico en el encargo docente
8
Indicador III.1.1.1. Tasa de éxito
4
Indicador III.1.1.2. Tasa de rendimiento
4
Variable III.1.2. Eficacia
6
Indicador III.1.2.1. Consecución de objetivos
6
Variable III.1.3. Satisfacción del alumnado
Indicador III.1.3.1. Satisfacción del alumnado con la labor docente del
profesorado
8
8
Variable III.1.4. Valoración del profesor de los resultados
Indicador III.1.4.1. Valoración de los resultados por parte del
profesorado
12
12
SUBDIMENSIÓN III.2: RESULTADOS EN RELACIÓN A OTROS AGENTES INTERNOS Y EXTERNOS
A LA UNIVERSIDAD
Variable III.2.1. Satisfacción de agentes internos y externos
Indicador III.2.1.1. Reconocimientos a la labor docente individual
6
6
6
CUADRO 2 (Continuación)
PUNTUACIONES TOTALES MÁXIMAS PARA CADA DIMENSIÓN, SUBDIMENSIÓN, VARIABLE E INDICADOR
Fuente: elaboración propia a partir del Grupo de Trabajo del Programa “DOCENTIA-ANDALUCÍA”, 2008
DIMENSIÓN IV: INNOVACIÓN Y MEJORA
30
SUBDIMENSIÓN IV.1: INNOVACIÓN Y MEJORA DE LA ACTIVIDAD DOCENTE
20
Variable IV.1.1. Desarrollo de material docente
Indicador IV.1.1.1. Número de materiales docentes para clases teóricas
o prácticas
7
7
Variable IV.1.2. Participación en proyectos de innovación docente
Indicador IV.1.2.1. Participación o coordinación en experiencias de
mejora e innovación docente
8
8
Variable IV.1.3. Innovación en metodología docente
Indicador IV.1.3.1. Utilización de nuevas tecnologías y otros
5
5
SUBDIMENSIÓN IV.2: INNOVACIÓN Y MEJORA PARA LA CUALIFICACIÓN DEL
PROFESORADO
10
Variable IV.2.1. Actividades formativas para la mejora de la cualificación
docente del profesorado
Indicador IV.1.2.1. Actividades formativas para la mejora de la
cualificación docente del profesorado
10
10
CUADRO 2 (Continuación)
PUNTUACIONES TOTALES MÁXIMAS PARA CADA DIMENSIÓN, SUBDIMENSIÓN, VARIABLE E INDICADOR
70
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Fuente: elaboración propia a partir del Grupo de Trabajo del Programa “DOCENTIA-ANDALUCÍA”, 2008
La valoración realizada por la Comisión de Evaluación, basándose en los criterios y puntuaciones
recogidos en el cuadro 2 permitirá establecer dos niveles de calidad docente: desfavorable y favorable. En caso de
evaluación favorable se le otorgará y se hará constar la mención de “excelencia docente” al profesorado cuya
puntuación sea igual o superior a noventa puntos:
Resultado de la evaluación
Desfavorable
Favorable
Mención de excelencia docente
5.
Nivel de puntuación
X<60
60≤X≤120
X≥90
RELACIÓN DEL PROCEDIMIENTO PARA LA EVALUACIÓN DE LA ACTIVIDAD DOCENTE DEL
PROFESORADO DE LA UNIVERSIDAD DE MÁLAGA CON EL SEGUIMIENTO DE LOS TÍTULOS OFICIALES
En el marco de un sistema de garantía de la calidad un elemento clave a la hora de ofertar una
enseñanza de calidad es contar con docentes cada vez más cualificados y competentes. Por todo ello, es necesario
disponer de procedimientos que nos permitan la valoración y mejora de su actividad docente.
Los resultados de la actividad docente (avances logrados en el aprendizaje de los estudiantes; avances
en las percepciones de los grupos de interés; innovaciones de la enseñanza) han de ser fundamento de la revisión y
mejora de los planes de estudio. Para que a partir del análisis de dichos resultados, se tomen decisiones en materia
de política de profesorado con las que se inicie un nuevo ciclo de mejora que facilite la garantía de la calidad de los
títulos oficiales que oferten las Universidades.
Se hace necesario para garantizar la calidad de los títulos oficiales ofertados por las Universidades
entender la evaluación de la actividad docente como una dimensión esencial para incentivar la docencia de calidad
y avanzar en el camino de las metodologías propias del Espacio Europeo de Educación Superior (EEES, 1999).
La Universidad de Málaga ha diseñado un Sistema de Garantía de la Calidad (SGC) en cada Centro, según
las directrices que establece el Programa AUDIT de la Agencia Nacional de Evaluación de la Calidad y Acreditación
(ANECA, 2006). El alcance del SGC de los Centros comprende la totalidad de titulaciones oficiales de los mismos y
recoge en su mapa de procesos un total de 32. Entre los procesos de apoyo se incluye el proceso: PA05. Evaluación,
promoción, reconocimiento e incentivos del personal académico. Este proceso se desarrolla a través del
Procedimiento para la Evaluación de la Actividad Docente del Profesorado de la Universidad de Málaga (UMA,
2010).
Por otro lado, con el Procedimiento para la Evaluación de la Actividad Docente del Profesorado de la
Universidad de Málaga se va a contribuir al seguimiento de los títulos oficiales, según las recomendaciones de la
Red Española de Agencias de Calidad Universitaria (REACU, 2009), puesto que va a aportar información sobre la
valoración y mejora de la actividad docente. Y además, el propio procedimiento, a través de las fuentes e
instrumentos de información que utiliza, va a proporcionar información fiable y válida sobre el progreso y los
resultados del aprendizaje de los estudiantes, es decir, aportará información sobre si los estudiantes han alcanzado
las competencias previstas o se han cumplido los objetivos de cada asignatura; sobre cuáles son los motivos y las
causas de las tasas de éxito y rendimiento alcanzadas por los estudiantes, sobre la satisfacción de los estudiantes
con respecto a la planificación docente, desarrollo docente y resultados del proceso de enseñanza-aprendizaje.
71
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
6.
REFERENCIAS BIBLIOGRÁFICAS Y DOCUMENTALES
AGAE (2008) Presentación del Programa “DOCENTIA ANDALUCÍA”. Agencia Andaluza de Evaluación de la
Calidad y Acreditación Universitaria. (Inédito). Córdoba.
AGAE (2008b) Informe de Verificación del Diseño de Evaluación de la Actividad Docente. Agencia Andaluza de
Evaluación de la Calidad y Acreditación Universitaria. (Inédito). Córdoba.
ANECA (2006): Programa de apoyo para la evaluación de la actividad docente del profesorado universitario.
Modelo de evaluación. Agencia Nacional de Evaluación de la Calidad y Acreditación. Madrid.
ANECA (2008): Programa ACADEMIA. Principios y orientaciones para la aplicación de criterios de evaluación.
Agencia Nacional de Evaluación de la Calidad y Acreditación. Madrid.
ANECA (2009): Memoria de actividades 2009. Agencia Nacional de Evaluación de la Calidad y Acreditación.
Madrid.
ANECA (2009b): Convenio de Colaboración entre la Agencia Nacional de Evaluación de la Calidad y Acreditación
y la Agencia Andaluza de Evaluación de la Calidad y Acreditación Universitaria. Agencia Nacional de
Evaluación de la Calidad y Acreditación. Madrid.
CAU (2010): Marco Andaluz de Evaluación de la Actividad Docente del Profesorado Universitario. Consejo
Andaluz de Universidades. (Inédito). Sevilla.
ESPACIO EUROPEO DE EDUCACIÓN SUPERIOR (1999): Declaración conjunta de los ministros europeos de
educación reunidos en Bolonia el 19 de junio de 1999, [en línea], http://
www.eees.es/pdf/Bolonia_ES.pdf, [consulta: 15 febrero 2010].
GIL OJEDA, Y. (2010): Calidad y evaluación de la actividad docente del profesorado universitario. Tesis Doctoral
dirigida por la Profa. Dra. QUINTANA GARCÍA, C. Facultad de Ciencias Económicas y Empresariales.
Universidad de Málaga. (Inédita). Málaga.
GRUPO DE TRABAJO DEL PROGRAMA “DOCENTIA ANDALUCÍA” (2008): Muestra UA participación DOCENTIA.
xls, [en línea], http:// bscw.uca.es/bscw.cgi.256434, [consulta:3 agosto 2008].
LEY 30/1992, de 26 de noviembre, de Régimen Jurídico de las Administraciones Públicas y del Procedimiento
Administrativo (BOE núm. 285, de 27 de agosto).
REACU. (2009): Recomendaciones para el seguimiento de los títulos oficiales. Red Española de Agencias de
Calidad Universitaria. Madrid
UU.AA. (2008): Programa “DOCENTIA- ANDALUCÍA”. Manual para la evaluación de la actividad docente del
profesorado universitario. (Inédito). Universidades Andaluzas.
UMA (2010): Programa “DOCENTIA-UMA”. Procedimiento para la evaluación de la actividad docente del
profesorado de la Universidad de Málaga. (Inédito). Universidad de Málaga.
72
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
SEGUIMIENTO DE LAS TITULACIONES Y SISTEMA DE GARANTÍA DE CALIDAD.
IMPORTANCIA DE LA HERRAMIENTA INFORMÁTICA
Alfredo Pérez Boullosa
Amparo Chirivella Ramón
Vicente Cerverón Lledo
Unitat de Qualitat
Universitat de València
RESUMEN
La comunicación presenta el Sistema de Garantía de Calidad de la Universitat de
València, destacando la herramienta informática que gestiona y facilita el proceso de
implementación.
Unido al desarrollo del sistema de garantía de calidad se explica cómo se va a
responder a los diferentes programas gestionadas por la ANECA y las agencias de
evaluación autonómicas, en colaboración con el Ministerio de Educación y las
correspondientes Comunidades Autónomas. Por ello, nos hemos centrado en la
ejecución del seguimiento de las titulaciones a partir de nuestro SGIC. La herramienta
informática responderá automáticamente a los informes anuales que se solicitan a las
titulaciones desde la administración.
1. INTRODUCCIÓN
La comunicación se divide básicamente en tres partes; en la primera se presenta el
Sistema de Garantía de Calidad, posteriormente se especifican los aspectos básicos de
la herramienta informática y, por último, cómo se va a responder desde la universidad
al seguimiento de nuestras titulaciones.
El marco del EEES y los nuevos cambios introducidos en la normativa española,
instan a que las propias universidades garanticen en sus actuaciones el cumplimiento
de los objetivos asociados a las enseñanzas que imparten, buscando además la mejora
continua.
El principal objetivo del Sistema de Garantía Interno de Calidad (SGIC) es la mejora
de las titulaciones facilitando la máxima eficacia y eficiencia de los recursos existentes
en los centros de nuestra universidad.
Por otro lado, dicho sistema se ha diseñado para responder al Real Decreto
1393/2007, de 29 de Octubre, (así como a su modificación de 2 julio de 2010, R.D.
861/2010) en el que se establece que existirá un sistema de controles: por un lado, la
evaluación inicial conducente a la verificación de los títulos para su reconocimiento
como oficiales, posteriormente, las comprobaciones periódicas de los títulos
impartidos, que permitirá supervisar la ejecución de las enseñanzas e informar a la
sociedad sobre la calidad, conduciendo, finalmente, a la acreditación de los títulos.
Con el SGIC establecido para los centros de la UV y, más concretamente, con la
herramienta informática, se responderá a los requisitos e informes anuales que se
solicitarán desde el Ministerio y/o desde nuestra Comunidad Autónoma.
73
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
2. SISTEMA DE GARANTÍA DE CALIDAD DE LA UNIVERSITAT DE VALÈNCIA
La UV establece la garantía de calidad como la sistematización y temporalización
continua y estructurada de la calidad de las titulaciones y los centros, siempre
orientada hacia la mejora.
Con el establecimiento de este proceso se permite demostrar que los gestores de
programas y títulos se comprometen a poner en marcha las medidas que aseguren y
demuestren la calidad de los mismos y de la institución.
Con el desarrollo del Sistema de Garantía Interno de Calidad se asegura un
equilibrio entre las acciones promovidas por la institución universitaria y los
procedimientos de garantía externa de calidad gestionados por el Ministerio y las
Comunidades Autónomas.
El diseño del SGIC fue certificado por la Agencia Nacional de Evaluación de la
Calidad y Acreditación (ANECA) en Octubre del 2008, y desde esa fecha se ha estado
elaborando la herramienta informática que gestionará dicho proceso, realizando
durante ese periodo las adaptaciones y modificaciones del propio sistema que se han
ido evidenciando al ir desarrollando la aplicación.
El objetivo de la herramienta es facilitar la gestión de los centros y de las
titulaciones cumplimentando todos los aspectos derivados del programa VERIFICA y
del Seguimiento de las titulaciones.
El acceso a esta herramienta es muy sencillo, ya que mediante el usuario y la
contraseña de la universidad cada responsable de las acciones podrá acceder al
sistema.
El proceso de implantación del SGIC comenzó con los tres centros que participaron
el diseño:
• Facultad de Derecho
• Facultad de Farmacia
• Escuela Técnica Superior de Ingeniería
Progresivamente se ha ido formando a los diferentes grupos de interés e
implantando en el resto de centros de la UV.
2.1. Dimensiones, Procesos y Evidencias
Después de realizar un análisis histórico de los procesos de evaluación y de la
normativa generada en materia de calidad (Protocolo para la garantía de calidad de los
másteres oficiales de la Universitat de València, aprobado por el Consejo de Gobierno
de la Universitat de València de 25 de octubre de 2005, Sistemas de Garantía de
Calidad de las Titulaciones de Grado, aprobados por las Juntas de Centro, de las
titulaciones que han participado en el Programa de Evaluación Institucional de la
Universitat de València…) la UV organiza el Sistema de Garantía Interno de Calidad en
siete dimensiones:
74
Documentos de Trabajo: XII Foro de Almagro.
RH-Recursos Humanos
RM-Recursos Materiales y
Servicios
RE-Resultados
OE-Organización de la
Enseñanza
DE-Desarrollo de la Enseñanza
PF-Programa Formativo
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
SG-Sistema de Garantía de Calidad
Dentro de cada una de las dimensiones se presentan los siguientes procesos (31
procesos):
PF1 Proceso de revisión de los objetivos del programa formativo
PROGRAMA
FORAMATIVO
PF2 Proceso de revisión del perfil de ingreso de los estudiantes
PF3 Proceso de revisión del perfil de los egresados
OE1 Proceso de captación de los estudiantes
ORGANIZACIÓN DE LA
ENSEÑANZA
OE2 Proceso de selección, admisión y matriculación de los estudiantes
OE3 Proceso de programación académica
OE4 Proceso de programación docente (guías docentes)
RH1 Proceso de definición de la política del PDI
RH2 Proceso de captación y selección del PDI
RH3 Proceso de evaluación, promoción, reconocimiento e incentivos del PDI
RECURSOS HUMANOS
RH4 Proceso de Formación del PDI
RH5 Proceso de definición de la política del PAS
RH6 Proceso de captación y selección del PAS
RH7 Proceso de evaluación, promoción, reconocimiento e incentivos del PAS
RH8 Proceso de formación del PAS
RECURSOS
MATERIALES
RM1 Proceso de gestión de los recursos materiales
RM2 Proceso de gestión de los Servicios
DE1 Proceso de orientación al estudiante
DE2 Proceso de movilidad de los estudiantes recibidos
DESARROLLO
DE LA
ENSEÑANZA
DE3 Proceso de movilidad de los estudiantes enviados
DE4 Proceso de orientación profesional
DE5 Proceso de prácticas externas integradas en el plan de estudios
DE6 Proceso de desarrollo del proceso de enseñanza-aprendizaje
DE7 Proceso de evaluación de la enseñanza-aprendizaje
RESULTADOS
RE1 Proceso de análisis y medición de los resultados
RE2 Proceso de Medición de la satisfacción de los grupos de interés
75
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
SG1 Proceso de elaboración y revisión de la política y objetivos de calidad
SG2 Proceso de garantía de la calidad de los programas formativos
SISTEMA GARANTÍA
DE CALIDAD
SG3 Proceso de Información pública
SG4 Proceso de gestión y revisión de las incidencias
SG5 Proceso de diseño, modificación y/o extinción de un título.
Todos los procesos concluyen con un diagrama de flujos en donde se incluye la
temporalización y los responsables de realizar las diferentes tareas del SGIC.
Las tareas que se señalan en el sistema vienen evidenciadas, especificando un
ejemplo para la fácil ejecución por el responsable de llevarlas a cabo.
Los procesos concluyen con la autoevaluación del desarrollo del mismo, los
Comités de Calidad del Centro tendrán que evaluar los aspectos básicos,
contemplando todos los centros la misma estructura de informe, en el que se incluyen
los aspectos a evaluar, resultados de los indicadores y de las encuestas de opinión. Se
finaliza dicha evaluación, con la concreción de Puntos Fuertes, Puntos Débiles y
Propuestas de Mejora. Incluimos un ejemplo de una plantilla de evaluación del
proceso DE7- Proceso de Evaluación de la Enseñanza-Aprendizaje (punto 4.3 de esta
comunicación). Todas las plantillas de evaluación siguen el mismo esquema que este
ejemplo.
El SGIC establece una serie de indicadores que aportan información para el
análisis de los diferentes procesos, pero además se analizan, validan y publican en
conjunto, por el Comité de Calidad del Centro, en los medios específicos para este fin.
Los indicadores que establece nuestro SGIC son los siguientes:
DIM
Bloque
Indicador
Tasa de éxito
Tasa de rendimiento
Desarrollo de la enseñanza
Tasa de eficiencia
Rendimiento académico
Tasa de abandono
Tasa de presentados
Duración de los estudios
Tasa de graduación
Movilidad
Tasa de estudiantes que participan en proyectos de movilidad
Tasa de estudiantes que realizan prácticas integradas en el plan de
estudios
Prácticas externas
Tasa de estudiantes que realizan prácticas externas no obligatorias en el
plan de estudios
Formati
vo y
Organiz
ación
de la
Tasa de estudiantes que realizan prácticas externas voluntarias (no
integradas en el plan de estudios)
Estudiantes preinscritos por las plazas ofertadas
Demanda y acceso
Preinscritos en primera opción sobre la oferta de plazas
76
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Demanda de estudios (matriculados sobre los preinscritos)
Estudiantes matriculados en primera opción sobre el total de matriculados
Nota media de acceso y nota media de acceso del 20% superior
Tasa de PDI funcionario
Tasa de PDI doctor
Recursos Humanos
Número de estudiantes por profesor
Tipología de profesorado (% en cada una de las categorías) y número de
créditos que imparten
Evaluación de la docencia
PDI Y PAS
Tasa de participación en proyectos de investigación
Resultados de la actividad investigadora
Formación pedagógica del PDI y PAS
Participación en programas de calidad
R
M
Participación en proyectos de innovación educativa
Recursos materiales
Media de estudiantes por grupo
Los resultados de las encuestas de opinión, también se analizan globalmente por el
Comité de Calidad del Centro y se tienen en cuenta los resultados de los ítems en los
diferentes procesos a los que hacen referencia, las encuestas que el SGIC va a tener en
cuenta son las siguientes:
Estud-02
Estud-01
Encuesta de estudiantesdurante la realización
Encuesta de estudiantesprevia a los estudios
Prof-01
Encuesta al profesorado
QP-Estud-01
Encuesta de estudiantesprácticas en empresas
Titulaciones de Grado y
Máster
Estud-04
Encuesta de estudiantesfinalización de los
estudios
Estud-doc
Encuesta de estudiantesEvaluación de la docencia
Prof-autoinformes
Autoinformes sobre la
evaluación de la docencia
Egres-01
Emple-01
Encuesta a los egresados
Encuesta a los
empleadores
2.2. Responsables del SGIC
En la UV, los Centros responsables de la enseñanza universitaria, con el fin de
garantizar la eficacia, eficiencia y calidad de los procesos de enseñanza, precisan
dotarse de estructuras organizativas dotadas de aquellas competencias que les
permitan asumir dichas tareas. El organigrama que se propone para esta finalidad es el
siguiente:
77
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DECANO/A
DIRECTOR/A
DECANO/A o VICEDECANO/A
DIRECTOR/A o SUBDIRECTOR/A
RESPONSABLE DE CALIDAD
COMITÉ DE CALIDAD DEL
CENTRO
Comisión de Título
Comisión Título
Presidente: Decano/a
Director/a o Vicedecano/a
Subdirector/a
responsable de calidad
Presidentes de las
Comisiones de Título
1 Estudiante
1 PAS
1 Técnico del UQ
Comisión Título
Cada titulación contará con su respectiva Comisión de Título, Comisión
Académica de Título en los Grados y Comisión de Coordinación Académica en los
Másteres.
Equipo de Dirección
El equipo de dirección del Centro, y en particular su Decano/a o Director/a
como principal responsable, actúa como corresponde a la dirección de cualquier
organización comprometida con el establecimiento, desarrollo, revisión y mejora de un
sistema de garantía de la calidad.
Como muestra inicial de su compromiso con la gestión de la calidad, el
Decano/a o Director/a del Centro propone el desarrollo e implantación de un SGIC en
el Centro, de acuerdo con las directrices propuestas por la Unidad de Calidad, así como
la mejora continua de su eficacia.
El equipo de dirección del Centro procura que todas las personas del mismo
actúen de acuerdo con lo establecido en el Sistema de Garantía Interna de Calidad.
Para ello, el Decano/a o Director/a:
•
Es el responsable de calidad del Centro, pudiendo delegar la presidencia
del Comité de Calidad del Centro, en un miembro de su equipo
directivo, para que lo represente en todo lo relativo al seguimiento del
SGIC
•
Propone a la Junta de Centro la composición y funciones del Comité de
Calidad del Centro.
•
Presenta a la Junta de Centro para su aprobación la Política y los
Objetivos de Calidad elaborados por el Comité de Calidad del Centro
para las actividades objeto del alcance del SGIC,
78
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
•
Comunica a todo su personal la importancia de satisfacer los requisitos
de los grupos de interés así como los legales y reglamentarios de
aplicación a sus actividades.
•
Se compromete, además, a llevar a cabo revisiones del SGIC y a intentar
asegurar la disponibilidad de los recursos necesarios para que se
cumplan los Objetivos de Calidad.
•
Promueve la creación de equipos de mejora para atender a los
resultados de las revisiones y evaluaciones que se lleven a cabo.
•
Lidera las actuaciones derivadas de la implementación del SGIC.
Igualmente, el Decano/a o Director/a efectúa una invitación, dirigida a todas las
personas del Centro, para que se impliquen en el SGIC y realicen propuestas de
mejora, las cuales serán estudiadas y, en su caso, aprobadas por el Comité de Calidad
del Centro, con el objetivo de mejorar los procesos y los resultados de la calidad.
Responsable de Calidad del Centro
Para ayudarle en las tareas correspondientes al diseño, implantación,
mantenimiento y mejora del SGIC el Decano/a o Director/a puede designar un
Responsable de Calidad, de entre los miembros del equipo de dirección.
Con independencia de las responsabilidades que se le indiquen en el
correspondiente nombramiento o que le sean asignadas posteriormente por el Comité
de Calidad del Centro, el Responsable de Calidad tiene las siguientes funciones:
•
Asegurarse de que se establecen, implantan y mantienen los procesos
necesarios para el desarrollo del SGIC del Centro y de las titulaciones.
•
Informar al equipo de dirección sobre la aplicación del SGIC y de
cualquier necesidad de mejora.
•
Asegurarse de que se toman en consideración los requisitos de los
grupos de interés implicados en todos los niveles del Centro.
Comité de Calidad del Centro
El Comité de Calidad del Centro es un órgano que participa en las tareas de
planificación y seguimiento del SGIC, actuando además como uno de los vehículos de
comunicación interna de la política, objetivos, planes, programas, responsabilidades y
logros de este sistema. Entre sus funciones se encuentran las siguientes:
•
Verifica la planificación del SGIC del Centro, de modo que se asegure el
cumplimiento de los requisitos generales del Manual del SGIC, de la
Política y los Objetivos de la Calidad y de los requisitos contemplados en
las guías de verificación y certificación correspondientes.
•
Propone y revisa la Política y los Objetivos Generales de la Calidad del
Centro e informa a toda la comunidad educativa.
•
Propone y coordina la formulación de los objetivos anuales del Centro y
realiza el seguimiento de su ejecución.
79
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
•
Realiza el seguimiento de la eficacia de los procesos a través de los
indicadores y evidencias asociados a los mismos. Para ello todos los
procesos concluyen con un proceso de evaluación y propuestas de
mejora que anualmente tiene que revisar.
•
Recibe información del Decano/a o Director/a sobre los proyectos de
modificación del organigrama y se posiciona ante los mismos.
•
Controla la ejecución de las acciones correctivas y/o preventivas, de las
actuaciones derivadas de la revisión del sistema, de las acciones de
respuesta a las sugerencias, quejas y reclamaciones. Y, en general, de
todos los procesos.
•
Desarrolla la implantación de las propuestas de mejora del SGIC
sugeridas en los procesos que se han planteado en el SGIC.
•
Decide la periodicidad y la duración, dentro de su ámbito de
competencia, de los procesos de recogida de encuestas de medida de la
satisfacción de los grupos de interés.
•
Es informado por el coordinador de Calidad de los resultados de las
encuestas de satisfacción y propone criterios para la consideración de
las propuestas de mejora que puedan derivarse de esos resultados.
•
Supervisa la información y rinde cuentas a la comunidad educativa,
generalmente a la Junta de Centro, de los procesos de evaluación y
mejora que se han llevado a cabo.
El Comité de Calidad del Centro está compuesto por el Decano/a o Director/a o
Vicedecano/a o Subdirector/a, Responsable de calidad que actúa como Presidente, los
Presidentes de las comisiones de título de cada una de las titulaciones (de grado y de
postgrado), un representante de los estudiantes y otro del PAS. Asimismo, forma parte
de esta Comisión de Garantía de Calidad, un miembro de la Unidad de Calidad,
designado por su dirección y que desempeña las funciones de apoyo técnico de
calidad.
Los miembros del Comité de Calidad del Centro son designados y cesados por el
Decano/a o Director/a del Centro y en cualquier caso, los responsables de las
titulaciones forman parte de este Comité, mientras ostenten dicha representación.
Para el desempeño de sus funciones se puede constituir un grupo de asesores,
en función del aspecto y el criterio que se estén trabajando, entre cuyos miembros
pueden encontrarse:
-
1 egresado
-
1 empleador
1 miembro de la Fundación Universidad-Empresa ADEIT o del
Observatorio de Inseerción Profesional (OPAL).
Comisión de Título
Las Comisiones de Título (Comisiones Académicas de Título en las titulaciones
de grado y Comisiones de Coordinación Académica en los másteres), según los
80
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Estatutos de la Universitat de València y en concreto en el artículo 34.c, tienen como
función organizar la docencia, coordinarla y supervisarla de acuerdo con los planes de
estudio. Por tanto, se entiende que las Comisiones de Título son el órgano ordinario de
coordinación de los procesos de enseñanza-aprendizaje de una titulación.
Las tareas específicas mediante las cuales la Comisión del Título realiza la
misión de ordenación académica que tiene encomendada, una vez establecidas por la
Universidad las competencias que persigue dicha titulación, pueden diferenciarse en
tres tipos: programación, coordinación y supervisión.
- Se entiende por programación docente el conjunto de actividades mediante
las cuales se establece el plan de actuación en cada curso académico concreto para
llevar a cabo los objetivos de la titulación.
- La coordinación comprende el conjunto de actividades mediante las cuales se
concreta y armoniza la intervención de los distintos departamentos, áreas de
conocimiento, profesorado y cualesquiera otros agentes que participen en el proceso
formativo.
- La supervisión supone el conjunto de actividades mediante las cuales se
asegura la calidad de la titulación.
3. HERRAMIENTA INFORMÁTICA PARA EL SISTEMA DE GARANTÍA INTERNA DE CALIDAD DE
CENTROS Y TITULACIONES: SGIC-UV
La Universitat de València diseñó un Sistema de Garantia Interna de Calidad (SGIC)
indicando los procesos a seguir y las evidencias que se han de generar. El seguimiento
correcto de los procesos y el almacenamiento adecuado de las evidencias deben ser
asegurados, y la forma eficiente de hacerlo es mediante un sistema informático (SGIC)
que además facilite el trabajo de los usuarios.
Se planteó por ello el desarrollo de un sistema informático que cubriese las
siguientes funcionalidades:
• Controlar el flujo de los procesos de modo que se cumplan las diferentes tareas
en la secuencia establecida, asignándolas a los usuarios pertinentes, recibiendo
y generando la información apropiada en cada caso.
• Almacenar de manera estructurada, para su ulterior consulta o análisis, la
información empleada y/o generada en cada tarea.
• Permitir a los usuarios ver si les corresponde realizar alguna tarea, y
proporcionarles la información necesaria para realizarla.
• Avisar a los usuarios pertinentes cuando les corresponde realizar alguna tarea y
cuando vence el plazo límite para realizarla.
• Informar a los usuarios responsables de cada centro (y a los de la Unidad de
Calidad) de:
o el estado en que se encuentra cada procedimiento,
o los usuarios encargados de las tareas activas y
o el plazo para realizarlas,
81
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
• Permitir a los usuarios responsables consultar toda la información almacenada
hasta el momento.
3.1. Tecnologías para la gestión de los procesos
Se conoce como BPM (Business Process Management) el conjunto de iniciativas
corporativas o organizacionales enfocadas al análisis, mejora, gestión y/o
automatización de los “procesos de negocio”.
Actualmente muchas compañías y organizaciones desarrollan iniciativas para la
“gestión por procesos” en las que utilizan diferentes programas y sistemas
informáticos. Para ello, las instituciones deben describir los procesos que siguen (o
desean seguir).
Los procesos o “flujos de trabajo” (workflow) han sido (y son) descritos de
diferentes maneras en función del programa informático que vaya a tratarlos, si bien
resulta conveniente una estandarización de la forma en que se describen los procesos.
Por ello existe la BPMN (Business Process Modeling Notation), una notación gráfica
estandarizada para la representación gráfica de flujos de trabajo. Sin embargo BPMN
es una ayuda para diseñadores y desarrolladores, pero no “para las máquinas”.
La Workflow Management Coalition (WfMC) ( http://www.wfmc.org ) es una
organización global de usuarios, desarrolladores, consultores, analistas, así como
universidades y grupos de investigación involucrados en workflow y BPM que trabajó
para establecer el primer estándar XPDL en el año 2001. Desde entonces esta
organización ha continuado trabajando hasta la última versión de trabajo que es XPDL
2.2. XPDL es un estándar extensible que permite a cada implementación añadir
funcionalidades adicionales siempre que cumpla las funcionalidades básicas
establecidas.
XPDL (eXtended Process Definition Language) es un lenguaje XML cuyo objetivo es
doble:
• almacenar e intercambiar diagramas de procesos y
• permitir que un “motor de flujos de trabajo” (workflow engine) pueda
“gestionar” los procesos.
El fin es que los workflow engine que se desarrollen sean compatibles-XPDL, esto
es, que “acepten” procesos escritos en XPDL, lo cual facilitará la inteoperabilidad. De
hecho existen actualmente múltiples sistemas (más de 80) que trabajan todos ellos
con procesos descritos con XPDL.
Los diseñadores de procesos pueden describir sus procesos en XPDL mediante un
simple “bloc de notas”, aunque éste es un procedimiento propenso a errores. Por ello
existen diversos editores XPDL, tanto privativos como libres, que mediante diversos
tipos de interfaces, en su mayoría gráficos, facilitan la tarea de descripción al
diseñador de procesos.
3.2. Aspectos tecnológicos de la herramienta informática SGIC-UV
En el desarrollo informático se optó por emplear un sistema abierto a partir de la
integración de diversos componentes de software libre.
82
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Desde esta perspectiva se desarrolló una aplicación fácilmente accesible en un
entorno web que no necesite la instalación de software, y que sea multiplataforma
(mediante el uso de Java).
Motor de flujos de trabajo
Los procesos son especificados en lenguaje de marcas extendido (XML), empleando
el estándar de definición de procesos, XPDL (eXtended Process Definition Language).
En los procesos se indican las tareas, las transiciones, las transiciones condicionales y
los usuarios o los roles encargados de cada tarea
Se utiliza para el funcionamiento el Bonita workflow engine como tecnología de
soporte de los flujos de trabajo, que utiliza procesos escritos en XPDL, generados con
un editor gráfico de XPDL incorporado.
El motor de flujos de trabajo será el elemento que se encarga de gestionar a qué
usuario le corresponde realizar cada tarea (según la descripción del proceso) y cuando
la haya completado, y en función de determinadas condiciones, determinar cuál es la
siguiente tarea que debe realizarse (y quién debe hacerlo).
Repositorio documental
El sistema debe almacenar de forma estructurada los documentos que vaya a
gestionar, tanto aquellos que deben guardarse como evidencias del desarrollo de los
procesos como aquellos modelos de documentos (personalizados para cada centro)
que sirvan como “plantillas” para la generación de evidencias.
Los documentos se almacenan en una estructura de árbol que sea accesible desde
aplicaciones web para lo cual se utilizará una API de Java Content Repository (JCR), que
incorpora funcionalidades avanzadas para búsqueda por metadatos.
El SiGIC-UV ha sido desarrollado sobre la implementación eXo JCR, y en el mismo
se almacenan evidencias en un árbol estructurado por curso, centro y titulación,
permitiendo buscar en dicho árbol documentos según diferentes criterios.
Base de datos de la aplicación
Para el funcionamiento del sistema, se precisa guardar o acceder a información
sobre:
• Centros
• Titulaciones
• Usuarios
• Roles
y para expresar el detalle de tareas y la información que precisan los usuarios, se
guardará y accederá a información sobre:
• Descriptores de tareas
• Plantillas
• Evidencias
• Recursos
83
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Toda esta información debe gestionarse mediante un Sistema de Gestión de Bases
de Datos, habiéndose empleado PostgreSQL para el SiGIC-UV.
3.3. Interfaz de los usuarios
En cada proceso, el sistema asigna la tarea activa en cada momento a un usuario
según quede indicado en la descripción del proceso el rol encargado de la tarea y
según las variables de centro y titulación. Además, la aplicación interacciona con un
servidor de correo para que cada usuario reciba un correo cuando le es asignada una
tarea (por finalización de la anterior).
La interfaz de usuario permitirá a éste ver un listado de las tareas que tenga
asignadas. De este modo el usuario ve lo que tiene que realizar en cada momento.
Visión de las tareas a realizar por el usuario
84
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Además la aplicación permite que, para cada tarea, el usuario obtenga la
información necesaria:
• Explicación de la tarea que debe desarrollar.
• Modelos de documentos (plantillas) que tiene desarrollar (proporcionados en
formato RTF para que sea editable con cualquier procesador de texto).
• Evidencias almacenadas anteriormente que precisa consultar para realizar una
tarea concreta.
• Recursos de información adicionales disponibles en la web (URIs).
Visión de los recursos proporcionados para realizar una tarea
Finalmente, la realización de una tarea a efectos del sistema informático
consistirá en adjunta la evidencia resultante de la misma (que por motivos de
compatibilidad futura se hará en formato PDF), y si procede, indica una decisión Sí / No
respecto a la pregunta que se le plantea (decisión que afectará al flujo de trabajo
determinando la siguiente tarea a realizar en caso de que existan caminos
alternativos).
85
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Además, si el usuario tiene un perfil de responsable autorizado, podrá ver también
todas las tareas pendientes, a quién corresponde realizarlas y de cuánto tiempo
dispone para ello, así como consultar información completa de
• el estado de los diferentes procesos del centro,
• cómo se ha desarrollado cada proceso en cada año y
• las evidencias que se han generado durante cada uno.
lo cual además de garantizar internamente la aplicación del Sistema de Garantía de
Calidad permite acreditarlo frente a futuras inspecciones externas que puedan
hacerse.
4. RELACIÓN ENTRE EL SEGUIMIENTO DE LAS TITULACIONES Y EL SGIC
La aplicación del SGIC implementado en la universidad es muy importante para el
Seguimiento y Acreditación de los Títulos, ya que, de acuerdo con las directrices que
está elaborando el Ministerio, se hará uso del mismo para garantizar a la sociedad el
cumplimiento del compromiso adquirido por la universidad con los títulos verificados y
se velará para que los títulos implantados cumplan con la calidad mínima exigida en las
enseñanzas.
El seguimiento de los títulos requerirá el análisis de:
• La información pertinente y relevante para los estudiantes y la sociedad
en general que, sobre cada uno de sus títulos, la universidad debe hacer
pública.
• Información referida a un núcleo de indicadores mínimos que faciliten la
elaboración del informe anual de seguimiento.
• La información derivada de la valoración de la aplicación del sistema de
garantía de calidad.
• Las acciones llevadas a cabo ante las recomendaciones establecidas
tanto en los informes de verificación como en los sucesivos informes de
seguimiento.
Todos los aspectos que hemos señalado son analizados y evaluados en el Sistema
de Garantía Interna de Calidad de los Centros de la Universitat de València.
4.1. Información Pública
Consideramos que uno de los aspectos básicos de la implantación de sistema de
gestión de la calidad es la transparencia de la información, por ello desde el diseño de
nuestro sistema planteamos que la información de las titulaciones y de los centros se
tenía que publicar teniendo en cuenta las peculiaridades de los diferentes grupos de
interés.
Todos los procesos de nuestro sistema derivan al proceso de información pública,
por ello los centros siguiendo la aplicación informática publicarán los aspectos
fundamentales actualizando anualmente dicha información, al menos, en sus páginas
webs.
La información que considera la UV como básica, y por ello se debe publicitar a los
diferentes grupos de interés, es la siguiente:
86
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
• Memoria del título acreditado, que incluirá la información aprobada en el
programa VERIFICA y las revisiones que se llevan a cabo en el SGIC de los
diferentes puntos de la memoria, de forma que dicha información
permanecerá actualizada.
• Despliegue del plan de estudios, incluyendo todos los aspectos relevantes de la
implantación del plan de estudios: oferta formativa, guías docentes, horarios,
metodología de enseñanza-aprendizaje, información referente a la movilidad,
prácticas externas...
• Resultados del desarrollo del plan de estudios, en este punto incluimos toda la
información de los indicadores y de la satisfacción de los grupos de interés.
• Y, por último, los resultados de los procesos de evaluación: Ya hemos señalado
que todos los procesos concluyen con el análisis de su desarrollo y
estableciendo acciones de mejora. Como se puede observar en la tabla que
aparece a continuación se incluyen en todos los procesos los resultados de la
evaluación incluyendo el plan de mejoras.
En la siguiente tabla se presentan todos los aspectos que la Universitat de València
que se deben publicitar teniendo en cuenta el SGIC, se ha sombreado la información
que desde el Programa VERIFICA o el seguimiento de las titulaciones es imprescindible
su publicitación.
87
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Publicitación del Plan de Estudios y del Sistema de Garantía Interna de Calidad
La publicidad del Plan de Estudios deberá efectuarse en su totalidad, no obstante lo estructuramos de acuerdo con las 7 dimensiones del Sistema de Garantía
Interna de Calidad de la Universitat de València y, más en detalle, a través de los 31 procesos que las conforman. En la presentación habría que prescindir del
término “Proceso de” y podrían quedar los apartados tal como se relacionan en el SGIC. Esta información se irá actualizando en la medida que lo haga el SGIC.
A esta información irían incorporándose, además de las modificaciones que afectasen al plan de estudios, los informes de evaluación y los diferentes
indicadores que se fuesen obteniendo, todo ello como resultado del SGIC.
DIM
PROCESO SGIC
Información Pública
VERIFICA
PROGRAMA FORAMATIVO
Punto 3 “Especificar los objetivos generales del Título”
PF1 Proceso de revisión de los Relación de objetivos y competencias de la titulación
objetivos
del
programa Resultados de la evaluación incluyendo el plan de mejoras Punto 5 “Tener una estructura y organización de los estudios coherente con
formativo
los objetivos generales”
(plantilla presentada en el SGIC)
PF2 Proceso de revisión del Relación de las competencias que integran el perfil de
Punto 4 “Indicar las vías y requisitos de acceso al Título incluyendo el perfil de
perfil de ingreso de los ingreso
ingreso recomendado para los estudiantes”
estudiantes
Resultados de la evaluación incluyendo el plan de mejoras
Relación de competencias que integran el perfil de Punto 3 “Detallar la relación de competencias que deben haber adquirido los
estudiantes al finalizar el título”
egreso.
“En el caso que el Título habilite para una actividad profesional regulada en
Dentro de este punto también se publicarán los España el plan de estudios deberá ajustarse a las disposiciones que establezca el
PF3 Proceso de revisión del resultados del indicador de inserción laboral y de Gobierno para dicho Título en las fechas correspondientes”
perfil de los egresados
satisfacción con la formación recibida de los egresados.
Punto 9 “Se establecen mecanismos y procedimientos, que se apliquen
ORGANIZACIÓN
DE LA
ENSEÑANZA
Resultados de la evaluación incluyendo el plan de mejoras
Acciones de captación y políticas de acceso que se van a
OE1 Proceso de captación de llevar a cabo en centro o titulación (agentes, actividades,
temporalización, servicios de apoyo,..)
los estudiantes
Resultados de la evaluación incluyendo el plan de mejoras
periódicamente, para la recogida y análisis de la información sobre la inserción
laboral de los graduados y la satisfacción con la formación recibida. Dichos
mecanismos deberán completar, al menos, responsables, el modo de aceptación
de las decisiones y el seguimiento de las mismas.
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DIM
PROCESO SGIC
Información Pública
VERIFICA
Información sobre el procedimiento de admisión, Punto 4 “Se ha de contar con sistemas de información sobre las condiciones o
pruebas de acceso especiales”
selección y matriculación de los estudiantes.
OE2 Proceso de selección,
admisión y matriculación de
los estudiantes
Resultados de la evaluación incluyendo el plan de mejoras
OE3 Proceso de programación
académica
“El Titulo ha de contar con sistemas adecuados de transferencia y reconocimiento
de créditos, que deben estar descritos…”
MASTER: “En el caso de máster, además de las pruebas de acceso previstas,
indicar el órgano encargado de realizar la admisión, así como los procedimientos y
requisitos que se aplican. Asimismo, se debería incluir el procedimiento utilizado
por la universidad para reconocer los aprendizajes previos de los estudiantes en el
proceso de admisión”
Documento que recoja asignaturas, profesores, horarios, Punto 4 “Es importante que el estudiante disponga, de forma previa al
comienzo del curso, con información académica suficiente como para poder
grupos, lugar y el calendario de los exámenes.
planificar el proceso de aprendizaje (guías docentes de las asignaturas, horarios
Resultados de la evaluación incluyendo el plan de mejoras
Publicación de las guías docentes de la titulación
de tutorías, calendario de exámenes…). En el caso de enseñanzas que se impartan
a distancia, será necesario contar con procedimientos que permitan informar
acerca de los distintos medios utilizados de la enseñanza y de las materias
docentes disponibles y los servicios y puntos de atención a los alumnos.
Punto 4 “Es importante que el estudiante disponga, de forma previa al
comienzo del curso, con información académica suficiente como para poder
planificar el proceso de aprendizaje (guías docentes de las asignaturas, horarios
de tutorías, calendario de exámenes…)”
Punto 5“Estructura y organización de los estudios apoyada en la coordinación
OE4 Proceso de programación
docente (guías docentes)
docente, que permita garantizar la adquisición de las competencias por los
estudiantes”
Resultados de la evaluación incluyendo el plan de mejoras
“Proporcionar un resumen indicando las competencias a adquirir y su evaluación,
de los módulos o materias que constituyen la propuesta del título, incluyendo
materias de formación básica, materias obligatorias y optativas y prácticas
externas y trabajo fin de titulación”
RECURS
OS
HUMAN
OS
“describir detalladamente cada módulo o materia, concretando la planificación
temporal de los mismos”
RH1 Proceso de definición de Se publica la política del personal docente e investigador
la política del PDI
Resultados de la evaluación incluyendo el plan de mejoras
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Se publica en cada convocatoria todo lo referentes a la
6 “Especificar el personal académico disponible, indicando su categoría
captación y selección y contratación del Personal Docente Punto
académica, su tipo de vinculación a la universidad, su experiencia docente e
e Investigador.
investigadora y/o profesional y su adecuación a los ámbitos de conocimiento
Dentro de este apartado se llevará a cabo un análisis y se
publicarán los resultados sobre el profesorado (categoría,
RH2 Proceso de captación y experiencia docente e investigadora y profesional…) y su
selección del PDI
adecuación al plan de estudios.
Se realizará un análisis haciendo pública la información
resultante sobre la previsión de profesorado teniendo en
cuenta el número de créditos a impartir.
Resultados de la evaluación incluyendo el plan de mejoras
vinculados al Título.
“Definir la previsión de profesorado y otros recursos humanos necesarios,
teniendo en cuenta la estructura del plan de estudios, el número de créditos a
impartir, las ramas de conocimiento involucradas, el número de alumnos y otras
variables relevantes.
“Especificar los mecanismos de que se dispone para asegurar que la contratación
del profesorado se realizará atendiendo a los criterios de igualdad entre hombres
y mujeres y de no discriminación de personas con discapacidad.
“En el caso de un título con carácter u orientación profesional, será un requisito
indispensable que la propuesta cuente con un cuadro de profesores con la
suficiente experiencia y contacto con el sector profesional.”
Se publican los resultados de la evaluación de la docencia
RH3 Proceso de evaluación, y todo lo relativo a la promoción, reconocimiento e Punto 9 “Se establecen mecanismos y procedimientos, que se apliquen
periódicamente, para la recogida y análisis de la información sobre la calidad del
promoción, reconocimiento e incentivos del PDI.
profesorado. Dichos mecanismos deberán completar, al menos, responsables, el
incentivos del PDI
modo de aceptación de las decisiones y el seguimiento de las mismas.
Resultados de la evaluación incluyendo el plan de mejoras
RH4 Proceso de Formación del Se publica toda la oferta de formación continua de la UV.
PDI
Resultados de la evaluación incluyendo el plan de mejoras
Se publica la política del personal de administración y
RH5 Proceso de definición de servicios
la política del PAS
Resultados de la evaluación incluyendo el plan de mejoras
Se publica en cada convocatoria todo lo referente a la
Punto 6 “Especificar el personal de
RH6 Proceso de captación y captación y selección del PAS
universidad, su experiencia profesional
selección del PAS
conocimiento vinculados al Título.
Resultados de la evaluación incluyendo el plan de mejoras
RH7 Proceso de evaluación, Se publica la información sobre la evaluación, promoción,
promoción, reconocimiento e reconocimiento e incentivos del PAS
apoyo disponible, su vinculación a la
y su adecuación a los ámbitos de
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
incentivos del PAS
RH8 Proceso de formación del
PAS
Resultados de la evaluación incluyendo el plan de mejoras
Se publica la información sobre toda la oferta de
formación para el PAS
Resultados de la evaluación incluyendo el plan de mejoras
RECURSOS MATERIALES
Se publica la relación de espacios e instalaciones
haciendo referencia a la cantidad y calidad de estos
recursos materiales.
Punto 7 “Prever una dotación suficiente de equipamiento e infraestructuras,
tanto en las universidades participantes como en las instituciones colaboradoras,
justificando su adecuación a los objetivos formativos. En concreto, se deben
identificar y describir los recursos materiales y servicios clave (laboratorios, aulas y
equipamientos especiales, bibliotecas,…) para el cumplimiento de los objetivos del
título. En todo caso, se deben observar los criterios de accesibilidad universal y
diseño para todos”.
“En el caso de enseñanzas no presenciales, se tendrá en cuenta la necesidad de
recursos propios de la enseñanza a distancia, como son los sistemas y mecanismos
de comunicación bidireccional entre profesores y estudiantes. En este tipo de
enseñanzas tendrán mayor importancia en la evaluación los recursos para el
acceso a espacios virtuales de los estudiantes o plataformas”
RM1 Proceso de gestión de los
recursos materiales
Resultados de la evaluación incluyendo el plan de mejoras
“En su caso, aportar información sobre los convenios que regulan la participación
de otras entidades en el desarrollo de las actividades formativas. De cualquier
forma, se deberá justificar que los medios materiales y servicios disponibles en las
entidades colaboradoras permiten garantizar el desarrollo de las actividades
formativas planificadas”.
“Explicar los mecanismos para realizar o garantizar la revisión y el mantenimiento
de los materiales y servicios disponibles en las instituciones colaboradoras , así
como los mecanismos para su actualización”
“En el caso que no se disponga de todos los recursos materiales y servicios
necesarios en el momento de la propuesta del Título, describir los planes de
reforma y mejora de las infraestructuras, así como de adquisición de nuevos
equipamientos, que resulten imprescindibles para el desarrollo de las actividades
formativas del programa”.
RM2 Proceso de gestión de los Se publica la información sobre los diferentes servicios,
Servicios
haciendo referencia a sus actividades y objetivos.
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Resultados de la evaluación incluyendo el plan de mejoras
DE1 Proceso de orientación al
estudiante
Documento que recoja la planificación de las actuaciones PREVIA A LA MATRICULACIÓN
de orientación a los estudiantes (programa, actuaciones, Punto 4 “Debe proporcionarse a los estudiantes de nuevo ingreso información
objetivos, destinatarios, servicios de apoyo,…). En este sobre las características del Título previa a la matriculación que facilite su
proceso se incluyen las actuaciones previas a la incorporación a la universidad y titulación”
matriculación y las que se desarrollan durante la “Indicar los sistemas de información previa a la matriculación y los procedimientos
de acogida y orientación a los estudiantes de nuevo ingreso para facilitar la
realización de los estudios.
incorporación a la titulación y a la universidad”
DURANTE LOS ESTUDIOS
Punto 4 En el caso de enseñanzas que se impartan a distancia, será necesario
ENSEÑANZA
DESARROLLO DE LA
Resultados de la evaluación incluyendo el plan de mejoras
contar con procedimientos que permitan informar acerca de los servicios y puntos
de atención a los alumnos.
“Describir los mecanismos de apoyo y orientación específicos para la acogida de
los estudiantes una vez matriculados. En el caso de estudiantes con necesidades
educativas especificas derivadas de la condición de discapacidad, se deberán
incluir servicios de apoyo y asesoramiento adecuados”.
Públicamente se informará sobre la relación de Punto 5 “Especificar los procedimientos para la organización de la movilidad
los estudiantes propios y de acogida, incluyendo sistemas de reconocimiento y
estudiantes recibidos, por otro lado se especificarán las de
acumulación de créditos ECTS”
DE2 Proceso de movilidad de acciones de acogida que se lleven a cabo en el centro.
Punto 9 “Se establecen mecanismos y procedimientos, que se apliquen
los estudiantes recibidos
periódicamente, para la recogida y análisis de la información sobre la calidad de
Resultados de la evaluación incluyendo el plan de mejoras
los programas de movilidad. Dichos mecanismos deberán completar, al menos,
responsables, el modo de aceptación de las decisiones y el seguimiento de las
mismas.
Difusión de la información sobre el programa de Punto 5 “Especificar los procedimientos para la organización de la movilidad
los estudiantes propios y de acogida, incluyendo sistemas de reconocimiento y
movilidad (objetivos del programa, organización, de
acumulación de créditos ECTS”
DE3 Proceso de movilidad de procedimiento de selección, convocatorias, convenios,
Punto 9“Se establecen mecanismos y procedimientos, que se apliquen
fechas,…)
los estudiantes enviados
periódicamente, para la recogida y análisis de la información sobre la calidad de
Resultados de la evaluación incluyendo el plan de mejoras
los programas de movilidad. Dichos mecanismos deberán completar, al menos,
responsables, el modo de aceptación de las decisiones y el seguimiento de las
mismas.
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Documento que recoja la planificación de las actuaciones
de orientación profesional a los estudiantes (programa,
Punto 9 “Se establecen mecanismos y procedimientos, que se apliquen
DE4 Proceso de orientación actuaciones, objetivos, destinatarios, servicios de periódicamente, para la recogida y análisis de la información sobre la inserción
laboral de los graduados y la satisfacción con la formación recibida. Dichos
apoyo,…).
profesional
mecanismos deberán completar, al menos, responsables, el modo de aceptación
Resultados de la evaluación incluyendo el plan de mejoras
de las decisiones y el seguimiento de las mismas.
Se publicará toda la información sobre las prácticas Punto 5“Proporcionar un resumen indicando las competencias a adquirir y su
evaluación, de los módulos o materias que constituyen la propuesta del título,
externas (competencias a desarrollar, tipología, relación incluyendo materias de formación básica, materias obligatorias y optativas y
de convenios y ofertas de prácticas, organización, prácticas externas y trabajo fin de titulación”
“En el caso de un grado/máster de carácter profesional, será especialmente
DE5 Proceso de
prácticas requisitos…)
importante el planteamiento de prácticas profesionales adecuadas, así como el
establecimiento de convenios de colaboración con empresas y otros instrumentos
externas integradas en el plan
para la realización de dichas prácticas”
de estudios
Punto 9 “Se establecen mecanismos y procedimientos, que se apliquen
Resultados de la evaluación incluyendo el plan de mejoras
periódicamente, para la recogida y análisis de la información sobre la calidad de
las prácticas externas. Dichos mecanismos deberán completar, al menos,
responsables, el modo de aceptación de las decisiones y el seguimiento de las
mismas.
DE6 Proceso de desarrollo del Relación de metodologías de enseñanza.-aprendizaje que Punto 5“Estructura y organización de los estudios apoyada en la coordinación
proceso
de
enseñanza- se ha desarrollado
docente, que permita garantizar la adquisición de las competencias por los
estudiantes”
aprendizaje
Resultados de la evaluación incluyendo el plan de mejoras
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Relación de procesos de evaluación y los resultados de los
indicadores de rendimiento (tasa de graduación, tasa de
abandono, tasa de eficiencia, tasa de rendimiento,…)
Punto 5“Estructura y organización de los estudios apoyada en la coordinación
docente, que permita garantizar la adquisición de las competencias por los
estudiantes”
“Establecer el régimen de permanencia de los estudiantes”
Punto 8
“La propuesta del Título debe incluir una previsión de resultados
relacionados con la eficiencia del título y los mecanismos generales para la
valoración de los resultados de aprendizaje de los estudiantes (tasa de
graduación, tasa de abandono, tasa de eficiencia)”
DE7 Proceso de evaluación de
la enseñanza-aprendizaje
Resultados de la evaluación incluyendo el plan de mejoras
“El Título debe tener habilitadas un conjunto de procedimientos para valorar el
progreso y los resultados de aprendizaje de los estudiantes”
“Explicar el procedimiento de la universidad para valorar el progreso y los
resultados de aprendizaje. Entre ellos se pueden considerar resultados de pruevas
externas, trabajos fin titulación,etc.”
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DIM
PROCESO SGIC
Información Pública
VERIFICA
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DIM
PROCESO
INDICADOR
Tasa de éxito
Tasa de rendimiento
Tasa de eficiencia
Desarrollo de la Enseñanza
Rendimiento
Académico
Tasa de abandono
Tasa de presentados
Duración de los estudios
Tasa de graduación
Movilidad
Tasa de estudiantes que participan en proyectos
de movilidad
Tasa de estudiantes que realizan prácticas
integradas en el plan de estudios
Prácticas Externas
Tasa de estudiantes que realizan prácticas
externas no obligatorias en el plan de estudios
Proceso Formativo y
Organización de la Enseñanza
RE1 Proceso de análisis y
medición de los resultados
Estudiantes preinscritos por las plazas ofertadas
Preinscritos en primera opción sobre la oferta de
plazas
Demanda y acceso
Demanda de estudios (matriculados sobre los
preinscritos)
Estudiantes matriculados en primera opción sobre
el total de matriculados
Nota media de acceso y nota media de acceso del
20% superior
Tasa de PDI funcionario
Tasa de PDI doctor
Número de estudiantes por profesor
ecursos Humanos y Materiales
RESULTADOS
Tasa de estudiantes que realizan prácticas
externas voluntarias (no integradas en el plan de
estudios)
Tipología de profesorado (% en cada una de las
categorías) y número de créditos que imparten
Evaluación de la docencia
Recursos Humanos
Tasa de participación
investigación
en
proyectos
Resultados de la actividad investigadora
Formación pedagógica del PDI y PAS
de
Se publicitan los resultados del plan de estudios, por ello
se difundirán las puntuaciones obtenidas en los diferentes
indicadores del SGIC. Los indicadores serán públicos y
accesibles para todos los implicados
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Resultados de la evaluación incluyendo el plan de mejoras
Estud-02
Estud-01
Encuesta de estudiantesdurante la realización
Encuesta de estudiantesprevia a los estudios
Prof-01
Encuesta al profesorado
QP-Estud-01
Encuesta de estudiantesprácticas en empresas
Titulaciones de Grado y
Máster
Estud-04
Encuesta de estudiantesfinalización de los
estudios
Estud-doc
RE2 Proceso de Medición de la
satisfacción de los grupos de
interés
Encuesta de estudiantesEvaluación de la docencia
Prof-autoinformes
Autoinformes sobre la
evaluación de la docencia
Egres-01
Emple-01
Encuesta a los egresados
Encuesta a los
empleadores
Los resultados de las encuestas de satisfacción se
analizarán en los diferentes procesos del SGIC.
Punto 9 “Se establecen mecanismos y procedimientos adecuados, que se apliquen
periódicamente para la recogida y análisis de la información sobre la satisfacción de los
distintos colectivos implicados (estudiantes, personal académico y de administración y
servicios, etc).”
Se publicitan los resultados del plan de estudios, por ello
se difundirán las puntuaciones obtenidas en las diferentes
encuestas de satisfacción del SGIC. Los resultados serán
públicos y accesibles para todos los implicados
SISTEMA GARANTÍA DE CALIDAD
Resultados de la evaluación incluyendo el plan de mejoras
SG1 Proceso de elaboración y Se publicará la política y objetivos de calidad del centro.
revisión de la política y
Resultados de la evaluación incluyendo el plan de mejoras
objetivos de calidad
Punto 9
“Especificar el órgano o unidad responsable del sistema de Garantía de
calidad del plan de estudios (estructura y composición), así como reglamento o normas
de funcionamiento .En este apartado se detallará cómo se articula participación en
dicho órgano del profesorado, estudiantes, responsables académicos , personal de
apoyo y otros agentes externos.
Se publicarán todos los resultados obtenidos en el proceso
SG2 Proceso de garantía de la de evaluación y aseguramiento de la calidad del programa Punto 9 “Establecer cómo se revisará el desarrollo del plan de estudios (objetivos,
planificación,…) a partir de la aplicación de mecanismos y
calidad de los programas formativo (se analiza la calidad de la enseñanza competencias,
procedimientos adecuados, que se apliquen periódicamente para la recogida y análisis
incluyendo todos los procesos del SGIC).
formativos
de la información”.
Resultados de la evaluación incluyendo el plan de mejoras
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
En cuanto a las titulaciones y programas, se ha de
informar, al menos, sobre:
SG3 Proceso de Información
pública
•
La oferta formativa
•
Los objetivos y la planificación de
titulaciones
•
Las políticas de acceso y orientación de los
estudiantes
•
Las metodologías de enseñanza, aprendizaje y
evaluación
•
Las posibilidades de movilidad
•
Los mecanismos para realizar alegaciones,
reclamaciones y sugerencias
•
Los procedimientos de acceso, evaluación,
promoción y reconocimiento del personal
académico y de apoyo
•
Los servicios que ofrece el Centro y la
utilización de los recursos materiales
•
Los resultados de la enseñanza (en cuanto al
aprendizaje, inserción laboral y satisfacción de
los distintos grupos de interés).
Resultados de la evaluación incluyendo el plan de mejoras
las
Punto 9
“Establecer mecanismos para publicar la información sobre el plan de
estudios, su desarrollo y resultados, para que llegue a todos los implicados interesados
(estudiantes, profesorado, personal de apoyo, futuros estudiantes, agentes externos,…)
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Se publicará la información de los canales para la gestión
de incidencias incluyendo el procedimiento para su
SG4 Proceso de gestión y desarrollo (mecanismos para realizar alegaciones, Punto 9 “Se establecen mecanismos y procedimientos adecuados, que se apliquen
periódicamente para la recogida y análisis de la información sobre la atención a las
revisión de las incidencias
sugerencias y reclamaciones.
reclamaciones y sugerencias)
Resultados de la evaluación incluyendo el plan de mejoras
Documento que recoja información sobre el diseño,
modificación o extinción de un título. En casi de extinción
SG5 Proceso de diseño, se especificarán los motivos/ criterios que han motivado la Punto 9 “Definir aquellos criterios que establecerán los límites para que el título sea
suspendido. Para ello previamente, se debe establecer un procedimiento que
modificación y extinción de un decisión y cómo se van a salvaguardar los derechos de los finalmente
describa el sistema creado en el centro/universidad para definir estos criterios, así como
título.
su revisión, aprobación y actualización periódica”
estudiantes.
Resultados de la evaluación incluyendo el plan de mejoras
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
4.2. Evaluación del desarrollo del SGIC
La evaluación del desarrollo del SGIC la analizaremos teniendo en cuenta la
implementación de los diferentes proceso del SGIC, dado que todos los procesos
concluyen con la evaluación de su desarrollo y proponiendo puntos fuertes, débiles y
acciones de mejora.
No obstante, conviene destacar un proceso específico que analiza el desarrollo del
SGIC, haciendo hincapié en la definición y consecución de la política y objetivos de
calidad. También concluye el proceso analizando los puntos fuertes, débiles y las
medidas de mejora adaptadas para la adecuada implementación del SGIC.
A continuación presentamos el correspondiente flujograma, marcando la
temporalización y los responsables de llevar a cabo cada actividad:
100
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Proceso para la elaboración y revisión de la política y los objetivos de calidad
Inicio
Año de
revisión
Si
•
•
•
Septiembre / Octubre
•
•
•
•
Política global de la
universidad
Criterios y Directrices para
implantación de títulos
Planificación estratégica de
universidad / centro
Procesos de Evaluación
(PEMRA, prácticas en
empresa, PEI, …)
Quejas/Sugerencias
Resultados de instrumentos de
satisfacción
Informe de comprobación y
mejora de los objetivos
Conveniencia
No
No
1
Si
E.SG1.1Documento de
Política de Calidad y
Objetivos
Definición/Revisión/
Actualización de la Política y
Objetivos de Calidad
Comité Calidad Centro
Comunicación Presidente
del Comité Calidad Centro
Unitat de Qualitat
Revisión Técnica de los
documentos
Unitat de Qualitat
E.SG1.2- Documento
de Aportaciones
Es correcta
No
Si
E.SG1.3Comunicación
Comunicación Presidente del
Comité Calidad Centro
Unitat de Qualitat
Aprobación de la política y
objetivos de calidad
Junta de Centro
E.SG1.4- Sugerencias
Se acepta
No
E.SG1.5- Acta de
Aprobación
Noviembre
Si
Difusión
Equipo Directivo/
Administración del Centro
Proceso de Información
Pública
2
101
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Desde la aprobación hasta
la siguiente revisión
Proceso para la elaboración y revisión de la política y los objetivos de calidad
2
1
Implementación de la
política y objetivos de
calidad
Comité Calidad Centro/
Órgano responsable
Julio
- Resultados de indicadores
(RE1)
- Resultados de satisfacción
de los grupos de interés
(RE2)
Comprobación de la
consecución de los
Objetivos/Política de
Calidad y Propuestas de
Mejora
Proceso de Garantía
de calidad de los
programas
formativos
E.SG1.6 Informe
comprobación de la
consecución de
objetivos y política de
calidad y propuestas
de mejora
Comité Calidad Centro
Rendición de cuentas a las
partes implicadas
Comité Calidad Centro
E. SG1.7:
Documento o acta
sobre el informe de
rendición de cuentas
a los implicados
Fin
4.3. Indicadores
Como se ha señalado en el punto 2.1 la UV ha establecido una serie de indicadores
básicos para el análisis y mejora de los centros y, consecuentemente, de las
titulaciones que se imparten. Entre ellos destacan los que se han señalado en el
Seguimiento de las titulaciones: tasa de rendimiento, tasa de abandono, tasa de
eficiencia y tasa de graduación de las titulaciones. Para su análisis y cálculo se debe
responder a la plantilla que presentamos a continuación, haciendo hincapié en la
propuesta de acciones de mejora cuando se detectan problemas.
102
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
E.DE7.1- Informe de Evaluación y Propuestas de Mejora
(Propuesta de evaluación)
PROCESO DE EVALUACIÓN DE LA ENSEÑANZA-APRENDIZAJE
DIMENSIÓN 5. DESARROLLO DE LA ENSEÑANZA
•
•
•
•
•
•
Los métodos de evaluación se
adecuan a los objetivos y
competencias del programa
formativo.
EVIDENCIAS
E. OE4.1 Guías docentes de las asignaturas.
SG4. Incidencias producidas del proceso de evaluación de la enseñanza-aprendizaje.
La metodología utilizada en las
Resultados de las encuestas de satisfacción a los grupos de interés
diferentes asignaturas es
variada permitiendo la
GRADO
evaluación de las
competencias.
Encuesta a los estudiantes durante la realización de los estudios
QG-ESTUD-02
Coherencia entre la
metodología utilizada en el
proceso de enseñanzaaprendizaje y los métodos de
evaluación
Encuesta a los profesores
QG-PROF-01
Resultados encuesta de evaluación del profesorado
I.RH3.1
MÁSTER
DOCTORADO
QM-ESTUD-02
QD-ESTUD-01
QM-PROF-01
QD-PROF-01
Indicadores
En el proceso de evaluación se
ha cumplido lo establecido en
la guía docente.
I.DE7.1
Tasa de eficiencia
Puntuación
I.DE7.2
Tasa de éxito
Puntuación
La tasa de eficiencia
(desagregar en asignatura o
materia, curso y titulación) es
adecuada y acorde con lo
establecido en el Plan de
Estudios
I.DE7.3
Tasa de rendimiento
Puntuación
I.DE7.4
Tasa de presentados
Puntuación
I.DE7.5
Tasa de abandono (interrupción de los estudios)
Puntuación
Duración media de los estudios
Puntuación
Tasa de éxito de los estudiantes de nuevo ingreso
Puntuación
I.DE7.6
La tasa de éxito (desagregar en
asignatura o materia, curso y
I.DE7.7
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DIMENSIÓN 5. DESARROLLO DE LA ENSEÑANZA
•
•
titulación) es adecuada y
I.DE7.8
acorde con lo establecido en el
Plan de Estudios
I.DE7.9
La tasa de rendimiento
I.DE7.10
(desagregar en asignatura o
materia, curso y titulación) es
I.DE7.11
adecuada y acorde con lo
establecido en el Plan de
I.DE7.12
Estudios
La tasa de presentados
(desagregar en asignatura o
materia, curso y titulación) es
adecuada y acorde con lo
establecido en el Plan de
Estudios
Tasa de rendimiento de los estudiantes de nuevo ingreso
Puntuación
Tasa de presentados de los estudiantes de nuevo ingreso
Puntuación
Tasa de graduación en el tiempo previsto
Puntuación
Tasa de abandono de los estudiantes de primer curso
Puntuación
Tasa de eficiencia de los graduados
Puntuación
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DIMENSIÓN 5. DESARROLLO DE LA ENSEÑANZA
• La tasa de abandono
(interrupción de los estudios) de la
titulación es adecuada y acorde con
lo establecido en el Plan de
estudios
COMENTARIOS:
• La duración media de los
estudios es adecuada y acorde con
lo establecido en el Plan de
estudios
• La tasa de graduación en el
tiempo previsto es adecuada y
acorde con lo establecido en el Plan
de estudios
• La tasa de abandono de los
estudiantes de primer curso es
adecuada y acorde con lo
establecido en el Plan de estudios
• La tasa de eficiencia de los
graduados es adecuada y acorde
con lo establecido en el Plan de
estudios
• Los indicadores de los
estudiantes de nuevo ingreso (tasa
de éxito, tasa de rendimiento y tasa
de presentados) desagregados por
asignaturas son adecuados
VALORACIÓN
A
B
C
D
EI
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DIMENSIÓN 5. DESARROLLO DE LA ENSEÑANZA
Los métodos de evaluación se adecuan a los objetivos del programa formativo.
La metodología utilizada en las diferentes asignaturas es variada permitiendo la evaluación de las competencias.
Coherencia entre la metodología utilizada en el proceso de enseñanza-aprendizaje y los métodos de evaluación
En el proceso de evaluación se ha cumplido lo establecido en la guía docente.
La tasa de eficiencia (desagregar en asignatura o materia, curso y titulación) es adecuada y acorde con lo establecido en el Plan de Estudios
La tasa de éxito (desagregar en asignatura o materia, curso y titulación) es adecuada y acorde con lo establecido en el Plan de Estudios
La tasa de rendimiento (desagregar en asignatura o materia, curso y titulación) es adecuada y acorde con lo establecido en el Plan de Estudios
La tasa de presentados (desagregar en asignatura o materia, curso y titulación) es adecuada y acorde con lo establecido en el Plan de Estudios
La tasa de abandono (interrupción de los estudios) de la titulación es adecuada y acorde con lo establecido en el Plan de estudios
La duración media de los estudios es adecuada y acorde con lo establecido en el Plan de estudios
La tasa de graduación en el tiempo previsto es adecuada y acorde con lo establecido en el Plan de estudios
La tasa de abandono de los estudiantes de primer curso es adecuada y acorde con lo establecido en el Plan de estudios
La tasa de eficiencia de los graduados es adecuada y acorde con lo establecido en el Plan de estudios
Los indicadores de los estudiantes de nuevo ingreso (tasa de éxito, tasa de rendimiento y tasa de presentados) desagregados por asignaturas son adecuados
PUNTOS FUERTES
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
DIMENSIÓN 5. DESARROLLO DE LA ENSEÑANZA
PUNTOS DÉBILES
PROPUESTAS DE MEJORA
IMPORTANCIA
TEMPORALIZACIÓN
AGENTE
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Como se observa en la plantilla, además de los indicadores planteados en el
seguimiento, la UV evaluará otros indicadores de rendimiento, sobe todo
centrándonos en el primer curso ya que la historia de nuestra universidad y los
estudios previos de la Unidad de Calidad (Plan de Evaluación del Rendimiento
Académico) constatan que las problemáticas de las tasas de rendimiento se centran
sobre todo en el primer curso.
Además de los indicadores mínimos señalados en el SGIC, la UV tiene una batería
de indicadores (ver punto 2.1), los cuales serán públicos y de acceso a los diferentes
grupos de interés, por ello anualmente después del análisis y validación por el Comité
de Calidad del Centro se publicará un informe con los resultados obtenidos.
4.3. Recomendaciones del VERIFICA
Las recomendaciones realizadas a nuestras titulaciones en el programa VERIFICA,
serán analizadas en los diferentes procesos a los que se haga referencia, por ello se
irán completando y respondiendo a los aspectos que se hayan incluido en los informes
para la aprobación de nuestras titulaciones.
5. CONCLUSIÓN
La mejora de los procesos es clave en el funcionamiento de las organizaciones, y
debe realizarse mediante la Gestión por Procesos. La especificación de procesos debe
estandarizarse para facilitar la expansión de estas técnicas y la interoperabilidad entre
aplicaciones, siendo XPDL un lenguaje de marcas extendido que se demuestra
apropiado para la definición de procesos.
En el caso del SGIC, cada centro debe garantizar internamente el cumplimiento de
sus objetivos y las acciones para la mejora continua.
Los sistemas de calidad, y en general el funcionamiento de las organizaciones,
deben apoyarse en sistemas informáticos apropiados para la Gestión de Procesos. Para
ello debe emplearse por un lado un sistema de gestión de flujos (workflow engine) de
trabajo, y por otro el desarrollo de los procesos se documenta con evidencias que
deben ser organizadas en repositorios de acceso estructurado.
SGIC-UV es un sistema abierto que incorpora estos elementos y cubre las funciones
planteadas siendo a su vez adaptable y reconfigurable.
Dicha herramienta informática apoyará el trabajo de los centros para desarrollar
los nuevos planes de estudios, velando para que se cumplan todos los requisitos de
calidad y se responda a todas las iniciativas externas de seguimiento y acreditación de
los títulos.
En todo caso, los sistemas de calidad no deben sobrecargar de trabajo, sino ayudar
a estructurar el trabajo de análisis, planificación y evaluación que en todo caso debe
realizarse, y una herramienta informática adecuada puede contribuir decisivamente a
ello.
Para el diseño de nuestro SGIC, se tomó como referencia el trabajo ordinario de los
centros y las normativas de la UV, intentando responder a estos aspectos y facilitar el
máximo la gestión ordinaria de los centros de nuestra universidad.
108
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Por último, consideramos que el SGIC de la UV, en su diseño inicial, ya
contemplaba los aspectos que se señalan en el seguimiento de las titulaciones.
6. REFERENCIAS BIBLIOGRÁFICAS
ANECA (2003): Programa de Evaluación Institucional. Guía de Autoevaluación. Madrid.
ANECA.
BARBERÁ, M.A.; PÉREZ BOULLOSA, A. y CHIRIVELLA, A. (2007): “Programa de
evaluación de las prácticas en empresas (PAPE) de la Universitat de València.”
En CID, A. y otros (Coords.): Buenas prácticas en el practicum. Págs. 119-128. A
Coruña: Imprenta Universitaria.
COMITÈ DE QUALITAT DE LA UNIVERSITAT DE VALÈNCIA (2003): Informe Final del Pla
d’Avaluació i Millora del Rendimient Acadèmic dels estudiants de 1er Curs.
Valencia. Universidad de Valencia. <http://www.uv.es/gade/v/serv/index.htm>
CONSEJO DE UNIVERSIDADES (1996): Indicadores de rendimiento. Madrid. Documento
de trabajo.
DECLARACIÓN DE LA SORBONA (1998): Declaración conjunta para la armonización del
diseño del Sistema de Educación Superior Europeo. París, 25.5.1998.
EUROPEAN ASSOCIATION FOR QUALITY ASSURANCE IN HIGHER EDUCATION (ENQA)
(2005): «Report on Standards and guidelines for Quality Assurance in the
European Higher Education Area». [En línea] < http://www.enqa.net/
bologna.lasso> [2005, octubre 26].
GABINET D’AVALUACIÓ I DIAGNÒSTIC EDUCATIU (2004): Pla d’Avaluació i Millora del
Rendimient Acadèmic dels estudiants de 1er Curs (PAMRA 2ª edició). Guia per a
l’avaluació.
Valencia.
Universitat
de
València.
http://www.uv.es/gade/v/serv/index.htm
PÉREZ BOULLOSA, A.; y CHIRIVELLA RAMÓN, A. (2005): “Plan de evaluación y mejora
del rendimiento académico de los estudiantes de primer curso (PEMRA) en la
Universidad de Valencia.” En AAVV: La Evaluación, Acreditación y Certificación
en el marco de la Convergencia Europea. Págs. 163-172. Cuenca: Servicio de
Publicaciones de la Universidad de Castilla-La Mancha
PÉREZ BOULLOSA, A.; y CHIRIVELLA RAMÓN, A. (2005): Pla per a l’Avaluació de la
qualitat dels programes de doctorat (2a edició). Guia per a l’avaluació.
València: Universitat de València.
PÉREZ BOULLOSA, A.; y CHIRIVELLA RAMÓN, A. (2006): “Propuesta de Plan de
Evaluación de la Calidad de los Programas de Doctorado.” En FENOLL, C.;
CORCUERA, F. y VÁZQUEZ, A. (Coords.): Criterios y Directrices para la Garantía
de la Calidad de las Universidades en el EEES. Págs. 201-224. Cuenca: Servicio
de Publicaciones de la Universidad de Castilla-La Mancha.
PÉREZ BOULLOSA, A. BARBERÁ GREGORI, M. A. y CHIRIVELLA RAMÓN, A. (2006):
Programa d’Avaluació de les Pràctiques en Empreses (PAPE) de la Universitat de
València. Guia d’Autoavaluació. València: Universitat de València.
PLAN DE CALIDAD DE LAS UNIVERSIDADES (2001): Guía de Evaluación de la Titulación.
Madrid. Consejo de Universidades.
109
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
REAL DECRETO 1393/2007, de 29 de octubre, por el que se establece la ordenación de
las enseñanzas universitarias oficiales. BOE, 260, 30.10.2007, 44037-44048.
REAL DECRETO 861/2010, de 2 de julio, por el que se modifica el Real Decreto
1393/2007, de 29 de octubre, por el que se establece la ordenación de las
enseñanzas universitarias oficiales. BOE, 161, 3.7.2010, 58454-58468.
110
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
La Evaluación de la Actividad Docente en la UPV.
Un modelo basado en DOCENTIA
J.J. Cano-Hurtado; J.M. Carot-Sierra*; M.A. Fernández-Prada; F. Fargueta
Universidad Politécnica de valencia
* jcarot@eio.upv.es
Resumen:
Las políticas europeas en educación superior dan cada vez más importancia a la
mejora de la calidad de la oferta educativa. En consecuencia, la evaluación de la
actividad docente resulta especialmente relevante para las universidades en la
medida en que ayudan a definir planes eficientes de garantía de calidad. En este
trabajo se presenta un modelo de evaluación de la actividad docente basado en un
índice numérico y en una serie informes cualitativos. Estos elementos contemplan la
evaluación en tres dimensiones (planificación, desarrollo y resultados) en base a los
criterios de adecuación, satisfacción, eficiencia y orientación a la innovación docente.
Los objetivos del modelo son la mejora de la calidad de la docencia, el
reconocimiento de la actividad docente y el diseño de políticas educativas a nivel
institucional.
Abstract:
European policies on higher education are giving increasing importance to improving
the quality of education on offer. Consequently, the evaluation of teaching activity is
especially relevant for the universities, inasmuch as it helps define efficient plans to
guarantee quality. In this paper, an evaluation model of teaching activity based on a
numerical index and a series of qualitative reports is presented. These elements
consider three evaluation dimensions (planning, development and results) based on
the criteria of adequacy, satisfaction, efficiency, and predisposition to teaching
innovation. The objectives of the model are: improvement in the quality of the
teaching-learning process, the recognition of teaching activity and the design of
educational policies at an institutional level.
111
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
1.
Introduction
In the European Higher Education Area there has been a marked trend to improve the quality of the
programmes and courses that university offers. Statements issued by the European ministers who
signed the Bologna Declaration have been directed at assuring and demonstrating the quality of the
educational offer in the face of a fast growing, international demand for higher education, which calls
for ever greater investment.
Nowadays, universities are assuming greater responsibility for contracting and controlling their teaching
staff, consequently, they need to develop procedures for the evaluation of their performance, training
and stimulus, thus guaranteeing their professional skills and teaching competence. The evaluation of
teaching activity is especially important for universities, as guaranteeing the quality of their studies
means assuring not only the professional skills of their teaching staff but also the quality of the teachinglearning.
It is understood that the teaching activity which is the object of evaluation is the teaching-learning
process as a whole, carried out both inside and outside the classroom, and which aids students’ learning
with respect to the objectives and aptitudes defined in study curricula. Teaching activity implies the
coordination and management of teaching, the deployment of teaching methods, learning and
evaluation activities, and finally the later revision and improvement of the procedures carried out.
Consequently, the staff's teaching activity implies different procedures aimed at organizing,
coordinating, planning and teaching the students, as well as evaluating their learning. These procedures
are deployed in response to the training objectives and competences that are intended to be developed
by students. An evaluation of teaching activity must take into account all of the procedures carried out
and evaluate their magnitude and quality, quantitatively and qualitatively (Aleamoni, 1999) (Beran y
violato, 2005) (Centra, 1993).
The evaluation of teaching activity is understood to be an internal evaluation that the university carries
out on its teaching staff to guarantee that teaching objectives are met. This evaluation is based on a
desire to engender an organizational culture based principally on dedication and its members'
accomplishments (Schmeiser y Welch, 2006).
In the process of assurance and improvement in the quality of teaching, the Valencia University of
Technology (UPV) in Spain, decided to participate in DOCENTIA (Support Program for the Evaluation of
Teaching Activity) of the National Agency of the Evaluation of Quality and Accreditation (ANECA). The
fruit of this participation is the model developed by the UPV for the evaluation of the teaching staff's
activities. It considers the planning, development and results of teaching, encompassing all the UPV’s
teaching staff, with an obligatory character and annual periodicity.
2.
Reference Framework
The evaluation model presented in this work is on one hand, based on European and national
recommendations and guidelines and on the other, on the institutional policies for the evaluation of
teaching staff at the university where it was developed.
International
- The document “Standards and Guidelines for Quality Assurance in the European Higher
Education Area” (ENQA, 2005) drafted by the European Association for Quality Assurance in Higher
Education (ENQA) establishes in section 1.4 concerning the quality assurance of teaching staff that,
“Institutions should have ways of satisfying themselves that staff involved with the teaching of
students are qualified and competent to do so. They should be available to those undertaking
external reviews, and commented upon in reports.”
112
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
National
- The Spanish Law of Universities (Ley Orgánica de Universidades (LOU)), in article 33.3
concerning the function of teaching, establishes that, “The activity and the teaching dedication, as
well as the training of teaching staff in Universities are relevant criteria, that should be evaluated to
determine their efficiency in the development of their professional activity ” (LOU, 2001).
-
The Teaching Performance Assessment Programme (DOCENTIA), initiated in 2006 by the
National Agency for the Evaluation of Quality and Accreditation (Agencia Nacional de Evaluación de
la Calidad y Acreditación ANECA) which, “tries to satisfy the demands from the universities and also
to provide the educational system with patterns and procedures that ensure teaching quality and
foster teachers´ development and recognition”, as well as, “responding to the requisites of current
legislation on the obligation to evaluate teaching, research and managerial activities of university
teaching staff” in accordance with the Spanish Law of Universities.
Institutional Policies
-
The UPV's statutes establish in Article 106, “Evaluation of teaching and research staff's
activity”, “The Governing Council will establish the evaluation criteria for teaching, research
and managerial activities of its teaching and research staff, as well as the minimal activity
required, taking the three activities cited into account jointly”. (UPV, 2009 ).
-
The Strategic Plan UPV 2007-2014, formed by 5 Strategic Focal Points (Training and Learning;
Research, Technological Development and Innovation; Social Commitment and Values; People
and Organization), 16 Strategic Objectives, 38 Strategic Lines and 52 Plans of Action. One of the
plans of action that is being developed, included in the Strategic Focal Point: Training and
Learning, has the promotion of teaching excellence as an objective: “To define the indicators of
teaching activity according to the existent reference criteria using the revision of the presentday evaluation mechanisms as a starting point” (UPV, 2007).
The model that is described below is based on all of these recommendations, guidelines and reference
criteria.
3.
The model
The evaluation of teaching activity can be defined as the systematic evaluation of teaching performance
according to the professional role and contribution required to reach the objectives of the course in
question taking into consideration the institutional context.
Teaching activity can be defined as the group of procedures that are carried out both inside and outside
the classroom, destined to favour the learning of the students with respect to the objectives and
guidelines defined in the curriculum and a determined institutional context. Therefore, teaching activity
implies the planning and management of teaching, the deployment of teaching methods, learning and
evaluation activities, and finally the revision and improvement of the procedures carried out.
The staff's teaching activity implies different procedures aimed at organizing, coordinating, planning and
teaching the students, as well as evaluating their learning. These procedures are deployed in response
to the teaching objectives and guidelines that are designed to aid the students. Therefore, the
evaluation of teaching activity must recognize the group of procedures that the lecturer develops as his
professional duty (quantitative dimension), but also include the global evaluation of such activity
relating to the objectives of the qualifications of the awarding institution (qualitative dimension).
In order to evaluate the teaching activity of the UPV's teaching staff quantitatively a parameter that
incorporates the different dimensions of the developed teaching activity has been defined. This
parameter is called the Teaching Activity Index (TAI) and is evaluated using a point system (TAI points),
so that personalized and institutional (centre or department) evaluations can easily be obtained.
113
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Additionally, the result of the evaluation of the staff's teaching activity could be classified into categories
through satisfying given standards determined in terms of TAI points.
The proposed TAI point system has two characteristics that should be highlighted:
a)
It is a summative system, which does not a priori limit the number of points that can be gained.
b) Ordinary activities carried out are recognized via the corresponding TAI points, but the scores
obtained can be increased, in terms of the level of results achieved.
The dimensions, criteria and indicators of the evaluation model are established below.
Dimensions, criteria and indicators of the model.
The evaluation model of teaching activity considers three general dimensions for the analysis and
evaluation of the teaching staff's performance:
•
•
•
Planning
Development
Results.
The teaching activity evaluation criteria that underlie the evaluation model are:
1.
Adequacy: The teaching activity must respond to the requisites established by the university
and the centre concerned, in relation to the organization, planning, and development of the
teaching and the evaluation of student learning. Such requisites must be aligned with the
teaching objectives and guidelines included in the curriculum and with the institution's
objectives.
2.
Satisfaction: The teaching activity must generate a favourable opinion from the rest of the
agents implied, especially students, colleagues and academic heads.
3.
Efficiency: Considering the resources at the lecturer’s disposition, teaching activity must foster
the attainment of the anticipated results, in terms of the objectives and guidelines outlined in
the curriculum.
4.
Predisposition to innovation in teaching: teaching activity must include a point of view that
favours the training of the teaching staff through self-training or training regulated by other
authorities. It should be developed from a predisposition to introduce changes that improve
the teaching-learning process and, therefore, influence the manner in which teaching is
planned and developed or results are evaluated.
In order to respond to these criteria, a group of indicators have been established in each of the
dimensions considered that reflect the different aspects of teaching activity correlated to each of them.
The indicators considered are described in section 4.
Objectives of the model
The objective of the teaching evaluation model proposed is to provide the university with a tool to
measure teaching activity and a system of evaluation that means:
-
Improvement in the quality of teaching
-
Acknowledgment of teaching activity
-
Design of training programs and innovation in teaching
114
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
- Use as a tool to introduce elements of objectivity, equity and transparency in the definition and
fulfilment of the teaching staff's policies, such as training or promotion, and especially in all of the
processes that require an evaluation of the teaching activity of the staff and academic units.
- Having quantitative indicators of teaching activity comparable to the system of indicators of
research activity, that will, together with the indicator of management activities, permit integration
into a general indicator of the academic personnel‘s activity.
-
Assigning economic resources and paying incentive bonuses.
Elements
The evaluation model is comprised of quantitative evaluation with TAI and qualitative evaluation
through reports.
-
-
Quantitative evaluation of teaching activity (TAI): is the numerical value calculated with the
measurement system explained in the following section, taking into account institutional data
bases, information provided by the lecturer and student opinion questionnaires.
Qualitative evaluation through reports:
o Teacher self-report: once the TAI value is obtained, the lecturer has the opportunity to
carry out a qualitative personal evaluation of his teaching performance to complement
the quantitative evaluation.
o Report by the academic heads of departments and centres. The academic heads of
departments and centres in which the lecturer carries out his activity can provide an
evaluation report.
The evaluation process
The process begins with the calculation of the TAI score for all of the lecturers. This process is carried
out automatically using the information available in the institutional data bases. The lecturer can see a
detailed report of his evaluation through a computer application, with the possibility to add missing
information or correct any errors. Once this process is finished and the definitive evaluation is obtained,
the report stage is initiated: self-reports and reports from the academic heads of departments and
centres. This process is also computerized.
A Teaching Evaluation Committee is assigned to manage this process, appraise each lecturer’s results
and make decisions. This committee issues the Initial Evaluation Report starting with the numerical
value obtained in the TAI and the reports from the lecturer and academic heads. From the analysis and
evaluation of these sources a personalized global evaluation is given (very favourable, favourable, or
unfavourable). After informing the applicant of the resolution of the teaching evaluation process, he has
two weeks to request a revision of the evaluation carried out. Once any appeals have been resolved the
Committee issues the Annual Report.
Consequences and decisions resulting from the measurement of teaching activity
The teaching activity measurement model has been designed to provide relevant information to
different groups: teachers, managers and university management. On the basis of the results obtained a
series of decisions have been taken and future actions have been planned. These will be now briefly
described.
-
In line with the criteria of the European Association for Quality Assurance in Higher Education
(ENQA) the UPV provides lecturers with opportunities to improve their abilities through the
design of individualized Improvement Plans, adapted to the needs detected and in terms of the
dimension requiring improvement (Planning, Development or Results). These plans establish
needs for specific training, proposals for the application of innovative teaching methods, etc.
115
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
-
-
-
4.
The Teaching Evaluation Committee carries out the monitoring of the different actions
designed in the Improvement Plans that result from the teaching evaluation.
The data from the measurement of TAI provides a clear image of the situation of the teaching
activity of the UPV's teaching staff. This information is available, at different levels, to university
managers and to the members of the management team, being a useful tool in the design of
policies, motivation for determined activities related to teaching and the implementation of
improvement plans.
The results obtained in the teaching activity indices and also in an equivalent system which the
university has at its disposal to measure research activity, are used to award economic bonuses
to the teaching staff.
The satisfactory development of teaching activities for five years constitutes recognition at a
curricular level. The system of indicators and the teaching activity index is used for the
awarding of these merits.
Way of measuring
In response to the criteria presented, a group of indicators that reflect the different aspects of teaching
activity associated with each of the three dimensions envisaged has been established. Each of the
indicators is evaluated in TAI points, calculated in terms of the activities covered by the indicator. The
detailed
evaluation
in
points
for
each
indicator
can
be
found
at
http://www.upv.es/entidades/VCEAA/menu_722363c.html.
1.
Planning:
1.1. Training: This indicator reflects the preparation of the lecturer to deal with his teaching
activity, by means of training activities, in pedagogic and educationally innovation
terms as well as relating to the subjects taught and with the experience of the lecturer
acknowledged by the student questionnaires. This indicator is indexed to a period of
five academic courses.
Over the period of five academic courses a total of 600 hours of participation in training
activities is considered to be adequate (120 hours annually). The lecturer's experience is
considered to be accredited with a result above 6 out of 10 points in the student
questionnaires.
1.2. Curriculum: This indicator refers to publication in the web of the curriculum for each
subject taught. In which the organization and planning of teaching-learning is outlined.
1.3. Posting information about tutorials and study groups: This indicator is basic for the
students, who need to know about the types and times of their tutor’s study groups and
tutorials, as well as the lecturers that teach the different courses, before the start of the
academic course.
1.4. Teaching material: This indicator reflects the lecturer's activity in relation to the production
of teaching materials and resources. It includes teaching publications and e-materials.
TAIP = sum of the points obtained in the four sections of the dimension.
2.
Teaching Development: Teaching Development is assessed in terms of number of hours, which are
then converted to TAI points, with 25 hours corresponding to 1 TAI point.
2.1. Teaching delivered: This indicator totals the number of hours of teaching delivered by the
teacher in the subjects imparted, taking into account the experience acquired in each of
them according to the year of delivery (first year, second or third and so on, equalling of
40, 30 and 20 hours respectively). If teaching is given in Valencian, English or another
foreign language the number of corresponding hours is multiplied by 1.5.
116
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
2.2. Tutorials carried out: This indicator reflects the number of hours the lecturer devotes to
tutorials.
2.3. Evaluation: This indicator reflects the activity of the lecturer in relation to the evaluation
tasks or actions realized.
2.4 Other teaching activities: This indicator includes all of the other teaching-type activities that
the lecturer realizes in the performance of his functions that are not necessarily directly
related to the subjects imparted. Among others, the following are considered: supervision
of final projects, doctoral theses, membership of academic boards, participation in
teaching improvement and renewal activities in other universities, teaching in other
universities…
TAID = sum of the points obtained in the four sections of the dimension
3. Results
3.1. Student opinion questionnaire on the teaching performance (K1): This indicator considers
the opinion of the students on the lecturer's teaching performance, especially in those
aspects relating to the development of teaching; given that it is in this dimension that
lecturer-student interaction occurs, permitting a more fundamental opinion.
3.2. Academic performance (K2): This indicator reflects the degree to which teaching objectives
are satisfied on the part of the students in a determined subject of study, in the context of
the awarding of qualifications, in the course, and in the type of subject (core, obligatory,
optional).
3.3. Fulfilment of tutorials (K3): This indicator reflects the fulfilment of the tutorial schedule on
the part of the lecturer during the academic course.
3.4. Meeting grade report deadlines (K4): This indicator reflects the fulfilment of established
deadlines for the delivery of grade reports.
K res = 0,60 ⋅ K1 + 0,30 ⋅ K 2 + 0,05 ⋅ K 3 + 0,05 ⋅ K 4
The result indicators have an overall multiplier effect on the weighted value obtained in the two
previous indicators:
TAI x = (0.30 ⋅ TAI P + 0.70 ⋅ TAI D ) ⋅ K res
Where the x indicates the year of evaluation
The personalized evaluation of teaching activity for the year is obtained by weighting the index of
teaching activity in the last four years, according to the following expression:
TAI = TAI x + 0.75 ⋅ TAI x −1 + 0.50 ⋅ TAI x − 2 + 0.25 ⋅ TAI x − 3
5.
Conclusions
In this paper a model has been presented for the evaluation of teaching activity based on international
recommendations in a national and institutional context. The evaluation model is complete, precise,
adequate, universal and easy to measure.
117
Documentos de Trabajo: XII Foro de Almagro.
El Papel de los Indicadores en el Seguimiento y en los Sistemas de Garantía Interna de la Calidad
Evaluation models of teaching activity, such as the one presented are extremely useful tools for
university managers to control the quality of teaching and to design continuous improvement plans. On
the other hand, the increasing need to design acknowledgement plans for the teaching staff's activities
means that the application of models such as this one is increasingly necessary.
Finally, it should be noted that the use of teaching activity evaluation systems leads the teaching staff to
increasingly take into account the criteria that these systems consider. In this way the teaching staff is
encouraged to reflect on adequacy, satisfaction, efficiency and innovation in teaching, creating a quality
culture with regard to teaching activity.
6.
References
Aleamoni, L.M. (1999). Student rating myths versus research facts from 1924 to 1998. Journal of
Personnel Evaluation in Education, 13, 153-166.
Beran, T. y Violato, C.(2005). Rating of university teacher instruction: How much do student and course
characteristics really matter? Assessment and Evaluation in Higher Education, 30, 593-601.
Centra, J. A. (1993). Reflective faculty evaluation. San Francisco: Jossey-Bass.
ENQA, (2005). Standards and guidelines for Quality Assurance in the European Higher Education Are,
Helsinki.
LOU (2001). Ley Orgánica 6/2001, de 21 de diciembre, de Universidades.
Schmeiser, C. B., y Welch,C. (2006). Test development. En R. L. Brennan (Ed) Educational Measurement.
Wetport, CT: American Council on Education/Praeger.
UPV, (2007) Universidad Politécnica de Valencia, Plan Estratégico, http://planestrategico.upv.es/
UPV, (2009) Universidad Politécnica de Valencia, Estatutos, http://www.upv.es/organizacion/conoceupv/estatutos-upv-es.html
118