OFICINA PARA EL DESARROLLO DE LAS ENSEÑANZAS MODELO DE MEMORIA FINAL PROYECTOS DE LA CONVOCATORIA PARA EL DESARROLLO DE LAS ENSEÑANZAS 2013 1. Nombre del proyecto. Coordinadores y equipo de trabajo1. Material de evaluación y aprendizaje digitalizado que tenga en cuenta la relevancia de los contenidos y el perfil del usuario Director: Sacha Gómez Moñivas. Centro Responsable: Escuela Politécnica Superior. Equipo de trabajo: Covadonga Sevilla Cueva Pilar Rodríguez Marín Francisco Luis Borrego Gallardo Rubén Valero Fernández Pablo Molins Ruano Simone Santini 2. Presentación. El objetivo general del proyecto ha sido desarrollar herramientas de evaluación para cursos online que sean capaces de incluir en la evaluación 1 Incluir NIF de los coordinadores y del equipo de trabajo. la relevancia de los contenidos y adaptarse al perfil del usuario. Estas herramientas también pueden utilizarse como sistemas de retroalimentación de los estudiantes para detectar los puntos en los que tienen mayores deficiencias y corregirlos. El proyecto ha incluido a un grupo de trabajo multidisciplinar, que incluye a profesores y estudiantes con conocimiento en Informática, Historia y Psicología. Este grupo de trabajo viene colaborando activamente en los últimos años en la digitalización de material docente y en el estudio de la motivación en métodos alternativos de aprendizaje. En este proyecto se ha desarrollado una serie de herramientas de evaluación online que parten material informático que se ha desarrollado conjuntamente en los últimos años, y que sirve como base para las aplicaciones del presente proyecto. 3. Objetivos iniciales y objetivos cumplidos. Tal cual se explicaba en la propuesta inicial del proyecto, se han realizado exitosamente las siguientes aplicaciones: 1) Test de evaluación adaptativo de opción múltiple donde la sucesión de preguntas depende de las respuestas obtenidas en preguntas anteriores. La siguiente figura muestra el esquema final de su funcionamiento. Figura 1: Esquema de funcionamiento del test desarrollado durante el presente proyecto. Este esquema se ha programado y es operativo en la aplicación e-valUAM que hemos desarrollado y de la que se muestran imágenes a partir de la figura 2 del presente informe. 2) Material docente online con el mismo formato, pero que sirve para corregir y formar en los contenidos en los que se detecten lagunas en los estudiantes. Este material se ha desarrollado a partir de la misma herramienta de evaluación. La principal diferencia es que, en este caso, los test se han diseñado para el repaso de la asignatura en lugar de para la evaluación. A continuación se muestra una imagen con la aplicación tal cual la ven los estudiantes al acceder y el listado con las actividades de repaso que se han desarrollado. Figura 2: Pantalla de presentación de la aplicación e-valUAM 2.0. 4. Actividades realizadas. - La aplicación de evaluación desarrollada se ha empleado exitosamente en la evaluación de alumnos de la asignatura Historia Antigua I, cuya profesora responsable es Covadonga Sevilla. A lo largo del periodo de duración del proyecto se han realizado tres pruebas de evaluación que han servido para calificar a los estudiantes a lo largo del cuatrimestre. La última prueba se ha incluido como parte de la evaluación ordinaria de enero de 2014. - Se han preparado tres actividades de autoevaluación que los estudiantes han empleado a lo largo del cuatrimestre para afianzar conocimientos. En la figura 3 se muestra un ejemplo de uno de los test de evaluación en funcionamiento, donde los estudiantes contestan a una serie de preguntas que se les muestran siguiendo el esquema de la figura 1. Figura 3: Ejemplo de la aplicación e-valUAM con una de las preguntas de examen final de la asignatura Historia Antigua I. Enero de 2014. - Se ha desarrollado un set de preguntas evaluadas por expertos para ser catalogadas en distintos niveles de relevancia. Estas preguntas, además de estar revisadas para cumplir los principios básicos de psicometría, han sido tratadas estadísticamente por la aplicación evalUAM para ser descartadas o revisadas en función de la tasa de acierto de los estudiantes. Este tipo de cálculos estadísticos se muestran en la figura 4. Figura 4: Estadísticas obtenidas por pregunta en la aplicación e-valUAM para la primera prueba de evaluación desarrollada en Historia Antigua I. 5. Resultados alcanzados e indicadores. Se ha desarrollado http://sacha.ii.uam.es. la aplicación e-valUAM, disponible en Los resultados de este proyecto están incluidos en las siguientes comunicaciones a congresos y artículos de investigación: “Designing videogames to improve students’ motivation” P. Molins-Ruano, C. Sevilla, S. Santini, P. A. Haya, P. Rodríguez and G. M. Sacha. Computers in Human Behavior. “Computer-assisted assessment with item classification for programming skills” C. González-Sacristán, P. Molins-Ruano, F. Díez, P. Rodríguez and G. M. Sacha Proceedings de Computer-assisted assessment with item classification for programming skills (TEEM 2013), (2013).