Tı́tulo: Tecnologı́a para la Retroalimentación Oportuna y la Evaluación Autores: Uresti E., Brena R. y Góngora J.J., Campus Monterrey. Palabras claves: Evaluación. Retroalimentación. Informática. Introducción La retroalimentación efectiva es un factor clave en el proceso de enseñanza-aprendizaje; permite la economı́a de esfuerzos y ayuda definir con claridad las metas a alcanzar. Lograrla en forma precisa y automatizada es un objetivo demasiado lejano, pero en su búsqueda varios hallazgos de valor pueden encontrarse. Desarrollo El propósito es presentar el estado actual del proyecto de apoyo académico descrito en [Uresti2003] el cual está centrado en la evaluación y la retroalimentación. La base del sistema radica en un banco de reactivos que se distribuye en todo el programa del curso. Los reactivos son de naturaleza cerrada: algunos son de opción múltiple, otros del tipo verdadero o falso, otros de asociación de columnas, otros del tipo respuesta numérica y otros más de varias respuestas numéricas. Con tal banco son construidas actividades de aprendizaje como tareas, exámenes o proyectos individuales. La naturaleza cerrada de los reactivos permite calificar las respuestas de los alumnos en forma automática. Las respuestas se reciben via WEB y se almacenan en bases de datos desde donde es posible procesar la información para generar evaluaciones. Estas evaluaciones se realizan en tres diferentes niveles. En un primer nivel está la evaluación misma de los reactivos. Esta evaluación es una validación estadı́stica usando las respuestas de los alumnos y los modelos tradicionales de validación como se destriben en [Vidal et al.2000] y [Baker and Kim2004]. Los indicadores usados son la dificultad y discriminación. El segundo nivel de evaluación es el referente al desempeño de cada alumno. Usando los problemas resueltos por él en las tareas y los indicadores de los reactivos involucrados se determina una evaluación por tema mediante una suma de las calificaciones del alumno en los reactivos ponderada por la dificultad y el poder de discriminación. Ası́ mismo se ha definido una escala empı́rica para determinar cuando un tema es comprendido o no por el alumno. Cuando un tema es no comprendido, se define una meta individual. El acumulado de metas individuales es un indicador de los temas que se debe trabajar para las siguientes evaluaciones. El siguiente nivel de evaluación está dirigido al desempeño del maestro. Este consiste en identificar cuáles son los temas en los cuales sus alumnos tienen un número mayor de metas individuales. Esto le permite al profesor identificar temas que merecen ser revisados en forma grupal y previa a las evaluaciones. Actualmente, se está revisando la escala empı́rica de aceptación y la posibilidad por hacerla dependiente al tema de forma tal que sea posible identificar temas en el curso cuyo desempeño se requiera un mayor conocimiento que otros. Resultados Se ha podido llevar a cabo la estrategia de identificación de metas individuales aunque aún resta verificar si la escala es la estadı́sticamente correcta. Resultados parciales pueden verse en su aplicación accesando la página: http://www.mty.itesm.mx/etie/ deptos/m/ma95-843/ y solicitando información en la liga Soluciones (a la izquierda en el menú) tomando como dato el alumno muestra con matrı́cula 1 y clave 1 para la tarea No 1.Ası́ mismo, se pueden revisar historiales de calificaciones, envios realizados y metas acumuladas. Capitalizaciones: La identificación para cada estudiante de los temas que merecen ser revisados permite enfocar esfuerzos en la preparación de un examen. La generación de un reporte de temas en los cuales sus alumnos presentan problemas de aprendizaje le permite al profesor ser más efectivo en su proceso docente. La automatización misma de los procesos facilitan la administración del curso tanto para el alumno como para el maestro. La integración de la calificación de actividades y la revisión estadı́stica de permite una actualización continua de indicadores de reactivos. 1 Referencias [Baker and Kim2004] Baker, F. and Kim, S.-H. (2004). Item Response Theory, Paramter Estimation Techniques, 2nd Edition. Marcel Dekker, Inc., New York. [Uresti2003] Uresti, E. (2003). Evaluación y retroalimentación automatizada en la enseñanza: una implementación especı́fica. In Reunión de Intercambio de Experiencias en Educación, Monterrey, Nuevo León. ITESM. [Vidal et al.2000] Vidal, R., Leyva, Y., Tristán, A., and Martı́nez, F. (2000). Manual técnico. Technical report, CENEVAL. 2