Personalización de tests: hacia un nuevo entorno de evaluación Tests aleatorios: hacia un nuevo entorno de evaluación Fernando Rey Míguez; ferey@udc.es Luis P. Pedreira Andrade; lucky@udc.es Departamento de Economía Aplicada II Universidad de A Coruña RESUMEN Presentamos en este trabajo una herramienta que consideramos muy útil en el aprendizaje y evaluación de los alumnos en asignaturas de nuestra área. Hemos desarrollado un entorno completo de trabajo basado en la generación de tests aleatorios. Tras su realización en el aula, se efectúa una corrección automática, enviando a cada alumno su calificación y sus soluciones correctas razonadas. La asignatura en la que hemos desarrollado este trabajo es Matemáticas para ADE de primer curso, pero las técnicas empleadas pueden exportarse a otras asignaturas de contenido cuantitativo. Palabras claves: Personalización; evaluación Clasificación JEL A20 Área temática Metodología y Didáctica de las Matemáticas y otras materias cuantitativas aplicadas a la Economía y a la Empresa. XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 1 Rey Míguez, Fernando; Pedreira Andrade, Luis P. 1. INTRODUCCIÓN Tradicionalmente siempre hemos deseado en nuestras asignaturas realizar una evaluación que no estuviese basada exclusivamente en la realización de una prueba escrita. Es por ello que durante algún tiempo solicitamos a nuestros alumnos la realización de una serie de boletines con problemas que debían resolver. También efectuábamos alguna prueba escrita(control) con ejercicios en el aula durante el curso. Tanto los boletines como los controles eran corregidos y formaban parte de la evaluación del alumno; se les asignaban 2 o 3 puntos para después calificar la prueba global con 8 o 7 puntos respectivamente. La realización de boletines, al ser el mismo para todos conducía a la realización por parte de alguno de ellos, para los demás únicamente proceder a su copia. Este problema ya se trató en [1], donde propusimos una alternativa basada en una plataforma de generación de boletines personalizados. Animados por el éxito obtenido con nuestro trabajo, pensamos en aprovechar y adaptar las técnicas empleadas para la realización de controles periódicos durante el curso. Para ello, y en primer lugar, para poder realizar una corrección rápida, las pruebas tendrían que ser tipo test. En segundo lugar, dado el elevado número de alumnos que tenemos habitualmente y con la imposibilidad de separarlos adecuadamente en el aula, necesitábamos construir diferentes tipos, similares en dificultad pero diferentes en cuanto soluciones. Finalmente, el método no tenía que ser una mera herramienta de evaluación para el profesor, debería de ser útil desde el punto de vista del aprendizaje; el alumno debería saber tras la realización de su prueba y la recepción de su nota, qué errores había cometido, cuáles eran las soluciones correctas y, si fuera posible, debidamente razonadas. Nos pusimos manos a la obra. Basándonos en la plataforma de boletines personalizados fuimos construyendo tests para casi todos los capítulos de la asignatura. Poco a poco fue naciendo un proceso para realizar tests aleatorios con los requerimientos que inicialmente nos habíamos propuesto, habiendo cumplido los resultados obtenidos nuestras expectativas sobradamente. Indicar que cambiamos por preferencias personales la herramienta informática. Dejamos Microsoft Office y usamos OpenOffice. No es este el lugar más apropiado para establecer pros y contras de cada una de ellas, pero si decir que ambas cubren perfectamente nuestras necesidades. XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 2 Personalización de tests: hacia un nuevo entorno de evaluación Cabe destacar igualmente que el desarrollo de los test aleatorios nos ha permitido mejorar y completar algunas técnicas usadas en los boletines personalizados, obteniendo en conjunto un sistema todavía más estable, manejable y completo. Comenzamos nuestro recorrido por la construcción de las preguntas de un test. 2. UN PAR DE PREGUNTAS COMO EJEMPLO Incluyamos en primer lugar una pregunta en la que haya que trabajar con valores absolutos para describir un recinto; por ejemplo ¿qué números reales satisfacen la relación |x2-45|≤13? Obviamente, para el recinto en cuestión 45-13≤x2≤45+13, o equivalentemente 32≤x2≤58. Las desigualdades anteriores ponen de manifiesto que para que el proceso anterior funcione necesitamos escribir |x2-a|≤b con a>b y de forma que los números b+a y b-a sean cuadrados perfectos. Así, el recinto A={x∈IR/|x2-a|≤b} será [-α,-β]∩[β,α] donde α= (a+b)1/2 y β= (a-b)1/2 y despejando a=(α2+β2)/2 y b=(α2-β2)/2. Si queremos conseguir problemas similares al planteado al comienzo de este epígrafe, todo se reduce a encontrar números α y β no excesivamente grandes, de forma que a y b definidos previamente sean pares. Para ello construimos la hoja de cáculo siguiente: XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 3 Rey Míguez, Fernando; Pedreira Andrade, Luis P. Aunque podría emplearse otra disposición y ahorrar espacio, ya que daremos a cada pregunta del test cuatro alternativas, empleamos cuatro filas para cada pregunta. Señalar también que siempre añadimos el número de pregunta al identificador de campo para evitar futuras duplicidades en los nombres, con los problemas derivados que ello ocasiona. Centrándonos en los valores numéricos del primer problema generado que ocupa las celdas B4-H7, como indicamos anteriormente, generamos los números α y β; α en el intervalo [2,15] y β en el intervalo [1,α-1]. De esa forma a y b son positivos con a>b>0. Solo falta que ambos sean enteros, que es la condición que se comprueba en la celda H8 cuyo contenido es: Y(D15=ENTERO(D15);E15=ENTERO(E15)) que se convertirá en VERDADERO o FALSO dependiendo de los valores aleatorios generados. Esta celda se usará a modo de filtro para seleccionar entre los problemas obtenidos los válidos, tras replicar las celdas B4-H7 que contienen los datos del problema. Obtenemos también los valores intermedios M1 y N1 que son respectivamente a+b y a-b, que posteriormente usaremos al detallar la resolución. Ahora basta replicar este problema inicial generado para obtener muchos más. Como puede observarse en la figura anterior, se alcanza una tasa de éxito sobre el 40% XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 4 Personalización de tests: hacia un nuevo entorno de evaluación empleando los márgenes indicados para los números a y b. El porcentaje es algo reducido pero aceptable. La segunda pregunta para nuestro test será más conceptual, lo que conllevará mucha menos elaboración numérica. Consideremos un conjunto formado por una sucesión y su límite. Es obvio que el límite es un punto de acumulación, adherente y frontera del conjunto pero no interior al mismo. Si deseamos conocer el dominio de estos conceptos topológicos por parte del alumno podríamos plantear la pregunta como sigue: Dado el conjunto A={xn}∩{l} con {xn} l, indicar la afirmación falsa: A) l es un punto frontera de A B) l es un punto de acumulación de A C) l es un punto adherente de A D) l es un punto interior de A Para que haya algo de variación -y por qué no- algo de cálculo, intentando también que la pregunta no sea tan teórica en el enunciado, podríamos generar valores aleatorios para obtener una sucesión sencilla unida a su límite, lo que es relativamente fácil en nuestra hoja de cálculo, por lo que omitimos los detalles, y plantear la misma pregunta como sigue: Indicar la afirmación falsa siendo A={6} ∩ {(6n-5)/n}n∈IN A) 6 es un punto frontera de A B) 6 es un punto interior de A C) 6 es un punto adherente de A D) 6 es un punto de acumulación de A 3. COMPLETANDO LA PREGUNTA DEL TEST Una vez elaborada la pregunta de la que conocemos la respuesta correcta, debemos completar la misma con otras tres soluciones alternativas para que el alumno seleccione la correcta. Esta tarea depende del problema planteado, debiendo ingeniárnoslas para presentar otras tres alternativas a la válida. A veces la tarea es sencilla; si el resultado es numérico, basta con proponer números similares al correcto. Para otro tipo de preguntas buscaremos las tres opciones dentro del contexto de la misma. XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 5 Rey Míguez, Fernando; Pedreira Andrade, Luis P. Para el primer ejemplo planteado, hemos elegido las tres siguientes para completar la correcta A): A) [-11,-5]U[5,11] B) [-5,5] C) [-11,11] D) [5,11] Para la segunda pregunta planteada, las alternativas ya están incluidas en el propio contexto de la pregunta, por lo que ya está completa. 4. BARAJANDO LAS SOLUCIONES Diseñadas las preguntas(habitualmente diez en nuestros tests) y construida la tabla convenientemente, ésta se combina con un documento en el editor de textos de OpenOffice(Writer) para conseguir el enunciado del test. Podemos construir todos los que deseemos; conseguiremos diferentes enunciados, todos con el mismo planteamiento pero variando los datos numéricos que directamente involucran. Esto está bien pero necesitamos algo más, barajar las soluciones para evitar que aun siendo diferentes, cada uno de los modelos tenga idénticas respuestas, ya que esto sería detectado por alguno de nuestros alumnos y echaría por tierra uno de nuestros objetivos. Para esta tarea, dado que tenemos cuatro respuestas por pregunta, podríamos plantear sobre cada una de ellas 4!=24 diferentes ordenaciones. Empleando la hoja de cálculo, una vez construida para cada pregunta con sus soluciones, éstas se permutan aletoriamente dentro de las 24 posibilidades existentes, guardando cuidadosamente información de la respuesta correcta, como se muestra en la hoja: XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 6 Personalización de tests: hacia un nuevo entorno de evaluación Por ejemplo, esta sería una de las múltiples posibilidades de plantear nuestra pregunta 1, asociada a la permutación numerada con 24(1234 4321) sobre las celdas I15-I12(el orden natural inicial está invertido), en la que hemos retocado algo la pregunta solicitando el cálculo del interior del recinto: El interior del conjunto A={x∈IR / |x2-73|≤48} es: A) (-11,-5)U(5,11) B) (-5,5) C) (-11,11) D) (5,11) que se corresponde con las celdas N12-N15. En cualquier caso, nuestro objetivo no es hacer un test para cada alumno -aun siendo factible- sino la cantidad suficiente que garantice que cada alumno resuelva el suyo, evitando lo que coloquialmente nosotros llamamos interferencias, o lisa y llanamente copias. Generalmente solemos hacer 8 o 9 tipos diferentes. 5. LA RESOLUCIÓN DEL TEST Las tablas asociadas al test deben construirse no solamente pensando en las soluciones, sino también en poder mostrar el razonamiento para obtenerlas, calculando, si es preciso, valores intermedios que faciliten mejor su comprensión como es en nuestro caso el de las variables M1 y N1 como mostramos a continuación: La desigualdad |x2-73|≤48 es equivalente a -48≤x2-73≤48 y ésta a 25≤x2≤121, x∈IR. Al ser, {x∈IR/x2≤ 121}=[-11,11] y {x∈IR/25≤x2}=[-∞,-5]∩[5,+∞]. Por tanto A={x∈IR/ 25≤x2≤121}=[-11,-5]∩[5, 11], por lo que Ao=(-11,-5)U(5,11), que es A) XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 7 Rey Míguez, Fernando; Pedreira Andrade, Luis P. que se corresponde a la combinación de la hoja de cálculo sobre el texto: La desigualdad |x2-a1|≤b1 es equivalente a -b1≤x2-a1≤b1 y esta a N1≤x2≤M1, x∈IR. Al ser, {x∈IR/x2≤ M1}=[-alfa1,alfa1] y A={x∈IR/N1≤x2}=[-∞,-beta1]∩[beta1,+∞] Por tanto A={x∈IR/ N1≤x2≤M1}=[-alfa1,-beta1]∩[beta1, alfa1], por lo que Ao=P1Correcta, que es S1letra) en la que hemos resaltado los campos combinados. 6. REALIZACIÓN Y CORRECCIÓN DEL TEST Lo que nos planteamos en junio de 2007 cuando nacieron las ideas que desarrollamos en este trabajo, fue intentar mecanizar el proceso de corrección. Tradicionalmente, siempre que habíamos hecho tests, se habían corregido con plantilla y de forma manual que, aunque no es un trabajo laborioso, sí es pesado. La adquisición por parte de la facultad por esas fechas de una lectora de marcas ópticas nos animó a intentar emplearla, lo que nos facilitó, añadido a la comodidad de corrección, algo que nos interesaba mucho: entregar a cada alumno información detallada sobre su prueba. Diseñamos para tal fin una hoja para la lectura acorde con nuestras necesidades y encargamos un buen número de ejemplares a la imprenta, para que estuviesen listos antes de empezar el curso para poder hacer las pruebas necesarias. Aquí tenemos uno de ellos cubierto por un hipotético alumno: XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 8 Personalización de tests: hacia un nuevo entorno de evaluación El proceso de corrección con la lectora de marcas tiene tres etapas − Definición de la hoja de lectura óptica: se indican los parámetros de lectura y la posición física de los campos dentro de la misma. − Definición del fichero de salida: se indican los nombres de los campos, los tipos, la posición que ocupan dentro del registro y los controles a llevar a cabo sobre ellos. − Lectura óptica de los modelos: se crea un fichero con los datos definidos y corrige los modelos. En nuestro caso, definimos la hoja: definimos el fichero de salida: XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 9 Rey Míguez, Fernando; Pedreira Andrade, Luis P. y finalmente, procedemos a la lectura óptica de los modelos: en la que, en primer lugar, se leen las plantillas con las soluciones correctas(corrección multiplantilla) en nuestro caso determinada por el campo TIPO, para posteriormente leer todos los ejercicios de los alumnos. La corrección es inmediata, pudiendo obtener rápidamente la gráfica de frecuencias: XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 10 Personalización de tests: hacia un nuevo entorno de evaluación Superada la dificultad inicial que siempre supone la familiarización con un nuevo sistema, el proceso de corrección pasó a ser una tarea simple, rápida y efectiva. 7. LOS RESULTADOS DEL TEST Realizada la prueba en el aula y corregida siguiendo el método esbozado en el apartado anterior, la lectora genera un archivo(formato dbf en dbase) que recoge toda la información de la hoja para cada alumno, y ésta, convenientemente procesada empleando OpenOffice, hace llegar a cada uno a su cuenta de correo la siguiente información: MATEMÁTICAS PARA ADE CONTROL DE TOPOLOGÍA Y SUCESIONES LÓPEZ LÓPEZ, LUIS B 425 0529Z mateadecoruna0809.425@gmail.com Hola. Ya está corregido el control y estos son tus resultados: Tipo Tus soluciones Las correctas Aciertos Fallos En blanco NOTA 6 -D--DBBC-BDAADBCCAB 4 1 5 3,75 Ha habido incidencias en la lectura de tu control. Debes poner más cuidado al cumplimentar tus datos personales. Recibirás aparte las soluciones correctas razonadas. Saludos. El profesor de la asignatura, Fernando Rey Míguez XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 11 Rey Míguez, Fernando; Pedreira Andrade, Luis P. Es en este momento cuando empiezan a verse los resultados del esfuerzo realizado. Pero hay más, como se indica en el correo previo, cada alumno recibe también aparte en su cuenta de correo, la resolución detallada de su test. A modo de ejemplo mostramos para el anterior alumno las dos primeras preguntas del archivo recibido: MATEMATICAS PARA ADE CONTROL DE TOPOLOGIA Y SUCESIONES Tipo 04 1. El interior del conjunto A={x∈IR/|x2-73| 48} es: A) B) C) D) (-11,-5)U(5,11) (-5,5) (-11,11) (5,11) Solución: La desigualdad |x2-73|≤48 es equivalente a -48≤x2-73≤48 y esta a 25≤x2≤121, x∈IR. Al ser, {x∈IR/x2≤ 121}=[-11,11] y {x∈IR/25≤x2}=[-∞,-5]∩[5,+∞] Por tanto A={x∈IR/ 25≤x2≤121}=[-11,-5]∩[5, 11], por lo que Ao=(-11,-5)∩(5,11), que es C). 2. Indicar la afirmación falsa siendo A={6} ∩ {(6n-5)/n}n∈IN A) B) C) D) 6 6 6 6 es es es es un un un un punto punto punto punto de acumulación de A interior de A adherente de A frontera de A Solución: Puesto que A es una sucesión unido a su límite -6-, éste es un un punto frontera, de acumulación y adherente de A, por lo que la falsa es B). 8. UN POCO DE LOGÍSTICA: LA HERRAMIENTA Como ya mencionamos, el software empleado para la ejecución de este proceso es la suite ofimática OpenOffice, concretamente la hoja de cálculo Calc, el procesador de textos Writer y la base de datos Base. XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 12 Personalización de tests: hacia un nuevo entorno de evaluación Existe innumerable información sobre esta OpenOffice tanto en manuales como en la red. En la bibliografía recogemos un manual básico[2] que nos han gustado especialmente. La creación de archivos, manipulación, envío, etc, ha seguido un largo camino de desarrollo durante casi dos años, encontrándose en una fase ya bastante estable y cómoda de manejar. Los procesos son manuales e intuitivos y el uso que hacemos de OpenOffice es de nivel básico-intermedio. En cuanto a los archivos empleados, son esencialmente los que se muestran a continuación para cada test, en este caso que nos ocupa el correspondiente al capítulo 7: “Topología y Sucesiones”: C7_TD.ods: Hoja de cálculo con los datos de los problemas del test. C7_TD.odb: Base de datos asociada a la hoja anterior. C7_E.odt: Documento de texto para combinar con C7_TD.odb para obtener los enunciados del test. C7_ER.odt: Igual que el anterior pero contiene también la resolución. C7_Lectora.dbf: Archivo con formato dbf(dbase) que genera la lectora de marcas. C7_Lectora.ods: Hoja de cálculo generada a partir del archivo anterior. C7_N.ods: Este archivo procesa el anterior y prepara todos para realizar el envío que figura en el epígrafe 7. C7_N.odb: Base de datos asociada al archivo anterior. XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 13 Rey Míguez, Fernando; Pedreira Andrade, Luis P. C7_EN: Documento de texto para combinar con el anterior para realizar los envíos de la nota y detalles de la realización del test. C7_Resolución: Carpeta con el enunciado y resolución de cada uno de los test en formato PDF para enviar a cada alumno, el que le corresponda, según el tipo realizado. 9. MÁS LOGÍSTICA: ALGUNOS DETALLES RELEVANTES Un aspecto que nos ha facilitado la tarea enormemente es la asignación de un número de clase a cada alumno. Esto simplifica, en buena medida, muchas operaciones de ordenación, identificación, búsqueda, etc. que se deben hacer tanto a nivel manual como informático. Este número es empleado como clave para identificar a los alumnos. Es interesante que el orden numérico sea el mismo que el orden alfabético pero no es imprescindible. De hecho, nosotros asignamos un número empleando la lista inicial de matriculados en la asignatura, pero, posteriormente, siempre hay nuevas incorporaciones y se les asigna los números siguientes. Otro aspecto muy importante es la obtención de los correos electrónicos de los alumnos; el año pasado se realizó de una forma rudimentaria, solicitando a los alumnos que se apuntaran en una lista que posteriormente fué introducida manualmente. Este año se mejoró inicialmente el proceso, habilitando ordenadores para que ellos mismos los introdujesen en una base de datos, aun así el proceso fue largo y tedioso. A mediados de curso, debido a una serie problemas con el servidor de correo, las cuentas hotmail(que eran las más habituales entre nuestros alumnos) dejaron de estar operativas, con lo que se vino abajo todo el trabajo de recolección de e-mails realizado. Esta circunstancia imposibilitó la comunicación con los alumnos. Había que diseñar algún procedimiento rápido para que la plataforma no quedase fuera de servicio y encontramos una solución realmente efectiva. Cada alumno debería abrir una cuenta de correo con el nick mateade0809coruna.NUM en el servidor gmail, donde NUM era el número de clase. Elegimos gmail puesto que nuestro servidor de correo no tenía problemas de censura1 con él. 1 Un ataque informático a nuestro servidor de correo mail.udc.es produjo envíos masivos de correos por lo que fuimos incluidos en una lista negra que repelía todos los mensajes enviados al servidor hotmail. Recientemente se ha realizado una migración a una plataforma más segura de correo, concretamente Zimbra, basada en Open Source. XVII Jornadas ASEPUMA – V Encuentro Internacional 14 Rect@ Vol Actas_17 Issue 1: 610 Personalización de tests: hacia un nuevo entorno de evaluación En pocos días teníamos reconstruida nuestra base de datos de e-mails, con la ventaja adicional de que el correo identificaba al alumno. Esta idea puesta en práctica ha sido de enorme utilidad y obviamente será empleada en años sucesivos. 10. LAS INCIDENCIAS La realización del primer test es algo caótica: alumnos que no se acuerdan de su número de clase, otros que lo ponen mal, otros que no lo ponen, dobles marcas en campos clave... A la hora de la lectura de los test, es desalentador el número elevado de incidencias que se producen. La lectora rechaza cualquier test que no se atenga a los requisitos marcados en cuanto a duplicidad, campos incompletos, etc, por lo que hay que retocar manualmente las plantillas que han sido mal cubiertas por parte de los alumnos, que reciben el correspondiente aviso al enviársele su calificación. Con el paso del tiempo, las incidencias disminuyen notablemente, siendo casi una anécdota en la parte final del curso. Hay que destacar que el marcado erróneo del número de clase, al ser empleado como campo índice, es detectado por la lectora si hay duplicidades, pero no al contrario. Por ello, dentro de la hoja de cálculo C?_N.ods hemos introducido una serie de instrucciones que detectan este posible error, mediante una búsqueda cruzada con el DNI aportado por el alumno y el que figura en nuestra base de datos. Nos planteamos en años sucesivos descartar todos aquellos controles que la máquina rechace por errores achacables al alumno, o permitir únicamente una incidencia por alumno durante el curso. 11. EL VALOR DE LOS TEST El trabajo del alumno durante cada parcial(Álgebra y Cálculo) queda así recogido en los 4-5 controles de este tipo que realizamos. También queda plasmado en los 5-6 boletines personalizados que deben hacer en cada parcial y a los que ya hicimos referencia [1]. Así, la nota por parcial se desglosa como sigue: Boletines: 1,5 puntos Controles: 2,5 puntos Examen: 6 puntos XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 15 Rey Míguez, Fernando; Pedreira Andrade, Luis P. 12. UNA NOTA FINAL Se avecinan tiempos de cambio en nuestras universidades. El proceso de adaptación a las directrices de Bolonia conduce -entre otros- a un menor número de horas de clase e intenta potenciar el trabajo del alumno. Por tanto, todas las métodos que se diseñen para fomentar su aprendizaje y faciliten un seguimiento de sus avances serán de gran importancia. Es por ello que las técnicas descritas en este trabajo pueden ser una interesante herramienta que puede allanar el camino. BIBLIOGRAFIA [1] Rey Míguez, Fernando y Pedreira Andrade, Luis P.(2008) Personalización de problemas: hacia un nuevo entorno de evaluación, en Rect@2008 Vol: Actas_16 Issue1:612 [2] Grupo Universitario de GNU/Linux de Entre Ríos (2006) Manual de Calc, Writer, Base. http://www.gugler.com.ar/ XVII Jornadas ASEPUMA – V Encuentro Internacional Rect@ Vol Actas_17 Issue 1: 610 16