UNIVERSIDAD EUROPEA DE MADRID

UNIVERSIDAD EUROPEA DE MADRID.
II Jornadas Internacionales de Innovación Universitaria
(21, 22 y 23 de septiembre de 2005)
1
COMUNICACIÓN
Evaluación asistida por ordenador: estudio experimental
Mª José Rodríguez Conde1 y Susana Olmos Miguelañez2
Universidad de Salamanca
RESUMEN
A modo de continuación de la comunicación “Evaluación de aprendizaje a través
de Internet: posibilidades y limitaciones” desarrollada en las I Jornadas, presentamos un
estudio experimental sobre evaluación asistida por ordenador (Computer-Assisted
Assessment); basándonos en un diseño experimental con tres grupos: dos
experimentales y uno de control, con control pre-postest, aplicado en el curso
académico 2004-05. El objetivo que perseguimos es demostrar la eficacia de la
incorporación de las Tecnologías de la Información y la Comunicación en la mejora del
aprendizaje de los alumnos universitarios.
En la realización de este estudio hemos optado por la autoevaluación como
estrategia de evaluación alternativa y formativa, utilizando dos metodologías de
evaluación diferenciadas: una se corresponde con un formato tradicional y otra está
apoyada en un software específico de evaluación a través de internet (Perception, v.3).
Los resultados obtenidos muestran un nivel de aprendizaje más óptimo en los
estudiantes y un grado de satisfacción mayor hacia el propio sistema de evaluación del
aprendizaje.
INTRODUCCIÓN
El problema en el que intentamos indagar esta relacionado con mostrar y
demostrar la eficacia de la tecnología de la información y comunicación en los procesos
de evaluación de los estudiantes universitarios con el fin de mejorar el nivel de
aprendizaje adquirido en la Universidad y, por tanto, contribuir con un elemento más a
la mejora de la calidad de la institución de educación superior (Escudero, 2005).
1
Mª José Rodríguez Conde, Profesora Titular de Métodos de Investigación Educativa de la Universidad de Salamanca. Paseo
Canalejas, 169, Facultad de Educación. 37008 Salamanca. E-mail: mjrconde@usal.es
2
Susana Olmos Miguelañez, Becaria de Investigación de la Junta de Castilla y León. Licenciada en Pedagogía por la Universidad
de Salamanca. Paseo Canalejas, 169, Facultad de Educación. 37008 Salamanca. E-mail: solmos@usal.es
UNIVERSIDAD EUROPEA DE MADRID.
II Jornadas Internacionales de Innovación Universitaria
(21, 22 y 23 de septiembre de 2005)
2
Entre las hipótesis de trabajo nos planteamos las siguientes:
•
Los estudiantes que realizan autoevaluaciones a través de la web, obtienen un
nivel más elevado de aprendizaje que en aquellos bajo un sistema de evaluación
que carezca de tales procesos de autoevaluación.
•
El nivel de satisfacción del estudiante hacia el sistema alternativo de evaluación
será significativamente mayor que en aquellos discentes con sistemas no basados
en Internet o sin apoyo formalizado.
•
La mejora en el aprovechamiento de los estudiantes dependerá directamente del
feedback recibido durante los procesos de evaluación.
MÉTODO Y RESULTADOS
Este proyecto financiado por la Consejería de Educación de la Junta de Castilla y
León, se realiza entre noviembre de 2004 y junio de 2005. En la investigación de
referencia nos hemos decantado por una metodología experimental (De la Orden, 2004),
porque el objetivo final de nuestro trabajo consiste en intentar “explicar” los cambios de
la variable dependiente (aprendizajes conceptuales) por los cambios de la variable
independiente (sistemas de autorregulación basados, o no, en una evaluación
formativa). En sentido estricto, explicar un fenómeno (aprendizaje en una materia
determinada), consistente encontrar las causas que lo originan. Pues bien, en general,
suele reservarse el término “experimental” a los diseños en los que se asignan de forma
aleatoria los sujetos a los tratamientos o condiciones experimentales (Tejedor, 1994). Es
decir, se realiza manipulación de la variable independiente y control de la situación
experimental (variables intervinientes). En este estudio, existe esta asignación aleatoria;
en concreto, se trata de un tipo de diseño como el que se expresa en el gráfico siguiente:
Grupos
Asignación
sujetos a
grupos
Experimental1
Aleatoria
O1
X1
O2
Experimental2
Aleatoria
O1
X2
O2
Control
Aleatoria
O1
-
O2
Medida de la
VD Pretest
Tratamiento
Medida de la
VD Postest
Cuadro 1. Diseño intergrupos con grupo de control no equivalente, medida pretest y postest
PARTICIPANTES. El proyecto se está llevando a cabo con alumnos de
diferentes titulaciones de la Universidad de Salamanca, si bien, los datos que aquí
presentamos aún de forma muy parcial, se refieren únicamente en un grupo de alumnos
de la titulación de Pedagogía de la misma Universidad, matriculados en la asignatura
obligatoria Investigación evaluativa en educación (tercer curso, con 87 alumnos).
UNIVERSIDAD EUROPEA DE MADRID.
II Jornadas Internacionales de Innovación Universitaria
(21, 22 y 23 de septiembre de 2005)
3
Hemos formado tres grupos de alumnos, considerando que el grupo control comprende
una modalidad doble dependiendo si los alumnos proceden de la carrera de Pedagogía o
de Educación Social; destacar, además, la existencia de un grupo residual:
•
Grupo 1. Experimental 1. Autoevaluaciones a través de Internet (Perception)
•
Grupo 2. Experimental 2. Autoevaluaciones formato papel
•
Grupo 3. Control. Alumnos que cursan la asignatura y asisten a clase pero no
realizan pruebas de Autoevaluación.
•
Grupo 4. Residual. Alumnos que no asisten a clase normalmente, pero sí realizan
evaluación sumativa.
VARIABLES E INSTRUMENTOS. En el cuadro siguiente exponemos el conjunto
de variables e instrumentos utilizados:
Variables
Instrumentos
VARIABLES DEPENDIENTES
Aprendizaje del estudiante
Satisfacción
Pruebas objetivas
Cuestionario de satisfacción
VARIABLES INDEPENDIENTES
Metodología de evaluación (sistemas Software específico “Perception” v. 3
tradicionales y a través de Internet)
Formato tradicional (lápiz-papel)
VARIABLES INTERVINIENTES
Edad, sexo, rendimiento previo, Cuestionario al alumno (pretest)
actitud, estilos de aprendizaje.
Cuestionario de estilos de aprendizaje
(CHAEA)
Cuadro 2. Variables e instrumentos considerados en el estudio.
La variable dependiente principal de este estudio es el aprendizaje del
estudiante. Siguiendo las teorías actuales de aprendizaje podemos concluir una serie de
aspectos que habría que considerar en toda evaluación educativa y que hemos
considerado en este estudio.
Cuadro.3. La evaluación del aprendizaje a la luz de las actuales concepciones sobre el aprendizaje.
(citado en Lukas, 2004, p.144. tomado de Cabrera 2000, p.123).
Teorías del aprendizaje
Implicaciones para la evaluación
El conocimiento es algo que se construye.
1. Promover acciones evaluativas que pongan en juego la significatividad
(funcionalidad) de los nuevos aprendizajes.
El aprendizaje es un proceso de creación de
significados
a
partir
de
los 2. Evitar los modelos memorísticos en los que sólo se pone de manifiesto
conocimientos previos: es un proceso de
la capacidad para reconocer o evocar.
transformación de las estructuras 3. Promover actividades y tareas de evaluación que tengan sentido para
cognitivas
del
alumnado
como
el alumnado.
consecuencia de nuevos conocimientos.
Hay variedad en los estilos de aprendizaje, 1. Promover distintas formas de evaluación.
la capacidad de atención, la memoria, el 2. Dar oportunidades para revisar y repensar.
ritmo de desarrollo y las formas de 3. Utilizar procedimientos que permitan al alumnado aprender a construir
inteligencia.
su forma personal de aprender, a manejar autónomamente
procedimientos de evaluación y corregir los errores que pueda
detectar.
UNIVERSIDAD EUROPEA DE MADRID.
II Jornadas Internacionales de Innovación Universitaria
(21, 22 y 23 de septiembre de 2005)
4
Las personas tienen una ejecución mejor 1. Promover que el alumnado haga suyos los objetivos del aprendizaje y
cuando conocen la meta, observan
los criterios que se van a utilizar para evaluarlos.
modelos y saben los criterios y 2. Proporcionar una amplia gama de modelos de ejemplo sobre trabajos
estándares que se tendrán en cuenta.
de los alumnos para discutir sus características.
3. Discutir los criterios que se utilizarán para juzgar la ejecución.
Se reconoce que el conocimiento y la
regulación de los propios procesos
cognitivos son la clave para favorecer la
capacidad de aprender a aprender. Es
importante saber manejar su propio
proceso de aprendizaje.
1. Promover la autoevaluación.
2. Estimular los procesos de coevaluación entre el profesor y el alumno y
entre éstos entre sí.
3. Ofrecer retroalimentación tanto de los errores como de los aciertos.
4. Hacer tomar conciencia al alumnado de lo que ha aprendido así como
de los procesos que le han permitido construir nuevos aprendizajes.
La motivación, el esfuerzo y la autoestima 1. Atribuir los fracasos a razones temporales y externas y los éxitos a
afectan al aprendizaje y la ejecución de
razones internas y perdurables.
la persona.
2. Estimular relaciones entre el esfuerzo y los resultados.
3. Incorporar de manera natural tareas de autoevaluación durante el
proceso de enseñanza aprendizaje que puedan servir al alumnado para
tomar conciencia de lo que ha aprendido y de las dificultades o
lagunas que todavía tiene.
ELABORACIÓN Y APLICACIÓN DE PRUEBAS DE EVALUACIÓN. Se han elaborado
tres pruebas objetivas de autoevaluación y se han aplicado al grupo experimental 1
(soporte sistema Perception) y al grupo experimental 2 (soporte “papel”). Al final del
proceso de enseñanza, se ha realizado una prueba de carácter sumativo para contrastar
las hipótesis planteadas. Además se han diseñado y/o seleccionado una serie de pruebas
con el fin de controlar aquellas variables intervinientes que pudieran afectar al
aprendizaje de esta materia y que no tenían relación con el hecho de haber
proporcionado o no apoyo al aprendizaje en forma de pruebas de autoevaluación más o
menos automatizadas. Las fases seguidas en el proceso de elaboración de los
instrumentos de valoración del aprendizaje fueron las siguientes (Jornet y Suárez,
1996):
Fase 1. Elaboración de los ítems. Para ello el equipo de trabajo ha elaborado los
distintos ítems de las pruebas objetivas tomando como principal referente los objetivos a
conseguir por temas y los contenidos impartidos en clase. También se construyó para
cada item el feedback correspondiente, mediante el cual se le indicaba al alumno, en
caso de respuesta errónea, cuál había sido el error y a dónde dirigirse para subsanarlo.
Fase 2. Valoración de los items por sistema de jueces. Una vez elaboradas las
preguntas, han sido valoradas por cinco jueces para determinar el índice de dificultad de
cada ítem planteado y poder así establecer el punto de corte en las distintas
autoevaluaciones (superan, o no, el nivel de conocimientos mínimos). El procedimiento
seguido para valorar la “dificultad de la prueba” es el de Angoff (Lizasoain y otros,
2004).
UNIVERSIDAD EUROPEA DE MADRID.
II Jornadas Internacionales de Innovación Universitaria
(21, 22 y 23 de septiembre de 2005)
5
Fase 3. Informatizar las distintas pruebas. Valorados los ítems, se ha procedido
a formatear las distintas evaluaciones teniendo en cuenta que el soporte en el que iban a
ser presentadas a los alumnos varía dependiendo de si se trata del grupo experimental 1
ó del grupo experimental 2. En el caso de las autoevaluaciones realizadas a través del
sistema Perception, ha sido necesario gestionar las preguntas (Question Manager), con
sus correspondientes opciones de respuesta y el feedback vinculado. Hay que tener en
cuenta que para la realización de las autoevaluaciones con el sistema Perception es
necesario que los alumnos tengan una clave que les identifique como usuarios; por lo
tanto, antes de comenzar la primera autoevaluación se procedió a la creación de
participantes.
Cuadro 4. Diagrama del proceso Perception
Fase 4. Realización de las autoevaluaciones por los alumnos.
A continuación mostramos como ven los sujetos la prueba de autoevaluación y el
feedback que reciben tras realizarla.
UNIVERSIDAD EUROPEA DE MADRID.
II Jornadas Internacionales de Innovación Universitaria
(21, 22 y 23 de septiembre de 2005)
6
Fig. 1. Forma en la que los alumnos ven las pruebas de autoevaluación.
.
Fig. 2.Ejemplo de feedback que reciben los alumnos.
UNIVERSIDAD EUROPEA DE MADRID.
II Jornadas Internacionales de Innovación Universitaria
(21, 22 y 23 de septiembre de 2005)
7
RESULTADOS. En las tabla siguiente presentamos el contraste de hipótesis
realizado, en base a las pruebas estadísticas adecuadas a cada caso.
Cuadro 5. Hipótesis de partida y contraste de hipótesis
Hipótesis de partida
Contraste de hipótesis
1
(epígrafe 6.3.1.)
2
Los estudiantes universitarios que realicen
autoevaluaciones parciales, obtendrán un
nivel mayor de aprendizaje medido a través
de puntuaciones en una prueba objetiva de
conocimientos adquiridos, que aquellos
estudiantes que no realicen estas
autoevaluaciones parciales
Los estudiantes universitarios que
completen autoevaluaciones con ayuda de
un sistema a través de Internet, obtendrán
un nivel mayor de aprendizaje medido a
través de puntuaciones en una prueba
objetiva de conocimientos adquiridos, que
aquellos sin posibilidad de realizar
autoevaluación
3
Podemos añadir que la utilización de las pruebas
de autoevaluación a través de Internet, mejora los
resultados en el rendimiento de los alumnos
concretos que componen nuestra muestra; aunque
este resultado no lo podamos generalizar, en base a
la muestra con la que contamos. Consideramos
que un aumento del tamaño de la muestra
provocaría que estas diferencias aparecieran como
significativas (n.s. 0,05).
(epígrafe 6.2.2)
El uso de un programa de evaluación a
través de Internet provocará resultados más
positivos en las pruebas parciales de
autoevaluación, frente al uso del formato
tradicional de papel en la presentación de
las pruebas.
La mejora en el aprovechamiento de los
estudiantes dependerá directamente del
tiempo de acceso al feedback recibido
durante los procesos de autoevaluación
4
A pesar de observar la existencia de diferencias
entre los grupos hemos de afirmar que esta
diferencia no es significativa (F =1,047; p=0,201)
tomando como referencia un nivel de significación
de 0.05.
El nivel de satisfacción del estudiante hacia
el sistema alternativo de evaluación será
significativamente mayor que en aquellos
discentes con sistemas no basados en
Internet o sin apoyo formalizado
Aunque se observan diferencias entre las medias,
estas no son significativas (n.s. 0,05) si tenemos en
cuenta los datos de la prueba sin depurar; sin
embargo, si consideramos los datos de la prueba
depurada hay diferencias significativas entre la
autoevaluación 2 (t = 2,421; p = 0,021) y 3
(t=2,501; p=0,018), a favor del grupo experimental
2.
Una explicación de estos resultados se encuentra
en las condiciones no homogéneas de aplicación
de la prueba.
(epígrafe 6.3.2)
Sí existen diferencias estadísticamente
significativas (F=4,71; p=0,01) entre los tres
grupos, a favor de los que han utilizado el sistema
de autoevaluación a través de Internet.
De los resultados obtenidos y analizados, resaltamos los obtenidos en la
segunda hipótesis planteada, observando un nivel de satisfacción mayor a favor del
grupo experimental 1 (autoevaluaciones informatizadas con feedback inmediato), frente
al grupo experimental 2 (autoevaluación en formato papel y feedback diferido) y el de
control (sin autoevaluación) (n.s. 0,05).
UNIVERSIDAD EUROPEA DE MADRID.
II Jornadas Internacionales de Innovación Universitaria
(21, 22 y 23 de septiembre de 2005)
8
Tabla 1. Análisis de varianza en items de satisfacción en función del grupo experimental.
Satisfacción general
Exp1 (N=16)
Exp2 (N=17)
Control
(N=49)
Total
ANOVA
DIF.
Med.
Sx
Med.
Sx
Med.
Sx
Med.
Sx
F
p.
1/3
18. Me he sentido satisfecho
realizando esta
experiencia.
4,25
1,00
3,76
0,75
3,25
1,00
3,76
0,99
4,71
0,01
*
19. Creo que he aprendido
más que si sólo hubiera
estudiado por mi cuenta.
4,50
0,63
3,82
1,01
3,94
0,85
4,08
0,88
2,93
0,06
20. Recomendaría realizar
repasos en otras materias.
4,31
1,01
4,18
0,63
3,50
1,03
4,00
0,95
3,69
0,03
*
* n.s. 0,05
Gráfico 1. Diferencias en satisfacción, en función de los grupos experimentales y control
5
4
3
EXP1
2
EXP2
CONTROL
1
18. M e he sent ido satisf echo
realizando esta experiencia.
19. Creo que he aprendido más que si 20. Recomendarí a realizar repasos en
sólo hubiera estudiado por mi cuenta.
ot ras materias.
CONCLUSIONES
A modo de conclusiones de este trabajo de investigación, hemos de hacer
constar que el uso de la autoevaluación como estrategia de evaluación debe plantearse
en un contexto evidente de evaluación formativa, indicada para la mejora del
aprendizaje de los alumnos, no de la certificación de su rendimiento.
Por otra parte, las posibilidades potenciales que ofrecen las tecnologías de la
información y comunicación en los procesos de evaluación de los estudiantes
universitarios tienen que ser analizadas bajo el prisma educativo, siendo el docente
quien decida en función de los objetivos educativos la forma más adecuada de
integración en su docencia. Entre las ventajas que estas tecnologías poseen de cara a la
evaluación de los estudiantes, se encuentras las siguientes:
UNIVERSIDAD EUROPEA DE MADRID.
II Jornadas Internacionales de Innovación Universitaria
(21, 22 y 23 de septiembre de 2005)
9
▪ ofrecen gran flexibilidad temporal, pudiendo el alumno escoger el momento para
su desempeño; es decir, el alumno tiene más opciones de elegir sobre cuándo quiere
realizar la evaluación,
▪ flexibilidad de espacios, el alumno elige el lugar desde el que quiere hacer la
evaluación, sólo necesita un ordenador conectado a internet;
▪ permite ofrecer al alumno un feedback inmediato, potenciando así la corrección
de errores en el momento que se cometen. En este apartado debemos recalcar que no
importa tanto la cantidad del feedback como la calidad del mismo;
▪ la incorporación de las TIC motiva a los estudiantes, supone una metodología
novedosa, no utilizada con esta finalidad –evaluación- previamente lo que conlleva más
interés y mejor disposición del alumno para la realización de las distintas pruebas;
▪ la evaluación a través de Internet puede administrarse fácilmente;
▪ se pueden utilizar distintos criterios de evaluación, no sólo hablamos de resolver
una prueba “objetiva” a través de Internet, podemos utilizar otros medios como la
participación en distintas actividades propuestas, ya sean foros, chats, grupos de
discusión o elaboración de trabajos varios.
Hemos de resaltar que entre los numerosos cambios que comporta la
implantación del nuevo Espacio Europeo de Educación Superior, observamos que las
TIC tienen una repercusión en el sistema de enseñanza-aprendizaje y en la evaluación;
así tras analizar la incidencia de las tecnologías en la evaluación, hemos revisado
distintos conceptos vinculados, de forma explícita, con la evaluación a través de
Internet; dichos conceptos son Computer-Assisted Assessement (CAA) y ComputerBased Assessment (CBA). Ambos conceptos son semejantes puesto que se refieren a la
evaluación y a la utilización de un soporte tecnológico para su realización; sin embargo,
entre estos conceptos hay matices que debemos considerar; la CAA utiliza el ordenador
sólo como apoyo en alguno de los momentos que integran el proceso evaluativo;
mientras que CBA se refiere a la evaluación realizada íntegramente a través del
ordenador desde la elaboración de preguntas hasta la entrega de los resultados.
UNIVERSIDAD EUROPEA DE MADRID.
II Jornadas Internacionales de Innovación Universitaria
(21, 22 y 23 de septiembre de 2005)
10
REFERENCIAS BIBLIOGRAFICAS:
De la Orden, A. (2004). Nuevos horizontes en la investigación evaluativa, Bordón,56
(1), 117-128.
Escudero, T. (2005). El papel de la evaluación en el proceso de enseñanza-aprendizaje
en el marco del espacio europeo universitario. Jornadas sobre Evaluación de
aprendizajes en el marco del Espacio Europeo de Educación Superior,
Universidad de Salamanca (documento inédito).
Jornet, J.M. y Suárez, J.M. (1996). Pruebas estandarizadas y evaluación de rendimiento:
usos y características métricas, Revista deInvestigación Educativa, 14, 2, 141163.
Lizasoain, L., Joaristi, L., Santiago, C., Lukas, J.F., Moyano, N. & Sedano, M. (2004).
Establecimiento de estándares y puntos de corte en pruebas de rendimiento. Una
aplicación en el área de matemáticas de 2º y 4º de ESO, Bordón, 56 (2), 237-251.
Lukas, J. F y Santiago, K. (2004). Evaluación educativa. Madrid: Alianza
Tejedor, F.J. (1994). La experimentación como método de investigación educativa, en
V. García Hoz (dir.), Problemas y métodos de investigación en educación
personalizada (256-285). Madrid, Ediciones Rialp.