XX Reunión de Intercambio de Experiencias sobre en Estudios

EVALUACION DEL IMPACTO EDUCATIVO EN UN CURSO CON
APRENDIZAJE BASADO EN PROBLEMAS
Ing. Darinka Ramírez,
Departamento de Ingeniería Química,
ITESM, Campus Monterrey
Introducción
El siglo XX se ha caracterizado por una serie de cambios principalmente en la tecnología y en la
educación. En nuestro sistema educativo se han implementado diferentes estrategias en educación
que son innovadoras y necesitan ser evaluadas e investigadas para que se puedan identificar áreas de
oportunidad y mejoras al proceso. El propósito de presentar este trabajo en el Congreso es el de
compartir estas experiencias entre la comunidad docente del instituto.
El curso ha ser analizado es de tercer semestre, primera clase de ingeniería de las carreras de IQS,
IQA, IIA, LCQ. En esta clase es muy importante que el alumno desarrolle la habilidad de analizar
procesos desde el punto de vista de materia. Es un curso básico pero que requiere de un fuerte
desarrollo de habilidades del pensamiento.
El propósito del presente trabajo es investigar los aprendizajes logrados por un curso de profesional
que utiliza la estrategia de Aprendizaje Basado en Problemas. En este estudio se identificarán
algunos aprendizajes dentro de las tres avenidas: conocimientos, habilidades y, actitudes y valores.
En el área de conocimientos y habilidades se espera que los alumnos logren el aprendizaje de lo
señalado por el programa analítico como mínimo, y para medir estos aprendizajes se utilizarán
instrumentos cuantitativos como lo son exámenes. En el caso de actitudes y valores se evaluarán
algunas como son la responsabilidad, el trabajo en equipo, el trabajo individual y el aprecio al
aprendizaje, lo cual se realizará a través de algunos instrumentos cuantitativos y otros cualitativos.
Las actitudes y valores mencionadas anteriormente serán evaluadas y medidas, sin embargo,
también se desea investigar cualquier otro aprendizaje que provea la técnica de ABP y para esto se
utilizarán instrumentos cualitativos principalmente de observación en el aula.
La importancia de este estudio radica en la necesidad de conocer y de evaluar el impacto de los
cambios educativos que se han implementado en nuestro sistema, y de esta forma, a través de las
experiencias del estudio de un curso, se podrá mejorar la investigación del proceso para otros
cursos, e incluso el currículo.
Objetivo del Proyecto
Identificar los distintos aprendizajes de conocimientos, habilidades y actitudes logrados en un curso
que utiliza la estrategia de Aprendizaje Basado en Problemas.
Este objetivo se logrará a través de la utilización de diferentes instrumentos (cualitativos y
cuantitativos) a lo largo de un semestre de estudio. Se utilizará una muestra de un grupo 33 alumnos
y se harán comparaciones y referencias con otro grupo de la misma clase pero que no utiliza la
estrategia.
Metodología
A) Descripción de los aprendizajes a evaluar:
A.1 Conocimientos. Se evalúan a través de exámenes los conocimientos que se plantean en
el programa analítico del curso.
A.2 Habilidades. La habilidad principal a desarrollar es la de análisis y solución de
problemas. Esta habilidad se evalúa en forma indirecta a través de la observación del alumno
al contribuir con ideas, hacer preguntas, proponer soluciones específicas, etc.
A.3 Actitudes y valores. Se evalúan la responsabilidad, el trabajo en equipo, el trabajo
individual y el aprecio hacia el aprendizaje.
B) Descripción de la muestra.
Se escogieron dos grupos con horario similar, número de alumnos similar y promedio
académico de carrera similar. Estos alumnos son de tercer semestre y esta es la primera vez
que llevan una clase de Ingeniería (específicamente de Ingeniería Química). Los grupos son
heterogéneos en cuanto a que hay alumnos LCQ, IQA, IQS e IIA, sin embargo, ambos
grupos son parecidos en esta proporción. El profesor que impartió las clases es el mismo
solo que con una metodología diferente en ambos grupos.
Horario de clases
Número de alumnos por
grupo
Promedio académico del
grupo
PBL
11 L
32
Tradicional
11+/3M
30
87.7
86.1
C) Instrumentos y Plan de Trabajo
Se utilizaron los siguientes instrumentos de evaluación dentro del salón de clases:
1. Instrumento “Clasrrom Life”.
2. Examen de Diagnóstico
3. Observación por el alumno.
4. Examen Primer Parcial.
5. Observación por parte del profesor.
6. Instrumento “Autoevaluación del Aprendizaje del equipo”.
7. Observaciones en el aula por parte de un externo (DDA).
8. Observación en el aula.
9. Examen Segundo Parcial.
10. Examen Final.
Tabla 1 “Calendarización de las actividades de investigación”
Semanas
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Martes
1, 2,
3,
4,
3,
5
9
5, 8
1,
3
3
Jueves
2002
AGOSTO
6
6
6, 7
6, 3
6, 3
6, 3
6
6
6
6
SEPTIEMBRE
OCTUBRE
NOVIEMBRE
10
DICIEMBRE
D) Descripción de los instrumentos utilizados:
1. Instrumento “Clasrrom Life”.
Encuesta que consta de 92 preguntas enfocadas a evaluar actitudes, especialmente hacia el
trabajo en equipo. Este instrumento ha sido diseñado, probado y estandarizado (Jonson &
Jonson, 1983). Se aplica al inicio y al final del periodo académico.
2. Examen de Diagnóstico.
En la segunda semana del semestre se aplicó un Examen de Diagnóstico, básicamente
referente a conceptos de sistemas de unidades y conversión de unidades para determinar en
nivel de preparación preliminar con el que ingresan al curso, incluso se les dio oportunidad
de repasar y estudiar.
3. Observación por el alumno.
Se elaboró un instrumento con el cual uno de los integrantes del equipo realiza
observaciones específicas del aprendizaje de sus compañeros mientras están resolviendo el
problema en el salón. Este alumno no puede hablar solo es observador en esta actividad.
4. Examen Primer Parcial.
Este examen se aplicó a dos grupos el mismo día a la misma hora. El grupo piloto y otro
grupo de la misma clase pero que no tiene la estrategia didáctica del ABP y fue diseñado por
el profesor que imparte ambas clases.
5. Observación por parte del profesor.
Se elaboró un instrumento especial en el cual el profesor se toma 5 minutos para realizar
observaciones en el salón mientras los alumnos trabajan resolviendo un problema.
6. Instrumento “Autoevaluación del Aprendizaje del equipo”.
Este instrumento consiste de ciertos aspectos específicos de actitudes y valores en donde los
alumnos se autoevaluarán dentro de su equipo y deben realizar una grafica para visualizar
sus logros y avances como equipo.
7. Observaciones en el aula por parte de un experto en educación externo (DDA).
Se realizó una observación externa por parte de un experto en el área de educación.
8. Observación en el aula por parte de otro profesor.
Se realizó una observación en el aula pos parte de un profesor del área, que imparte la
misma clase.
9. Examen Segundo Parcial.
Este examen se diseñó y elaboró con base en reactivos de diferentes maestros.
10. Examen Final.
Examen de opción múltiple diseñado por diferentes maestros.
Resultados y Conclusiones
A. Conocimientos
Promedios de calificaciones obtenidas por los alumnos en el examen
exploratorio y en la segunda evaluación parcial
100
90
80
70
60
50
promedio
40
30
20
10
Media segunda evaluación parcial
Media examen exploratorio
0
Tradicional
PBL
Figura 1. “Examen exploratorio vs Segunda Evaluación Parcial
PBL
Traditional
Examen exploratorio
37.57
56.83
Promedio del Segundo Examen Parcial
69.18
64.55
12/30
9/30
6
1
84.13%
13.58%
No de alumnos que lograron el 100% en
la solución del problema en la sección de
análisis en el examen
No de formas diferentes de resolver el
problema
Incremento en la calificación con
respecto al examen exploratorio
B. Habilidades, actitudes y valores
B.1 Observaciones del alumno.
Este instrumento se le entregó a un alumno por equipo, en clase mientras trabajaban, y su propósito
fue que observara y llenara esta hoja para cada uno de sus compañeros y anotara las aportaciones y
los comentarios. Aquí se presenta las contribuciones totales por equipo (A, B, C, D y E), después de
que los alumnos hicieran sus observaciones durante 4 sesiones de trabajo en equipo. En la clase
tradicional no se realizó trabajo en equipo dentro del salón de clases.
Habilidades
Contribuye con
ideas y opiniones
Hace preguntas
Promueve y
apoya las
opiniones de los
demás
Da sugerencias
estratégicas
A
B
C
D
E
124
120
112
112
52
44
168
52
56
56
120
112
7
36
12
12
84
6
28
16
B.2 Instrumento “Classroom Life”
Consiste en un cuestionario con 91 preguntas relacionadas con la apreciación del alumno con
respecto a su aprendizaje individual y en equipo, sus compañeros y el maestro. En términos
generales no se observan diferencias significativas en cuanto al principio del semestre y final.
Dentro del grupo de preguntas relacionadas con “El apoyo del profesor para el aprendizaje
individual” (preguntas 15, 20, 52 y 55) se observa en la pregunta 15 una diferencia. En esta
pregunta: “Mi maestro realmente se preocupa por mi”, los alumnos en PBL sienten que necesitan
del apoyo del maestro considerablemente más para aprender que en el curso tradicional en el cual
no se observa mucha diferencia.
Tradicional
PBL
5.00
5.00
Grupo 11L Evaluación 1
Grupo 11L Evaluación 2
Grupo 11+/3 M Evaluación 1
Grupo 11+/3 M Evaluación 2
4.50
4.00
4.00
3.50
3.50
3.00
3.00
Promedio
Promedio
4.50
2.50
2.50
2.00
2.00
1.50
1.50
1.00
1.00
0.50
0.50
0.00
0.00
15
20
52
15
55
20
52
55
Preguntas
Pregunta
Figura 2. “Apoyo del profesor para el aprendizaje”
En la pregunta 3* “No me va tan bien en esta clase como quisiera” no se observa diferencia en la
clase tradicional. Los alumnos de PBL “sienten” más la presión por salir bien como quisieran.
En la pregunta 8 “Cuando trabajamos en equipo, tratamos de que todos los compañeros aprendan
del material asignado” sienten que no es así, comparado con el grupo de PBL.
Tradicional
PBL
5.00
4.50
5.00
Grupo 11L Evaluación 1
Grupo 11L Evaluación 2
4.00
3.50
3.50
3.00
Promedio
Promedio
Grupo 11+/3 M Evaluación 1
Grupo 11+/3 M Evaluación 2
4.50
4.00
2.50
2.00
3.00
2.50
2.00
1.50
1.50
1.00
1.00
0.50
0.50
0.00
0.00
3*
6
23
58
91
Pregunta
3*
6
23
58
91
Pregunta
Figura 3. “ Autoestima académica”
B.3 Observaciones por parte del profesor
El profesor se dedicó clase a clase durante el semestre a realizar observaciones de participación y de
la calidad de las participaciones de los alumnos y estos son los resultados:
1. En la clase de PBL los alumnos desarrollan una actitud positiva hacia el trabajo en equipo. Se
organizan mejor y trabajan en forma más eficiente.
2. A través de la participación (preguntas) en clase los alumnos de PBL denotan su curiosidad por
aprender más y sus cuestionamientos están más enfocados hacia la solución de problemas.
3. Los alumnos de PBL se preocupan más de su autoaprendizaje así como de su autoevaluación.
Constantemente está la pregunta ¿Qué más podemos estudiar? ¿Dónde podemos leer?, etc.
B.4 Observaciones por parte de la DDA
La DDA aplicó un cuestionario a los alumnos de cada grupo para determinar su percepción con
respecto a intenciones educativas, objetivos, contenido, estrategia de aprendizaje, plataforma
tecnológica y participación del profesor. Los resultados son muy parecidos siendo ligeramente
mayor la puntuación en el grupo con PBL en cada uno de los rubros. Sin embargo, en el rubro de
“estrategia” de un total de 297 puntos como máximo, los alumnos del grupo de PBL opinaron con
un total de 226 puntos, mientras que los del grupo tradicional con 196 puntos.
Capitalización
El presente estudio consiste en la realización de una serie de mediciones y observaciones en
dos grupos con características similares de horario, número de alumnos y promedio, con el
propósito de determinar los diferentes aprendizajes alcanzados por los alumnos. Estos aprendizajes
se dividieron en dos categorías principales: 1) conocimientos y 2) habilidades, actitudes y valores.
Se diseñaron en la metodología una serie de instrumentos cualitativos y cuantitativos, sin embargo,
el tipo de investigación realizada requiere de una adaptación continua de los métodos con base en
los resultados. Por ejemplo, el primer examen parcial se propuso en un inicio como instrumento de
medición para conocimientos, sin embargo, hasta ese momento los temas vistos en clase fueron
diferentes en ambos grupos debido a las implicaciones que tiene la forma en la que se trabaja con la
estrategia PBL. El objetivo principal de este estudio es evaluar aprendizajes en la medida posible
en forma cuantitativa, no dejando de ser importantes las observaciones (cualitativas) que se realizan
en el proceso. El instrumento “Autoevaluación del Aprendizaje del equipo” fue de gran utilidad
para que los alumnos que trabajaron con PBL se dieran cuenta de su avance individual y en equipo,
sin embargo, desde el punto de vista cuantitativo para esta investigación no recoge información
significativa.
Conclusiones
1. El promedio de calificaciones alcanzado en la clase de PBL comparado con la clase tradicional
fue similar, sin embargo, los alumnos demostraron haber desarrollado su propia forma de
analizar y resolver los problemas (6 formas diferentes) comparado con la clase tradicional (1
forma).
2. A pesar de que los alumnos de PBL demostraron un bajo desempeño en el examen
exploratorio, este no fue impedimento para que alcanzarán al final del periodo un promedio al
menos igual que en la clase tradicional.
3. Se observó que los alumnos que trabajan con PBL aprenden a trabajar en forma eficiente y
organizada en equipo, y al mismo tiempo desarrollan actitudes positivas hacia el trabajo
colaborativo.
4. En la clase tradicional los alumnos sienten que su profesor los apoya o se preocupa por su
aprendizaje en forma constante durante el curso. En la clase con PBL los alumnos reportan que
ese apoyo y esa preocupación se hacen mayores conforme avanza el curso.
5. En la clase de PBL los alumnos perciben mayor presión por salir bien evaluados. Sienten que
gran parte del peso del aprendizaje está en éllos mismos y no solo en el profesor.
6. Los alumnos de la clase tradicional se sienten más seguros con su clase que los de PBL, esto
es, el maestro es el responsable de proveer la información y ellos son responsables de realizar
las actividades asignadas por el profesor. En la clase de PBL los alumnos se inquietan más y a
medida que ven sus propios resultados en su proceso de aprendizaje se sienten más seguros y
motivados.
7. Los alumnos de la clase de PBL sienten la diferencia en cuanto a la estrategia de aprendizaje y
lo manifiestan constantemente, se cuestionan y opinan, se involucran más en el proceso
educativo y esto provoca que
Fuentes didácticas
Cukier, J. (1997) 'Cost benefit analysis of telelearning: developing a methodology framework'
Distance Education, 18(1), 137-152
Jhonson, D., Jhonson, R.. (1996) Meaningful and Manageable Assessment through Cooperative
Learning', Interaction Book Company.
Locke, F. Silverman, S. Spirduso, W. (1998). Reading and Understanding Research. SAGE
Publications
Mason, E., Bramble, W.,(1997). “Research in Education and The Behavioral Sciences”,
Concepts and Methods. Brown & Benchmark Publishers.
Ross, J., & Schulz, R. (1999). Can computer-aided instruction accommodate all learners
equally? British Journal of Education Technology. Blackwell publications
30(1), 5-24.
Strauss, A., and Corbin, J. (1990) Basics of qualitative research: Grounded the procedures and
techniques. Newbury Park, CA: Sage.
Worthen, B., Sanders, J., Fitzpatrick, J. (1997). 'Alternative Views of Evaluation in Worthen,
B., Sanders, J., Fitzpatrick, J. (eds.) Program Evaluation: Alternative Approaches and Practical
Guidelines 2nd edition New York: Longman .
Worthen, B., Sanders, J., Fitzpatrick, J. (1997). 'Evaluation's Basic Purpose, Uses and Conceptual
Distinctions' in Worthen, B., Sanders, J., Fitzpatrick, J. (eds.) Program Evaluation: Alternative
Approaches and Practical Guidelines 2nd edition New York: Longman.
Anexos
(Instrumento No 3)
PBL1 Balance de Materia
Jueves 8 de Octubre 2002
INSTRUMENTO DE OBSERVACION
Habilida
des
Contribuye
con ideas,
opiniones
Hace
preguntas
Motiva y
apoya las
ideas de los
compañeros
Realiza
sugerencias
estratégicas
Enfoca
al grupo
(Instrumento No 6)
TABLA DE NUESTROS COMPAÑEROS DE EQUIPO
Llena una categoría en cada sesión de clase
Nombre:
Nombre:
Nombre:
Nombre:
Nombre:
Bases de evaluación de grupo
1.- Cada persona marca su evaluación
2.- Se promedia el total de columnas
filas.
3.- ¡Encuentra los aspectos positivos
para celebrar!
4.- Planea cómo mejorar
5.- ¡Felicita a tus compañeros por su
esfuerzo!
Auto-evaluación:
0 = No hizo
1 = más o menos
2 = muy bien
3 = excelete
Sesión 2
Nombre
Atendió esta
sesión
Leyó los
capítulos
asignados
Reflexionó
sobre el
aprendizaje
Realizó la
tarea
Se juntó a
trabajar con
su
compañero
¡Hizo algo
divertido!
Total
Total
Sesión 3
Nombre
Total
Atendió esta
sesión
Leyó los capítulos
asignados
Reflexionó sobre
el aprendizaje
Realizó la tarea
Se juntó a trabajar
con su compañero
¡Hizo algo
divertido!
Total
Sesión 4
Nombre
Atendió esta
sesión
Leyó los capítulos
asignados
Reflexionó sobre
el aprendizaje
Realizó la tarea
Se juntó a trabajar
con su compañero
¡Hizo algo
divertido!
Total
Total