FOROGRAMA, UNA ESTRATEGIA ALTERNATIVA PARA LA EVALUACIÓN DE ESPACIOS VIRTUALES DE DISCUSIÓN Ponencia Educación virtual – evaluación ANA MARÍA SALAZAR VILLEGAS UNIVERSIDAD DE LOS ANDES - LIDIE asalazar@uniandes.edu.co Fax: 3324053 RESUMEN El presente artículo presenta una estrategia alternativa de evaluación de espacios de discusión virtual, creada como respuesta a la necesidad de generar mecanismos de evaluación acordes con las dinámicas de interacción virtual en el contexto educativo. La aplicación de los forogramas arroja interesantes resultados en cuanto a las relaciones entre los participantes, el tutor, el contenido y los tipos de participación, convirtiéndose en una herramienta que facilita la labor del tutor en el seguimiento y retroalimentación de los alumnos. INTRODUCCIÓN La aparición de la web y el acceso cada vez más masivo al uso de herramientas de comunicación en línea, ha revolucionado la manera en que se relacionan los individuos entre sí y con el entorno, creándose un puente de comunicación para establecer relaciones humanas y diálogos interpersonales que no se limitan por distancias ni diferencias horarias. Esta gran revolución, basada en la ampliación de posibilidades de comunicación más allá de los medios tradicionales (correo, fax, comunicaciones telefónicas, comunicación cara a cara) (Quevedo, 2000), ha generado nuevas prácticas relacionales basadas en herramientas comunicativas innovadoras (chat, e-mail, foros, mensajes instantáneos, video conferencias). En lo que se refiere a la educación, se ha dado un cambio revelador debido al fortalecimiento de las interrelaciones sociales que puntualmente afectan las áreas del conocimiento y el currículum escolar, replanteándose la forma de impartir el conocimiento, la relación profesor - alumno, alumno - alumno, alumno - contenido, las actividades y tareas académicas y el trabajo individual y grupal. El cambio generado en el paradigma educativo tradicional se refleja en la aparición y desarrollo de espacios de interacción virtual en los que se realiza el proceso de enseñanza - aprendizaje. Dichos espacios, llamados Ambientes Virtuales de Aprendizaje, fomentan nuevas lecturas, destrezas y habilidades en donde el rol de los participantes se ve determinado por el cambio en las formas de interacción a través de los nuevos medios. En este sentido, Avila y Bosco (2001) afirman : “... estamos hablando de un modelo dialógico porque obliga al intercambio y la interacción entre los sujetos que intervienen en el proceso educativo en donde el docente ya no es poseedor del conocimiento sino que orienta, media y fomenta el estudio para el logro de los objetivos de aprendizaje propuestos.” De esta manera, el proceso educativo y sus componentes se replantean a la luz de las implicaciones de la virtualidad. Uno de dichos componentes es el de la evaluación, que en el marco de las ciencias sociales, y más aún dentro del contexto pedagógico, ha jugado un papel definitivo. La virtualidad tiene claras implicaciones en el campo evaluativo, siendo una de las más evidentes la imposibilidad de controlar totalmente el fraude en los exámenes en línea para garantizar el nivel de exigencia en la formación. Esta situación lleva a replantear la evaluación hacia herramientas que permitan observar procesos cognitivos y competencias del alumno, más allá de pruebas de memoria y cuestionarios operativos. Adicionalmente, se evidencia la necesidad de diseñar metodologías que se adapten a las características de lo virtual, partiendo de lo que nos ofrece la evaluación tradicional. Los enfoques cualitativos y cuantitativos siguen siendo la base de las nuevas propuestas que deben responder e innovar en el ámbito evaluativo de la educación virtual. CONSIDERACIONES SOBRE LOS MECANISMOS DE EVALUACIÓN EN LA RED Los Ambientes Virtuales de Aprendizaje permiten amplias posibilidades para el diseño de cursos de diferentes asignaturas, dirigidos a toda clase de públicos y con variados medios y ayudas. Casi cualquier tema podría apoyarse en la virtualidad, aunque la calidad de los cursos requiere de la asesoría de un grupo de expertos en estos ambientes. En el área evaluativa se deben reflejar los objetivos específicos de cada programa por lo que la evaluación varía de acuerdo a los lineamientos definidos. En los cursos virtuales es común encontrar una o varias de las siguientes estrategias para evaluar el desempeño de los estudiantes: 1. Exámenes on line 1: Las plataformas utilizadas en los cursos virtuales permiten varios tipos de pruebas en línea tales como Escogencia múltiple, Falso – Verdadero, Completar espacios, Respuesta Múltiple, Aparear, Ordenar y Preguntas abiertas. 2. Actividades - Trabajos on line: Estas actividades pueden ser de carácter individual o grupal y requieren ser desarrolladas en el espacio virtual. En esta categoría se incluye la participación en chats y foros de discusión ofrecidos en el curso. 3. Trabajo/s entrega remota: Se trata de trabajos o documentos que deben ser enviados al profesor o tutor para su calificación. 4. Examen/es Presencial/es: Pruebas que se realizan presencialmente con la supervisión del profesor o tutor, en el mismo espacio físico y período de tiempo con el grupo de alumnos. Estas estrategias evaluativas le apuntan tanto a la apropiación de contenidos como al desarrollo de habilidades. Igualmente se evidencian estrategias de evaluación formativa que retroalimentan al estudiante durante el curso y estrategias sumativas que dan una mirada global de su desempeño a partir de evaluaciones finales. La evaluación formativa 1 En http://www.blackboard.com 2 se encuentra incluso en cursos autodirigidos en donde esta retroalimentación es la única información que obtiene el estudiante sobre su propio desempeño. En este tipo de cursos, en donde el alumno es el único gestor de su aprendizaje ya que no cuenta con la guía o apoyo de un tutor o profesor en el desarrollo de los contenidos, la evaluación cuantitativa permite una rápida retroalimentación a partir de las posibilidades de pruebas en línea disponibles en las diferentes plataformas. En este esquema autodirigido, el diseño de las preguntas es el punto determinante de la calidad de la evaluación y de la posibilidad de dar un feedback apropiado al participante. Por otra parte, los trabajos on line y de entrega remota permiten al profesor complementar la evaluación cuantitativa con un feedback basado en la calidad de la información y su pertinencia ante los postulados definidos inicialmente. Igualmente, los espacios de discusión (sincrónicos y asincrónicos), en donde se genera gran parte del intercambio y creación colaborativa de conocimiento de un curso virtual, dan información sobre la participación, relación entre los compañeros, relación con el tutor (si lo hay) y desarrollo y apropiación de contenidos. El abordaje de estos espacios, desde una perspectiva evaluativa, implica la utilización de medios cualitativos y cuantitativos que den cuenta de la riqueza conceptual y calidad de las intervenciones, pero a la vez deben arrojar datos sobre asistencia, número de intervenciones y alusión a contenidos específicos. Existe entonces una amplia gama de posibilidades a la hora de evaluar Ambientes Virtuales de Aprendizaje. Sin embargo, es posible afirmar que, aunque las estrategias de evaluación en línea se basan en el uso de nuevas tecnologías de comunicación e información, en la mayoría de los casos obedecen a una extrapolación de metodologías utilizadas en la educación tradicional que por sí mismas no permiten una mirada comprensiva de los procesos de interacción virtual. Los ambientes virtuales de aprendizaje, cada vez más comunes, requieren de metodologías de evaluación tan innovadoras como los medios que utilizan. No es posible pretender que el aspecto evaluativo virtual se resuelva sencillamente con el uso de las herramientas evaluativas de la educación presencial en espacios de educación virtual. La evaluación de la consecución de los objetivos de aprendizaje de los cursos virtuales se convierte así en un reto que sólo se puede enfrentar a partir de la investigación y el desarrollo de nuevas estrategias evaluativas que obedezcan a las características más importantes de estos cursos y que ofrezcan un valor agregado frente al modelo evaluativo del paradigma educativo tradicional. EL FOROGRAMA, UNA PROPUESTA PARA LA EVALUACIÓN Y SEGUIMIENTO DE DISCUSIONES VIRTUALES Partiendo de las implicaciones de la virtualidad en los procesos educativos, anteriormente mencionadas, se reconoce la necesidad de desarrollar propuestas evaluativas que: • Puedan ser aplicadas a cualquier curso virtual de aprendizaje que cuente con el apoyo de tecnologías de información y comunicación, adaptándose a los criterios y objetivos propios del programa. • Permitan evaluar aspectos que vayan más allá de la memorización de contenidos y la mecanización de conceptos, apuntándole a la participación, relaciones entre los 3 participantes, tipo de intervenciones a nivel conceptual y creación colectiva del conocimiento. • Sean fáciles de aplicar y faciliten la labor del tutor o facilitador para el seguimiento del grupo, brindando una visión individual y grupal de la apropiación de contenidos. • Agreguen valor a la evaluación tradicional de aprendizaje y obedezcan a espacios virtuales antes que presenciales. • Complementen la información arrojada por otras metodologías de evaluación utilizadas en el curso. • Tengan en cuenta las cualidades y puntos de apoyo de los enfoques cualitativos y cuantitativos integrando ambos modelos en propuestas innovadoras. A partir de estas necesidades, este documento presenta una nueva propuesta de evaluación que pretende responder a los requerimientos de los Ambientes Virtuales de Aprendizaje. Esta propuesta se basa en tres características fundamentales: 1. Apunta a la evaluación de discusiones virtuales que se dan a través de la herramienta de foro: La herramienta de foros es una de las más utilizadas en AVA. Este medio permite crear hilos de discusión sobre un tema determinado a partir de la participación e intervención de los usuarios. El foro, a diferencia del chat, es una herramienta asincrónica que permite a los participantes conectarse en cualquier momento y publicar mensajes que estarán disponibles para ser leídos por el resto del grupo a cualquier hora. Según Brooks, Nolan y Gallagher (2001), en un curso en el que se realizan discusiones virtuales los alumnos trabajan entre un 40 y 50% más tiempo fuera de clase que en otros cursos que no incluyen discusiones. Adicionalmente, la mayoría de estudiantes sostienen que aprenden más en los cursos que incluyen este tipo de actividades. Estas características hacen del foro una herramienta fundamental para el intercambio de información, la discusión conceptual y la creación colectiva de conocimiento, convirtiéndose en un espacio determinante para la evaluación que busca centrarse en aspectos no repetitivos y mecanicistas de la apropiación del conocimiento. 2. Se basa en técnicas de representación gráfica: La extrapolación de técnicas de estudio propias de diferentes disciplinas y el complemento de las mismas para el uso de otras áreas o fines investigativos, es una opción muy valiosa para el crecimiento y desarrollo académico. Las técnicas de representación visual han sido ampliamente utilizadas en el campo de la psicología clínica, especialmente en el ámbito de la terapia familiar y grupal, ya que permiten la organización e ilustración de ideas y relaciones de una manera más simple y directa que la proporcionada por el lenguaje oral y escrito. Una de las estrategias más utilizadas en este ámbito es el genograma, que consiste en la representación gráfica de las relaciones entre los miembros de una familia. Se trata de un árbol genealógico en el que es posible encontrar y reconocer patrones y relaciones intergeneracionales a partir de la utilización de líneas, figuras y símbolos que representan la información de cada miembro de la familia y su relación con los demás. Esta técnica permite una gran versatilidad para la observación de interacciones y relaciones, no sólo en el ámbito psicológico. Por esta razón, esta estrategia es la base 4 para la propuesta de evaluación de discusiones virtuales en Ambientes Virtuales de Aprendizaje. 3. Centrada en las interacciones: Dada la importancia de desarrollar metodologías que permitan observar los aspectos complementarios y fundamentales dentro de la apropiación misma del conocimiento que han sido mencionados, hace falta centrarse en los procesos relacionales entre los participantes de la discusión, que permitan al tutor tomar decisiones durante el proceso y retroalimentar constantemente a los alumnos. Descripción de la herramienta Para el seguimiento de discusiones asincrónicas en medios virtuales, se diseñó la estrategia de forogramas, que se compone por una serie de convenciones que permiten tener en cuenta tantos elementos como sean necesarios para evaluar un foro determinado. Estas convenciones se describen a continuación: - Género: Cada participante está identificado por un círculo o un cuadrado que simboliza su género ( = Mujer, = Hombre). - Nombre: Dentro de cada círculo o cuadrado se encuentran las iniciales del nombre de cada participante. Es decir, Carlos Pérez aparece simbolizado de la siguiente manera: CP - Participación: Quienes no participaron durante el foro únicamente tienen su figura conformada por una línea delgada. Quienes participaron tendrán una línea gruesa por cada intervención realizada. Es decir que si Carlos Pérez realizó dos aportes aparecerá así: CP - Intervención: El color y clase de la línea determinará el tipo de intervención realizada. En este caso, para determinar los tipos de intervención se tuvieron en cuenta los siguientes criterios de valoración. Esta rúbrica se ha utilizado de manera exitosa en cursos virtuales ofrecidos por Metacursos2. Una intervención puede ser: Tabla 1. Ejemplo de criterios de valoración No realizó ninguna intervención Aporte Básico: Intervención que aporta a la discusión pero no toma en cuenta las de otros participantes. Aporte Enriquecedor: Intervención que toma en cuenta las ideas de otros participantes y lleva a explorar respuestas a los interrogantes o asuntos que se discuten. Aporte Hilado, Enriquecedor y Generador: Intervención que toma en cuenta múltiples puntos de vista (hila lo ya aportado), construye sobre lo dicho por otros o por el autor de lo leído (enriquece los aportes existentes), y sirve como semilla para la reflexión por 2 http://metacursos.com/ 5 parte de otros participantes (generador de discusiones). Aporte o intervención inadecuada: No responde al tema del foro. No se relaciona con la discusión propuesta. No se ubica en el espacio correspondiente. - Interacción: Una línea unirá la figura correspondiente a la intervención emisora con la figura que representa a la intervención receptora. Es decir, si Lucas Gómez referencia o responde al mensaje de Eugenia García, la figura se verá así: Adicionalmente, un mismo mensaje podría referenciar el aporte de uno o varios compañeros a la vez. En este caso la representación gráfica sería la siguiente: Todo participante contará con una línea de mensajes de salida y otra de mensajes de entrada, en la medida en que responda a otros participantes o sea referenciado por uno o varios compañeros. El número de mensajes de salida o de llegada estarán determinados por el número de flechas en estas líneas. En este caso por ejemplo, Lucas referenció a Eugenia y luego Eugenia respondió a Lucas. En los casos en los que una persona no tiene línea de entrada, línea de salida o ninguna de las dos, quiere decir que esa persona no interactuó con otros participantes y sus compañeros no la referenciaron en ningún momento. Finalmente, el orden de presentación de los mensajes, se maneja de arriba hacia abajo, siendo la línea más baja (la más cercana al tutor) la correspondiente al último mensaje del foro. En la imagen anterior, Lucas envió el primer mensaje a Eugenia y luego esta le contestó. A partir de estas convenciones, en el forograma pueden representarse todas las intervenciones realizadas en un foro. El siguiente es un ejemplo de un forograma finalizado: Figura 1. Ejemplo de Forograma 6 En este ejemplo se pueden observar 12 participantes y la moderadora quien es representada por el círculo central inferior. En total hubo 13 intervenciones contando la de la moderadora, de las cuales 4 fueron inadecuadas. 5 personas del grupo no participaron en este foro. La moderadora sólo realizó una intervención dirigida a todo el grupo, en la que no referencia ningún mensaje en especial. APLICACIÓN DE LOS FOROGRAMAS Para probar la herramienta, se han realizado varias implementaciones en contextos educativos con apoyo de TIC. La aplicación más reciente de los forogramas se realizó en el marco del proyecto CAPTIC 3, que buscaba contribuir al mejoramiento de la calidad de la educación rural peruana mediante el desarrollo de proyectos pedagógicos interculturales centrados en el estudiante y apoyados en uso de TIC en los que se aprende por exploración y mediante colaboración entre miembros de comunidades de estudiantes y docentes. Los forogramas fueron realizados en el desarrollo de las discusiones académicas entre los profesores del proyecto CAPTIC durante un lapso de 6 semanas. Dado que los forogramas permiten, más allá de realizar observaciones aisladas, registrar el desarrollo de un grupo a través de un proceso, se aplicó la herramienta como parte del sistema de seguimiento de las discusiones virtuales del proyecto CAPTIC. Para el seguimiento de las discusiones se elaboraron forogramas correspondientes al espacio semanal de Discusión sobre la lectura, por ser el espacio que permitía observar el proceso de apropiación conceptual y el desarrollo y generación colectiva de conocimiento a partir de la interacción sobre el tema semanal. Estas observaciones se realizaron durante la primera, tercera y sexta semanas del seminario CECOVI en dos grupos distintos (1 y 2), con el fin de realizar comparaciones entre los profesores que realizaron el seminario en diferentes momentos. Algunos resultados Una vez descrita la herramienta, es interesante ver el tipo de análisis que se puede inferir a partir de uno o varios forogramas. A continuación se presenta uno de los forogramas elaborados y algunos resultados obtenidos a partir del análisis de todos los forogramas realizados en uno de los grupos observados: 3 CAPTIC surge de una alianza estratégica entre el Proyecto Huascarán del Perú y USAID y se implementa en cumplimiento del proyecto DOT EDU que ejecutan Educational Development Center y Concord Consortium, con apoyo investigativo del Laboratorio de Investigación y Desarrollo sobre Informática y Educación – LIDIE de la Universidad de los Andes. 7 Figura 2. Forograma Grupo 2, Semana 1 Grupo 2: La participación de este grupo fue muy alta desde la primera semana, en la que se registran 71 intervenciones, a diferencia de las 21 intervenciones de la semana 1 del grupo 1. Desde el principio se presentaron interacciones constantes entre compañeros, que aumentaron gradualmente a medida que avanzó el seminario. Aunque estas interacciones las iniciaron sólo 5 participantes, en la tercera y sexta semana son 11 y 15, respectivamente, los participantes que realizaron referencias o respondieron a uno o varios compañeros. Adicionalmente, de manera contraria a lo ocurrido en el grupo 1, la interacción con el moderador aumentó a medida que se desarrolló el seminario, aunque las referencias fueron muy pocas, primando la interacción con los compañeros. Frente a la participación de los moderadores, la semana tres presenta el mayor número de mensajes del moderador, siendo esta la semana de menor participación frente a las otras semanas evaluadas. Esto muestra que el papel del moderador es el de dinamizar las discusiones y por la tanto se incrementa en la medida en que los participantes no discuten. Por otra parte, aunque la interacción fue muy alta en este grupo, la mayoría de aportes de referencia o respuesta se realizaron hacia un solo compañero, siendo más escasos los aportes que tomaban en cuenta las intervenciones de varios participantes, especialmente en la semana 3. Esto último se confirma con el hecho de que sólo se presentaron 2 intervenciones hiladas, enriquecedoras y generadoras en las tres semanas valoradas. Al observar los casos particulares, todos los miembros del grupo 2, con excepción de cuatro personas (16.6%), realizaron en algún momento de las tres semanas evaluadas un aporte enriquecedor. De esta manera, el nivel de interacción alcanzado fue mucho más alto que el logrado en el grupo 1 en el que 8 personas (34.7%) no realizaron aportes que tuvieran en cuenta los de otros participantes en ninguna semana. 8 Por otro lado, el grupo 2 contó con 17 mujeres y 7 hombres, los cuales registran una mayor participación que las mujeres en la semana 1, sin que esta tendencia continúe en las semanas 3 y 6. Es interesante observar que en la semana 3 la mayoría de las interacciones se presenta entre personas del mismo sexo. En lo referente a las intervenciones inadecuadas, llama la atención que estas aumentaron en la semana 6, en la que se espera que después de haber pasado por las anteriores semanas del seminario, no se presentaran este tipo de mensajes. Esto podría relacionarse con el cierre del seminario, que generó algunas intervenciones de agradecimiento entre las participantes, inadecuadas para el espacio de discusiones académicas y más pertinentes para el espacio de diálogo social. Por último, no se observa una tendencia clara frente a centralizar el diálogo en pocas personas en las diferentes semanas. Aunque en la semana 1, 3 personas realizaron un número muy alto de intervenciones, en las siguientes semanas la participación fue más balanceada entre todos los participantes. Para complementar esta información, se obtuvieron datos cuantitativos a partir del análisis de los forogramas, como lo muestra el siguiente cuadro: Tabla 2. Seguimiento Cuantitativo Total Promedio Porcentaje Mensajes Región Semana Grupo Intervenciones Intervenciones participación referencia 3 3 100 0 Lima 18 3,6 100 6 Junín Semana Grupo 13 2,6 80 1 Oxapampa 1 2 28 3,1 100 2 Ucayali 3 0,7 50 0 Pasco CONCLUSIONES SOBRE LA HERRAMIENTA La herramienta de forograma permitió realizar un seguimiento, a lo largo del proceso, tanto personal como grupal, respondiendo a los criterios de evaluación definidos en los foros de discusión. De manera adicional a los criterios señalados inicialmente sobre el tipo de aportes y réplicas, los forogramas permitieron obtener información sobre las relaciones Participante – Participante, Tutor – Participante y Participante - Contenido. De esta forma, el forograma puede adaptarse a cualquier criterio de evaluación a partir de la asignación de las convenciones correspondientes, que gracias a la representación gráfica, prácticamente no tienen límite. Otros criterios a evaluar, por ejemplo, podrían ser el tipo de participación y la autonomía en el aprendizaje (actitud propositiva, reflexión, capacidad de análisis). La flexibilidad de los criterios que pueden ser observados con el forograma permite ir desde aspectos operativos hasta evaluaciones de proceso de carácter comprensivo. Esta estrategia no es excluyente de otras metodologías de evaluación ya que complementa la información arrojada por otros medios evaluativos y permite un manejo cualitativo y cuantitativo de la información, dada la flexibilidad que permite su estructura. 9 Uno de los valores agregados del forograma es el de facilitar la labor del docente o tutor en el seguimiento y retroalimentación a nivel individual y grupal, brindando una forma rápida de obtener información sobre varias áreas de interés. El análisis de los forogramas aplicados durante un período de tiempo al mismo grupo de participantes, permite observar a lo largo del proceso el desempeño de cada estudiante y del grupo en general. Al final de un curso virtual con estas características, los forogramas se convierten en el histórico del grupo que arroja información tanto sobre casos puntuales como sobre la evolución de la interacción y comunicación grupal. Esta estrategia permite al tutor tener control sobre el desarrollo del proceso y tomar decisiones al respecto, para intervenir en el foro ya sea al final o durante la discusión. Obtener esta información a partir de la lectura repetida de cada mensaje y su relación con los demás aportes, en ese y otros foros anteriores, es una labor muy dispendiosa a pesar de que se tenga experiencia como tutor en discusiones virtuales. La labor de facilitación del tutor se apoya en la interpretación de las imágenes del forograma, cuya sencilla comprensión agiliza el proceso de acompañamiento. Al analizar uno o varios forogramas se conoce prácticamente de inmediato quién no ha participado durante varios foros, quién lo ha hecho de manera inadecuada, quién está generando discusión o quién participa de manera aislada, entre muchas otras posibilidades a observar. Sin embargo, la realización del forograma sigue siendo un proceso manual dispendioso, elaborado en programas de diseño gráfico. El desarrollo y programación de un software de apoyo a la elaboración del forograma permitiría agilizar enormemente esta labor de recolección de información. Sobre este punto existe una propuesta de desarrollo que no se ha implementado aún y que podría ser el tema de un estudio posterior. Por último, es importante resaltar que el forograma surge como una respuesta a las necesidades de innovación en el área de la evaluación virtual. Aunque puede ser utilizada en espacios de discusión presencial, se convierte en una estrategia novedosa con respecto a las metodologías tradicionales de evaluación utilizadas en la educación presencial y obedece a las características propias de la virtualidad. Es necesario continuar la investigación sobre ésta y otras herramientas de evaluación innovadoras, que se adapten a las características de la virtualidad. La aplicación y prueba de esta nueva herramienta en diferentes tipos de cursos puede generar aportes importantes, tanto en la comprensión de las dinámicas de comunicación alrededor de la educación virtual, como en el desarrollo de nuevas metodologías de evaluación, flexibles y coherentes con este tipo de aprendizaje. REFERENCIAS - Avila, P., Bosco, M. D., (2001), Ambientes Virtuales de Aprendizaje una Nueva Experiencia. En http://investigación.ilce.edu.mx/dice/articulos/articulo11.htm - Brooks, D.W., Nolan, D.E., Gallagher, S.M. (2001) Web Teaching. A guide to designing interactive Teaching for the World Wide Web. New York: Kluwer Academic/Plenum Publishers. - Quevedo, L.A. (2000). “El E-mail y los Lazos Sociales en la Era de la Información” en Signo y Pensamiento. Universidad Javeriana. Vol. 36, pp. 73 – 82. 10