Análisis Comparativo de Intrumentos de Evaluación de Objetos de

Análisis Comparativo de Intrumentos de Evaluación de
Objetos de Aprendizaje
Erla Morales1, Francisco García2, Ángela Barrón1
1
Instituto Universitario de Ciencias de la Educación
Universidad de Salamanca, 37008. Salamanca España
solis15@usal.es, ansa@usal.es
2
Departamento de Informática y Automática
Universidad de Salamanca, 37008. Salamanca España
fgarcia@usal.es
Resumen. Una herramienta de evaluación es una buena alternativa para valorar
recursos educativos desde diversos puntos de vista al considerar una serie de
criterios de evaluación que garanticen su eficiencia. La valoración de la calidad
de los OAs también se ha realizado a través de herramientas que toman en
cuenta sus características como recurso reusable, accesible e interoperable,
como también las características técnicas y pedagógicas de cualquier recurso
educativo. A través de este trabajo, se pretende hacer un análisis comparativo
de dos de ellas para valorar de forma crítica las diversas ventajas, desventajas y
posibilidades de mejora.
Keywords: Objetos de Aprendizaje, Calidad, Evaluación.
1
Introducción
La valoración de la calidad de un recurso siempre debe ser medida bajo criterios de
valoración que contemplen sus principales características y - en el caso del ámbito
educativo – eficiencia para el logro de los objetivos de aprendizaje en cuestión. En el
caso de los OAs la definición de criterios para su valoración debe considerar las
características fundamentales de estos (reusabilidad, accesibilidad, interoperabilidad y
granularidad), así como también, su eficiencia pedagógica y técnica.
Actualmente, existen diversas herramientas de evaluación de OAs, la más conocida
es LORI (Learning Object Review Instrument) (http://www.elera.net/eLera/Home), la
cual ha sido utilizada en conocidos repositorios de OAs. Sobre la base de LORI y
otras herramientas de evaluación de recursos educativos, se ha desarrollado una
herramienta [3] que intenta valorar criterios específicos dentro de categorías de
evaluación bien definidas, de esta manera, se pretende asignar un valor numérico a
aspectos concretos para que puedan ser mejorados y agregar ese valor a los metadatos
para gestionar los OAs según su calidad. El objetivo de este trabajo es realizar un
análisis comparativo entre los criterios planteados por la herramienta LORI y la otra
herramienta mencionada anteriormente [3] para reflexionar acerca de su pertinencia y
posibilidades de mejora. Es así como en la sección 2 se presentan ambas herramientas
2
Erla Morales1, Francisco García2, Ángela Barrón1
y una tabla que compara los criterios según las dimensiones o categorías a las que
pertenecen. La sección 3 presenta las conclusiones de dicho análisis.
2
Análisis de instrumentos de evaluación de OAs
De acuerdo a [1], la necesidad de evaluar OAs requiere el desarrollo de criterios para
su valoración. Los instrumentos de evaluación permiten y facilitan la comparación
entre distintos elementos porque contienen un formato y criterios específicos para
ello. Como se mencionó anteriormente, uno de los instrumentos más conocidos para
evaluar OAs es LORI (Learning Object Review Instrument), herramienta creada por [2]
utilizada para evaluar la calidad de recursos para un sistema e-learning. Se trata de un
formulario en línea que contiene rúbricas, escala de valoración y campos de
comentarios.
Como instrumento de evaluación busca facilitar la comparación de los recursos
proveyendo un formato estructurado para su evaluación. Esta herramienta presenta
nueve dimensiones que permiten evaluar:
1. Calidad del contenido: Veracidad, certeza, presentación balanceada de las ideas y
apropiado nivel de detalle.
2. Alineación de las metas de aprendizaje: Alineación entre los objetivos de enseñanza,
actividades, evaluaciones y características del aprendiz.
3. Realimentación y adaptación: Adaptación del contenido o realimentación a
diferentes usuarios o modelos de usuario.
4. Motivación: Capacidad para motivar, interesar e identificar a los usuarios.
5. Diseño de la presentación: Diseño de la información visual y auditiva, etc.
6. Interacción en la usabilidad: Fácil navegación, interfaz de usuario intuitiva y calidad
de la interfaz de ayuda.
7. Accesibilidad: Diseño de controles y formato de presentación acomodado a usuarios
discapacitados y ambulantes.
8. Reusabilidad: Capacidad de portabilidad entre diferentes cursos o contextos de
aprendizaje sin modificación.
9. Adecuación a un estándar: Adherencia a estándares y especificaciones
internacionales.
Cada uno de estos ítems posee diversos criterios o rúbricas que son evaluadas
utilizando una escala de cinco puntos, siendo el número cinco la puntuación más alta.
En caso de que un evaluador no tenga la capacidad de evaluar un ítem puede obviarlo.
Para que los criterios aporten a la evaluación del OA información útil desde
diversos puntos de vista es importante clasificarlos dentro de categorías que definan el
marco de evaluación. Como se mencionó anteriormente, LORI emplea nueve
dimensiones que abarcan una amplia variedad de criterios. Las características de los
OAs como recursos educativas que puedan ser reutilizados indica un especial cuidado
con los criterios a considerar para valorar si los OAs en cuestión contienen las
características necesarias para ser considerados de calidad.
Los OAs como recursos educativos deben considerar criterios que permitan valorar
su significatividad lógica y psicológica. La primera está asociada a las características
Análisis Comparativo de Intrumentos de Evaluación de Objetos de Aprendizaje
3
de los alumnos y la segunda al currículo. Sobre esta base, a través de la herramienta
de evaluación de OAs propuesta por [3] se han propuesto criterios para evaluar
aspectos pedagógicos a través de las categorías “Psicopedagógica” y “DidácticoCurricular”. Por otra parte, se proponen criterios para valorar aspectos del diseño web
o usabilidad de los OAs en cuanto al diseño de contenidos (texto, colores, tamaños,
etc.) y el diseño de la navegación.
El propósito de los criterios pedagógicos es evaluar una serie de aspectos
educativos que deben estar presentes en cualquier contenido de enseñanza para
promover el logro de aprendizajes, ya sea en aspectos relacionados a los estudiantes o
al currículo. Es así como se ha diseñado una herramienta que pretende evaluar los
contenidos desde dos puntos de vista: psicopedagógico y didáctico-curricular [4]
• Psicopedagógico: En esta categoría los criterios pedagógicos que se evalúan
están dirigidos a la significatividad psicología, por este motivo se ha
asignado el nombre de “Psicopedagógicos”, sobre esta base se han definido
los criterios: Capacidad de motivación (presentación atractiva y original,
aporta información relevante, etc.), adecuación a los destinatarios,
interactividad y creatividad.
• Didáctico-curricular: En esta categoría se presentan criterios asociados a la
significatividad lógica, es decir, si el OA es adecuado para los objetivos
curriculares, entre ellos se encuentra: objetivos (correctamente formulado,
factibilidad), contenidos (información correcta, precisa, no discriminatoria,
estructurante de la materia, adecuada a los objetivos y características de los
usuarios), actividades y metodología.
El diseño del OA es un factor muy importante para evaluar su calidad. El OA
puede ser de muy buena calidad en cuanto a contenidos y estar pedagógicamente bien
estructurado, sin embargo, si el diseño de la interfaz entorpece la interacción, puede
terminar por desmotivar al usuario y disminuir su nivel de atención.
Actualmente existe bastante literatura para realizar un adecuado diseño web y
mejorar su usabilidad, sobre la cual se pueden obtener diversos criterios de calidad
[5], [6], [7].
Sobre esta base y de acuerdo a los principios de usabilidad de Nielsen (2000) se
han establecido dos aspectos básicos a evaluar sobre el diseño de la interfaz de los
OAs: diseño de contenidos teóricos y diseño de navegación:
• Diseño de Interfaz: Está enfocado a evaluar aspectos técnicos y estéticos
asociados al diseño de los OAs. Los aspectos a valorar son: Texto, Imagen,
Animaciones, Multimedia, Sonido, Vídeo. Cada uno de estos aspectos
presenta criterios concretos de evaluación.
• Diseño de Navegación: Está enfocado a evaluar la organización de la
información como a las posibilidades de acceder a ella a través de la
navegación. Sobre la base de [6], se sugieren criterios de evaluación
asociados a la página de inicio y a la navegabilidad.
Como se mencionó anteriormente, los criterios de evaluación sugeridos inicialmente, se
presentan a través de una herramienta, a través de la cual se pretende recoger la valoración
de diversos expertos con respecto a la calidad de un OA. Los criterios agrupados en
aspectos pedagógicos y de usabilidad permiten valorar los OAs desde un punto de vista
educativo y técnico.
4
Erla Morales1, Francisco García2, Ángela Barrón1
Para valorar cada uno de los criterios en [3] se ha definido un rango, tal como muestra
la Tabla 1, que comprende una valoración numérica del 1 al 5, siendo el cinco la más alta.
Por otra parte, en caso de que el experto no sepa o no conozca el criterio existe la
opción N/S (No Sabe). Para esta situación, se ha definido una valoración textual ya que si
es numérica, como por ejemplo 0, el instrumento lo promediaría a los demás valores, lo
que daría como resultado una valoración muy mala del criterio que no es el caso,
disminuyendo así el valor de la calidad final [8], [9], [10].
Tabla 1. Rango del instrumento de evaluación de los OAs
Valor
N/S
1
2
3
4
5
Indicadores
No Sabe
Muy deficiente
Deficiente
Aceptable
Alta
Muy alta
Significado
No sabe cómo valorar el criterio
La calidad del OA es muy mala, necesita rehacerse o ser eliminado
La calidad del OA es mala, requiere una gran mejoría
La calidad del OA no es del todo mala pero necesita ser mejorado
La calidad del OA es buena aunque puede ser mejorado
La calidad del OA es muy buena, no necesita mejoría
Con el fin de analizar los criterios planteados en ambas herramientas a
continuación se presentan tablas de comparación (2,3,4 y 5) divididas según las
categorías sugeridas por [3]. A diferencia del instrumento de evaluación LORI, cada
uno de los criterios que se encuentran dentro de una categoría debe ser evaluado de
forma individual, de esta manera se asegura una valoración más exacta y confiable.
Una vez realizada esta valoración, a través de la herramienta se calcula el promedio
que finalmente reflejará el valor correspondiente a la calidad del OA.
La reusabilidad es una de las principales características de los OAs, por tanto, es
otro aspecto importante de evaluar. Anteriormente se analizó la importancia de que el
OA sea valorado en su contexto, por tanto, es importante saber si el OA tiene la
capacidad para ser portado entre diferentes cursos o contexto de aprendizaje sin ser
modificado.
De acuerdo a esto, la herramienta [3] presenta un ítem de comentarios donde el
evaluador además indicar, “si considera que el objeto puede ser reutilizado en otras
áreas, dé algunos ejemplos”. Por otra parte, el mismo ítem de comentarios permite
realizar valoraciones sobre la calidad de los OAs. Las respuestas se analizan
posteriormente a través de una valoración cualitativa donde se sintetizan las
principales ideas expuestas y se agregan a los metadatos a través del elemento “9.3
descripción”, correspondiente a la categoría de metadatos “9.Clasificación” de LOM
[11]. Este hecho permite además aportar el valor agregado de complementar la
valoración de calidad numérica de los OAs. [4]
La validez de la herramienta de [3] ha sido probada por medio de su aplicación a
un par de OAs diseñados para apoyar una asignatura [10] y también mediante su
revisión por parte de expertos que mencionaron su acuerdo con los criterios
planteados. Tanto expertos como estudiantes hicieron sugerencias de redacción con el
objetivo de expresar con mayor claridad lo que se desea evaluar. Las sugerencias de
mejora ya han sido incluidas en las tablas (2,3,4 y 5).
Análisis Comparativo de Intrumentos de Evaluación de Objetos de Aprendizaje
5
Tabla 2. Rango del instrumento de evaluación de los OAs
Herramienta de Morales, García y Barrón [3]
ASPECTOS PEDAGÓGICOS
CATEGORÍA PSICOPEDAGÓGICA
Motivación y Atención
- Presentación atractiva y original: captar la
atención de los estudiantes y mantener el interés.
- Información relevante: entregar información
importante para ayudar a comprender los
contenidos.
- Participación del estudiante: explica claramente
su participación en el desarrollo del programa
Desempeño profesional
- Adecuación a competencias profesionales:
Adecuar profundidad según conocimientos
previos y nivel de complejidad que el estudiante
es capaz de comprender.
Nivel
de
dificultad
adecuado
a
las
características de los alumnos
- Profundidad pertinente: Adecuar profundidad
según conocimientos previos y nivel de
complejidad que el estudiante es capaz de
comprender.
- Nivel de Lenguaje: Adecuar lenguaje utilizado a
los conocimientos previos de los estudiantes.
Interactividad
- Nivel de interactividad: Promover actividades
abiertas, diversas maneras de resolver problemas,
proporcionar realimentación y corrección de
errores.
- Tipo de interactividad: Adecuar interactividad a
los objetivos de la metodología, los niveles
pueden ser: activos, expositivos o mixtos.
Creatividad
- Promover el desarrollo e iniciativa y el
aprendizaje autónomo.
- Promover el desarrollo de habilidades
metacognitivas y estrategias de aprendizaje que
les permita planificar, regular y evaluar su propia
actividad intelectual.
Herramienta LORI (1.5)
DIMENSIONES
Motivación
Capacidad para motivar, interesar e
identificar a los usuarios.
- El OA es altamente motivante. Su
contenido es relevante para las metas
personales e intereses de los
estudiantes.
- El OA ofrece elección de actividades
verídicas de aprendizaje, multimedia,
interactividad, humor, drama o
juegos como desafíos. - Provee
expectativas realistas y criterios para
el éxito.
- Feedback compara el desempeño de
estudiante según el criterio, muestra
consecuencias naturales de su
desempeño y explica cómo este
puede ser mejorado.
- Los estudiantes son capaces de
reportar un aumentado interés en el
tema después trabajar con el OA.
La tabla 2, presenta los aspectos pedagógicos sugeridos por [3] los cuales
corresponden a elementos relacionados a la significatividad psicológica. A la derecha
de la tabla 2 se ha incluido la dimensión “motivación” de la herramienta LORI por ser
la que más se identifica con la mencionada significatividad. La herramienta de [3]
considera una gama de criterios más amplio para valorar la calidad del OA con
respecto al estudiante, como por ejemplo si el OA es adecuado para que estos mejoren
su desarrollo profesional. La valoración de la interactividad también se considera en
la herramienta de [3] en donde se proponen dos criterios que se corresponden los
6
Erla Morales1, Francisco García2, Ángela Barrón1
elementos “5.1. Tipo de Interactividad” y “5.3. Nivel de Interactividad” de LOM [11]
de esta manera se puede ayudar a agregar una información adecuada y fiable en los
metadatos del OA. La adecuación del nivel de dificultad y la promoción de la
creatividad son aspectos importantes a considerar para promover el logro de los
objetivos de aprendizaje por esta razón [3] consideran que deben ser considerados en
una herramienta de evaluación de OAs
Tabla 3. Rango del instrumento de evaluación de los OAs
Herramienta de Morales, García y Barrón [3]
ASPECTOS PEDAGÓGICOS
CATEGORÍA DIDÁCTICO-CURRICULAR
Contexto
- Nivel formativo adecuado a los objetivos, por
ejemplo: educación secundaria, formación
profesional, etc.
Objetivos
- Correctamente formulado: Generalmente los
objetivos se elaboran según la fórmula: verbo
infinitivo + contenido + circunstancia.
- Factible: Puede ser alcanzado.
- Indica lo que se espera sea aprendido: el
estudiante debe estar consciente de lo que tiene
que aprender.
- Coherente con los objetivos generales: Los
objetivos específicos deben ayudar a cumplir los
objetivos generales.
Tiempo de Aprendizaje
- El tiempo de duración estimado en el desarrollo
de la unidad debe ser adecuado al tiempo
disponible
Contenidos
- Presenta información suficiente y adecuada al
nivel educativo
- Adecuar los contenidos al objetivo propuesto
- Presentar información en distintos formatos
(texto, audio, etc.)
- Permite interactuar con el contenido a través de
enlaces
- Presentar información complementaria para
ayudar a los estudiantes que deseen profundizar
sus conocimientos
- Cuidar que la información que presenta sea
confiable,
(datos
exactos,
referencias
bibliográficas, etc.)
- Presentar la información de forma adecuada para
ayudar a una mejor comprensión del contenido
- Verificar que el idioma empleado en los
contenidos sea pertinente a los objetivos de
Herramienta LORI (1.5)
DIMENSIONES
Alineación de las metas de
aprendizaje
- Alineación entre los objetivos de
enseñanza, actividades, evaluaciones
y características del aprendiz.
- Los objetivos de aprendizaje están
declarados, ya sea dentro de el
contenido al que ha accedido el
estudiante o por el que se encuentra
disponible a través de metadatos
- Los objetivos son adecuados para los
destinatarios finales
- Las actividades, contenidos y
evaluación que provee el OA se
alinea con los objetivos declarados
- El OA es suficiente en sí mismo para
que los estudiantes sean capaces de
lograr los objetivos de aprendizaje
Calidad del contenido
Veracidad,
certeza,
presentación
balanceada de las ideas y apropiado
nivel de detalle.
- El contenido está libre de error y
presentado sin prejuicios u omisiones
que podrían llevar a los estudiantes a
conclusiones erróneas
- Las afirmaciones están soportadas
por evidencia o argumento lógico
- Las presentaciones enfatizan los
puntos clave y las ideas significativas
con un apropiado nivel de detalle
- Las
diferencias
entre
grupos
culturales
étnicos
y
están
representadas de forma balanceada y
sensitiva
Realimentación y adaptación
Análisis Comparativo de Intrumentos de Evaluación de Objetos de Aprendizaje
enseñanza
Actividades
- Ayudan a reforzar los conceptos
- Promueve una participación activa: estimulan la
reflexión y la crítica
- Presenta distintos tipos de estrategias de
aprendizaje, según sea el caso (resolución de
problemas, estudio de caso, etc.)
- Presenta actividades de evaluación y práctica
- Se propone modalidad de trabajo según sea el
caso (individual, colaborativa y/o cooperativa)
Realimentación
- Se refuerzan los conocimientos a través de
ejercicios, autoevaluaciones, etc.
COMENTARIOS GENERALES: Si considera
que el OA puede ser reutilizado en otras áreas, dé
algunos ejemplos)
7
Adaptación
del
contenido
o
realimentación a diferentes usuarios o
modelos de usuario.
- EL OA tiene la capacidad para: (a)
direccionar mensajes instruccionales
o actividades según necesidades
específicas o características de los
estudiantes o b) simular o construir
un fenómeno bajo estudio sobre las
diferenciadas respuestas de los
estudiantes.
- Un modelo o perfil del estudiante es
mantenido para influenciar el
comportamiento de un OA.
Reusabilidad:
Capacidad
de
portabilidad entre diferentes cursos o
contextos
de
aprendizaje
sin
modificación.
La tabla 3, presenta a la izquierda los aspectos didáctico-curriculares que se
considera en [3] para necesarios para valorar la significatividad lógica del OA, por
tanto, todos los criterios están relacionados al currículo. La valoración del contexto
está orientada en la herramienta de [3] sobre la información que se sugiere agregar en
la categoría de metadatos “5.6 Contexto” de LOM [11] estos criterios están orientados
al entorno principal en que se utilizará el objeto educativo, concretamente al nivel
educativo, si bien es cierto, un contexto no se limita a un nivel educativo porque
abarca muchas cosas más, especialmente aspectos psicopedagógicos y curriculares,
pero como estos aspectos ya se han especificado en otras partes de la herramienta se
ha delimitado relacionar el criterio de evaluación a la información que se agrega en la
categoría de metadatos indicada anteriormente, para así valorar si el OA es adecuado
para ese nivel educativo y agregar adecuadamente esta información a los metadatos.
Los criterios para valorar la calidad de las actividades son consistentes en ambas
herramientas. En el caso de [3] se ha agregado un criterio sobre el tiempo de
aprendizaje porque se puede dar el caso que el ser los OAs reutilizables, el tiempo
disponible para realizar una actividad en un nuevo contexto de aprendizaje no sea el
mismo que se ha estimado cuando se diseñó el OA.
En cuanto a la valoración de los contenidos, ambas herramientas coinciden en gran
parte de los criterios. La herramienta LORI menciona el cuidado con las diferencias
raciales y étnicas que pueden afectar la efectiva reusabilidad del OA. También
menciona entre sus criterios la posibilidad de que el OA se adapte a necesidades
específicas de los estudiantes o a un perfil de estudiante. En este caso hay que tener en
cuenta que un OA que no cumpla estos requisitos no significa que no sea de calidad.
Los OAs pueden no pertenecer a sistemas adaptativos que los gestionen, por tanto,
esta característica no debe afectar su calidad.
8
Erla Morales1, Francisco García2, Ángela Barrón1
Tabla 4. Rango del instrumento de evaluación de los OAs
Herramienta de Morales, García y Barrón [3]
CRITERIOS DE USABILIDAD
DISEÑO DE INTERFAZ
Texto
- Organizar en párrafos cortos, sin romper los
párrafos ni la continuidad de las ideas que se
exponen en ellos.
- Utilizar hipertexto para dividir información
extensa en múltiples páginas
- Marcar bloques de contenido a través de títulos o
epígrafes
- Usar mayúsculas para los títulos, encabezados o
resaltar textos puntuales
- Evitar subrayados cuando no hay enlaces
- Tipo de letra legible y tamaño adecuado
- Los colores y tipos de letras aportan información
por sí mismos
- No presentar ningún error ortográfico
Imagen
- Aclarar la información textual.
- Su presencia no es superflua
Animaciones
- Las animaciones están justificadas no se debe
abusar de ellas
- Atraer la atención del usuario para destacar cosas
relevantes
- No tardar mucho tiempo en cargarse
- Evitar animaciones que se presentan en un ciclo
sin detenerse
Multimedia
- Usar justificadamente, solo cuando sea necesario
aportar algo
- Indicar entre paréntesis cuando el tiempo
estimado de descarga pueda superar los 2
segundos
Sonido
- Emplear solo cuando sea necesario (opcional
para el usuario).
- Informar de las características del archivo de
audio antes de su descarga (tamaño, tipos de
conexión, etc.)
Vídeo
- Utilizar justificadamente, sólo cuando pueda
aportar algo
- La imagen y el audio se presentan de forma clara
Herramienta LORI (1.5)
DIMENSIONES
Diseño de la presentación:
Diseño de la información visual y
auditiva para mejorar el aprendizaje y
un procesamiento mental eficiente.
- La producción y diseño de la
información permiten al usuario
aprender eficientemente. Las
presentaciones reducen al mínimo la
búsqueda visual. El texto es legible.
- Gráficos y tablas están etiquetados y
libres de desorden. Eventos animados
o grabados en vídeo están descritos
por una narración auditiva.
- Títulos significativos señalan el
contenido del texto
- La escritura es clara, concisa y libre
de errores.
- El color, la música y características
decorativas son estéticamente
placenteros y no interfiere con los
objetivos de aprendizaje.
Interacción en la usabilidad: Fácil
navegación, interfaz de usuario intuitiva
y calidad de la interfaz de ayuda.
- El diseño de interfaz de usuario
informa implícitamente a los
estudiantes cómo interactuar con el
OA, o existen claras instrucciones
que guían su uso.
- La Navegación a través del OA es
fácil, intuitiva y libre de un retraso
excesivo.
- El comportamiento de la interfaz de
usuario es consistente y fiable.
Análisis Comparativo de Intrumentos de Evaluación de Objetos de Aprendizaje
9
La tabla 4, presenta los aspectos técnicos a valorar en un OA. En el caso de [3] se han
considerado criterios relacionados a la usabilidad del OA con respecto al diseño de
interfaz. La herramienta de [3] especifica más cada uno de los posibles elementos que
puede contener un OA y los criterios de calidad asociados a ellos. En general, ambas
herramientas coinciden con los criterios esenciales a tener en cuenta para valorar un
recurso. El ítem “interacción en la usabilidad de LORI” mezcla aspectos de diseño de
interfaz y navegación que pueden resultar demasiado concisos para una adecuada
valoración.
Tabla 5. Rango del instrumento de evaluación de los OAs
Herramienta de Morales, García y Barrón [3]
DISEÑO DEL SITIO
Pagina de Inicio
- Aclarar al usuario donde se encuentra y el
objetivo del sitio
- Presentar las principales áreas de contenido del
sitio con hipervínculos
- Si existe pantalla de bienvenida, ésta no debe
retardar la llegada del usuario a la página de
inicio
Navegabilidad
- Poseer una estructura flexible que permita al
usuario controlar su navegación
- Presentar títulos claros indicando nombre o
contenido principal
- La interfaz de navegación muestra todas las
alternativas posibles al mismo tiempo, para que
los usuarios puedan escoger su opción
- El usuario sabe dónde se encuentra en todo
momento
- Las pantallas dedican gran parte espacio al
contenido
- La páginas deben ser sencillas, no estar
recargadas con publicidad, animaciones, etc.
- El diseño es consistente en todas las pantallas
(tamaños, colores, iconos, tipos de letra, etc.)
Herramienta LORI (1.5)
DIMENSIONES
Accesibilidad: Diseño de controles y
formato de presentación acomodado a
usuarios discapacitados y ambulantes.
- El OA provee un alto grado de
acomodación para los estudiantes con
deficiencias
sensoriales
y
discapacidades motoras y se puede
acceder a ellos a través de
dispositivos
asistidos
altamente
portables.
- El OA sigue la guia IMS para
aplicaciones
de
aprendizaje
accesibles y se ajusta a las directrices
sobre accesibilidad de contenidos
Web (W3C) al nivel ‘AAA’
Finalmente, la tabla 5 muestra en el caso de la herramienta de [3] criterios
relacionados con el diseño del sitio, los cuales están orientados a la navegación del
recurso para cuya valoración se presentan criterios muy específicos. La herramienta
LORI considera criterios para valorar la accesibilidad del OA, aspecto muy
importante a tener en cuneta para que puedan tener acceso al recurso usuarios con
algún tipo de discapacidad.
10
Erla Morales1, Francisco García2, Ángela Barrón1
El criterio de la herramienta LORI sobre “adecuación a un estándar: Adherencia a
estándares y especificaciones internacionales” no figura en la herramienta de [3]
porque a juicio de los autores se trata de una valoración que debe realizar un experto
sobre estándares, la cual forma parte de una evaluación de entrada dentro de un
proceso de evaluación general de un sistema de gestión de OAs [3], esto es supervisar
a través de expertos que los OAs tienen las características propias de su condición, es
decir, que pertenecen a un estándar, que contienen metadatos y han sido
empaquetados correctamente.
La valoración de la reusabilidad es otra cuestión importante a considerar como
características de los OAs. Como se puede apreciar en la tabla 3, la herramienta LORI
contiene la dimensión “reusabilidad” para valorar si el OA tiene la capacidad de
portabilidad entre diferentes cursos o contextos de aprendizaje sin modificación. La
herramienta de [3] valora a través de la sección “comentarios” si se considera que el
OA pueda ser reutilizado en otras áreas. La valoración de la reusabilidad, tal como se
plantea en LORI, a nuestro juicio no es algo fácil de realizar porque se requiere un
amplio conocimiento de los posibles contextos, que pueden ser muchos y también es
difícil asegurar de que no se necesite su modificación. Para que los OAs cumplan con
las características de reusabilidad, tal como se plantea en LORI, tendría que tratarse se
OAs con un objetivo muy específico usando un lenguaje que no haga mención a un
grupo de usuarios o situación contextual específica.
La consideración de categorías de evaluación bien delimitadas y criterios de
evaluación específicos y bien diferenciados permiten a los expertos una mejor
valoración de la calidad de los OAs. De esta manera, es posible valorar concretamente
cada uno de ellos, asignarles una valoración numérica e identificar rápidamente el
aspecto que requiere ser mejorado. Sobre esta base [3] sugieren asignar al OA un
valor que corresponda al promedio de evaluación final y asignarlo a la categoría
“9.clasificación” de los metadatos del OA. Esta categoría permite clasificar los OAs
según ciertos propósitos y si se define el propósito “calidad” es posible definir un
valor numérico para su búsqueda, como también, incluir las evaluaciones cualitativas
de los OAs a través del elemento “9.3.Descripción”.
Por otra parte, resulta positivo dividir la herramienta de evaluación en diferentes
categorías, de esta manera se pueden dirigir a expertos específicos y asegurar que
ningún criterio se queda sin evaluar por falta de competencia de los evaluadores.
3
Conclusiones
Los criterios de evaluación de OAs presentados a través de ambas herramientas
muestran una pauta clara y específica sobre las cuestiones que deben ser consideradas
para valorar su calidad. La herramienta de [3] considera la demarcación de los
criterios en categorías bien definidas con la posibilidad de valorar cada uno de ellos
de forma numérica. La herramienta LORI presenta los criterios dentro de las nueve
dimensiones mencionadas, en la tabla 2 se han considerado los detalles para valorar
cada una de las dimensiones, que en su versión original se presentan dentro de un
enlace para “más información”.
Análisis Comparativo de Intrumentos de Evaluación de Objetos de Aprendizaje
11
Si bien es cierto, los detalles que presenta LORI en cada una de sus dimensiones
explican de forma clara los aspectos a ser valorados, sin embargo, a nuestro juicio
para una adecuada valoración no es recomendable que una dimensión o categoría sea
valorada tan ampliamente, esto es debido a que se pierde la objetividad y puede
confundir a los evaluadores al no estar de acuerdo con algunos criterios pero con otros
sí.
La herramienta LORI presenta además dimensiones que conciernen directamente
con las características propias de un OA que son la accesibilidad y reusabilidad, sin
embargo, es importante reflexionar sobre la pertinencia de esta última dimensión
dentro una herramienta y la forma en que se valora. Es bien sabido que un OA debe
ser reusable para ser considerado como tal, pero también es una realidad que ese tipo
de valoración no es fácil de conseguir y que posiblemente a través de una herramienta
que se valora a través de símbolos o números no se pueda precisar este tipo de
información.
Es importante destacar que el uso de una herramienta de evaluación de OAs
debería de ir acompañado en lo posible de una estrategia que permita la discusión
colaborativa de expertos que puedan llegar finalmente a un consenso ante opiniones
divergentes. Desde aquí ya se pueden notar dos importantes aditivos para la
evaluación, por una parte el empleo de un instrumento y por otra la participación de
varias personas para calificar un recurso.
Agradecimientos. Este trabajo es parcialmente financiado por el Ministerio de
educación y Ciencia, como también por proyecto FEDER Keops (TSI2005-00960) y
el proyecto de la Junta de Castilla y León SA056A07.
Referencias
1.
2.
3.
4.
5.
6.
7.
8.
9.
Vargo, J., Nesbit, J., Belfer, K., Archambault, A.: “Learning object evaluation:
computermediated collaboration and inter-rater reliability”. International Journal of
Computers and Applications Vol 25 Nº 3 (2003).
Nesbit, J. C., Belfer, K. & Leacock T. L. (2004) LORI 1.5: Learning Object Review
Instrument. Retrieved June 2007, from http://www.elera.net.
Morales. An instrument for learning objects evaluation and management. Proceedings of
the 10th International Conference on Enterprise Information Systems (ICEIS'08). (June
12-16, 2007, Barcelona, Spain). In press.
Morales, E. M., García, F. J., Barrón, Á.: "LOs Instructional Design based on an
Ontological Model to Improve their Quality". 8th International Symposium on Computers
in Education, (SIIE'06). October, León (2006).
Powell T. A. (2001). Diseño de Sitios Web: Manual de referencia. Madrid: McGraw-Hill.
Nielsen, J. (2000). Usabilidad Diseño de Sitios Web. Prentice Hall PTR.
Braun, K., Gadney M., Matthew, H., Roselli, A., Synstelien, D., Walter, T. & Wertheimer,
D. (2003). Usabilidad. Ediciones Anaya Multimedia Madrid.
Morales, E., García, F. Barrón, A. & Gil, A.: “Sistema de gestión de Objetos de
Aprendizaje de calidad” en III Simposio Pluridisciplinar sobre Objetos y Diseños de
Aprendizaje Apoyados en la Tecnología. Septiembre, Oviedo (2006).
Morales, E., Gil, A., & García, F.: Arquitectura para la recuperación de Objetos de
Aprendizaje de Calidad en Repositorios Distribuidos. En Actas del SCHA: Sistemas
Hipermedia Colaborativos y Adaptativos. II Congreso Español de Informática (CEDI’07).
12
Erla Morales1, Francisco García2, Ángela Barrón1
(Septiembre 11-14, 2007, Zaragoza, España). 5ª Edición vol. 1, nº 1 pp. 31-38. ISSN
1988-3455. http://www.congresocedi.es/2007/
10. Morales, E. M., García, F. J., Barrón, A. & Gil, A. B. (2007). Gestión de Objetos de
Aprendizaje de calidad: Caso de estudio. En Actas del IV Simposio Pluridisciplinar sobre
Objetos y Diseños de Aprendizaje Apoyados en la Tecnología (SPDECE’07). (19-21 de
Septiembre, Bilbao, España). ISBN 978-84-8373-992-1. http://spdece07.ehu.es/
11. IEEE LOM. 2002. IEEE 1484.12.1-2002 Standard for Learning Object Metadata.
Retrieved June, 2007, from http://ltsc.ieee.org/wg12.