IEEE-RITA Vol. 6, Núm. 4, Nov. 2011 155 Una Experiencia en el Desarrollo Masivo de Objetos de Aprendizaje Empleando Parámetros de Calidad y un Proceso de Gestión Bien Definido César Eduardo Velázquez Amador, Francisco Javier Álvarez Rodríguez, Laura Garza González, Miguel Ángel Sicilia, José Manuel Mora Tavarez, Jaime Muñoz Arteaga Title— An experience in the massive development of learning objects using quality parameters and a well-defined management process. Abstract— There are few documented experiences on the massive development of learning objects using well-defined quality standards, this article presents a case of study for the development of 184 learning objects produced to support 13 undergraduate courses, each of the learning objects has in its development well defined quality parameters and was created in the context of a quality management process. This paper presents and analyzes the results of the quality evaluation of the learning objects, shows both, the process of quality management as an instrument used to determine the quality of learning objects and presents the theoretical principles that served as the basis to define them. Index Terms—Learning Object Management Process, Quality Metrics. Quality, Quality I. INTRODUCCIÓN N O existe una definición completamente aceptada del término de objeto de aprendizaje (OA), una definición es: “Una entidad digital o no digital, la cual puede ser usada, reusada o referenciada durante el aprendizaje soportado por la tecnología” [1]. Los objetos de aprendizaje son elementos de un nuevo tipo de instrucción basada en computadoras, pertenecientes al paradigma orientado a objetos de la ciencia computacional. La orientación a objetos favorece los valores de la creación de componentes (llamados “objetos”) que pueden ser reutilizados en múltiples contextos [2]. Otra definición para OA puede ser la de una forma de transmitir el conocimiento utilizando el computador que tienen por finalidad la construcción de pequeños componentes que César Velázquez, Franciso Álvarez, Laura Garza, José Manuel Mora y Jaime Muñoz son profesores titulares en la Universidad Autónoma de Aguascalientes en el Centro de Ciencias Básicas. Av. Universidad No. 940, Col. Universidad, Aguascalientes, Aguascalientes, México (email: vace555@hotmail.com, {fjalvar, lg, mmora, jmunozar}@correo.uaa.mx). M. Sicilia es Catedrático en la Universidad de Alcalá. Escuela Técnica Superior de Ingeniería Informática, Campus Universitario, Ctra. Barcelona Km 33.6, 28871, Alcalá de Henares, Madrid, España. (msicilia@uah.es). DOI (Digital Object Identifier) Pendiente puedan ser reutilizados y ensamblados en diferentes contextos de aprendizaje [3]. Para la presente investigación se define un objeto de aprendizaje como un recurso digital e instruccional hecho con la finalidad de favorecer el proceso de enseñanza aprendizaje, el cual se encuentra realizado considerando un objetivo pedagógico, actividades didácticas, de evaluación, colaboración y relación. Cuenta con un metadato y se trabaja por medio de un Sistema de Gestión del Aprendizaje (LMS). Se encuentra diseñado de tal forma que permite una reutilización con la finalidad de conjuntarse con otros objetos de aprendizaje y así crear nuevos recursos instruccionales, que pueden ser temas, unidades de materias o cursos completos. Los Objetos de Aprendizaje tienen como característica fundamental fomentar la interoperabilidad y la reusabilidad de los recursos entre sistemas de aprendizaje heterogéneos. Para tal fin, los estándares de catalogación y empaquetado son fundamentales en el proceso de ensamblaje y distribución de recursos instruccionales existentes [3]. Un metadato permite describir un OA. Existen esfuerzos de organismos internacionales para obtener una descripción común de OAs a través de metadatos [4]. Un metadato estandarizado es central para la interoperabilidad; su principal valor es ser una herramienta muy poderosa que permite al usuario descubrir y seleccionar material relevante de una manera rápida y sencilla [5]. La necesidad de reutilizar los materiales en distintas plataformas y tipos de estudiantes ha provocado la creación de estándares que permitan la documentación, búsqueda y distribución de los contenidos educativos que se generan. Entre los estándares más importantes se encuentran el IMS desarrollado por el Global Learning Consortium y a partir de este, el ADL-SCORM [6] desarrollado por Advanced Distributed Learning Initiative y el IEEE-LOM [7] del Institute of Electrical and Electronics Engineers. En el presente artículo se exponen primeramente las implicaciones de un desarrollo masivo de OAs, se presenta una propuesta para la determinación de la calidad en objetos de aprendizaje y la gestión de la calidad en los mismos, se presenta el caso de aplicación, se muestra tanto el instrumento de medición como el proceso usado en la investigación y finalmente se exponen y analizan los resultados obtenidos en la fase de implementación del ISSN 1932-8540 © IEEE 156 IEEE-RITA Vol. 6, Núm. 4, Nov. 2011 proceso de gestión de calidad. Resulta importante señalar que en la propuesta presentada, más que el uso de herramientas que permitan una evaluación automatizada, es la gestión del equipo de desarrollo lo que permite hacer un desarrollo masivo de OAs. trabajos al compararlos con piezas de Lego [8], debido a esto, las organizaciones e investigadores continuarán trabajando en la mejora de los mismos aún con las complicaciones mencionadas. III. LA CALIDAD EN OBJETOS DE APRENDIZAJE II. IMPLICACIONES DE UN DESARROLLO MASIVO DE OBJETOS DE APRENDIZAJE Un desarrollo masivo de objetos de aprendizaje implica la creación de una gran cantidad de estos recursos instruccionales con un tiempo límite, por lo general con la finalidad de dar soporte a uno o varios cursos de educación a distancia. Con relación a un desarrollo masivo de objetos de aprendizaje se pueden hacer reflexiones sobre los motivos por los cuales no se da esto tan comúnmente, las razones por las que no proliferan los grandes repositorios de OAs disponibles de una forma abierta dentro de la comunidad académica investigadora, el por qué no se usan los esquemas de metadatos y el por qué, dentro de los círculos académicos está tomando fuerza el concepto de recursos digitales sobre el de OAs. Las razones por las cuales no es frecuente un desarrollo masivo de OAs son en primer lugar la dificultad que implica el desarrollo de estos recursos instruccionales, recordando que nos encontramos frente a un recurso informático con una complejidad especial al depender de aspectos pedagógicos y la falta de procesos de desarrollo de OAs bien definidos y de experiencias documentadas como la que aquí se presenta. Dentro de los motivos por los que no proliferan los grandes repositorios de OAs disponibles de una forma abierta dentro de la comunidad académica investigadora se pueden mencionar la falta de políticas institucionales que fomenten el compartir los desarrollos propios con otras instituciones, las dificultades técnicas para comunicar, localizar y reutilizar los recursos educativos, en algunos casos el no respetar los derechos de autor y el egoísmo de algunos propietarios de OAs. Con relación a las razones por las que no se usan los esquemas de metadatos se tienen la falta de una cultura informática sobre los beneficios de emplearlos, la carencia de estándares organizacionales que definan que metadato usar y qué elementos del mismo van a ser obligatorios, el esfuerzo que le implica a un desarrollador llenar un metadato y la complejidad de hacer esto de manera automatizada. Los motivos por los cuales dentro de los círculos académicos está tomando fuerza el concepto de recurso digital sobre el de OA son la complejidad en el desarrollo de OAs y la falta de consenso en aspectos como la granularidad (tamaño del objeto), qué metadato se va a emplear y qué campos del mismo deben ser obligatorios. Sin embargo y aún con las dificultades existentes, se tiene en los objetos de aprendizaje un medio viable para cumplir con la promesa de la generación de materiales instruccionales a la medida del estudiante y que proporcionen un aprendizaje significativo por medio de sus actividades de evaluación, ejemplos y en algunos casos simulaciones; como lo manifestó Wiley en sus primeros Los investigadores del campo de los OAs no son ajenos a la preocupación por estudiar la calidad en los mismos, basta mencionar a Barton, Currier y Hey [5], Nesbit [9][10], Morales [11], Duval [12] y Ochoa [13]. En el trabajo de Barton, Currier y Hey [5] se presenta un análisis de los problemas en calidad que se generan con un mal manejo del metadato de un OA. Nesbit [9][10] hace una exposición del LORI, el cual es uno de los instrumentos para evaluar OAs más usados actualmente; LORI cuenta con nueve categorías sobre las cuales se realiza la evaluación. Con relación a los trabajos de Erik Duval [12] y Xavier Ochoa [13] se enfocan a una evaluación automatizada de los OAs considerando para esto información almacenada en el metadato y desarrollando el concepto de Learnrank, el cual relaciona la calidad con el número de accesos que recibe el recurso. Por su parte Erla Morales [11] presenta una propuesta de evaluación de OAs, la cual considera las categorías psicopedagógica, didáctico curricular, técnico-estética y funcional; de las propuestas presentadas, esta es la que más se asemeja a la expuesta en el presente trabajo, mostrando sus principales diferencias en las categorías definidas y en los elementos considerados en cada una, haciéndose más notorio esto en la categoría de contenido que existe en la presente investigación. Aún cuando las investigaciones anteriormente referidas presentan un tratamiento distinto al problema de la calidad que la propuesta que se expone en este trabajo, todas demuestran la preocupación y la necesidad de ir mejorando cada vez más los procesos e instrumentos para determinar la calidad en los objetos de aprendizaje. Una vez revisados los diversos trabajos relacionados al estudio de la calidad en objetos de aprendizaje, es importante abordar las distintas normas que se manejan para asegurar la calidad en el e-learning. A. Normas para Asegurar la Calidad en E-learning Existen normas para asegurar la calidad en los desarrollos de e-learning, tal es el caso del UNE 66181:2008 y del ISO/IEC 19796. Con relación a UNE 66181:2008, se encarga de especificar las directrices para la identificación de las características que definen la calidad de la formación virtual con relación a los clientes potenciales o compradores. Aunque este estándar está orientado para su aplicación en la enseñanza virtual no reglada, por su generalidad puede extenderse su uso a otros sistemas educativos, incluyendo al universitario [14] [15]. La familia de estándares internacionales ISO/IEC 19796 [16][17], proporciona un enfoque armonizado y un lenguaje común para administrar, asegurar o evaluar la calidad de una organización [15][18]. Este estándar, está desarrollándose en el grupo de trabajo 5, del subcomité 36 de ISO, actualmente sólo se encuentran disponibles las partes 1 y 3 [15]. ISSN 1932-8540 © IEEE VELÁZQUEZ AMADOR et al.: UNA EXPERIENCIA EN EL DESARROLLO MASIVO DE OBJETOS DE ... El estándar ISO/IEC 19796 consta de las siguientes partes [15]: 1) Enfoque general (ISO/IEC 19796-1:2005) [16], 2) Modelo de calidad armonizado, que describirá la calidad para organizaciones y para productos, servicios y soluciones (ISO/IEC 19796-2), 3) Métodos de referencia y métricas (ISO/IEC 19796-3:2009) [17], 4) Guía de buenas prácticas, basada en el trabajo de la Guía de Buenas Prácticas Europea (ISO/IEC 19796-4), 5) Descripción de cómo usar el ISO/IEC 19796-1 (ISO/IEC 19796-5). Sin embargo, hay que considerar que la armonización en la ISO/IEC 19796 se ha hecho en un nivel abstracto, sin recomendaciones o directrices específicas para dar un criterio de gestión de la calidad y, por tanto, no proporciona mecanismos de apoyo para su implementación [15][18]. En consecuencia, la ISO/IEC 19796 puede proporcionar un modelo de calidad armonizado que tiene que adaptarse a cada contexto específico, con procesos adecuados y medidas concretas para establecer una cultura de calidad en una organización [15][18]. En base a lo anterior, resulta necesaria la exposición de propuestas concretas y probadas exitosamente, como la presentada en este artículo, en donde se haga una descripción detallada del proceso, instrumentos de evaluación de la calidad y se expongan resultados. B. Elementos que Determinan la Calidad en Objetos de Aprendizaje Cuando se busca determinar la calidad de un OA es necesario considerar que este es un producto informático y educacional de manera simultánea, por lo que su calidad debe contemplar los distintos aspectos de un desarrollo de software que emplea el paradigma de objetos y deben existir consideraciones relacionadas a un producto de tipo educativo. En base a lo anterior y con la finalidad de facilitar el estudio de la calidad de un OA, se distingue la existencia de aspectos técnicos, pedagógicos, de contenido y estéticos y ergonómicos, como se muestra en la Figura 1 [19]. Dentro de los elementos tecnológicos se encuentran aquellos que permiten que un OA pueda proporcionar las ventajas que se atribuyen a los productos realizados bajo el paradigma del desarrollo orientado a objetos como son por ejemplo la reutilización y la adaptabilidad [20]; también se deben considerar las propiedades de cualquier software de calidad como es un funcionamiento sin errores. Dentro de los elementos pedagógicos se encuentran todos aquellos que facilitan el proceso enseñanza aprendizaje como son los ejemplos usados y la posibilidad de experimentación y evaluación, por mencionar algunos [20]. El objetivo pedagógico puede expresarse empleando la taxonomía de Bloom [21]. La relación entre el número y tipo de medios usados y la calidad pedagógica del OA dependerá del estilo de aprendizaje del usuario del mismo. Lo anterior debido a que para cada estilo de aprendizaje se recomienda el uso de ciertos medios para comunicar la información, de tal forma que un estudiante predominantemente auditivo se verá beneficiado con texto hablado y en el caso de un estudiante predominantemente visual se podrá beneficiar de videos, animaciones e imágenes, lo anterior solo por mencionar dos ejemplos. En el caso que se presenta (Sección IV) todos los 157 Elementos Tecnológicos Elementos Pedagógicos Calidad de un Objeto de Aprendizaje Elementos de Contenido Elementos Estéticos y Ergonómicos Fig. 1. Elementos de evaluación de un OA [19]. OAs deben contar con medios auditivos, visuales y kinestésicos para poder adaptarse a todos los estilos de aprendizaje. En los elementos de contenido se tienen aquellos que dan información sobre la complejidad del tema y el nivel de detalle con que se aborda el contenido [20]. Un elemento de contenido es la confiabilidad de la fuente, la cual se puede verificar por distintos medios como pueden ser códigos de control, firmas electrónicas y algoritmos de verificación que permitan autentificar que el OA proviene de una fuente certificada o de una entidad reconocida [19]. Es recomendable que todo OA que tenga una granularidad de tema en adelante, maneje las referencias bibliográficas y los derechos de autor respectivos [19]. La obsolescencia del contenido dependerá del ámbito de la información, esto debido a que dependiendo de la disciplina a la que pertenezca el contenido, se tendrán avances más acelerados en la generación de nuevos conocimientos; un ejemplo son los conceptos matemáticos, los cuales se mantienen relativamente estables a lo largo del tiempo (tienen un mayor tiempo para ser obsoletos) en contraste con el tratamiento de nuevas enfermedades infecciosas del área de la medicina (tienen un menor tiempo para ser obsoletos) [19]. La complejidad del tema depende del nivel educativo óptimo y puede ser moderada, media o alta. La determinación de este nivel de complejidad puede tener una mayor aplicación en la búsqueda de contenidos educativos que cumplan con un grado de complejidad especificado por el usuario [19]. El nivel de detalle de la información puede manejarse como incompleta, superficial, suficiente, detallada y muy detallada. Este parámetro se puede usar para determinar entre varios OA del mismo tema cual es el indicado para estudiantes de distintos contextos, de tal forma que se puede manejar un nivel de detalle en las categorías de suficiente o detallado para un estudiante de bachillerato, mientras que se puede manejar un nivel en las categorías de detallado o muy detallado para estudiantes de nivel profesional y posgrado. Se espera que las herramientas de selección de OA tengan la opción de ajustar el nivel de detalle a gusto del usuario, de ISSN 1932-8540 © IEEE 158 IEEE-RITA Vol. 6, Núm. 4, Nov. 2011 tal forma que si así lo desea un estudiante de bachillerato pueda incrementar el nivel de detalle de los OAs a una categoría de muy detallado. Un OA con nivel de detalle incompleto se considerará con pobre calidad de contenido [19]. Los objetos de aprendizaje comparten varias características comunes con otras aplicaciones informáticas como es el caso de las Aplicaciones Web. Una parte innegable de la apariencia de una Aplicación Web es su presentación y la disposición de los elementos. Cuando una aplicación se diseña para comercializar o vender productos o ideas, la estética puede tener tanto que ver con el éxito como el diseño técnico [22]. Los aspectos estéticos y ergonómicos de un OA se refieren a la presentación de la información (fuentes, colores, tamaño, en sí todos los elementos de formato) y la disposición de la misma (acomodo simétrico o asimétrico, uso de espacios positivos y negativos, etc.) [19]. El uso adecuado de fuentes se refiere a no usar una cantidad exagerada de las mismas. El uso adecuado de colores se relaciona a una selección de los mismos de tal forma que se facilite la lectura, la presentación de conceptos importantes resaltados en un color distinto, el uso de colores que favorezcan el estudio y no distraigan o perturben al alumno. La proporcionalidad adecuada de los elementos busca que cada elemento cuente con un tamaño acorde con el tipo de información que se maneja y no desentone en su conjunto. La disposición adecuada de los elementos busca que el acomodo de los elementos permita un acceso rápido y natural a los mismos (De izquierda a derecha y de arriba abajo). Con relación a la simetría de los elementos buscamos determinar si los elementos presentan un acomodo simétrico o asimétrico. Con la consistencia en el acomodo de los elementos buscamos que en cada pantalla del OA se tenga un acomodo semejante de los elementos [19]. Factores como la facilidad para navegar, proporcionalidad adecuada de los elementos (desde un punto de vista funcional), disposición adecuada de los elementos (desde un punto de vista funcional) y la consistencia en el acomodo de los elementos, que se encuentran considerados en los elementos estéticos y ergonómicos se relacionan a la usabilidad del OA. C. Gestión de la Calidad en Objetos de Aprendizaje La gestión de OAs implica un conjunto de actividades requeridas para controlar su ciclo de vida. Su finalidad es el desarrollo de objetos de calidad que puedan ser reutilizados en distintas aplicaciones de e-Learning [3]. La determinación de la calidad debe estar en el contexto de un proceso de gestión de la calidad. La gestión de la calidad se define como “el conjunto de tareas encaminadas a la producción de software con los más altos estándares de calidad posibles” [22]. La gestión de la calidad abarca 1) un proceso de garantía de la calidad del software (SQA, por sus siglas en ingles), 2) tareas específicas de aseguramiento y control de la calidad (que incluyen revisiones técnicas formales y una estrategia de pruebas de varios niveles), 3) prácticas efectivas de ingeniería de software (métodos y herramientas), 4) control de todos los productos de trabajo del software y los cambios que generan, 5) un procedimiento para garantizar la concordancia con los estándares de desarrollo del software (cuando sea aplicable) y 6) mecanismos de medición e informe [22]. La gestión de la calidad en OAs es un conjunto de tareas encaminadas a la producción de objetos de aprendizaje con los más altos estándares de calidad posibles. El anterior se torna en un problema aún más complejo que el desarrollo de software común, ya que en este caso se requiere considerar el elemento instruccional, el cual cuenta con sus propias complicaciones relacionadas con el tópico de la calidad [23]. La gestión de la calidad en OAs puede realizarse de una forma proactiva, reactiva o por medio de una combinación de ambas estrategias (estrategia mixta) [23]. Las distintas estrategias de gestión de la calidad en el desarrollo de OA se pueden observar en la Figura 2. IV. CASO ESPECÍFICO DE DESARROLLO MASIVO DE OBJETOS DE APRENDIZAJE El desarrollo masivo de objetos de aprendizaje tuvo como finalidad apoyar al proyecto “Modelo de vinculación empresa-academia-gobierno para el desarrollo en capacidades de capital humano en Tecnologías de la Información”, proyecto firmado entre El Banco Interamericano de Desarrollo y la Sociedad Academia Industria Gobierno en Tecnologías de Información (IMPULSA-TI), la cual es una instancia que profesionaliza el proceso de vinculación entre la academia, la industria y el gobierno con el propósito de formar el capital humano en cantidad y calidad conveniente que requiere la industria de Tecnologías de Información (TI) para su crecimiento y desarrollo [24]. De manera específica el desarrollo de los cursos pertenece al Componente 2 del proyecto, que busca el desarrollo de perfiles del modelo paracurricular y diseño de certificación en TI [24]. El modelo paracurricular se refiere a la capacitación que compete prioritariamente a las empresas y a organismos especializados, públicos o privados, que otorgan o comercializan este servicio, el modelo curricular corresponde a la educación oficial a cargo del Estado o múltiples instancias educativas del sector privado, tanto en los niveles de educación básica hasta los de educación superior [25]. En el proyecto se tienen definidos cuatro perfiles, cada uno de los cuales está integrado por un cierto número de contenidos (cursos), los perfiles son: Ingeniero de Software (trece contenidos), Herramientas no Automatizadas Estrategia Proactiva Estrategias de gestión de la calidad en OA Guía de mejores prácticas Guía automatizada de mejores prácticas Herramientas Automatizadas Herramientas CASE Patrones Estrategia Reactiva Fig. 2. Estrategias de Gestión de la Calidad en OAs [23]. ISSN 1932-8540 © IEEE 159 VELÁZQUEZ AMADOR et al.: UNA EXPERIENCIA EN EL DESARROLLO MASIVO DE OBJETOS DE ... Arquitecto de Software (once contenidos), Administrador de Proyectos y Procesos de Software (trece contenidos) y Emprendedor de Negocios de Software (trece contenidos), cada uno de estos cincuenta contenidos o cursos se encuentra soportado por objetos de aprendizaje [26]. La Universidad Autónoma de Aguascalientes, fue la encargada de definir los instrumentos de control y evaluación de los contenidos, así como de apoyar para la correcta conclusión de los perfiles. En este trabajo en la sección V, se muestra el instrumento desarrollado para la determinación de la calidad de los OAs, se detalla el proceso de gestión de la calidad usado y se exponen los resultados obtenidos del desarrollo del perfil de Administrador de Proyectos y Procesos de Software, el cual corrió a cargo de la Universidad Autónoma de Aguascalientes. V. IMPLEMENTACIÓN DEL PROCESO DE GESTIÓN DE CALIDAD La granularidad de los objetos de aprendizaje para el proyecto fue a nivel de tema, de tal manera que cada uno de los cursos desarrollados requiere de cuando menos un OA por cada uno de los temas desarrollados. Dentro del proyecto se definió que cada OA debía cumplir con las siguientes características: • Ser recursos digitales. • Especificar el objetivo pedagógico. • Contar con actividades de aprendizaje. • Contar con actividades de evaluación. • Contar con actividades de colaboración y relación. • Tener un metadato. Específicamente para el caso presentado se empleó el metadato SCORM. • Contar con la posibilidad de trabajarse con un LMS. Específicamente para el caso presentado se tomó como referencia el Moodle. El tener bien definidas las características que debía cumplir un OA permitió estandarizar el desarrollo y facilitar la evaluación de la calidad por medio de la creación de un instrumento de evaluación lo más compacto y eficiente posible. Al tenerse un instrumento de evaluación compacto y eficiente se evita generar retrasos en el proceso de evaluación. El Proceso de Gestión de Calidad para el proyecto constó de dos grandes etapas (Figura 3). La primera se realizó en el interior de cada universidad que desarrolló los cursos basados en objetos de aprendizaje, esta etapa comenzó desde las primeras etapas de desarrollo de los cursos hasta la liberación para la revisión del Grupo de Gestión de la Calidad. La segunda etapa fue realizada por el Grupo de Gestión de la Calidad de la Universidad Autónoma de Aguascalientes (UAA) y comenzó desde la recepción de los cursos para su verificación y validación hasta la liberación de los mismos. A continuación se detallan estas dos etapas. Primera Etapa de Gestión de la Calidad (Realizada por la universidad desarrolladora del curso).- Esta etapa (Figura 4) guía el desarrollo de los cursos basados en OAs cumpliendo desde un inicio con los estándares de calidad establecidos, para luego ser remitidos a la universidad verificadora. Consta de las siguientes fases: Primera Etapa de Gestión de la Calidad Segunda Etapa de Gestión de la Calidad Creación de los OAs considerando los requerimientos y aspectos de calidad. Verificación y validación de la calidad de los OAs. (Desarrollada por la Universidad Autónoma de Aguascalientes) (Desarrollada en el interior de cada Universidad) Fig. 3. Etapas del proceso de gestión de calidad. 1.- Designación de un Responsable de Perfil, el cual se hará cargo de los curso a desarrollar en cada Institución para cubrir ese Perfil, cumplirá el rol de Gestor de la Calidad dentro de su institución. Su función es llevar el control institucional de la calidad de los cursos y el turnarlos al Grupo de Gestión de Calidad de la UAA. 2.- Capacitación del Responsable de Perfil y de los desarrolladores con la finalidad de que conozcan a detalle tanto el proceso como los instrumentos de gestión de la calidad usados. 3.- Autoevaluación de los OAs por parte del desarrollador. Primeramente se evalúa el diseño de los cursos, después se evalúa cada uno de los OAs, y finalmente se evalúa el curso en su conjunto. Una vez cumplidos los estándares de calidad fijados se remite el curso al Responsable de Perfil de la Institución, el cual lo hace llegar al Grupo de Gestión de la Calidad de la Universidad Autónoma de Aguascalientes para su verificación y validación final. Segunda Etapa de Gestión de la Calidad (Realizada por la Universidad Autónoma de Aguascalientes).- En esta etapa (Figura 5), se verifica y valida que los cursos basados en OAs desarrollados por las universidades participantes cumplen con los estándares de calidad establecidos. Consta de las siguientes fases: 1.- Recepción y generación de un expediente para cada curso recibido. 2.- Asignación del curso a un evaluador del Grupo de Gestión de la Calidad de la Universidad Autónoma de Aguascalientes. Designación de un responsable de perfil. ISSN 1932-8540 © IEEE Conocimiento de los formatos. Fig. 4. Primera etapa de gestión de calidad. Autoevaluación de los OAs por parte del desarrollador . 160 IEEE-RITA Vol. 6, Núm. 4, Nov. 2011 TABLA I INSTRUMENTO DE EVALUACIÓN DE OBJETOS DE APRENDIZAJE Recepción de los OAs y generación de un expediente Asignación de los OAs a un evaluador Verificación y validación de los OAs Fig. 5. Segunda etapa de gestión de calidad. 3.- Verificación del curso, aplicando los instrumentos de evaluación. Al momento de cumplir los estándares de calidad fijados, se valida y se considera liberado el curso y listo para ser impartido. Al encontrase problemas en el curso y/o en sus objetos de aprendizaje, se regresa a la institución de procedencia para que se atiendan las observaciones generadas. Cada una de las revisiones se integra en el expediente del curso. El proceso de gestión de la calidad descrito, corresponde a una estrategia mixta [23], en la cual en la primera etapa (estrategia proactiva) se hizo una definición de una guía de mejores prácticas, requerimientos a cumplir y se llevó a cabo una capacitación de los desarrolladores y encargados de la gestión de la calidad. Durante la capacitación se profundiza en las preguntas del instrumento de evaluación dándose por ejemplo una explicación más profunda y ejemplos de cómo hacer la evaluación de los elementos estéticos y ergonómicos, para de esta forma evitar caer lo más posible en una evaluación subjetiva. En la segunda etapa (estrategia reactiva) se hizo una verificación y validación de los elementos desarrollados. El instrumento para la evaluación de OAs (Tabla I) se desarrolló en base a la teoría expuesta sobre calidad en OAs de los trabajos [19], [20], [23] y [27]. Con la finalidad de hacer una evaluación que mantuviera un equilibrio entre un proceso ágil, pero con la calidad suficiente, se agruparon algunos de los elementos expuestos en la teoría un solo factor, de tal forma que algunos de los elementos expresados no fueron considerados en el instrumento final. Este instrumento de evaluación se refinó de manera progresiva y fue validado empleando el método de panel de expertos, siendo sus foros más reconocidos El VI Encuentro Internacional de Ciencias de la Computación ENC de 2005 [20], El VII Encuentro Internacional de Ciencias de la Computación ENC 2006 [27], El VIII Encuentro Internacional Virtual Educa, Brasil 2007 [28] y La Tercera Conferencia Latinoamericana de Tecnologías de Objetos de Aprendizaje LACLO 2008 [23]. VI. RESULTADOS Se aplicó un análisis basado en estadística descriptiva a un total de 184 Objetos de Aprendizaje entregados para su evaluación inicial (esta evaluación inicial corresponde a la primera iteración de evaluaciones). El análisis se aplicó a la evaluación inicial debido al interés de obtener estadísticas Elemento a evaluar Estándar para el contexto Cumple con el estándar (SI / NO) CLASIFICACIÓN: ELEMENTOS TECNOLÓGICOS Metadato completo/Minimamente Requerido SI NO manejable Funcionalidad (Sin errores) Requerido SI NO CLASIFICACIÓN: ELEMENTOS DE CONTENIDO Nivel de detalle de la información (de Requerido SI NO suficiente a muy detallada ) Contiene la fecha de creación Requerido SI NO La información está completa Requerido SI NO Incluye bibliografía Requerido SI NO Incluye resumen temático Requerido SI NO Incluye ligas relacionadas con la Recomendado SI NO temática Incluye lecturas recomendadas Recomendado SI NO CLASIFICACIÓN: ELEMENTOS PEDAGÓGICOS Tiene definido el objetivo pedagógico Requerido SI NO Indicación del tiempo típico de Requerido SI NO aprendizaje Manejo de elementos texto e Requerido SI NO imágenes, audio o video Manejo de ejemplos (También pueden Requerido SI NO ser visuales o auditivos) Ejercicios de afirmación suficientes en Requerido SI NO número y frecuencia (al menos 1) Ejercicios expresados con Requerido SI NO instrucciones sencillas y precisas Ejercicios breves y concretos sobre el Requerido SI NO tema a evaluar Cada ejercicio cumple con los Requerido SI NO objetivos fijados Posee una evaluación o actividades de Requerido SI NO aprendizaje Proporciona retroalimentación al Requerido SI NO participante Evaluación o actividades de Requerido SI NO aprendizaje parcial con preguntas (aleatorias) CLASIFICACIÓN: ELEMENTOS ESTÉTICOS Y ERGONÓMICOS Facilidad para navegar Requerido SI NO Presenta simetría el acomodo de los Requerido SI NO elementos Uso adecuado de fuentes Requerido SI NO Uso adecuado de colores Requerido SI NO Proporcionalidad adecuada de los Requerido SI NO elementos (Punto de vista estético) Proporcionalidad adecuada de los Requerido SI NO elementos (Punto de vista funcional) Disposición adecuada de los Requerido SI NO elementos (Punto de vista estético) Disposición adecuada de los Requerido SI NO elementos (Punto de vista funcional) Consistencia en el acomodo de los Requerido SI NO elementos sobre las deficiencias más comunes que se presentan en los desarrollos de OAs. Los resultados se presentan en orden descendente en base a su porcentaje de cumplimiento con la finalidad de facilitar el análisis. Con relación a los elementos de contenido (Tabla II) se tienen altos porcentajes de cumplimiento en aspectos importantes como son el nivel de detalle de la información (99.38%) y si la información está completa (91.95%). Los resultados anteriores se pueden explicar en parte si consideramos que los desarrolladores de los OAs son expertos en el área. El hecho que solo el 68.97% de los OAs incluyan bibliografía es preocupante, debido a que es un ISSN 1932-8540 © IEEE VELÁZQUEZ AMADOR et al.: UNA EXPERIENCIA EN EL DESARROLLO MASIVO DE OBJETOS DE ... TABLA II RESULTADOS DE LA EVALUACIÓN DE LOS ELEMENTOS DE CONTENIDO CLASIFICACIÓN: ELEMENTOS DE CONTENIDO Nivel de detalle de la información (de suficiente a muy detallada ) La información está completa Contiene la fecha de creación Incluye resumen temático Incluye bibliografía Incluye ligas relacionadas con la temática Incluye lecturas recomendadas Porcentaje de Cumplimiento 99.38 91.95 86.96 75.29 68.97 56.90 43.10 aspecto formal que no debería tener problemas en cumplir el desarrollador. Es importante señalar que el incluir ligas (links o vínculos) relacionadas con la temática (56.90%) y el incluir lecturas recomendadas (43.10%) son aspectos considerados opcionales (Debido a esto aparecen sombreados en el instrumento de la Tabla I). En lo referente a los elementos pedagógicos (Tabla III), tenemos que los que tuvieron un cumplimiento más bajo fueron el tener ejercicios de afirmación suficientes en número y frecuencia (64.37%), el proporcionar retroalimentación al participante (63.22%) y evaluación o actividades de aprendizaje parcial con preguntas aleatorias (45.40%), este último tuvo el cumplimiento más bajo en la evaluación global, por lo que podemos darnos cuenta que a los desarrolladores en general se les dificulta el desarrollar OAs que manejen evaluaciones con preguntas aleatorias. En lo tocante a los elementos estéticos y ergonómicos (Tabla IV) se tuvieron los mejores porcentajes de cumplimiento, dejándose en claro que este no es uno de los puntos problemáticos para los desarrolladores de OAs. Con relación a los elementos tecnológicos, debido a que estos se convino evaluarlos hasta la última entrega, no pudieron ser analizados, pero con relación a la evaluación del metadato se puede puntualizar que al solicitarse completo/mínimamente manejable, se refiere a que deben haberse llenado todos los ítems marcados como obligatorios para el proyecto. De las nueve categorías del estándar SCORM, para el proyecto se definieron como obligatorias TABLA III RESULTADOS DE LA EVALUACIÓN DE LOS ELEMENTOS PEDAGÓGICOS CLASIFICACIÓN: ELEMENTOS PEDAGÓGICOS Manejo de elementos texto e imágenes o audio o video Indicación del tiempo típico de aprendizaje Manejo de ejemplos (También pueden ser visuales o auditivos) Tiene definido el objetivo pedagógico Posee una evaluación o actividades de aprendizaje Ejercicios breves y concretos sobre el tema a evaluar Cada ejercicio cumple con los objetivos fijados Ejercicios expresados con instrucciones sencillas y precisas Ejercicios de afirmación suficientes en número y frecuencia (al menos 1) Proporciona retroalimentación al participante Evaluación o actividades de aprendizaje parcial con preguntas (aleatorias) TABLA IV RESULTADOS DE LA EVALUACIÓN DE LOS ELEMENTOS ESTÉTICOS Y ERGONÓMICOS CLASIFICACIÓN: ELEMENTOS ESTÉTICOS Y ERGONÓMICOS Facilidad para navegar Presenta simetría el acomodo de los elementos Disposición adecuada de los elementos (Punto de vista estético) Disposición adecuada de los elementos (Punto de vista funcional) Consistencia en el acomodo de los elementos Proporcionalidad adecuada de los elementos (Punto de vista estético) Uso adecuado de fuentes Proporcionalidad adecuada de los elementos (Punto de vista funcional) Uso adecuado de colores 89.66 81.61 77.59 71.97 71.84 70.06 64.37 63.22 45.40 Porcentaje de Cumplimiento 100.00 100.00 100.00 100.00 100.00 98.85 94.83 93.10 91.95 las siguientes: General, Ciclo de vida, Educacional, Derechos y Relación. Se convino entre los desarrolladores emplear para el llenado del metadato y empaquetado del OA la herramienta eXeLearning [29]. Al entrevistar al responsable del perfil de la Universidad Autónoma de Aguascalientes se obtuvo la siguiente información referida al proceso: Con relación a las iteraciones necesarias para la corrección de errores originalmente se tuvieron previstas dos, pero finalmente fueron necesarias tres. En lo referente al tiempo necesario entre iteraciones, originalmente se establecieron 15 días para la corrección de errores, pero en la práctica se requirieron 30 días. En lo tocante al motivo de las desviaciones, se debieron a la falta de realismo al hacer la planeación, lo que originó que no se tuviera bien calibrado el tiempo, se manifestó que esto pudo deberse a que fue la primer experiencia de este tipo. Con relación a las quejas de los desarrolladores, las principales fueron la falta de claridad en las especificaciones y las fricciones en la interacción con los gestores de calidad. Lo anterior denota la relevancia de guardar registros de los proyectos desarrollados para la estimación de proyectos y la importancia que tiene el manejo adecuado de las relaciones interpersonales en un proceso de gestión de la calidad. Porcentaje de Cumplimiento 99.43 98.85 161 VII. CONCLUSIONES En el presente artículo se hizo la exposición de una propuesta concreta y probada exitosamente en el desarrollo masivo de OAs. Las contribuciones de este trabajo son la presentación de las experiencias y exposición detallada del proceso de gestión de la calidad y del instrumento para el aseguramiento de la calidad de los objetos de aprendizaje, el cual considera elementos de tipo tecnológico, de contenido, pedagógicos y estéticos y ergonómicos a diferencia de propuestas previas hechas por otros autores. Resulta importante señalar que existen pocas experiencias documentadas precisamente en el desarrollo masivo de OAs. Otra contribución importante es el análisis de las principales dificultades encontradas en el proceso de desarrollo y en los productos al hacer las primeras evaluaciones. Las propuestas de procesos e instrumentos, así como los resultados ISSN 1932-8540 © IEEE 162 IEEE-RITA Vol. 6, Núm. 4, Nov. 2011 presentados pueden ser muy valiosos tanto para organizaciones como para personas que desean desarrollar objetos de aprendizaje, ya sea en poca o gran escala. De los resultados obtenidos se puede destacar que en los elementos de contenido se cumple por lo general con aspectos importantes como son el nivel de detalle de la información y si esta se encuentra completa, pero se descuidan aspectos básicos como son el incluir bibliografía. Con relación a los elementos pedagógicos se encontraron deficiencias importantes relacionadas al número y frecuencia de ejercicios de afirmación, así como en el proporcionar retroalimentación al participante y el contar con evaluaciones con preguntas aleatorias; al no cumplirse con estas características tenemos que no se aprovechan adecuadamente la ventajas que proporcionan los medios electrónicos en la educación. Finalmente se encontró que los elementos estéticos y ergonómicos no resultan problemáticos para los desarrolladores de OAs. Como recomendaciones se tienen el impartir un curso de capacitación antes de comenzar con el desarrollo de OAs, en este curso se puede incluir una guía con las mejores prácticas en el desarrollo de objetos de aprendizaje y el conocimiento y análisis del instrumento de evaluación que se va a aplicar. Es conveniente que desde la capacitación no se pasen por alto aspectos básicos en el desarrollo de OAs como son el incluir bibliografía y otros aspectos más complejos, pero que pueden impactar positivamente en el aprendizaje, como son el contar con suficientes ejercicios de afirmación, el proporcionar retroalimentación al estudiante y el tener actividades de evaluación, de preferencia empleando preguntas aleatorias. Como trabajos futuros se tienen el comparar los resultados obtenidos al desarrollar el perfil de Administrador de Proyectos y Procesos de Software con los otros tres perfiles definidos [26] y el exponer el instrumento para la evaluación de cursos y analizar los resultados obtenidos. AGRADECIMIENTOS [3] [4] [5] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [20] [21] REFERENCIAS [2] [7] [19] De manera especial se quiere agradecer a la Universidad Autónoma de Aguascalientes por el apoyo brindado para poder realizar la presente investigación, así como al Dr. Miguel Meza de Luna por la información proporcionada para poder completar el artículo. [1] [6] IEEE, “IEEE LTSC”, Disponible en: http://ltsc.ieee.org/ (Último acceso: Diciembre de 2010). O. J. Dahl, K. Nygaard, “SIMULA - An algol based simulation language”, Communications of the ACM, 9 (9), 1966, pp. 671-678. V. Menéndez, M. Prieto, A. Zapata, “Sistemas de Gestión Integral de Objetos de Aprendizaje”, IEEE-RITA, Vol. 5, Núm. 2, Mayo 2010. J. Aguilar, J. Zechinelli, J. Muñoz, “Hacia la creación y administración de repositorios de objetos de aprendizaje”, IV Congreso Internacional de Ciencias de la Computación, ENC 2003. J. Barton, S. Currier, J. Hey, “Building Quality Assurance into Metadata Creation: an Analysis based on the Learning Objects and ePrints Communities of Practice”, DC-2003 Proceedings of the International DCMI Metadata Conference and Workshop, Seattle, Washington USA, pp. 39-48, Septiembre 28-Octubre 2 de 2003, Disponible: http://www.siderean.com/dc2003/201_paper60.pdf. (Último acceso: Diciembre de 2010). [22] [23] [24] [25] [26] ADL, “Sharable Content Object Reference Model. ADL SCORM Specification 2004”, Disponible: http://www.adlnet.gov/scorm/, 2004. (Último acceso: Diciembre de 2010). IEEE, “Standard for Learning Object Metadata. IEEE Standard”, Disponible: http://ltsc.ieee.org/wg12/, 2002. (Último acceso: Diciembre de 2010). D. A. Wiley, “Connecting Learning Objects to Instructional Design Theory: A Definition, a Metaphor, and a Taxonomy.” The Instructional Use of Learning Objects (Bloomington, IN: Agency for Instructional Technology), 2002. J. Nesbit, K. Belfer, T. Leacock, “Learning Object Review Instrument (LORI), User Manual”, E-Learning Research and Assessment Network, 2003. J. Nesbit, J. Li, “Web-based tools for learning object evaluation”, In Proceedings of the International Conference on Education and Information Systems: Technologies and Applications, Orlando, Julio de 2004. E. M. Morales, F. J. García, A. Barrón, “Knowledge management for elearning based on learning objects: A qualitative focus”, In Proceedings of the VI International Conference Information Technology based Higher Education and Training (ITHET’05). Santo Domingo, República Dominicana, 07-09 de Julio del 2005, Disponible: http://ithet2005.uprm.edu/index.html. (Último acceso: Diciembre de 2010). E. Duval, “LearnRank: Towards a real quality measure for learning”, Handbook on Quality And Standardisation in E-learning, SpringerVerlag New York Inc. ISBN: 13-978-354-032-787-5, pp. 457-464, 2006. X. Ochoa, E. Duval, “Relevance Ranking of Learning Objects based on Usage and Contextual Information”, 2ª Conferencia Latinoamericana de Tecnologías de Objetos de Aprendizaje LACLO 2007, Santiago de Chile, pp. 151-159, 2007. J. R. Hilera, “UNE 66181:2008, el primer estándar sobre calidad de la formación virtual”, RED: Revista de Educación a Distancia, no. 7, 2008. E. Campo-Montalvo, F. J. Ceballos-Sierra, “La calidad de la formación virtual en la enseñanza superior”, I Congreso Iberoamericano sobre Calidad de la Formación Virtual, Febrero de 2010, Alcalá de Henares, España, pp 151-158. ISO/IEC 19796-1:2005. “Information technology -- Learning, education and training -- Quality management, assurance and metrics -- Part 1: General approach”, 2005. ISO/IEC 19796-3:2009. “Information technology -- Learning, education and training -- Quality management, assurance and metrics -- Part 3: Reference methods and metrics.”, 2009. I. Plaza, F. Arcega, F. Ibañez, P. Garrido, M. Castro, “Quality and innovation in Higher Education: Code of Good Practices,”, Frontiers in Education Conference (FIE), 2010 IEEE , vol., no., pp. F4J-1-F4J6, 27 de 30 Octubre de 2010. C. Velázquez, J. Muñoz, L. Garza, Tecnología de Objetos de Aprendizaje, Capítulo VI: La Calidad en los Objetos de Aprendizaje, Editorial de la Universidad Autónoma de Aguascalientes y UDG Virtual, 2007, pp. 129-169. C. Velázquez, et al, “La Importancia de la Definición de la Calidad del Contenido de un Objeto de Aprendizaje”, Avances en la Ciencia de la Computación 2005, L. Villaseñor, A. Martínez (Eds.), 2005, pp. 329-333. B. Bloom, Taxonomy of Educational Objectives: Handbook I, Cognitive Domain, Davis New York McKAy, 1956. R. S. Pressman, Ingeniería de Software, 6ª Edición, Mc Graw Hill, Impreso en México, 2006. C. Velázquez, J. Muñoz, F. Álvarez, F. Pinales, L. Garza, “Estrategias de Gestión de la Calidad en el Desarrollo de Objetos de Aprendizaje”, Tercera Conferencia Latinoamericana de Tecnologías de Objetos de Aprendizaje LACLO 2008, Aguascalientes, México, 2008, pp. 185190. ANIEI, “Nota Técnica del Proyecto”, 2010, Disponible: http://aniei.org.mx/Archivos/Nota_Proyecto.pdf. (Último acceso: Diciembre de 2010). T. Miklos, “Siete estrategias de oro y un instrumento para construir la educación del futuro”, Prospectiva, Revista Digital del Proyecto Millenium, UNAM, Año1-Número 1-enero-marzo 2004, Disponible: http://ciid.politicas.unam.mx/semprospectiva/dinamicas/r_estudiosfut uro1/revista/numero%203/estpros/escenari/sietemi.htm. (Último acceso: Diciembre de 2010). ANIEI, “Perfiles del Modelo Paracurricular”, 2010, Disponible: http://aniei.org.mx/Archivos/Perfiles_Modelo.pdf. ISSN 1932-8540 © IEEE VELÁZQUEZ AMADOR et al.: UNA EXPERIENCIA EN EL DESARROLLO MASIVO DE OBJETOS DE ... [27] C. Velázquez, J. Muñoz, F. Álvarez, L. Garza, “La Determinación de la Calidad de Objetos de Aprendizaje”, Avances en la ciencia de la computación, VII Encuentro Internacional de Ciencias de la Computación ENC 2006, San Luis Potosí, México, 2006, pp. 346351. [28] C. Velázquez, J. Muñoz, F. Álvarez, “Aspectos de la Calidad de Objetos de Aprendizaje en el Metadato de LOM”, VIII Encuentro Internacional Virtual Educa, Brasil 2007, Del 18 al 22 de junio de 2007, São José dos Campos, São Pablo, Brasil, 2007, Disponible en: http://ihm.ccadet.unam.mx/virtualeduca2007/pdf/214-CVA.pdf. (Último acceso: Diciembre de 2010). [29] R. Avello, “El Software Libre en la educación a distancia. Selección de Herramientas”. Quaderns Digitals, 53, 2008. César Eduardo Velázquez Amador es Ingeniero en Sistemas Computacionales (1994) y posee la Maestría en Informática y Tecnologías Computacionales por parte de la Universidad Autónoma de Aguascalientes, México (2002). Actualmente se desempeña como profesor titular en el Departamento de Sistemas de Información en la Universidad Autónoma de Aguascalientes. Sus áreas de investigación son la adopción de tecnologías de información, la ingeniería de software y la calidad en objetos de aprendizaje. Francisco Javier Álvarez Rodríguez es profesor asociado de Ingeniería de Software y Decano del Centro de Ciencias Básicas de la Universidad Autónoma de Aguascalientes. Tiene una licenciatura en Informática (1994), una maestría (1997) de la Universidad Autónoma de Aguascalientes, un grado EdD del Instituto de Educación de Tamaulipas, México y es Ph(c) de la Universidad Nacional Autónoma de México. Ha publicado artículos de investigación en varias conferencias internacionales en los temas de e-Learning e Ingeniería de Software. Sus intereses de investigación son la Ingeniería de Software para el ciclo de vida de las pequeñas y medianas empresas y el proceso de Ingeniería de Software para e-Learning. Laura Garza González es Licenciada en Sistemas Computacionales Administrativos por el ITESM, Campus Monterrey y posee la Maestría y el Doctorado en Administración. Actualmente se desempeña como profesor titular en el Departamento de Sistemas de Información en la Universidad Autónoma de Aguascalientes. Sus áreas de investigación son la adopción de tecnologías de información y la teoría de servicios. 163 Miguel Ángel Sicilia es Ingeniero en Informática por la Universidad Pontificia de Salamanca y Doctor Ingeniero en Informática por la Universidad Carlos III de Madrid, así como Licenciado en Documentación por la Universidad de Alcalá. En 2003 obtiene una plaza de profesor titular de universidad interino en el departamento de Ciencias de la Computación de la Universidad de Alcalá, donde es Catedrático en la actualidad. El Dr. Sicilia ha desarrollado una intensa actividad investigadora, centrada en las tecnologías de Web Semántica. Ha sido director técnico del proyecto Europeo LUISA financiado por el FP6 y otros proyectos de financiación pública europea y de diversos programas nacionales. Fruto de su actividad son los más de 35 artículos en revistas de impacto y cerca de 100 contribuciones a otras revistas y conferencias internacionales. Es además editor en jefe de las revistas IJMSO y PROGRAM-Electronic Library and Informaction Systems y miembro del comité gestor de la Red TELSpain, así como presidente del comité de programa de diversas conferencias internacionales. Manuel Mora es Profesor-Investigador Titular “C” en el Depto. de Sistemas de Información, en la Universidad Autónoma de Aguascalientes, México. Es Doctor en Ingeniería por la UNAM (2003), Maestro en Ciencias Computacionales por el ITESM (1989), y tiene la carrera de Ing. en Sistemas Computacionales por el ITESM (1984). El Dr. Mora ha publicado alrededor de 50 trabajos científicos. Sus líneas de investigación actuales son: sistemas de servicios de TI, sistemas de soporte a decisiones, y métodos de investigación para Ingeniería de Sistemas. Jaime Muñoz Arteaga es Profesor investigador del Centro de Ciencias Básicas de la Universidad Autónoma de Aguascalientes. El Dr. Jaime cuenta con un doctorado en Ciencias de la Computación en el área de interacción humano-computadora, donde en la literatura tiene varios trabajos en revistas, capítulos de libros, conferencias y con supervisión de estudiantes tanto de maestría como de doctorado. Sus temas de investigación actuales son en Interacción hombre-computadora, Ingeniería Web y e-learning. ISSN 1932-8540 © IEEE