Propuesta de proceso de evaluación de la calidad del software educativo Osiris Perez Moya1, Rislaidy Pérez Ramos2 Universidad de las Ciencias Informáticas, Ciudad de la Habana (C.P. 10800) Cuba 1,2 {operez, rpramos}@uci.cu Resumen Résument La evaluación de la calidad del software educativo desde el L'évaluation de la qualité du logiciel éducatif depuis le proceso de producción constituye el tema de esta processus de production est le sujet de cette recherche. Une investigación. Se fundamenta una propuesta de un proceso proposition d'un processus repose pour évaluer la qualité du para evaluar la calidad del software educativo desde el logiciel éducatif depuis le commencement de sa production, inicio de su producción, identificando artefactos necesarios, en identifiant des machines nécessaires, des machines artefactos resultantes y las personas que participan en cada résultantes et les personnes qui participent à chaque étape etapa identificada. Además, se describe una propuesta de identifiée. De plus une proposition se fait de métriques qui métricas que ayudan al control y buen desempeño de las aident au contrôle et la bonne performance de étape etapas de Análisis & Diseño. d'Analyse et de Dessin. Palabras claves Des mots cloue Software educativo, proceso de evaluación. Logiciel éducatif, processus d'évaluation. Abstract Introducción The evaluation of the quality of the educational software from the defined production process is the topic of this investigation. A proposal a process based to evaluate the quality of the educational software from the beginning of its production, necessary artifacts, resulting artifacts and En la actualidad los mayores esfuerzos para mejorar la calidad del software se realizan fuera de la línea de producción, lo que trae como consecuencia que no se definan los parámetros de calidad del producto que se deben seguir durante su producción. people that participate in each stage identifying. In addition an offer does to itself of metric that help to the control and La gestión de la calidad ha sido una necesidad de las good performance of the stages of Analysis & Design. empresas de dicadas a la producción de software, tanto en el proceso de desarrollo como en el producto final. El auge de este tema en los últimos años ha estado motivado por el fracaso de algunos productos de software a los que no se le Key words Educational software, evaluation of educational software, evaluation process. han efectuados pruebas durante su etapa de producción o a los cuales no se les han planificado pruebas, en el contrato inicial, para su ciclo de desarrollo. Otra de las causas que influye en esta problemática es que los documentos de gestión y aseguramiento de la calidad de un proyecto de software no tienen seguimiento durante todo el proceso y al final del ciclo no se cumplen, lo que conlleva a la Etapa 1: Evaluación de la definición del proyecto En esta etapa se revisan los resultados de la definición del proyecto. insatisfacción del cliente. Diversas investigaciones abordan la temática de la calidad del software, pero pocas lo hacen Los artefactos que se generan en la definición del proyecto son: (Piñero Perez & Perez, 2007) enfocadas desde el propio proceso productivo. De la revisión a la literatura especializada se aprecian dos Solicitud del proyecto. limitaciones: a) los modelos y estándares internacionales Guión de contenidos. plantean qué se debe hacer pero no cómo; b) la mayoría de Definición de estrategia de trabajo. estos modelos están en inglés y son muy genéricos, lo que dificulta su adaptación a proyectos específicos. El objetivo Definición del líder de proyecto (identificar las de esta investigación es desarrollar una propuesta de un competencias que debe tener). instrumento para la evaluación de la calidad del software Definición educativo. del equipo de trabajo (definir conocimientos básicos o cursos para capacitar). Proceso de producción de software educativo Control de los contactos de los integrantes del El proceso de producción de software educativo inicia equipo. cuando un cliente realiza la solicitud de desarrollo de un Establecimiento de las políticas de Gestión de producto y se procede a ejecutar la contratación o definición configuración y salvas. del proyecto, etapa en la que se llega a un acuerdo entre las Registro de eventos en el documento bitácora. partes sobre las necesidades del cliente, y se acuerdan los (fechas de entregas, acuerdos e incumplimientos). precios. La etapa siguiente en este proceso es la gestión de Cronograma general e inicial del proyecto. requisitos y análisis, en la que se define el contenido del software y el conjunto de actividades que conducen al logro Documento Visión. de los objetivos de aprendizaje propuestos para la construcción del conocimiento. Para ello se hace una evaluación técnica del proyecto, se gestionan las medias que se utilizarán en el producto y se confecciona el diseño que En cada una de las etapas de revisión que se proponen, se incluye una actividad encargada de corregir los errores encontrados. debe ser aprobado por especialistas en el tema. La etapa de A continuación se muestran los roles que estarían gestión de medias es la que permite seleccionar los recursos involucrados en la revisión. mediáticos que se utilizarán en la confección del producto. Participan: Las etapas de análisis y diseño son idénticas a las que propone el Rational Unified Process (RUP) para la aproximación a la solución del problema. El diseño gráfico es la etapa que permite crear los componentes visuales y que nos proporciona la estética del producto final. A Revisor técnico: Encargado de revisar todos los documentos generados en la definición del proyecto, centra su atención en el cumplimiento de las plantillas destinadas para los artefactos resultantes en la definición del proyecto, y en la redacción de estos. (Rational, 2003) continuación se procede a la construcción del producto y al concluir se realizan las pruebas de aceptación por parte del Experto en pedagogía: Se encarga de revisar el guión de cliente. La gestión de configuración es una etapa horizontal contenidos, así como su estructura. Asegura que el que tiene participación en todo el proceso de producción. contenido es el adecuado para la audición seleccionada, y (Piñero Perez & Perez, 2007) que se cumplen con los parámetros pedagógicos establecidos como formas de evaluación, objetivos del Propuesta del proceso de evaluación del software educativo contenido, etcétera. Experto en aspectos técnicos: Analiza los temas referentes a la gestión de configuración. Asegura el cumplimiento de las pautas definidas para aplicar la gestión de configuración y salvas del proyecto, así como la definición de los elementos de configuración, el comité de control de cambios y el proceso de cambios en el proyecto. Experto en aspectos de producción: Encargado de revisar el cronograma general e inicial del proyecto, la definición de estrategia de trabajo, identifica además las competencias que debe tener el líder de proyecto, así como los conocimientos básicos o cursos que se deben impartir para capacitar al equipo de desarrollo; revisa el control de los contactos que tienen intereses en el proyecto y asegura que el proyecto sea viable para la organización, o sea, revisa el contrato. Experto en software educativo: Encargado de garantizar que exista concordancia entre el contenido del producto y el mapa de navegación. Ilustración 1 Etapa de evaluación para la Definición del Proyecto Resultados: Solicitud del proyecto [revisado y aprobado]. Guión de contenidos [revisado y aprobado]. En esta etapa se revisan los resultados de la Gestión de Definición de estrategia de trabajo chequeada [revisado y aprobado]. competencias que debe tener). del equipo requisitos y análisis. Los artefactos que se generan en la Gestión de requisitos y Definición del líder de proyecto (identificar las Definición Etapa 2: Evaluación de la gestión de requisitos y análisis de análisis son: (Piñero Perez & Perez, 2007) Guión técnico. trabajo (definir Planillas de medias. conocimientos básicos o cursos para capacitar). Documento técnico. Control de los contactos de los integrantes del equipo. Documento bitácora [actualizado]. Establecimiento de las políticas de gestión de A continuación se muestran los roles que estarían configuración y salvas [revisado y aprobado]. involucrados en la revisión. Registro de cada evento en el documento bitácora. Participan: (fechas de entregas, acuerdos e incumplimientos) Revisor técnico: Encargado de revisar todos los documentos [revisado y aprobado]. generados en la Gestión de requisitos y análisis, centra su Cronograma general del proyecto [revisado y aprobado]. atención en el cumplimiento de las plantillas destinadas para los artefactos resultantes y en la redacción de estos. (Rational, 2003) Documento Visión [revisado y aprobado]. Experto en pedagogía: Se encarga de revisar el guión de Documento de no conformidades. Diagrama: contenidos y su estructura. Asegura que el contenido es el adecuado para la audición seleccionada y que se cumplen con los parámetros pedagógicos establecidos como formas de evaluación, etcétera. Experto en software educativo: Se encarga de revisar, en conjunto con el revisor técnico y la persona designada por la entidad que solicita el producto, el guión técnico. Donde : Consistencia de la interpretación de los revisores para cada requisito. Cliente: Se encarga de revisar el guión técnico. : Número de requisitos en una especificación. Resultados: Guión técnico chequeado [revisado y aprobado]. : Número de requisitos funcionales. Planillas de medias [revisadas y aprobadas]. : Número de requisitos no funcionales. Documento técnico [revisado y aprobado]. Actualización del documento bitácora [revisado y aprobado]. : es el número de requisitos para los que todos los revisores tuvieron interpretaciones idénticas. Documento de no conformidades. Cuanto más cerca de uno este el valor de Diagrama: menor será la ambigüedad de la especificación. Compleción de los requisitos funcionales La compleción de los requisitos funcionales puede determinarse calculando la relación: (Acosta Zamora, Betancourt, & Perez Moya, 2008) Donde : Número de funciones necesarias que se han especificado para un sistema : Número de requisitos de función únicos, : Número de entradas (estímulos) definidos o implicados por la especificación Ilustración 2 Etapa de evaluación para la Gestión de Requisitos y Análisis : Número de estados especificados. En esta etapa se proponen las siguientes métricas que facilitarán la retroalimentación estadística: Especificidad de los requisitos Mientras más próximo este de 1 mayor va a ser el Para evaluar la especificidad de los requisitos existe una número de funciones que se han especificado para un métrica basada en la consistencia de la interpretación de los sistema, sin embargo, no trata los requisitos no funcionales. revisores para cada requisito, tal como: (Acosta Zamora, (Acosta Zamora, Betancourt, & Perez Moya, 2008) Betancourt, & Perez Moya, 2008) Etapa 3: Revisión de la evaluación técnica Durante esta etapa se revisa la especificación de los productos a elaborar, se revisa la recomendación de la arquitectura a utilizar para la producción del software así como la arquitectura organizativa para acometer la producción, para la cual se necesitan los siguientes Etapa 4: Evaluación de la gestión de medias En esta etapa se revisan las medias gestionadas para la producción del software educativo, para la cual se necesitan los siguientes artefactos generados en la etapa de Gestión de medias: (Piñero Perez & Perez, 2007) artefactos generados en la etapa de evaluación técnica: Documento de Solicitud de Media. (Piñero Perez & Perez, 2007) Documento de diagnóstico de producción. Definición de una prioridad a la solicitud. Documento de la arquitectura. Planilla de medias entregadas. A continuación se muestran los roles que estarían Medias copiadas en el servidor de medias. involucrados en la revisión. Listado de las medias no aceptadas. Participan: Carta de Aceptación de Medias. Experto en aspectos técnicos: Encargado de revisar la A continuación se muestran los roles que estarían arquitectura propuesta por el equipo de desarrollo. involucrados en la revisión. Revisor técnico: Encargado de revisar todos los documentos Participan: generados en la evaluación técnica, centra su atención en la Jefe de líneas: Se encarga redacción de estos. (Rational, 2003) de chequear que las medias cumplan con las pautas definidas en la organización para Resultados: gestionar las medias; además, revisa el listado de las medias Documento de diagnóstico de producción [revisado que no fueron aceptadas y verifica que las medias se ajusten y aprobado]. a los parámetros definidos, pautas y que exista concordancia entre los nombres de las medias con los de la plantilla de Documento de la arquitectura [revisado y solicitud. aprobado]. Líder del proyecto y Guionista: Encargado de revisar las Documento de no conformidades. Diagrama: decisiones tomadas ante las medias que no fueron posible encontrar y que no se pueden producir. Experto en aspectos de producción: se encarga de chequear el avance del proyecto: el cumplimiento del cronograma definido, así como la gestión de los recursos necesarios para que el proyecto se desarrolle con calidad. Revisor técnico: Encargado de revisar todos los documentos generados en la Gestión de medias, además revisa la carta de aceptación de medias, centra su atención en el cumplimiento de las plantillas destinadas para los artefactos resultantes, y en la redacción de estos. (Rational, 2003) Resultados: Documento de Solicitud de Media [revisado y aprobado]. Ilustración 3 Etapa de evaluación para la Evaluación Técnica Definición de una prioridad a la solicitud [revisado y aprobado]. Planilla de medias entregadas [revisadas y Experto en aspectos de producción: se encarga de chequear el avance del proyecto: el cumplimiento del cronograma aprobadas]. Medias copiadas en el servidor de medias. definido, así como la gestión de los recursos necesarios para que el proyecto se desarrolle con calidad. Listado de las medias no aceptadas [revisado y Diseñador: Encargado de verificar que el diseño visual aprobado]. cumple con las pautas exigidas por el cliente. Carta de Aceptación de Medias [revisado y aprobado]. Guionista: Analiza la concordancia entre el guión de contenidos y las medias gestionadas. Documento de no conformidades. Asesor: Es la persona designada por el/los clientes que Diagrama: aprueban las medias gestionadas. Resultados: Documento bitácora [revisado y aprobado]. Pautas de Diseño Gráfico [revisado y aprobado]. Propuesta inicial, Carta de Aceptación de Propuesta de diseño [revisado y aprobado]. Propuesta de diseño [revisado y aprobado]. Cronograma de realización [revisado y aprobado]. Documento de no conformidades. Diagrama: Ilustración 4 Etapa de evaluación para la Gestión de Medias Etapa 5: Evaluación de la gestión de diseño gráfico El objetivo de esta etapa es revisar los resultados de la etapa de Gestión de diseño gráfico. Se debe definir un tiempo de respuesta de entrega de cronograma, las pautas y la propuesta inicial de diseño, para ello se necesitan los siguientes artefactos: (Piñero Perez & Perez, 2007) Documento bitácora. Pautas de Diseño Gráfico. Propuesta inicial, Carta de Aceptación de Propuesta Ilustración 5 Etapa de evaluación para la Gestión de Diseño Grafico de diseño. Etapa 6: Evaluación de la construcción Propuesta de diseño. En esta etapa se revisan los resultados de la etapa de Cronograma de realización [actualizado]. Participan: construcción, para ello se necesitan los siguientes artefactos: (Piñero Pérez, Martínez Pérez, Lorente Rodríguez, & Báez Deniz, 2007) Cronograma de trabajo. Documento bitácora [actualizado]. Entregables parciales. Plan de corrección de errores. Carta de aceptación. Participan: Asegurador de calidad del proyecto: es el responsable de velar por la calidad dentro del proyecto y de los entregables que se generen, define un grupo de documentos con el Ilustración 6 Etapa de evaluación para la Construcción objetivo de asegurar y controlar la calidad del proyecto y del Etapa 7: Evaluación de la aceptación final del producto producto, además de contribuir a la organización interna. Cliente o Asesor: Se encarga de validar los entregables una En esta etapa se revisan todos los artefactos definidos en la aceptación del producto, estos son: (Piñero Pérez, Martínez vez que han sido probados y están listos para ser liberados. Pérez, Lorente Rodríguez, & Báez Deniz, 2007) Revisor técnico: Encargado de revisar todos los documentos generados en esta etapa, centra su atención en el cumplimiento de los documentos destinados para los artefactos resultantes, y en la redacción de estos. (Rational, Carta de aceptación del producto. Aplicación (producto). Especificación del producto. 2003) Participan: Experto en aspectos de producción: Se encarga de chequear el avance del proyecto y asesorar en los temas relacionados Revisor técnico: Encargado de revisar todos los documentos con la producción. generados en la aceptación final del producto, además revisa la Carta de Aceptación del producto, centra su atención en el Probador: Es el encargado de probar el entregable y asegura cumplimiento y en la redacción de esta. (Rational, 2003) si este cumple con las especificaciones pactadas. Experto en software educativo: Encargado de revisar la carta Resultados: de aceptación del producto. Cronograma de trabajo [revisado y actualizado]. Cliente: Encargado de revisar que el software cumpla con Documento bitácora [revisado y actualizado]. las necesidades solicitadas por él. Entregables parciales [revisado y actualizado]. Líder de proyecto: Trabaja en conjunto con el revisor Plan de corrección de errores [revisado actualizado]. y técnico y el experto en software educativo. Resultados: Carta de aceptación [revisado y actualizado]. Carta de aceptación del producto [revisado]. Documento de no conformidades. Versión inicial del producto. Diagrama: Documento de no conformidades. Diagrama: Líder de proyecto: Verifica el cumplimiento de las políticas definidas. Arquitecto: Es la persona encargada de velar, junto con el líder del proyecto, por el cumplimiento de las políticas de gestión de configuración. Resultados: Informe sobre la aplicación de las políticas [revisado y actualizado]. Diagrama: Ilustración 7 Etapa de evaluación para la Aceptación Final del Producto Etapa 8: Evaluación de la gestión de configuración En esta etapa se verifica que se estén aplicando las políticas para el desarrollo de los proyectos, las herramientas para la gestión del control de versiones, las herramientas de trabajo colaborativo Web, los servidores en los cuales podrán encontrar dichas herramientas, la documentación básica para el uso de estas herramientas, etcétera. Se revisa también que Ilustración 8 Etapa de evaluación para la Gestión de Configuración todas las definiciones de políticas y procedimientos están en total concordancia con las definiciones establecidas por la Infraestructura productivos. Productiva para todos los proyectos (Piñero Pérez, Martínez Pérez, Lorente Rodríguez, & Báez Deniz, 2007) Para esto es necesario que se tengan los siguientes En esta etapa se propone la siguiente métrica que facilitará la retroalimentación estadística: Probabilidad de cambios en el modelo (Acosta Zamora, Betancourt, & Perez Moya, 2008) documentos ya definidos: Políticas de gestión de configuración y salvas. Configuración de las estaciones de trabajo. Donde Políticas de organización de la información de los proyectos. X= registrabilidad de cambios en el diseño. A= número de cambios a funciones que tienen comentarios confirmados. Políticas de salvas. B = total de funciones modificados. Participan: ( Experto en aspectos técnicos: Analiza y verifica la aplicación de las políticas de gestión de configuración ), Entre más cercano a 1 más registrable, 0 indica un control de cambios deficiente o pocos cambios y alta estabilidad en el modelo. definidas por la entidad. Validación de la propuesta Para validar técnicamente la propuesta se utilizó el método alta, lo que implica desde el punto de vista teórico, que si se de experto, que permite tomar decisiones para aceptar o no aplica el proceso que se propone, se espera aumente la la propuesta de acuerdo con los criterios definidos. Luego de calidad del software educativo que se produce y se detecten haber calculado el índice de aceptación se procede a los errores en etapas tempranas de la producción para determinar el éxito de la propuesta, para ellos se tuvieron en obtener productos más eficientes, disminuyendo así el cuenta los rangos definidos por el método. tiempo que actualmente se le dedica a las etapas de pruebas. Rangos predefinidos de Índice de Aceptación. Referencias bibliográficas IA > 0,7 Existe alta probabilidad de éxito. Acosta Zamora, A., Betancourt, D., & Perez Moya, O. 0,7 > IA > 0,5 Existe probabilidad media de éxito. (2008). Propuesta de métricas para evaluar el flujo de 0,5 > IA > 0,3 Probabilidad de éxito baja. 0,3 > IA Fracaso seguro. trabajo Análisis y Diseño. Ciudad de la Habana: Universidad de las Ciencias Informáticas. Martínez, Y. R., & Goliath, K. D. (2007). Documentación Por lo que la probabilidad de éxito es: alta. imprescindible para los flujos de trabajo de diseño e Concluyendo la evaluación técnica de la propuesta implementación de software de gestión. Ciudad de La Habana: UCI. Se consultaron 7 expertos para que dieran su opinión y valoraran la propuesta. Primeramente los expertos emitieron Piñero Perez, Y., & Perez, Y. (2007). Sistema metodológico su juicio para darle peso a cada criterio con la cual se para el desarrollo de Software Educativo. Ciudad de la elaboró la tabla de los valores de peso relativo de cada Habana, Cuba: Universidad de las Ciencias Informáticas. criterio. Piñero Pérez, Y., Martínez Pérez, Y., Lorente Rodríguez, A. Después de tener todos los datos en la tabla se calcula el E., & Báez Deniz, D. C. (2007). Sistema Metodológico para valor del Índice de Aceptación (IA) que sería: el desarrollo de Software Educativo. Ciudad de la Habana: Universidad de las Ciencias Informáticas. 0.7547, se compara el valor con los valores que aparecen a continuación para saber la valoración de la propuesta. IA > 0,7 Existe alta probabilidad de éxito. Conclusiones El estudio teórico realizado permitió determinar las características del software educativo y los servicios que este puede cubrir en el proceso de Enseñanza-Aprendizaje. El análisis de los modelos y estándares de calidad permitió concluir que un proceso que evalúe la calidad del producto desde el proceso de producción es más eficiente en la eliminación de errores y defectos y en la complacencia de las necesidades del cliente. Mediante la profundización en el desarrollo de la propuesta, se identificaron un grupo de trabajadores que ayudan a la obtención de un producto con calidad, que fueron representados en un Diagrama junto con las actividades en las que participan y los artefactos que en estas se generan. Para la validación de esta investigación se aplicó el criterio de expertos el cual arrojó que la probabilidad de éxito es Rational. (2003). Rational Unified Process.