UNIVERSIDAD DE MURCIA ESCUELA INTERNACIONAL DE DOCTORADO Machine Learning y Predicciones para la Mejora del Rendimiento en MOOC: El Caso de la Universitat Politècnica de València D. Jorge Ángel Martínez Navarro 2021 Machine Learning y predicciones para la mejora del rendimiento en MOOC: El caso de la Universitat Politècnica de València Doctorando: D. Jorge Ángel Martínez Navarro Dirección: Dra. Linda Castañeda Quintero 2021 Dª. Linda Johanna Castañeda Quintero, Profesora Titular de Universidad del Área de Didáctica y Organización Escolar en el Departamento de Didáctica y Organización Escolar, AUTORIZA: La presen aci n de la Tesis Doc oral i lada Machine Learning y predicciones para la mejora del rendimiento en MOOCs: El caso de la Universitat Politécnica de Valencia , reali ada por D. Jorge Ángel Martínez Navarro, bajo mi inmediata dirección y supervisión, y que presenta para la obtención del grado de Doctor por la Universidad de Murcia. En Murcia, a 18 de ENERO de 2021 Firmado digitalmente por CASTAÑEDA QUINTERO LINDA JOHANNA - 48746476T Fecha: 2021.01.19 10:38:05 +01'00' Mod:T-20 Agradecimientos A toda mi familia, a mi mujer María José, y en especial a mis hijos: Jorge y Alejandro A la Universitat Politècnica de València, y más concretamente a Ignacio Despujol, por los datos de la plataforma y su tiempo. Machine Learning y predicciones para la mejora del rendimiento en MOOC Resumen La presente investigación tiene como objetivo la propuesta de solución a una necesidad concreta planteada por una institución universitaria, la Universitat Politécnica de Valencia, que se propone mejorar la experiencia de su plataforma de MOOC (Massive Open Online Course) y reducir las tasas de abandono en sus cursos, a través del uso de las analíticas de aprendizaje de que dispone y mecanismos de machine learning. Los datos analizados corresponden a 700.000 participantes repartidos en 260 cursos desde el año 2015 hasta 2019. Para la resolución de este problema no se ha realizado un simple trabajo de minería de datos en los que se han combinados todos los posibles datos existentes, sino que se ha realizado una investigación basada siempre en decisiones pedagógicas en la que se utiliza la metodología de investigación educativa basada en diseño con el propósito de trazar mecanismos automatizados que contribuyan a mejorar el rendimiento de dichos cursos, a través de tres iteraciones con distintos patrones que siempre finalizan con la presentación de resultados y la realimentación por parte de los expertos de la universidad. Las principales conclusiones de este trabajo indican que, de los veinticinco indicadores pedagógicos de abandono referidos por las revisiones bibliográficas, únicamente se validan diez de ellos con los datos de la UPV (no se tienen datos automáticos ni automatizables de los otros). Se proponen finalmente un conjunto de mecanismos automatizados que se aplicarán en la plataforma edX de la universidad, para la mejora de la experiencia de los usuarios y la reducción de la tasa de abandonos en los cursos. 1 Machine Learning y predicciones para la mejora del rendimiento en MOOC Abstract The aim of this research is to propose a solution to a specific need raised by a university institution, the Universitat Politécnica de Valencia, which aims to improve the experience of its MOOC (Massive Open Online Course) platform and reduce dropout rates in its courses, through the use of the learning analytics available and machine learning mechanisms. The data analyzed correspond to 700,000 participants spread over 260 courses from 2015 to 2019. To solve this problem, a simple data mining work has not been carried out in which all the possible existing data have been combined, but an investigation based always on pedagogical decisions has been carried out in which, the educational design research methodology is used in order to design automated mechanisms that improve the performance of these courses, through three iterations with different patterns that always end with the presentation of results and feedback of the experts of the university. The main conclusions of this work indicate that, of the 25 pedagogical indicators of drop-out referred to by the bibliographical reviews, only 10 of them are validated with the UPV courses (there is no automatic or automatable data for the others), and of those finally only six of them are possible predictors of student dropout. Finally, a set of automated mechanisms are proposed to be applied in the university's edX platform, in order to improve the user experience and reduce the dropout rate in the courses. 3 Machine Learning y predicciones para la mejora del rendimiento en MOOC Índice Introducción .......................................................................................................................... 13 SECCIÓN I. MARCOS TEÓRICOS ................................................................................... 17 Capítulo 1. Los MOOC. ....................................................................................................... 19 1.1. Los cursos masivos y abiertos en línea (MOOC) ...................................................... 19 1.2. Origen de los MOOC ................................................................................................. 23 1.2.1. Antecedentes de los MOOC en la educación a distancia .................................... 23 1.2.2. Evolución del e-learning al MOOC .................................................................... 26 1.2.3. Aparición de los primeros MOOC y su evolución .............................................. 29 1.3. Clasificación de los MOOC ....................................................................................... 32 1.4. Impacto de los MOOC en la actualidad ..................................................................... 37 1.4.1. Los MOOC en la educación universitaria ........................................................... 37 1.4.2. Nueva configuración del aprendizaje y la enseñanza.......................................... 40 1.5. Problemas y debilidades de los MOOC ..................................................................... 42 Capítulo 2. Learning Analytics y Machine Learning ........................................................... 45 2.1. Learning Analytics .................................................................................................... 46 2.1.1. Evolución y modelos teóricos ............................................................................. 47 2.1.2. Métodos computacionales ................................................................................... 50 2.1.3. Beneficios y limitaciones de Learning Analytics ................................................ 51 2.2. Machine Learning ...................................................................................................... 54 2.2.1. Diseño del estudio de predicción ........................................................................ 55 2.2.2. La validación cruzada en los modelos predictivos .............................................. 56 2.2.3. Selección del algoritmo de predicción ................................................................ 57 SECCIÓN II. ESTUDIO EMPÍRICO .................................................................................. 61 Capítulo 3. Metodología de la investigación ........................................................................ 63 3.1. Marco de la investigación: los MOOC de la UPV..................................................... 64 3.1.1. Caracterización de la UPV y su plataforma MOOC ........................................... 64 3.1.2. Evolución de la plataforma MOOC .................................................................... 64 5 3.1.3. Definición del modelo de curso MOOC en la UPV ............................................ 69 3.2. Objetivos de investigación ......................................................................................... 69 3.3. Preguntas de investigación ......................................................................................... 70 3.4. Diseño de investigación ............................................................................................. 71 3.5. Paradigma y metodología de investigación ............................................................... 72 3.6. Fases del proceso de la Investigación Basada en Diseño .......................................... 74 3.7. Iteración I. Metodología ............................................................................................ 77 3.7.1. Metodología común a las revisiones bibliográficas ............................................ 77 3.7.2. Revisión bibliográfica 1: Estudios de análisis sobre MOOC .............................. 80 3.7.3. Revisión bibliográfica 2: Utilización de Learning Analytics en MOOC ............ 83 3.7.4. Revisión bibliográfica 3. El abandono en la educación a distancia .................... 85 3.8. Iteración II. Metodología ........................................................................................... 86 3.8.1. Contraste de indicadores obtenidos con estructura de datos edX ....................... 87 3.8.2. Planteamiento de hipótesis Machine Learning ................................................... 91 3.8.3. Scripts para el filtrado y tratamiento de datos ..................................................... 91 3.8.4. Definición del problema y algoritmo Machine Learning ................................... 96 3.9. Iteración III. Metodología .......................................................................................... 98 3.9.1. Automatización mediante triggers ...................................................................... 99 3.9.2. Vías de comunicación para los procedimientos automatizados .......................... 99 Capítulo 4. Datos y resultados ............................................................................................ 103 4.1. Iteración I. Revisiones bibliográficas ...................................................................... 104 4.1.1. Revisión bibliográfica 1: Estudios de análisis sobre MOOC ............................ 104 4.1.1.1. Análisis de resultados ..................................................................................... 108 4.1.1.2. Conclusiones .................................................................................................. 113 4.1.2. Revisión bibliográfica 2: Learning Analytics en MOOC .................................. 114 4.1.2.1. Análisis de resultados ..................................................................................... 117 4.1.2.2. Conclusiones .................................................................................................. 120 4.1.3. Revisión bibliográfica 3: El abandono en la educación a distancia .................. 121 4.1.3.1. Análisis de resultados ..................................................................................... 124 4.1.3.2. Conclusiones .................................................................................................. 127 4.1.4. Resultados de la Iteración I ............................................................................... 128 4.1.5. Evaluación y reflexiones de la Iteración I ......................................................... 131 6 Machine Learning y predicciones para la mejora del rendimiento en MOOC 4.2. Iteración II: Planteamiento y validación de hipótesis con Machine Learning......... 133 4.2.1. Planteamiento de hipótesis ................................................................................ 134 4.2.2. Selección del algoritmo ..................................................................................... 136 4.2.3. Validación de hipótesis de procedimiento de Machine Learning ..................... 137 4.2.4. Evaluación y reflexión de la Iteración II ........................................................... 144 4.3. Iteración III: Formulación de procedimientos automáticos. .................................... 145 4.3.1. Desglose de propuestas ..................................................................................... 145 4.3.2. Evaluación y reflexiones de la Iteración III ...................................................... 148 4.3.3. Realimentación de Iteración III ......................................................................... 153 Capítulo 5. Conclusiones .................................................................................................... 159 5.1. Conclusiones relativas a los objetivos planteados ................................................... 159 5.2. Discusión de las conclusiones parciales de las iteraciones. ..................................... 163 5.3. Conclusiones emergentes. ........................................................................................ 165 5.4. Limitaciones del trabajo........................................................................................... 167 5.5. Trabajos futuros. ...................................................................................................... 168 Referencias bibliográficas .................................................................................................. 171 ANEXOS ... 203 Anexo 1. Iteración I. Rev. bibliográfica I. Fichas de revisión de artículos. .. . 207 Anexo 2. Iteración I. Rev. bibliográfica II. Fichas de revisión de artículos. . .... 291 Anexo 3. Iteración II. Código fuente scripts.. . Anexo 4. Iteración II. Listado de cursos analizados. . ... 327 377 Anexo 5. Iteración II. Tablas de métricas hipótesis por curso analizado .. 389 Anexo 6. Iteración III. Informe ejecutivo de presentación de resultados .. 455 Anexo 7. Iteración III. Presentación para exposición de resultados .. 469 7 Machine Learning y predicciones para la mejora del rendimiento en MOOC Índice de tablas Tabla 1. Síntesis de metodología (adelanto) ......................................................................... 14 Tabla 2. Estado de los MOOC. Fuente: www.classcentral.com/report/mooc-stats-2019 .... 32 Tabla 3. Resumen clasificación MOOC. Elaboración propia .............................................. 35 Tabla 4. Beneficios, desafíos y limitaciones de LA. Elaboración propia ............................. 53 Tabla 5. Glosario de términos analizados. Elaboración propia ............................................ 58 Tabla 6. Definición de los modelos ML utilizados. Elaboración propia .............................. 59 Tabla 7. Evolución plataforma online UPV. (Despujol, Castañeda & Turro,2018)............. 65 Tabla 8. Síntesis de la metodología utilizada en la investigación. Elaboración propia. ....... 71 Tabla 9. Actuaciones por fases en cada iteración. Elaboración propia ................................ 76 Tabla 10. Plantilla modelo de recogida de datos Revisión.1. Elaboración propia ............... 82 Tabla 11. Plantilla modelo de recogida de datos Revisión.2. Elaboración propia ............... 84 Tabla 12. Contenido tabla auth_user. Fuente: edX .............................................................. 89 Tabla 13. Contenido tabla auth_userprofile. Fuente: edX .................................................... 89 Tabla 14. Contenido courseware_studentmodule. Fuente: edX ........................................... 90 Tabla 15.Contenido tabla grades_persistentcoursegrade. Fuente: edX ................................ 90 Tabla 16. Contenido tabla student_courseenrollment. Fuente: edX ..................................... 90 Tabla 17. Contenido tabla Course structure. Fuente: edX .................................................... 91 Tabla 18. Resumen de scripts creados con sus características. Elaboración propia ............. 94 Tabla 19. Artículos seleccionados para el análisis. Elaboración propia ............................. 105 Tabla 20. Artículos seleccionados para el análisis. Elaboración propia ............................. 115 Tabla 21. Comparativa modelos propuestos en Revisión 2. Elaboración propia ............... 117 Tabla 22. Artículos seleccionados para el análisis en la revisión bibliográfica 3. ............. 122 Tabla 23. Indicadores de abandono extraídos en Revisión 3. Elaboración propia ............. 128 Tabla 24 Indicadores de abandono extraídos. Elaboración propia. .................................... 129 Tabla 25. Indicadores seleccionados. Elaboración propia .................................................. 133 Tabla 26. Hipótesis generadas para verificar. Elaboración propia ..................................... 135 9 Tabla 27. Desglose de variables seleccionadas y creadas. Elaboración propia. ................. 136 Tabla 28. Comparativa de resultados modelos ML. Elaboración propia. .......................... 137 Tabla 29. Resultados con técnicas de ML para cada curso. Elaboración propia ................ 140 Tabla 30. Porcentaje de cursos por encima del umbral establecido. Elaboración propia... 141 Tabla 31. Listado de hipótesis validadas. Elaboración propia ........................................... 142 Tabla 32. Relación hipótesis - propuesta automática de mejora. Elaboración propia ........ 146 Tabla 33. Evaluación de propuestas de mejora automáticas. Elaboración propia .............. 152 Tabla 34. Reformulación de hipótesis. Elaboración propia................................................ 153 Tabla 35. Resultados con técnicas de ML tras reformulación. Elaboración propia ........... 155 Tabla 36. Porcentaje cursos superior umbral tras reformulación. Elaboración propia....... 155 Tabla 37. Propuestas automáticas de mejora tras reformulación. Elaboración propia ....... 156 10 Machine Learning y predicciones para la mejora del rendimiento en MOOC Índice de figuras Ilustración 1. Evolución de plataformas MOOC. Elaboración propia ................................. 31 Ilustración 2. Esquema iteraciones de la investigación. Elaboración propia........................ 75 Ilustración 3. Nivel de evidencia. Fuente Letelier, Manríquez & Rada (2005) ................... 79 Ilustración 4. Resumen metodología Iteración I. Elaboración propia .................................. 86 Ilustración 5. Estructura de los scripts de definición de clases. Elaboración propia ............ 92 Ilustración 6. Estructura de los scripts de filtrado y procesamiento. Elaboración propia .... 92 Ilustración 7. Resumen metodología la Iteración II. Elaboración propia ............................. 97 Ilustración 8. Resumen metodología de las tres iteraciones. Elaboración propia .............. 101 Ilustración 9. Diagrama de búsqueda Rev. bibliográfica 1. Elaboración propia ................ 104 Ilustración 10. Gráfico resumen conclusiones Rev. bibliográfica 1. Elaboración propia .. 114 Ilustración 11. Diagrama sobre la estrategia de búsqueda. Elaboración propia ................. 115 Ilustración 12. Diagrama de búsqueda Revisión bibliográfica 3. ....................................... 122 Ilustración 13. Pasos obtención listado indicadores de abandono. Elaboración propia. .... 129 Ilustración 14. Matriz de confusión del problema ML. Elaboración propia ...................... 138 Ilustración 15. Estructura código fuente script ML. Elaboración propia. .......................... 139 Ilustración 16. Pasos de validación de hipótesis. Elaboración propia ................................ 143 Ilustración 17. Variables cambiadas en scripts tras reformulación. Elaboración propia .... 154 11 Machine Learning y predicciones para la mejora del rendimiento en MOOC In d cci n Los Cursos masivos abiertos en red, en adelante MOOC (por sus siglas en inglés Massive Open Online Courses) son cursos masivos, online y abiertos (sin coste) ofrecidos en su mayoría por universidades, que se originaron en el año 2008 pero que no ha sido hasta el año 2011 en el que han tenido gran impulso y auge por su capacidad potencial de expandir el conocimiento, innovando y ofreciendo una educación de calidad para todos. La tesis doctoral que se presenta es el informe de una Investigación basada en el diseño, cuyo objetivo principal es diseñar mecanismos automatizados, basados en el uso de analítica de datos, que se puedan poner en marcha dentro de la Universitat Politécnica de Valencia (UPV) para mejorar la experiencia de los estudiantes y de la propia institución en torno a los MOOC ofrecidos por la UPV. En esta investigación se trabaja con un gran conjunto de datos en los que se reflejan todas las acciones que realizan 700.000 participantes en 260 cursos en la plataforma MOOC de la UPV desde el año 2015 hasta 2019. En adelante el lector se encontrará con un documento que pretende ser testimonio de un trabajo de investigación con una importante vocación de servicio, que pretende ser útil a una institución y a la vez generar conocimiento. Así, el documento mismo se articula en dos secciones que agrupan cinco capítulos de la siguiente forma: Como la investigación se centra en analizar los datos procedentes de cursos masivos y abiertos en línea (MOOC) y como herramienta se va a utilizar Machine Learning, es imprescindible antes de comenzar con el estudio empírico recoger los aspectos básicos de estos dos elementos que nos permitan abordar su estudio. Por tanto, la primera sección se centra en la exposición de los marcos teóricos y contiene dos capítulos: el primero aborda los principios teóricos de los MOOC, definición, clasificación, antecedentes y evolución; haciendo especial en el papel que juegan en la actualidad y en su impacto; y en el segundo 13 Machine Learning y predicciones para la mejora del rendimiento en MOOC se abordan los Learning Analytics y Machine Learning cuyas técnicas se utilizarán en la segunda iteración. Una vez presentadas las bases, en la segunda sección nos centramos en el estudio empírico, donde en primer lugar en el capítulo tres llamado Me odolog a de la in e igaci n se detalla el diseño y desarrollo de la investigación, incluyendo la descripción de la metodología, el contexto, los instrumentos utilizados, la recogida de información, la recolección de datos y el proceso de análisis además de incluir breve reseña a la UPV y a su plataforma de cursos en línea, a través de una caracterización y un análisis de su evolución. Habiendo definido ya todos los aspectos de cómo se va a realizar la investigación, el capítulo cuatro contiene el análisis de los datos y agrupa los trabajos realizados en las tres iteraciones de las que se compone la investigación con sus objetivos, metodología y conclusiones. Finalmente, ya con los resultados de la investigación, en el último capítulo de este trabajo se señalan las conclusiones de acuerdo con las triangulaciones que se han realizado en las tres iteraciones, las limitaciones, los mecanismos derivados, y las futuras líneas de investigación. Además, se incluye una sección de anexos en los que se incluyen los documentos y tablas de soporte utilizadas en la investigación: fichas de revisión de artículos, código fuente de los desarrollos y tablas con los resultados obtenidos. A con in aci n, e adelan a la informaci n de la Tabla 1 S n e i de la metodología utilizada en la in e igaci n del di e o q e a pe ar de q e en el cap lo re e e plicar en de alle, entendemos que en este apartado introductorio aporta con claridad sobre en qué consiste la investigación que se va a desarrollar en los siguientes capítulos. Tabla 1. Síntesis de metodología (adelanto) Objetivo de estudio Diseñar mecanismos automatizados que se puedan poner en marcha dentro de los MOOC de la UPV para mejorar la experiencia de los estudiantes y universidad en los cursos aplicando la predicción de datos con Machine Learning. 14 Machine Learning y predicciones para la mejora del rendimiento en MOOC Objetivos - Identificar cuáles son los criterios de análisis que, desde el punto de vista pedagógico, se pueden analizar en las LA de los MOOC. - Analizar, con base en la analítica de datos disponibles y en los criterios pedagógicos ya probados y/o sugeridos por la literatura científica, la experiencia de los MOOC de la UPV. - Desarrollar modelos predictivos, basados en la analítica de aprendizaje, que describan el posible comportamiento de los participantes de los cursos MOOC de la UPV. - Proponer estrategias automatizadas basadas en analíticas de aprendizaje para mejorar la experiencia de los alumnos y de la universidad y los elementos didácticos de los MOOC de la UPV. - Proponer estrategias automáticas, que, con base en un esfuerzo menor, permitan disminuir el abandono en los MOOC de la UPV. específicos Pregunta de ¿Cómo lograr una mejora, a partir del uso de estrategias automatizadas, en determinados parámetros de los MOOC a partir del tratamiento masivo de investigación los datos obtenidos en experiencias anteriores de esos mismos cursos? Paradigma Tipo Sociocrítico de Investigación basada en el diseño investigación Iteraciones de Iteración I: Fase 1: Planificar las revisiones bibliográficas la Revisiones bibliográficas Fase 2: Realizar las revisiones bibliográficas Iteración II: Fase 1: Plantear los criterios a analizar Análisis de los MOOC UPV Fase 2: Analizar los datos con Machine Learning Iteración III: Fase 1: Plantear propuestas de mejora Propuesta de mejora y conclusiones Fase 2: Implementar y probar la propuesta de mejora investigación Fase 3: Presentar los resultados aceptación UPV Fase 3: Modificar y aceptación UPV 15 Machine Learning y predicciones para la mejora del rendimiento en MOOC Limitaciones y dificultades Existen pocas investigaciones sobre experiencias MOOC, y más concretamente sobre mecanismos automáticos de mejora de estos cursos. Contribución Propuesta de mejora de los MOOC de la UPV 16 SECCI N I. MARCOS TE RICOS 17 Capítulo 1. Los MOOC Ca l 1. L MOOC. Aunque el término MOOC sea relativamente nuevo en el campo de la enseñanza y de la tecnología educativa, lo cierto es que las inmensas expectativas que ha generado han conseguido que, a estas alturas, haya sido ya ampliamente estudiado. Sin embargo, no se puede hacer un acercamiento a la justificación de este trabajo sin remitirnos a los orígenes de los MOOC, aunque sea de manera más o menos sucinta, comenzando por sus antecedentes en la educación a distancia (e-learning) y la evolución que ésta ha sufrido hasta llegar a la aparición de los primeros MOOC y su evolución. A pesar de que los MOOC son claramente identificables por sus cualidades, es necesario recordar sus orígenes de la educación a distancia (EaD) tras la aparición de la formación online y abierta desde la que se generaron muchas alternativas diversas. Es por ello por lo que, el análisis de las características y potencialidades de los MOOC en la educación universitaria pasa, necesariamente, por el análisis también de sus orígenes y vinculaciones con la educación EaD. Este primer capítulo será entonces un primer acercamiento a los MOOC, ya que este trabajo se construye desde la teoría pedagógica existente, y no sobre los datos. Se realizará también una clasificación de los distintos tipos que existen, su impacto y el estado actual de cómo se encuentran en la actualidad, y más concretamente en la educación universitaria. 1.1. Los cursos masivos y abiertos en línea (MOOC) Los cursos masivos abiertos en línea o Massive Open Online Course (MOOC) se nombran así por primera vez en el año 2008 por Bryan Alexander y Dave Cormier (Shen, Wang y Zhao 2016). En agosto del 2008, George Siemens y Stephen Downes en la Universidad de Manitoba (Canadá) diseñan un primer curso sobre conec i i mo Connectivism and Connective Knowledge conocido e e pop larmen e como CCK08 (Downes, 2008). Se trataba de un curso abierto con capacidad para cubrir una alta participación, que registró la matrícula de 25 estudiantes que solicitaron acreditación, pero que a su vez fue seguido por 19 Tesis doctoral 2.300 participantes no interesados en la acreditación formal pero que aportaron opiniones y perspectivas que enriquecieron la experiencia del curso. Este curso de 2008 se considera el primer MOOC ya que plantea por primera vez la masificación del conocimiento en forma de curso abierto (Cormier & Siemens, 2010). En atención a sus siglas (en inglés), se pueden definir cuatro términos que constituyen, a su vez, las cuatro dimensiones características que definen a un MOOC (Jansen & Schuwer, 2015) y que a continuación usaremos para organizar el discurso: M: Massive (masivo) Se incl e el califica i o de ma i o a e os cursos debido a que son diseñados para atender a un gran número de participantes simultáneos, en comparación con los cursos regulares. De esta manera, el número de acogida en un MOOC dependerá de factores diversos y diferentes a la limitación de cupos que suele establecerse en cursos en línea, estos son entre otros, el idioma, el interés por el contenido que se ofrece y la conectividad (UNESCO & COL, 2016). Como se verá en la clasificación de los cursos que veremos más adelante, la evolución en los últimos años ha hecho que lo masivo haya dejado de ser tan relevante y hayan aparecido otras categorías de cursos que, pese a no ser masivos, resultan interesantes por el apoyo tutorial que se puede ofrecer al alumnado. No obstante, en este trabajo es pertinente hablar de masivos, ya que es donde la capacidad de las máquinas para procesar datos puede obrar diferencias. O: Open (abierto) La condici n de abier o a iende a q e el acce o al curso se da de forma gratuita y libre, sin exigencias administrativas y académicas particulares (Patru & Balaji, 2016). En este sentido, Cano & López-Meneses (2015) indican que esta apertura de los MOOC implica dos elementos específicos: el tecnológico (con contenidos abiertos y accesibles) y el legal o administrativo (con el acceso gratuito). Así, se pueden puntualizar las siguientes características de los MOOC a ociada a la condici n de abier o (Open pEd, 2015): 1. Como curso abierto, implica que está disponible para cualquier persona, en cualquier lugar y en cualquier momento. 20 Capítulo 1. Los MOOC 2. La condición de apertura también se refiere a la ausencia de requisitos académicos de entrada. 3. El concepto de abierto también se vincula a la flexibilidad temporal, con lo cual se brinda la posibilidad de cursarlo al ritmo de avance personal que requiera cada participante. 4. El curso abierto, implica gratuidad. Además de e a carac er ica , Do ne (2012b) indica q e abier o ignifica q e la acciones desarrolladas por los participantes en el curso son públicas, es decir, se pueden ver y compartir libremente. También se ha incorporado como características de la apertura, el permitir que los participantes puedan asumir roles de facilitadores de sus cursos (Attwell, 2017). Otra característica de la apertura es la adaptación de los recursos educativos para crear espacios de aprendizaje más interesantes que promuevan la innovación, la evaluación, la relación de los alumnos y docentes y la retroalimentación (Hilton III, Wiley, Stein & Johnson, 2010); no obstante, según Chiappe-Laverde, Hine & Martínez-Silva (2015) no se han encontrado muestras de que esto ocurra, pues «lo abierto» aún es un concepto poco entendido dentro de la comunidad académica, considerándose con base a dos elementos: el acceso libre de coste y el empleo de las TIC. El hecho de acceder al contenido sin ningún coste no implica la reutilización de los contenidos en otros ámbitos, su modificación o combinación para formar nuevos recursos. Y es que, las instituciones educativas que generalmente mantienen sus actividades mediante los ingresos percibidos por los programas que ofrecen, no pueden adherirse a esta última característica; en este sentido, no todos los MOOC son abiertos. O: Online (en línea) Esta característica establece que el curso se encuentra y se desarrolla de forma virtual, con acceso desde de los dispositivos correspondientes: ordenador, teléfono móvil o tableta. En todo caso, solo se considerarían como actividades optativas (no obligatorias) alguna que se realice offline o presencialmente, como tutorías o evaluaciones especiales para la obtención de certificados (OpenupEd, 2015). 21 Tesis doctoral La característica señalada se vincula a lo que Downes (2012b) define como conectividad, siendo esto uno de los aspectos fundamentales de los MOOC. De acuerdo con este autor, la relevancia de un curso MOOC se ubica, más que en el contenido, en el hecho de que los alumnos de conectarse y en la posibilidad de desarrollar estructuras de red de conocimientos (Downes, 2012a). C: Course (curso) Este término representa la esencia básica del MOOC por tratarse precisamente de un curso con unas condiciones y características particulares, que promueve una experiencia de aprendizaje completa, con una estructura desarrollada a partir de unos objetivos de aprendizaje, con apoyo en unos materiales o recursos educativos y evaluados a través de herramientas pertinentes ofreciendo al participante la retroalimentación correspondiente para la obtención de un diploma o certificado de aprobación (UNESCO & COL, 2016). Todo esto implica un trabajo realizado por un equipo docente encargado de crear el curso, así como unos tutores encargados del acompañamiento y seguimiento de los avances de los participantes. Los MOOC son espacios en los que se favorece la interacción virtual a través de foros, chats, etc., promoviendo la comunidad de aprendizaje (OpenupEd, 2015). Tal como se puede apreciar en el análisis de sus siglas, los MOOC implican una amplitud de características que se traducen en oportunidades amplias para favorecer aprendizajes y que deben ser garantizadas en sus diseños, provocando grandes transformaciones en el ámbito educativo. La apertura, masividad y modularidad traen consigo la dinámica en la participación e interacción, marcando la diferencia con los cursos en línea tradicionales (Mancera & Saldaña, 2014). Queda claro que los MOOC suponen la confluencia de la denominada educación abierta y el e-learning (UNESCO & COL, 2016), por lo que resulta interesante profundizar en estos conceptos. El contexto social cambiante y dinámico en el que surgen los MOOC, caracterizado por la relevancia de una sociedad de tecnología digital y de redes, dio pie al desarrollo de propuestas de aprendizaje abierto que a su vez ha dado lugar a una nueva concepción del alumnado, requiriendo de ellos nuevas competencias y habilidades cognitivas (Cabero, 2015). 22 Capítulo 1. Los MOOC Aunque cuenta con numerosos estudios, la bibliografía existente sobre MOOC no se centra en experiencias concretas. Es importante recordar que surgen en el 2008, pero no es hasta 2011 donde las Universidades empiezan abrirse a los MOOC surgiendo entonces las tipologías, clasificación y variantes (Jacoby, 2014). Como afirman Gillani & Eynon (2014), el desarrollo de los MOOC para la modificación del conocimiento se ha venido incorporando con las investigaciones, generando esto las bases teóricas y los resultados; de esta manera se muestra un interés cada vez más frecuente en las instituciones educativas por incorporar estos cursos y los participantes por adquirir conocimiento de manera flexible e innovadora. 1.2. Origen de los MOOC 1.2.1. Antecedentes de los MOOC en la educación a distancia Debido a la relativa juventud de los MOOC y seguramente por la inmensa expectación creada a su alrededor que les ha convertido en tendencia en los últimos años, al menos en lo que a Educación Superior se refiere, el desarrollo conceptual de los MOOC no parece haberse alejado mucho de las bases conceptuales y filosóficas que se refieren a la educación a distancia, y son en cambio, una forma más en la que la EaD lograr romper las barreras temporales y espaciales que tiene la educación presencial La educación a distancia también puede considerarse una estrategia de enseñanza, pues permite que el proceso de enseñanza-aprendizaje no esté condicionado por el tiempo y el espacio, la ocupación o nivel de los estudiantes. Se basa también en un diálogo de tipo didáctico que se produce entre profesor y participante que puede aprender de forma colaborativa o independiente (García-Aretio, 2012). La EaD en sus inicios estuvo vinculada a la educación de adultos, especialmente la educación de aquellas personas que por una u otra razón (ubicación, situación laboral, etc.) no tenían acceso a la educación presencial. Posteriormente emergió el concepto de aprendizaje abierto que consideraba, por una parte, la libertad para elegir el cómo, cuándo y dónde aprender, y por la otra, elementos de aprendizaje relacionados con objetivos estrategias, evaluación, y 23 Tesis doctoral feedback, surgiendo las universidades abiertas para brindar más oportunidades de capacitación y aprendizaje (Martínez-Uribe, 2008). Debido al vertiginoso desarrollo y evolución de la tecnología, también la EaD ha cambiado los medios y herramientas de comunicación de uso, atendiendo a las nuevas oportunidades disponibles. García-Aretio (2014) describe seis etapas en la evolución de la EaD así: 1. La educación por correspondencia en el siglo XIX. 2. La inclusión de recursos audiovisuales y multimedia en los años 70. 3. La tendencia digital con la telemática o e-learning en los 80 y 90. 4. El surgimiento de los entornos virtuales de enseñanza y aprendizaje (EVEA) a mediados de los 90, gracias a la expansión de Internet. 5. El m-learning y tendencia al aprendizaje social, durante los años 2000, gracias a la aparición de la Web 2.0. 6. La época actual, caracterizada por la proliferación de los recursos educativos abiertos (REA) y los cursos masivos y abiertos (MOOC). De esta manera, la EaD viene marcada por características que se mantienen casi inquebrantables a lo largo de su evolución, de la mano del desarrollo de las tecnologías que han constituido su medio fundamental de desarrollo de la experiencia didáctica. En este sentido, de las definiciones presentadas por diversos autores (Holmberg, 2005; Moore & Kearsley, 2012), además de los ya mencionados (Valenzuela, 2000; García-Aretio, 2012), se extraen las siguientes: - La EaD es una modalidad educativa en la que los profesores y los alumnos están en lugares diferentes mientras se produce el aprendizaje. - Debido a esta distancia física, el proceso se desarrolla a través de una tecnología en particular para lograr la interacci n o diálogo did c ico nece ario. - En función de los requerimientos específicos de la tecnología empleada, el docente debe desarrollar nuevas competencias para el diseño de cursos y contenidos, así como para el seguimiento y la tutoría respectiva. - Por su parte, los estudiantes requieren desarrollar estrategias de aprendizaje autónomo y habilidades y actitudes comunicativas particulares, por medio de la tecnología. 24 Capítulo 1. Los MOOC La EaD se caracteriza porque el docente emplea la tecnología disponible para ofrecer los contenidos, compartir los conocimientos y promover el aprendizaje, mientras que el alumno puede hacerse más responsable de su aprendizaje, es decir, es una modalidad que por definición fomenta el autoaprendizaje (Valenzuela, 2000). Las bases de la EaD entienden que los estudiantes tienen que participar, haciéndose responsables del progreso de su aprendizaje, aceptando el desafío de reflexionar sobre los criterios de su aprendizaje, estableciendo su propio ritmo, comprometiéndose con la colaboración y el trabajo en equipo, pues aprenderán en un contexto en el cual existirán contenidos que han sido generados por sus compañeros, en dónde tendrán que explicar y/o evaluar a sus compañeros y haciendo críticas constructivas (Moore & Kearsley, 2012; Berry & Bravender, 2012). Por su parte, el docente tiene que responsabilizarse de generar un diseño apropiado al carácter asincrónico de la modalidad, organizar los contenidos haciendo énfasis en las ideas o conceptos relevantes, y especialmente proveer los recursos necesarios para facilitar la comprensión de dichas ideas o conceptos. De la misma manera, el profesorado debe ayudar a los estudiantes a reflexionar de manera crítica en los contenidos del curso, motivarlos a la búsqueda de información válida en Internet o cualquier otro medio para complementar la ya obtenida y desarrollar estrategias de evaluación acordes a las competencias que se pretende desarrollar en el estudiante (Moore & Kearsley, 2012). Otra de las características de la EaD es la interactividad, vista como la mediación pedagógica que tiene una intención puesta en las actividades, recursos, materiales, para llevar a cabo un curso a distancia. Es decir, tiene que haber unos contenidos con los cuales interactúa el estudiante, acciones de seguimiento del tutor, trabajo individual y colaborativo para que exista la interactividad. Además, un elemento indispensable en la interactividad es la retroalimentación o feedback (Martínez-Uribe, 2008). En los últimos tiempos, siguiendo la teoría constructivista y empleando los distintos soportes tecnológicos, en la EaD se han desarrollado técnicas para restablecer las relaciones entre profesor y alumno con base en la comunicación electrónica (Moore & Kearsley, 2012). De esta manera, la progresiva incorporación de las tecnologías ha dado lugar a diversos cambios en los roles del docente y de los alumnos. Estos cambios se reflejan en nuevas formas de enseñar, con el objeto de ajustar sus prácticas a las oportunidades y potencialidades 25 Tesis doctoral tecnológicas del momento, al tiempo que ha requerido el desarrollo de competencias de diseño y creación de cursos, contenidos y recursos en formatos diferentes (Moore & Kearsley, 2012). La Institución educativa también debe involucrarse en este proceso de enseñanza y para que este sea exitoso, sus administradores deben cumplir con las políticas que rigen a la EaD, y deben comprometerse a efectuar una promoción de la oferta educativa a distancia atendiendo al perfil de sus estudiantes y a sus necesidades (Hernández, 2015). 1.2.2. Evolución del e-learning al MOOC El surgimiento del e-learning marca el inicio de una nueva tendencia en la EaD, debido a que Internet dio lugar a una nueva dinámica en el proceso de enseñanza y aprendizaje. Es así como Area & Adell hace más de 10 años (2009) señalaron que con el e-learning -también denominado teleformación, formación online, aprendizaje en red o digital - se abrían nuevas vías de comunicación que posibilitaban un dialogo didáctico más directo que el que se había logrado con anterioridad. Aun cuando se podría pensar que este mismo tipo de interacciones se pueden dar en el ámbito presencial, es importante recordar que, en el caso del e-learning, todas estas interacciones se producen a través de las tecnologías, a través de herramientas específicas y deseablemente desde la perspectiva constructivista o incluso conectivista. El aprendizaje es definido por el conectivismo como un desarrollo continuo que se puede dar en comunidades, en redes sociales y en la propia realización de tareas (Siemens, 2004), entendido en un contexto donde predomina la creación de valor mediante redes de personas para crear conocimiento (Floridi, 2008). Al respecto de esto, Gálvez & Tirado (2006) indican algunas diferencias entre la interacción presencial y la que se desarrolla en entornos virtuales y que se presenta de manera sucinta en la Tabla 1: 26 Capítulo 1. Los MOOC Tabla 1. Diferencias interacción personal - entornos virtuales. Elaboración propia En la interacción presencial En entornos virtuales Existe la copresencia de los actores en el No resulta necesaria mismo espacio y tiempo. temporal ni espacial. Puede quedar tecnología. en segundo plano la copresencia la Exige una presencia permanente de la tecnología. Existe un límite bien determinado del Ofrece apertura en cuanto al número de número de estudiantes. personas implicadas en la interacción (más aún en los MOOC). Existe una clara y directa identificación del Puede haber una identificación efímera de interlocutor. los interlocutores. El contexto físico-material suele resultar La interacción se desarrolla a través de relevante. textos escritos, de imágenes y sonidos. Predomina la interacción verbal. Presenta una organizacional. estable Suele ofrecer igual relevancia comunicación verbal y no verbal. a la estructura Se puede basar en estructuras disipativas, es decir, con una estabilidad flexible. La interacción se desarrolla en modalidades Ofrece múltiples modalidades comunicativas que resultan limitadas y comunicación y de contenidos. excluyentes. de El e-learning engloba la formación a distancia en red basada en las TIC, con el soporte comunicativo en Internet (Cabero, 2006) y de todos sus desarrollos posteriores. Como tal, seguramente el cambio más evidente es el que se refiere a los dispositivos y los formatos empleados en la EaD tradicional, pasando de ser analógicos a ser digitales (García-Aretio, 2014). Pero no es la única cuestión que caracteriza al cambio, de forma específica -y remitiéndonos especialmente a sus orígenes- se pueden señalar las siguientes características del e-learning como contrastantes con la EaD tradicional (Cabero & Llorente, 2005; Cabero, 2006): 27 Tesis doctoral - Se trata de un aprendizaje que es mediado por ordenadores. - Emplea navegadores web que facilitan el acceso a la información. - Permite el almacenamiento y la administración de materiales en un servidor web. - Se mantiene una distancia física entre profesor y alumno, pero posibilita una conexión directa a través de herramientas web. - Ofrece posibilidades de comunicación sincrónica y asincrónica. - Se desarrolla con la incorporación de tutorías en línea. - Se apoya en materiales digitales, con características multimedia (diversos medios) e hipermedia (con la combinación de texto con otros medios). - Propicia un aprendizaje interactivo e incluso colaborativo. En el marco de ese tipo de modalidad de enseñanza, y como respuesta a los cambios que plantearon, se ubican las denominadas plataformas de campus virtual, que constituyen el primer tipo de tecnología específica para el desarrollo de cursos en red -en el marco de instituciones formales y no formales-, y que denomina al software del servidor donde se realiza la gestión de usuarios, del curso como tal y los distintos servicios de comunicación (Boneu, 2007). Este tipo de software, tal y como señala el autor, tuvo, antes del auge de la Web 2.0 y los desarrollos posteriores, una evolución que podría describirse en tres etapas que marcarían el futuro: 1- Primero surgieron los Content Management System (CMS) o sistemas de gestión de contenidos, siendo estos los más básicos de la modalidad, donde se permitía a usuarios con autorización, efectuar la creación y gestión de información a través de la web. 2. A partir de los anteriores, se desarrollaron los Learning Management System (LMS) o sistemas de gestión de aprendizaje, los cuales sí estuvieron enfocados al desarrollo de experiencias de enseñanza y aprendizaje. Con estos sistemas se podían gestionar los contenidos de aprendizaje, al tiempo que era posible almacenar y distribuir recursos, noticias, y llevar un registro de usuarios. De igual manera, estos sistemas contaban con herramientas de comunicación síncronas y asíncronas; tal es el caso de los chats, mensajería, foros y videoconferencias. 28 Capítulo 1. Los MOOC 3. Luego surgieron los Learning Content Management System (LCMS) o sistemas de gestión de contenidos de aprendizaje a partir de los LMS, pero ya configurados en plataformas que integran las cualidades y herramientas de las dos mencionadas anteriormente. De esta manera, estas plataformas cuentan con las funcionalidades de los LMS al tiempo que incluyen las posibilidades que ofrecen los CMS, para administrar y gestionar los contenidos del sistema. Estas ventajas brindaron mayor adaptabilidad y autosuficiencia y es empleada como campus virtual en las Universidades y otras instituciones con procesos de formación a su cargo. La evolución de la llamada Web 2.0, la democratización del uso de dispositivos móviles y, como no, los cambios en la utilización de los datos han marcado la evolución de los LCMS hasta nuestros días, y en esa evolución, las plataformas específicamente destinadas al soporte de los MOOC suponen una evolución específica. La evolución de las plataformas LMS a los MOOC se da por los cambios en algunas de sus características clave; como son: el cambio de los entornos cerrados a los entornos abiertos, de los accesos previo pago a los gratuitos, de los grupos limitados a la participación masiva y de la orientación hacia la evaluación al énfasis en el proceso de aprendizaje (Méndez García, 2013). En todos los casos, las plataformas requieren de una inversión económica, bien sea porque son comerciales o de código cerrado (en cuyo caso se debe pagar por una licencia de uso) o porque, tratándose de una plataforma gratuita o de código abierto eventualmente requiere de un mantenimiento que implica un costo. Actualmente, las tres plataformas de MOOC más usadas son Coursera, Open edX y Udacity (Ruipérez-Valiente et al.,2017) 1.2.3. Aparición de los primeros MOOC y su evolución Desde el curso inicial creado por Siemens y Downes, que ya hemos mencionado, fueron numerosas las universidades que emprendieron sus propias iniciativas. El punto de inflexión, que también hemos mencionado brevemente, se dio en verano 2011 cuando Sebastian Thrun y Peter Norvig, a través de la Universidad de Stanford, crearon el curso In rod cci n a la Inteligencia Artificial en el que lograron matricular un total de 160.000 estudiantes de 209 29 Tesis doctoral países (Cano, López-Meneses & Sánchez, 2013). A partir de este evento, los mismos autores crearon la primera iniciativa de carácter privado para la creación de MOOC denominada Udacity (https://www.udacity.com/). Tal como indican Margaryan, Bianco & Littlejohn (2014), con la creación de Udacity se establece un giro total en lo que se refirió al carácter de los MOOC, pues a diferencia de los MOOC iniciales marcadamente conectivistas y centrados en la interacción, los MOOC de Udacity -y la inmensa mayoría de los MOOC que siguieron a estos- centraron su interés en los contenidos, uso de videoconferencias y la aplicación de pruebas automatizadas. Este modelo de MOOC posteriormente recibiría la denominación de xMOOC. Seguidamente, en el año 2012 se crearon otras plataformas con el mismo propósito, tal es el caso de Coursera (https://www.coursera.org), creada por Andrew Ng y Daphne Koller (de Stanford), en colaboración con las universidades Princeton, Yale, Columbia y Michigan; o edX (https://www.edx.org), creada por la Universidad de Harvard y Berkeley (Bringas & Domínguez, 2014). Ambas centradas en xMOOC. Posteriormente, han surgido numerosas plataformas que han tomado como base el modelo de sus antecesoras tal es el caso de Canvas Network (https://www.canvas.net), Iversity (https://iversity.org) en Alemania, FutureLearn (https://www.futurelearn.com) en Reino Unido y Miríada X (https://miriadax.net) en España. A partir de esto han surgido iniciativas de reformulación como Khan Academy (https://www.khanacademy.org), caracterizada tradicionalmente por su modelo de flipped classrom utilizando vídeos, la cual adaptó su oferta al modelo MOOC. En la Ilustración 1 se muestra un gráfico resumen en el que se observa como entre los años 2011 y 2013 se crearon las principales plataformas de MOOC predominantes, comenzando por las propuestas que nacieron desde las universidades y finalizando con las plataformas generadas en cada uno de los países. 30 Capítulo 1. Los MOOC Ilustración 1. Evolución de plataformas MOOC. Elaboración propia Tal como lo expresan Gillani & Eynon (2014) los MOOC, con la base de los recursos abiertos, representan un mix entre las tentativas anteriores y las que apostaban por crear propuestas de libre acceso, superando de cierta forma su problema de falta de interacción. Actualmente su oferta se ha expandido en el contexto de la educación superior con miles de cursos producidos anualmente (López-Meneses et al., 2020). En este sentido, muchos creadores de MOOC se han focalizado en la creación de ofertas educativas abiertas y masivas centradas en el desarrollo de habilidades para el mundo del trabajo, tal es el caso de Udemy (https://www.udemy.com/). De igual manera, destaca la iniciativa de Alison (https://es.alison.com/) focalizada en participantes procedentes de países en vías de desarrollo. Hacia los años 2012 y 2013 el crecimiento de los MOOC resultó especialmente vertiginoso tal y como muestran los datos ofrecidos por State of the MOOC 2016 , en el q e e de criben los cambios recientes en los MOOC. En el Online Report se reporta que: a finales de 2012 se habían creado a nivel mundial 106 MOOC; en 2013, 644; más de 2.000 en 2014; y alcanzó la cifra de casi 4.000 a finales de 2015 (Cook, 2016). De igual forma, de acuerdo al buscador de MOOC: Class Central, para el año 2016 se habían registrado 6.850 MOOC, creados por más de 700 universidades en todo el mundo, contando con 58 millones de participantes. En 31 Tesis doctoral 2017 se iniciaron unos 1.400 MOOC (https://www.class-central.com/report/mooccoursereport-february-2017/). Tal y como se observa en la Tabla 2, en 2019, las plataformas de MOOC han seguido creciendo, incluso han aparecido nuevas en países emergentes como Swayam en la India, contando con los siguientes datos (https://www.classcentral.com/report/mooc-stats-2019/): Tabla 2. Estado de los MOOC. Fuente: www.classcentral.com/report/mooc-stats-2019 Aprendices Cursos Coursera 45 millones 3.800 edX 24 millones 2.640 11,5 millones 200 FutureLearn 10 millones 880 Swayam 10 millones 1000 Udacity 1.3. Clasificación de los MOOC Pero no solo las cifras de MOOC han evolucionado. La forma en que los MOOC se configuran ha evolucionado desde sus orígenes, dando lugar a diferentes variantes. La primera de las variantes de las que hablaremos, los cMOOC, podrían considerarse los MOOC primigenios. Están basados en una filosofía conectivista, centrando su atención en la comunidad de participantes y todas las conexiones que desarrollan (teorías rizomáticas). Desde esta filosofía se asume que el aprendizaje ocurre en el marco del intercambio de información, es decir, en las interacciones que se posibilitan gracias a la tecnología, con acciones bastante autónomas, por cuanto son los propios participantes quienes buscan y reconstruyen la información (Cabero, 2015). De esta manera, este tipo de MOOC por lo general carece de estructura predeterminada, ya que se va construyendo el conocimiento a 32 Capítulo 1. Los MOOC partir de la misma experiencia que se desarrolla. Por esta razón, los cMOOC están más enmarcados en la filosofía de la educación abierta (Teixeira et al., 2016). Otra tipología es la denominada xMOOC, la cual centra su atención en la figura de un especialista a cargo y la adquisición de conocimientos por parte de los participantes. En este sentido, los xMOOC cuentan con una estructura predeterminada, con los contenidos, las estrategias de aprendizaje, las actividades automatizadas de evaluación y los roles los participantes (alumnado y profesorado) bien delimitados. En líneas generales resultan muy parecidos a los cursos e-learning, pero se diferencian en el formato (Cabero, 2015; Teixeira et al., 2016). Existen también los denominados tMOOC que son MOOC basados en tareas (Lane, 2012). Estos se muestran como un híbrido de los cMOOC y los xMOOC, combinando la filosofía conectivista de los primeros y la pedagogía instructiva de los segundos, dirigiendo su atención al desarrollo de conocimientos para la realización de tareas particulares (MartínMonje, Bárcena & Read, 2014). Desde esta perspectiva, el papel que juegan los contenidos en sí mismos y la comunidad de aprendizaje que se desarrolle no resultan tan importantes; lo que más interesa es que los participantes logren desarrollar las habilidades para la realización de tareas. Existe otra gran variedad de tipologías que han surgido y aparecen referenciadas en la literatura especializada con diversas denominaciones. A continuación, se describen algunas de estas, tomadas de la recopilación efectuada por Altinpulluk & Kesim (2016): - gMOOC: en lo q e la g indica game e decir, j ego. E o MOOC centran su atención en el aprendizaje basado en juegos, así como en la gamificación. - MOOR (massive open online research): representa una variante centrada en la investigación. Estos MOOC constituyen un espacio para que, tanto estudiantes como profesores, se incorporen en proyectos investigativos conjuntos. - iMOOC: estos fueron desarrollados a partir del modelo de la Universidad Abierta de Portugal. Al igual que los tMOOC, constituyen un híbrido entre los xMOOC y los cMOOC, pero en este caso, centran su atención en la personalización, es 33 Tesis doctoral decir, en las adaptaciones a los perfiles personales de los participantes y sus dispositivos móviles (Texeira et al. 2016). En este sentido, se ubican en la categoría de los adaptativeMOOC (MOOC adaptativos) de aprendizaje personalizado (Clark, 2013). - qMOOC: en lo q e la q hace referencia a quality y a qualification, es decir, calidad y cualificación, que son las bases de estos cursos. Ideados para participantes que no están interesados principalmente en títulos académicos; estos se centran en la adquisición y construcción de calificaciones y habilidades específicas, logrando resultados de aprendizaje visibles y verificados. La calidad del aprendizaje se puede asegurar mediante resultados de aprendizaje sólidos y significativos (por ejemplo, certificaciones o, con el diseño del curso a través de múltiples socios que completen todas las perspectivas y situaciones posibles (Mystakidis & Berki, 2014). Para ampliar esta clasificación, también se pueden incorporar otras tipologías descritas por otros variados autores: - mMOOC: en lo q e la m e refiere a micro. Estos MOOC se caracterizan por ser de corta duración, es decir, se presentan en formato reducido. También se les ha denominado miniMOOC y cuentan con una duración de horas o días específicos (generalmente domingos) (Clark, 2013). También se les puede encontrar con la denominación Nano-MOOC o NOOC (Downes, 2015), diferenciándose de los anteriores únicamente por que los miniMOOC suelen presentar una duración entre 20 y 40 horas mientras que, en el caso de los NanoMOOC, se estima un tiempo de trabajo entre 1 y 20 horas como máximo. Resulta importante acotar que estos MOOC se centran en el desarrollo de una competencia, área de conocimiento o destreza específica. - SPOC: Con el acrónimo Small Private Online Course, son cursos de formación, dirigidos un grupo de participantes limitado, que se crearon para intentar solucionar el alto número de abandonos. Aunque su finalidad principal es ser un 34 Capítulo 1. Los MOOC modelo de negocio para la formación en empresas, también se aplica en la universidad como complemento de asignaturas presenciales (Xu et al., 2014). - SynchMOOC: se refiere a ncrono . En estos MOOC se suele proponer una instrucción en tiempo real con el objeto de optimizar la participación y el desarrollo de las comunidades de aprendizaje. Sin embargo, también se los asocia con los MOOC que cuentan con una duración y fechas muy determinadas, frente a los cuales se ubican los asynchMOOC, como contraposición, debido a que no presentan fechas prefijadas. - sMOOC: constituye una propuesta enmarcada en el modelo pedagógico del proyecto ECO Learning, el cual se basa en la filosofía conectivista, con insistencia en el componente ubicuo y de interacción. En e e en ido, la refiere a e ocial pero ambi n e le ha dado la connotación de seamless que significa aprendizaje continuo y ubicuo, con acceso desde cualquier dispositivo, incluyendo los móviles, con lo cual se atiende a necesidades que suelen estar asociadas a riesgo de exclusión (Morgado et al., 2014). Conocer las distintas tipologías de MOOC que han surgido resulta fundamental, ya que la elección de uno en particular dependerá de los objetivos y, a su vez, orientará las decisiones metodológicas, evaluativas, etc. que se adoptarán. En concreto, en la Tabla 3 se muestra un resumen con las características de cada uno de los tipos de MOOC. Tabla 3. Resumen clasificación MOOC. Elaboración propia Clasificación Identificador cMOOC c: conectivista Autores Cabero, 2015 Características Los propios participantes buscan y reconstruyen la información; carecen de estructura predeterminada. xMOOC x: especialista Cabero, 2015; Hay un especialista al mando, la Teixeira et al., adquisición de conocimientos por 2016 35 Tesis doctoral Clasificación Identificador Autores Características parte de los participantes, tienen una estructura predeterminada. tMOOC t: tarea Martín-Monje, Bárcena Combinando la filosofía conectivista & de los cMOOC y la pedagogía Read, 2014 instructiva de los xMOOC, lo más importante es que se desarrollen las habilidades para la realización de tareas, contenidos y la comunidad de aprendizaje no resultan tan importantes. gMOOC g:game Altinpulluk & Aprendizaje Kesim, 2016 MOOR R: research basado en juegos (gamificación). Altinpulluk & Centrada en la investigación, ideal Kesim, 2016 para proyectos conjuntos entre investigativos estudiantes y profesores. iMOOC i: hibrido Altinpulluk & Híbrido entre xMOOC y cMOOC, Kesim, 2016 adaptación a los perfiles de los participantes y sus dispositivos para elevar la potencialidad del aprendizaje en red. qMOOC mMOOC q: quality & Altinpulluk & Centrada en cursos en los que prima la qualification Kesim, 2016 calidad y la cualificación. m: micro Clark, 2013 De corta duración (horas o días específicos), 36 se centran en el Capítulo 1. Los MOOC Clasificación Identificador Autores Características desarrollo de una competencia o destreza específica. SynchMOOC s: síncrono Clark, 2013 Cuenta con proposición de instrucciones en tiempo real para optimizar la participación y el desarrollo de las comunidades, tienen duración y fechas muy determinadas sMOOC s: social seamless & Morgado et al., Asociada al riesgo de exclusión, 2014 conectivista, permite el acceso desde cualquier dispositivo. SPOC Small & Xu et al., 2014 private Dirigidos a un grupo de participantes limitado; principalmente usado en empresas. 1.4. Impacto de los MOOC en la actualidad El surgimiento y desarrollo de los MOOC ha causado un impacto en diferentes ámbitos del sector educativo. En particular, en el presente trabajo interesa profundizar en el impacto que han tenido en la evolución de la Educación Universitaria y en los nuevos roles de docentes y estudiantes. A continuación, se desarrollan estos dos aspectos. 1.4.1. Los MOOC en la educación universitaria Debido a la creciente demanda de aprendizaje flexible a lo largo de la vida, muchas universidades han comenzado a transformar sus estrategias educativas para satisfacer las demandas de la sociedad , ha a cier o p n o, permanecer en el negocio en un mercado donde hay una gran competencia global promovida en parte por las nuevas herramientas tecnológicas (Langseth et al., 2019). Debido a esto, uno de los campos de mayor aplicabilidad 37 Tesis doctoral de los MOOC es la Educación Universitaria, dirigiendo estos esfuerzos a estudiantes adultos con miras a su formación profesional, cada vez más demandante de procesos de actualización de conocimientos y habilidades. El movimiento MOOC explotó cuando la preocupación por los costos de la educación, la sostenibilidad del modelo de negocio tradicional de las universidades y el impacto de la tecnología en la educación fue muy alta (Calise & Reda, 2018), en parte por los problemas estructurales de modelos universitarios como el estadounidense, lastrados por una deuda del estudiantado disparada y unas expectativas de empleo poco esperanzadoras. Desde otro punto de vista, el surgimiento y expansión de los MOOC se asocia a la apertura de la educación en las universidades, dando acceso abierto y a bajo costo, evitando los grandes costes de la universidad (Jacoby, 2014) Algunos piensan, desde posiciones mucho más optimistas como las de Langseth et al. (2019), que las plataformas MOOC deben ser un vehículo para promover la transparencia, es decir, el acceso abierto a contenido de cursos de alta calidad, y al hacerlo, las universidades podrían contribuir a fortalecer la calidad del contenido disponible para todos los estudiantes en Internet a corto plazo (en plataformas ya consagradas, como por ejemplo, Facebook, Google y YouTube) y a largo plazo (democracia, equidad y pensamiento académico). Las universidades que producen MOOC y los ofrecen en plataformas globales de e-learning definen la internacionalización como uno de sus principales objetivos (Zakharova, 2019), adaptando muchos de los modelos de negocio actuales de las universidades que necesitan evolucionar aún más cambiante mercado educativo. De este modo, los MOOC juegan un doble papel para las universidades: les permiten entrar en el juego de las certificaciones no crediticias y abren nuevas perspectivas para la modernización de los títulos tradicionales (Bouchet & Bachelet, 2019). Los países europeos son los que adoptan tarde los MOOC en comparación con los EE. UU. Sin embargo, a partir de 2013, tanto las instituciones de educación superior como los gobiernos lanzaron varias iniciativas en Europa, dando origen a un número considerable de MOOC y plataformas "europeas". El actor principal que inició la conversación fue la Comisión Europea (CE) quién, ese año, publicó una Comunicación al Parlamento de la UE 38 Capítulo 1. Los MOOC en la que se refiere claramente al potencial de los MOOC para ampliar el acceso a la educación al llegar a estudiantes no tradicionales (Calise & Reda, 2018). Más recientemente, en 2017, se creó el European MOOC Consortium con el objetivo de asumir un papel de liderazgo en el desarrollo del discurso relacionado con los MOOC y otros desarrollos innovadores en el aprendizaje en línea en Europa (Goglio, 2019). Nuevamente comparando la situación de las universidades europeas con EE.UU., observamos cómo no existe un sistema europeo común de educación superior, y cada Estado miembro aún mantiene su propia autoridad sobre la educación, incluido el sistema de educación superior (Bouchet & Bachelet, 2019). A pesar de esta heterogeneidad, y nuevamente a partir de la investigación de Goglio (2019), es importante destacar que las políticas nacionales han facilitado y subvencionado el crecimiento de los MOOC, pero la naturaleza pública de estas iniciativas, hizo que el desarrollo de los MOOC en Europa en general estuviera menos orientado a las lógicas del mercado en comparación con las empresas privadas líderes que ofrecen MOOC en los Estados Unidos (como Coursera y Udacity). Otro punto clave frente a EE.UU. es la atención a la diversidad cultural y lingüística del contexto europeo que implica que muchas experiencias prefieran centrarse únicamente en la lengua oficial del país. En Ubachs & Konings (2018) se destaca que los dos principales grupos objetivo de los MOOC ofrecidos son: todos los públicos en general (57%) y solo los estudiantes de educación superior (13%). Además, se pone de manifiesto (74%) la importancia de ofrecer un crédito formal (ECTS) junto a certificados más informales. Otra de las características destacadas, es que a partir de los resultados de encuestas de abriljunio 2019 acerca de la oferta de MOOC, se indica que un 71% de las instituciones universitarias ofrece algún MOOC o está por crear alguno el próximo curso, y en el que se destaca que los principales motivos por los que se ofrecen estos cursos son aumentar la visibilidad de la institución, abrir la educación al público en general y experimentar con nuevas pedagogías online (Kluijfhout, Henderikx & Ubachsun, 2019). Además, en este mismo informe se destacan cuáles son las barreras mas importantes que impiden el desarrollo de MOOC, siendo por orden de importancia: la falta de disponibilidad del personal, la falta de un modelo de negocio sostenible, la falta de fondos y la falta de interés de los profesores. 39 Tesis doctoral 1.4.2. Nueva configuración del aprendizaje y la enseñanza La descripción que se ha efectuado de los MOOC deja ver que el escenario formativo resulta muy diferente al tradicional, tanto para los profesores como para los estudiantes. Esto se debe a que los MOOC se desarrollan en un nuevo formato atendiendo a tres principios fundamentales: gratuidad, ubicuidad y masividad (Cormier & Siemens, 2010) de los que ya hemos hablado con antelación. En este sentido, los roles y características de sus actores fundamentales resultan novedosos. En Hill (2013) se identifican cuatro perfiles característicos de los participantes de un curso MOOC, a partir del análisis de experiencias de implementación de MOOC; estos perfiles son los siguientes: - Lo mirone (Lurkers): caracterizados por ser participantes que acceden a un curso MOOC con una interacción limitada a la revisión de sus contenidos. - Lo merodeadore (Drop-ins): estos participantes seleccionan algunos de los contenidos del curso explorando superficialmente algunos de los recursos que se presentan. - Participantes pasivos: son aquellos que efectúan una revisión más completa, visualizan vídeos, consultan y descargan contenidos y, hasta completan tareas y test, pero no se involucran de forma participativa en la comunidad. - Participantes activos: son aquellos (minorías) que realizan las actividades y finalizan el curso evidenciando una interacción de forma activa y colaborativa. Además de esa clasificación mostrada, existen otras muchas investigaciones que clasifican los perfiles de usuario según la interacción que realizan con los contenidos como la de Milligan, Littlejohn & Margaryan (2013), Alario-Hoyos et al. (2014), Grünewald et al. (2013) y Kizilcec, Piech & Schneider (2013). En una investigación mas actual a estas, Del Peral-Pérez (2019) identifica cinco perfiles de usuario, pero en este caso asociados a patrones en el tiempo de interacción con los MOOC: 40 Capítulo 1. Los MOOC - Pre-consumidores: que nunca acceden a los contenidos principales del MOOC, y cuya interacción con el MOOC es mínima. - Usuarios intensivos: los contenidos del curso se realizan en una o dos sesiones únicamente. - Usuarios rutinarios: los contenidos del curso se realizan en más de dos sesiones en la misma franja horaria. - Usuarios flexibles: los contenidos del curso se realizan en más de dos sesiones en distinta franja horaria. - Usuarios exhaustivos: se realizan más de quince sesiones. Independientemente del perfil de los usuarios, es importante analizar cómo es la función de cada uno de los actores en el MOOC. El rol del profesor es el de facilitador, pues con sus conocimientos debe guiar el proceso de aprendizaje, pues debe saber por dónde deben transitar los alumnos y proporcionarles las herramientas para que estos paulatinamente auto dirijan su aprendizaje, además de a mir el rol de Mo i ador introducido en Zambrano, Cano & Presiga (2017). Por su parte, en la investigación de Zambrano, Cano & Presiga (2017) los estudiantes en un MOOC manifestaron que percibían que su rol había cambiado a ser protagonista de su aprendizaje y que deben realizar acciones como: - Evidenciar una actitud crítica y autónoma con respecto a su propio proceso de aprendizaje, tanto individual como grupal. - Desarrollar estrategias de búsqueda de información, procesamiento de la misma y construcción de sus conocimientos. - Potenciar sus habilidades en el uso y aprovechamiento de herramientas de participación en cursos online. - Desarrollar habilidades para trabajar en grupo, mediados por las tecnologías. - Aprovechar los canales de comunicación para expresar dudas o inquietudes al profesor o al grupo. 41 Tesis doctoral 1.5. Problemas y debilidades de los MOOC Con el tiempo, mediante los aportes generados de las experiencias con los MOOC, los cursos han ido evolucionando y poco a poco se han ido reconociendo sus fortalezas, afianzando los beneficios que aportan, pero también se han detectado importantes carencias que requieren la atención y seguimiento evaluativo. Diversos autores han detectado varias debilidades en los MOOC, como son: Tendencia al abandono: Con los datos disponibles, decimos que solo finalizan el curso un porcentaje pequeño de los inscritos (Mengual-Andrés, 2013; Daniel et al., 2015). Chamberlin & Parish (2001) identifican que hay dos grupos de alumnos: estudiantes independientes y comprometidos con aptitudes para el autoaprendizaje y, estudiantes que carecen de estos valores y que son los que más abundan y por ello se origina una alta tasa de abandono. Además, EMOOC (2014) & Armstrong (2012) concuerdan en el alto índice de abandono y que esto se deriva de la falta de motivación, seguimiento y tutorización, debido a que participan un número considerable de alumnos, en sus inicios. Poca interactividad entre participantes: Ante un gran número de alumnos en el contexto virtual, se pone en duda que puedan leerse todos los mensajes que los usuarios descargan en los foros y, obtener un feedback oportuno y adecuado a los docentes del curso, limitando la posibilidades de responder a dudas y corregir los errores (Chamberlin & Parish, 2001; Eckerdalet al.,2014; Fei & Shi, 2014; Hew & Cheung, 2014; Kang & Im, 2013; Parkinson, 2014; Stuchlíková & Kósa, 2013; Vázquez-Cano & López-Meneses, 2015). Del mismo modo, Armstrong (2012) destaca que, aunque el curso esté organizado, puede ser un caos localizar a los alumnos y materiales y/o seguir las conversaciones sostenidas en grupos de Google, Facebook, Twitter, etc. Por su parte Kang & Im (2013) consideran que, en los entornos virtuales, los estudiantes también necesitan sentir la presencia del docente y esto no se da, pues no existe contacto entre los participantes. Insuficientes plataformas MOOC: Onah, Sinclar & Boyatt (2014) indican que los cursos MOOC no tienen suficientes herramientas tecnológicas, lo que imposibilita la interacción sincrónica e inmediata, influyendo de manera negativa, dado que los estudiantes necesitan la interacción y la motivación. 42 Capítulo 1. Los MOOC La baja calidad del diseño instruccional: según Margaryan, Bianco & Littlejohn (2014) en su informe Instructional Quality if Massive Open Online Courses, el diseño instruccional de estos cursos tiene una baja calidad, destacando que no suelen ser novedosos e interactivos, en concordancia con las nuevas tecnologías, sino que constituyen compilaciones de vídeos. Además, el diseño no permite la generación de un ambiente en el cual se lleven a cabo discusiones, y el docente ejerza su rol de facilitador, permitiendo que los participantes resuelvan dudas entre sí y construyan su conocimiento (Andersen & Ponti, 2014; Siemens, 2008). El avance de las propuestas de enseñanza en entornos ha hecho que surja, entre otras cosas, la necesidad de comprender lo que está ocurriendo con el desempeño del estudiante y de qué manera el diseño favorece o no que estos entornos sean verdaderamente interactivos, entendiendo la interacción como el intercambio de ideas, el establecimiento de relaciones, de comunicaciones y la construcción del aprendizaje (Cabero & Llorente, 2007). Como ha dejado patente la investigación, los MOOC requieren ir más allá de la gestión de aprendizaje en ambientes tecnológicos, tomando en consideración el proceso individualizado del alumno y obtener evidencias para integrar los resultados en busca de lograr mejoras (Duval, 2013). En este sentido, la obtención de métricas de aprendizaje y del registro de participación del estudiante en los cursos, podría aproximarnos a una mejora de esos previsibles problemas de los MOOC (Peña, 2014; Romero & Ventura, 2010), siempre en conjunción con una adecuada manipulación de esas métricas y una concienzuda toma de decisiones. 43 Capítulo 2. Learning Analytics y Machine Learning Ca l 2. Learning Analytics y Machine Learning Cuando hablamos de MOOC, el concepto massive indicaba que estos cursos atienden a un gran número de participantes simultáneos. En este contexto, las analíticas parecen ser una herramienta valiosa para el registro y posterior interpretación de datos en una escala tan grande como la que implican los MOOC y ofrecen la posibilidad de efectuar las evaluaciones requeridas y generar propuestas de mejora, con miras a superar las dificultades detectadas (Marín & Sampedro, 2016). Los datos a esa escala se asocian al concepto de Learning Analytics (LA), que se define "la medición, recopilación, análisis y presentación de datos sobre los aprendices y sus contextos, a efectos de entender y optimizar el aprendizaje y el entorno en que se produce" (Siemens, 2011:1), o lo que es lo mismo, los datos que se generan en la creación de las propuestas formativas que se recogen y que están relacionadas con las puntuaciones, los materiales y el número de accesos (Long & Siemens, 2011). Obviamente, resulta fundamental tener en cuenta que no son las analíticas de aprendizaje las que generarán mejora, pues estas solo se refieren recoger alguna información de lo que sucede internamente en los procesos educativos en los MOOC. Además de la recogida propiamente dicha, se requiere la interpretación adecuada de esos datos para la toma de decisiones en pro de la mejora de estos procesos educativos (Reich, 2015). La forma en cómo se puede utilizar las analíticas de aprendizaje con ese propósito de mejora está siendo ampliamente estudiadas para su aplicación al aprendizaje masivo (Kizilcec, Piech & Schneider, 2013; Khalil & Ebner, 2016). La explotación de estos datos educativos para obtener datos analizables a fin de facilitar investigaciones posteriores se realiza mediante técnicas estadísticas avanzadas englobadas en el término Machine Learning. Los resultados de estos estudios reportan que con los algoritmos análisis de datos utilizados se pueden desarrollar importantes avances en la valoración para la mejora de los MOOC. En 45 Tesis doctoral trabajos como los de Peña (2014) y Romero & Ventura (2010) se muestran los beneficios generados del empleo de la minería de datos en el entorno educativo, como por ejemplo, dar información acerca de los diferentes comportamientos y de la actividad de los estudiantes, o distinguir a los estudiantes con alto riesgo de abandono o, aquellos que tienen bajo rendimiento en las pruebas de evaluación (Romero et al., 2010). El análisis de estos datos y conocer estas herramientas informáticas avanzadas puede ser de utilidad una vez se definan los objetivos específicos de la investigación, y es por ello que hay que introducir sus conceptos en el marco teórico. 2.1. Learning Analytics Conole et al. (2011) define a LA como un conjunto de acciones que incluyen la medición, compilación, análisis y presentación de datos sobre los estudiantes y sus contextos, todo ello para entender y mejorar el aprendizaje y los contextos en donde se produce. Mientras que Johnson et al. (2011) la define como la interpretación de una gran cantidad de datos obtenidos para valorar el progreso académico de los estudiantes, tratar de predecir su rendimiento, e identificar posibles deficiencias. Dringus (2012), por su parte, centra al LA en la evaluación responsable y el empleo eficiente del aprendizaje en línea. Vale señalar que el origen, centro y objetivo del LA es mejorar el proceso de aprendizaje, y para ello se vale de diferentes técnicas y metodologías (Picciano, 2012), y trabaja con diferentes tipos de información del estudiante y del contexto de aprendizaje. Por tal motivo, los MOOC se relacionan generalmente con el análisis del comportamiento secuencial durante el curso, como por ejemplo, el tiempo de actividad o los resultados de las evaluaciones entre otros, de esta manera se generan una serie de datos los cuales son analizados. Sin embargo, el LA aún no se está aplicando de forma extendida y no se está aprovechando suficientemente su enorme potencial para mejorar el diseño de los MOOC (Reich, 2015). Por lo que autores como León-Urrutia, Vázquez-Cano & López-Meneses (2017) insisten en avanzar en el aprovechamiento de las analíticas de aprendizaje, debido a que, entre otras bondade : el an li i del de empe o de los estudiantes en tiempo real favorece la labor de 46 Capítulo 2. Learning Analytics y Machine Learning los tutores o curadores de contenido para ofrecer información y actividades más per onali able e calable (p.44). El potencial transformador en el aprendizaje del LA tiene incidencia en cualquier disciplina educativa, especialmente en e-Learning (Gómez-Aguilar & García-Peñalvo, 2014), donde las variables medidas de los alumnos generalmente son el acceso a la plataforma LMS, el tiempo de conexión, el tiempo de revisión de contenidos didácticos y las interacciones en las redes sociales que se dan entre pares. Además, se mide el trabajo del alumnado en grupos particulares de estudiantes específicos o en un proyecto formativo. El informe OBSer a or de Torras-Virgili & Bellot-urbano (2018) asegura que el LA necesita de programas computacionales para poder analizar datos, y es así como lo comparan con el Big Data, aunque con algunas diferencias. El Big Data es una tecnología que se emplea cuando se tiene una gran cantidad de datos agrupados que hace que su tamaño sobrepase la capacidad del software tradicional y requiera de un programa computacional para su recogida, administración y análisis (Mazza & Milani, 2004; Romero et al., 2008). Ambos métodos utilizan los principios de las 5 Vs: volumen de datos, velocidad para recoger los datos, veracidad y variedad y valencias (esta última reflejada en gráficos). Siendo la máxima diferencia, el hecho que el Big Data se aplica a todos los campos de estudio, en cambio el Learning Analytics sólo al educativo. 2.1.1. Evolución y modelos teóricos A inicios de este siglo, la participación de los usuarios en la tecnología web facilitó la inserción de sistemas de gestión de aprendizaje o entornos virtuales de aprendizaje (de los que ya hemos hablado en este mismo trabajo) y, además amplió las posibilidades de recolectar una gran cantidad de información sobre la conducta de los estudiantes en estos contextos, así como de las interacciones que allí se dan (Berners-Lee, Hendler & Lassila, 2001). Uno de los países que reportó el empleo de EVA/LMS desde 1994 en las instituciones de educación superior fue Inglaterra, en donde el empleo de esta tecnología pasó del 7% de 1994 al 85% en el 2003 (Britain & Liber, 2004). 47 Tesis doctoral La huella digital que generó el empleo de EVA fue de gran ayuda para aliviar las presiones en el contexto educativo para evaluar el rendimiento en educación superior, con miras a mejorar los resultados obtenidos en el aprendizaje, pues impulsó el desarrollo de áreas nuevas como el Learning Analytics o Educational Data Mining para cumplir con estas demandas (Campbell, DeBlois & Oblinger, 2007). En las primeras experiencias en las que se implementaba el LA el objetivo estaba dirigido en tres ámbitos: 1. Predecir qué alumnos se encontraban en dificultades; permitiendo a los profesores personalizar la enseñanza y atender las necesidades de los alumnos durante el aprendizaje (Campbell et al., 2007). 2. Comprender las relaciones subyacentes entre el rendimiento académico y las interacciones de los estudiantes (Ramos & Yudko, 2008). 3. Analizar los niveles de participación y mejorar las tasas de abandono en los cursos online (Cocea & Weibelzahl, 2007). La metodología más utilizada para el trabajo con Learning Analytics tiene sus bases en distintos modelos teóricos que son claramente tecnológicos, y se nombran por el apellido del autor/autora: Modelo Picciano: busca la participación del estudiante en los cursos en línea y la mejora del análisis de datos. Este modelo incorpora al proceso de análisis la integración de información proveniente de tres estamentos: los sistemas de información institucionales, la experiencia y perspectiva de profesores/consejeros y los datos de EVA procesados mediante Big Data. A pesar de que considera que en la toma de decisiones la instrucción tradicional que se basa en datos tradicionales puede ser beneficiosa, sugiere el empleo de Learning Analytics cuando los datos son extensos y sensibles al tiempo, ya que es relevante que las correcciones y mejoras se obtengan en la medida que ocurren las actividades (Picciano, 2012). Modelo Chatti: los datos son extraídos para analizarlos y tomar decisiones. Está formado por tres fases: recolección y preprocesamiento, análisis y postprocesamiento; y toma en cuenta cuatro dimensiones: entornos y datos (qué), actores (para quienes), objetivos (para qué) y métodos (cómo). Frecuentemente se emplean como objetivos la adaptación, el 48 Capítulo 2. Learning Analytics y Machine Learning seguimiento y el análisis, como técnicas de predicción y clasificación y como fuente de datos EVA (Chatti, 2013). Modelo Siemens: Busca el desarrollo de la interacción y obtención del aprendizaje a través de plataformas digitales interactivas en las que se procesa automáticamente los datos. Este modelo tiene un enfoque sistemático tanto para el análisis como para los recursos de apoyo. De acuerdo al propósito del análisis, se realiza la recolección de información, así pues, se pueden recoger datos institucionales, académicos, de gestión, motivacionales, etc., y se utilizan herramientas y técnicas que son muy diversas según se quiera analizar un riesgo determinado, la red social, conceptos, programación neurolingüística, predicción, entre otros (Siemens, 2013). Los tres modelos analizados tienen en común la delimitación del ciclo vital del proceso de LA, el cual va desde la recogida de los datos hasta una etapa final que se fija dependiendo del modelo. Destaca también un cuarto modelo, que se suele referenciar a parte de los tres comentados, ya que surge más tarde, con el auge del campo en 2012, de una forma más contextual y centrado en intentar dar un marco común a las investigaciones que iban surgiendo (Ruipérez-Valiente, 2020). Modelo Clow: según el autor de este modelo, el LA es un proceso cíclico, que consta de diferentes etapas y donde todos los elementos del modelo están claramente afectados por los demás y por factores externos. El proceso fluye en este orden: aprendices, datos, métrica e intervención, volviendo a iniciarse una vez conocidos los resultados. Los análisis realizados tienen que ver con el seguimiento, los modelos predictivos, el análisis semántico y de contenido y el análisis de la red social (Clow, 2013). Como indica Peña (2019) desde este modelo, el LA, aplicando técnicas de big data, ayudará a convertir los registros de las plataformas digitales en información útil para describir (¿qué ha ocurrido?), predecir (¿qué ocurrirá?), diagnosticar (¿por qué ha sucedido?) y finalmente desarrollar estrategias de mejora en el proceso de aprendizaje (¿qué hacer en el futuro?) . 49 Tesis doctoral 2.1.2. Métodos computacionales Además de los cuatro modelos teóricos que se han comentado, para llevar a cabo los procesos y poder llegar a los análisis, se requieren de métodos computacionales que permitan su buen desarrollo. Ferguson & Shum (2012) plantean dos categorías para estos modelos que son útiles para la recopilación de datos de los MOOC: las Inherently social analytics (que solo tienen sentido en un contexto colectivo) y las Socialised analytics (que, aunque son relevantes como análisis personal, tienen también importantes atributos nuevos en un contexto colectivo). Cada una de estas categorías tienen varios métodos asignados, no obstante, a continuación se plantean solo aquellos que son de útiles para la consecución del objetivo de este trabajo doctoral en el proceso de recopilación y posterior análisis de datos de los MOOC de los que se dispone: - Social Network-Analytic Methods. perspectiva desarrollada con el fin de investigar los procesos de red y las relaciones y roles; y para comprender cómo los alumnos desarrollan estas relaciones para apoyar su aprendizaje (Haythornthwaite & de Laat, 2010). Se centra en las relaciones interpersonales que vinculan a los alumnos con contactos, recursos e ideas, y pueden emplearse también para mostrar los diferentes elementos del curso como nodos, y analizar sus relaciones de modo que pueden suministrar información relevante para el análisis del aprendizaje (edX, 2017). - Process-Oriented Interaction Analysis. En este caso, el método se centra únicamente en el estudiante, y las interacciones que este realiza durante la realización del curso. Es por esto que se almacenan todas las interacciones que se realizan en cada una de las sesiones del curso y cuando se realizan los análisis se puede descubrir patrones que caracterizan el comportamiento del alumno en el proceso de aprendizaje (Lang, Siemens, Wise & Gasevic, 2017). - Content Analysis Using Text-Mining Methods. A diferencia de los otros métodos, este se fundamenta en el análisis del contenido de texto que es creado por los estudiantes mientras están en el curso. Este contenido tiene que ver con los comentarios sobre un tema o duda, que escriben por ejemplo en los foros. En este análisis se conoce la naturaleza del contenido textual y la información semántica vinculada con los temas 50 Capítulo 2. Learning Analytics y Machine Learning de un curso, lo que va a permitir que puedan ser clasificados o extraer relaciones entre las palabras de diversos temas (Ferguson & Shum, 2012). 2.1.3. Beneficios y limitaciones de Learning Analytics Una vez considerados los distintos modelos teóricos, hay un gran número de autores que nos han destacado los beneficios de la aplicación del LA. Si nos atenemos a lo que plantean los autores, con el LA se puede determinar el modelo de comportamiento del estudiante, predecir el desempeño, aumentar la autoconciencia entre los estudiantes y mejorar la retroalimentación sobre la evaluación, recomendar recursos (Papamitsiou & Economides, 2014); la analítica del aprendizaje es muy sensible a los procesos de aprendizaje en tiempo real (Ifenthaler & Widanapathirana, 2014); supera los desafíos clave de medición en las evaluaciones educativas (Gibson & Webb, 2015); permite obtener conclusiones acerca de la actitud y el comportamiento que tendrá un alumno ante un contenido específico, un proyecto formativo, una tarea de evaluación (Avella, Kebritchi & Nunn, 2016). Además, permite desarrollar herramientas automatizadas que promuevan la integridad académica mediante el análisis de patrones en el contenido generado por los estudiantes (Amigud et al., 2017), permite detectar qué estudiantes se están quedando atrás y el motivo de su bajo nivel de participación en el aprendizaje en línea (Rogers et al., 2016) y permite detectar patrones de acciones correctivas para el desempeño de los estudiantes (Krumm et al., 2014; Jayaprakash et al. 2014, Fritz, 2011). También en la literatura se destaca la capacidad de las LA para demostrar cómo las actividades de preparación y asistencia del curso del instructor afectan las diferentes dimensiones de las actividades de participación de los estudiantes (Ma et al. 2015), capacidad para desarrollar modelos predictivos del rendimiento académico de los estudiantes (Ga e ic et al. 2016); y predictores del desempeño individual en un contexto de trabajo en equipo (Fidalgo-Blanco et al. 2015). 51 Tesis doctoral Además de estos beneficios, es importante tener en cuenta las limitaciones que también plantea el uso de LA en la educación y algunos son destacados en la literatura especializada En concreto Avella, Kebritchi & Nunn (2016) resume los desafíos de las LA, en la optimización del entorno de aprendizaje, el seguimiento, recopilación y análisis de los datos, el uso de tecnologías emergentes, y las preocupaciones éticas con respecto a cuestiones legales y de privacidad. Respecto a la recopilación de datos, existen limitaciones dada la incapacidad de compartir información por parte de la institución y surge otro problema con la creación del marco ideal para difundir el currículo educativo, ya que requiere trabajo en equipo entre organizaciones que compiten entre sí para capturar a los estudiantes que desean participar en este tipo de experiencia de aprendizaje (Bottles, Begoli & Worley, 2014). LA se ha convertido en una herramienta en el proceso de evaluación, pero para ser de ayuda los datos a analizar deben entregarse a los analistas de manera oportuna y precisa, y eso no siempre es posible (Picciano, 2014). Como indican McNeely & Hahm (2014), también existen desafíos técnicos en la asimilación del análisis de datos debido al formato de presentación de los datos, y es que los datos erróneos (muy presentes en escenarios LA) no pueden sesgar los hallazgos y causar una mala interpretación de la población en general. Ferguson (2012) indica que a medida que los estudiantes expanden los límites del sistema de gestión hacia entornos de aprendizaje abiertos, los investigadores deben optimizar los entornos y deben descubrir los problemas que enfrentan los estudiantes y cómo determinar el éxito desde la perspectiva de los estudiantes. Las tecnologías de investigación centradas en la analítica del aprendizaje y la educación aún se encuentran en las etapas iniciales (Dyckhoff et al., 2012), y es necesario su evolución continua para ser capaz de trabajar con el constante crecimiento de las analíticas de aprendizaje. 52 Capítulo 2. Learning Analytics y Machine Learning Por último, pero no menos importante, las cuestiones éticas y de privacidad configuran el otro gran problema que surge sobre el uso de analíticas del aprendizaje (Kay, Korn & Oppenheimer, 2012). Como indica Johnson et al. (2011) los cambios dinámicos en la tecnología y la forma en que los usuarios almacenan datos y aplicaciones en la nube presentan grandes desafíos a la privacidad. Además (West, 2012) afirma que consideraciones de privacidad como el consentimiento, la recogida de los datos, cómo respetar la privacidad, mantener el anonimato, y la opción de no participar, serán medidas a tomar de forma prioritaria. La Tabla 4, que presentamos a continuación, resume los beneficios, aplicaciones, desafíos y limitaciones que la literatura relaciona con las LA: Tabla 4. Beneficios, desafíos y limitaciones de LA. Elaboración propia Beneficios Desafíos y limitaciones Modelos de comportamiento del estudiante, Optimización del entorno de aprendizaje, predicción del desempeño y mejora de el seguimiento, recopilación y análisis de retroalimentación sobre la evaluación. los datos. Medición en las evaluaciones educativas. Uso de tecnologías emergentes. Actitud y comportamiento del alumno ante un Preocupaciones éticas con respecto a contenido específico, un proyecto o una tarea. cuestiones legales y de privacidad Herramientas automatizadas que promuevan la Los datos erróneos no pueden sesgar los responsabilidad y la integridad académica. hallazgos y causar una mala interpretación. Estudiantes que se están quedando atrás y el Optimización motivo de su bajo nivel de participación. de entornos y cómo determinar el éxito desde la perspectiva de los estudiantes. 53 Tesis doctoral Beneficios Desafíos y limitaciones Desempeño y progreso de los estudiantes Necesaria evolución continua de individualmente, así como en comparación con tecnología en LA. sus compañeros. Estrategias de intervención más efectivas para Necesaria presentación oportuna y precisa ayudar a los estudiantes en riesgo a tener éxito. de los datos. Predictores del desempeño individual en un contexto de trabajo en equipo. 2.2. Machine Learning El rmino Machine Learning (en adelante ML) fue acuñado por John McCarthy en 1956 y es una disciplina de la inteligencia artificial cuyas técnicas hacen posible el aprendizaje automático de las computadoras a partir del entrenamiento con gran cantidad de datos (Ruso et al, 2016). Se trata para ello de crear programas capaces de generar patrones de comportamiento a partir de unos datos (Bishop, 2006). El fin de ML es generar modelos efectivos que permitan predecir los comportamientos para la mejora a través del análisis de datos o minería de datos (Mohri, Rostamizadeh & Talwalkar, 2012). Estos modelos permitirán hacer predicciones como si fueran verdaderos expertos, en vez de realizar las instrucciones estrictamente para lo que han sido desarrollados (Monleón-Getino, 2015). La base de ML la encontramos la minería de datos (MD) que se define como el proceso automático o semiautomático de descubrir patrones en los datos (Witten, Frank & Hall, 2011), y donde la principal diferencia entre estos términos radica en que la MD no puede funcionar sin la participación humana, mientras que en el ML esta participación está involucrada en el momento inicial. El aprendizaje automático de las computadoras se produce por medio de algoritmos, que no es mas que una serie de pasos ordenados que se dan para realizar una tarea. Se han 54 Capítulo 2. Learning Analytics y Machine Learning diversificado los algoritmos y técnicas utilizadas en el sistema de minería de datos para analizar y mejorar la oferta educativa en entornos virtuales masivos. Como indican Valero, Vargas & García-Alonso (2015) los algoritmos de árboles de decisión están siendo ampliamente utilizados por su sencillez, facilidad de implementación, y a su vez su potencial. Esta técnica constituye un conjunto de reglas o condiciones presentadas en una estructura jerárquica, de forma que la decisión pueda ser determinada a partir de las condiciones que se cumplen desde la raíz hasta sus extremos (Alpaydin, 2010). Antes de seleccionar un algoritmo para resolver un problema se necesita definir y diseñar que tipo de problema es el que hay que resolver en función de los datos que se conocen del mismo, es por esto que a continuación, se profundizará en los distintos sistemas de predicción que podemos encontrar y cuáles son los algoritmos más utilizados para construir y estudiar las previsiones a través de esta rama de la inteligencia artificial. 2.2.1. Diseño del estudio de predicción Las interpretaciones que se pueden hacer a un mismo problema son innumerables, lo que a su vez implica la utilización del método de acuerdo con el proceso que se considere sea el más aceptado (Hernández, Fernández & Baptista, 2006). El caso de la predicción, que es el tema central de esta investigación, no escapa de esta realidad, por lo que para un mismo problema puede aplicarse varias soluciones que permitan la predicción de lo que se desea. Como indica Alpaydin (2010), cada modelo genera una red o algoritmo producto de los datos analizados, los cuales se organizan de tal manera que generan el modelo, pero lo que generalmente lo que se hace, es analizar los datos con diferentes métodos los cuales den origen a los modelos y a partir de allí, seleccionar el que más se adapte a las necesidades reales del problema y permita la adecuada toma de decisiones. Cuando hablamos de aprendizaje automáticos de las computadoras, es importante destacar que las cosas se aprenden cuando cambian su comportamiento de manera que los hace funcionar mejor en el futuro (Witten, Frank & Hall, 2011). Este aprendizaje automatizado de las computadoras busca comparar resultados y tomar aquellos que sean la mejora alternativa 55 Tesis doctoral de solución. Los algoritmos se desarrollan a partir del análisis de resultados producto de la clasificación y establecimiento de patrones, lo que da origen a la predicción. Como lo define Bishop (2006), el aprendizaje automático de las computadoras es un tipo de algoritmo que está basado en datos, es decir, a diferencia de los algoritmos habituales que extraen datos establecidos en el código, este logra transformar resultados a partir de los datos, en busca de la mejor respuesta. Para lograr esta trasformación, es indispensable tener un conocimiento previo de cada uno de los elementos y características que intervienen en el problema para poder establecer los criterios adecuados de clasificación al procesar el código para el algoritmo. En función de la información o de los datos con los que se cuentan, se puede hablar de aprendizaje supervisado y no supervisado (Alpaydin, 2010): - El aprendizaje automatizado supervisado, plantea el código del algoritmo a partir de la ejemplificación continua de diversas situaciones, de esta manera se puede lograr la predicción correcta considerando los supuestos anteriores. - El aprendizaje automatizado no supervisado se origina del entrenamiento de los algoritmos que se han establecido producto del análisis de los datos. Estos dos tipos de aprendizajes automatizados diseñan los algoritmos al intentar agrupar datos en diferentes grupos de acuerdo con las características de los datos. Sin embargo, Mohri, Rostamizadeh & Talwalkar (2012) indica que hay otro término medio que está entre estos dos tipos. Este se conoce como aprendizaje automatizado semisupervisado y activo. Técnicamente, este es un método supervisado en el que hay una manera de evitar un gran número de etiquetas, ya que el propio algoritmo indica qué se debe etiquetar. Este método es ampliamente utilizado en redes que se componen de nodos que están activados o no dependiendo de las condiciones claves. Las reglas se establecen en busca de las acciones necesarias, de esta manera los algoritmos deben permitir encontrar tendencias y patrones en los datos. 2.2.2. La validación cruzada en los modelos predictivos En el proceso de análisis del aprendizaje automatizado se presentan situaciones donde se hace necesario ir más allá de establecer patrones, entrenamiento o revisar situaciones 56 Capítulo 2. Learning Analytics y Machine Learning anteriores, es en estas situaciones extrañas, fuera del patrón, cuando se hace necesario ajustar la predicción a la situación aleatoria donde no existen relaciones causales. La validación cruzada permite evaluar cómo los resultados de una estadística análisis se generalizan a un conjunto de datos independientes (Refaeilzadeh, Tang & Lui, 2008), y según Kohavi (2005) es utilizada generalmente en situaciones en los que la predicción es el objetivo, y no se requiere estimar con precisión un modelo predictivo a utilizar. Kohavi (2005) también señala que, en un problema de predicción, un modelo se da generalmente en un conjunto de datos de datos conocidos en los que la formación se ejecuta, y un conjunto de datos desconocidos contra el que el modelo se prueba; el objetivo de la validación cruzada es poner a prueba la capacidad del modelo para predecir nuevos datos que no se utilizan en la estimación. Sin embargo, es importante aclarar que el modelo será eficaz no por el rendimiento del entrenamiento, sino por el desempeño de los datos visibles, de manera que, aunque un modelo en una situación adversa el cual ha sido establecido con datos tipificados, puede considerarse como un modelo sesgado ya que sólo responde una determinada situación, una parte pequeña de los datos no la globalidad de los mismos, por lo que no representa la resolución al problema presentado (Moore, 2001). 2.2.3. Selección del algoritmo de predicción Hay varias circunstancias posibles donde un proceso para estimar las relaciones entre los datos hace necesario relacionar variables. La validación en este caso no es cruzada sino de retención, en la cual se clasifican los datos en dos procesos: en uno, se retienen los datos para realizar el entrenamiento y en el otro se procesan a través del análisis cruzado, de manera que se establecen relaciones (Data Splitting, 2015). El método de retención divide los datos en dos conjuntos: de entrenamiento y datos de prueba, como la validación cruzada. Sin embargo, dividir los datos de manera uniforme y realizar solo un experimento de prueba y entrenamiento podría engañar en caso de obtener una "desafortunada" relación entre una variable dependiente o más variables independientes 57 Tesis doctoral (Box & Cox, 1964). La muestra de datos está dividida en dos conjuntos: de entrenamiento y de prueba, siendo el conjunto que se usa para entrenar la entrada del algoritmo, dando lugar al clasificador, que se prueba con el conjunto de datos de test en el que no se conocen los valores de las clases. En caso de que el clasificador consiga clasificar la mayor parte de los datos correctamente (los estudiantes), se asumirá que este actúa correctamente también con nuevos datos, y por tanto, la hipótesis es acertada. Si en cambio comete muchos errores durante la clasificación, se admite que es un modelo erróneo, y la hipótesis se descartará. Específicamente, el análisis de regresión podría considerarse como un proceso para entender cómo una variable dependiente evoluciona o cambia cuando las variables independientes son variadas, mientras que las otras variables independientes se mantienen fijas (GutiérrezOsuna, 2001). Uno de los aspectos que se debe tener en cuenta es la probabilidad de distribución, lo cual no es otra cosa que la variación de la variable dependiente del proceso de regresión. Las relaciones que se logran establecer es lo que da producto a los logaritmos que originan la predicción. Los datos de entrada y salida son de gran utilidad. Si los datos de salida son continuos, discretos, o resultados binarios, una clasificación puede ser la solución. Sin embargo, el uso de una respuesta booleana "sí" o "no", tal vez no sea suficiente, y podría haber algunos errores en el resultado previsto. Ante esto, se confirma la necesidad de realizar probabilidades o una distribución de probabilidad o un modelo estocástico (Arlot & Celisse, 2010). Utilizando la probabilidad, se puede obtener la confiabilidad del modelo predictivo, por lo que comúnmente si el resultado de la probabilidad es de 51% el modelo no es confiable; pero si se obtiene el 99%, el modelo más seguro que otros con menos probabilidad (Moore, 2001). A continuación, se plantea a modo resumen, un listado (Tabla 5) de con los terminados analizados a modo de glosario: Tabla 5. Glosario de términos analizados. Elaboración propia Glosario de conceptos Machine Learning Conjunto de condiciones presentadas en estructura jerárquica, de forma que la decisión final pueda ser 58 Capítulo 2. Learning Analytics y Machine Learning determinada a partir de las condiciones que se cumplen desde la raíz hasta sus extremos. Aprendizaje supervisado Plantea el código del algoritmo a partir de la ejemplificación continua de diversas situaciones (considerando los supuestos anteriores). Aprendizaje no supervisado Se origina del entrenamiento de los algoritmos que se han establecido producto del análisis de los datos. Técnica de árbol de decisión Mapa de resultados posibles en función de decisiones relacionadas en serie, permitiendo comparar entre acciones según sus probabilidades. Validación cruzada Evalúa cómo los resultados de una estadística análisis se generalizan a un conjunto de datos independientes. Existen varias investigaciones que comparan el rendimiento de los clasificadores en función de diferentes parámetros. Así por ejemplo Fawcett (2004) propone un método para visualizar, organizar y seleccionar algoritmos mediante la técnica ROC (Receiver Operating Characteristics), mientras que Hämäläien & Vinni (2010) proponen otro método basado en EDM (Ed. Data Mining). Según Russo et al. (2016), los seis modelos de Machine Learning más usados actualmente para la resolución de este tipo de problemas aparecen de forma resumida en la Tabla 6: Tabla 6. Definición de los modelos ML utilizados. Elaboración propia Modelo Logistic Regression Características Clasificación supervisada que encuentra su uso en la estimación de valores discretos como 0/1, sí/no y verdadero/falso. Se basa en un conjunto dado de variables independientes y utiliza una función logística para predecir la probabilidad de un evento y esto nos da una salida entre 0 y 1. 59 Tesis doctoral Modelo Características Decision Tree Classification Este modelo toma una instancia, atraviesa el árbol y compara características importantes con una declaración condicional determinada. Si desciende, irá a la rama secundaria izquierda o derecha dependiendo del resultado. Por lo general, las características más importantes están más cerca de la raíz. KNeighbors Classification Considera diferentes centroides y utiliza una función generalmente euclidiana para comparar la distancia. Luego, analiza los resultados y clasifica cada punto del grupo para optimizarlo y colocarlo con todos los puntos más cercanos. Clasifica los casos nuevos utilizando votaciones de los k vecinos. Support Vector Traza una línea que divide las diferentes categorías de sus datos. En este Machine algoritmo se calcula el vector para optimizar la línea, consiguiendo asegurar que el punto más cercano en cada grupo se encuentra más alejado el uno del otro. Naive Bayes Supone independencia entre predictores. Supondrá que una característica en una clase no está relacionada con ninguna otra. Para conjuntos de datos muy grandes, es fácil construir un modelo naive bayesiano. Este modelo no solo es muy simple, sino que funciona mejor que muchos métodos de clasificación altamente sofisticados. Random Forest Un bosque aleatorio es un conjunto de árboles de decisión. Para clasificar cada nuevo objeto en función de sus atributos, los árboles votan por la clase: cada árbol proporciona una clasificación. La clasificación con más votos gana en el bosque. 60 Capítulo 3. Metodología de investigación SECCI N II. ESTUDIO EMP RICO 61 Capítulo 3. Metodología de investigación Ca l 3. Me d l g a de la in e igaci n En el presente capítulo se presenta la metodología que se ha llevado a cabo para realizar esta tesis doctoral. Se presentan los objetivos generales y específicos, y las preguntas de investigación con el fin identificar bien el problema, especificando qué no forma parte de este, para evitar confundir conceptos parecidos. Posteriormente se definirá el método y procedimiento, estableciendo las fases según el tipo de investigación que se ha planteado. Este capítulo tiene como única intención, demostrar paso a paso lo que se ha realizado, de manera que se pueda confirmar que los resultados que se han obtenido son válidos y confiables. Como se justificará, en este trabajo se ha utilizado la metodología de investigación Basada en el Diseño (IBD), la cual está conformado por tres fases que se logran completar a través de iteraciones (De Benito & Salinas, 2016). En este caso específico la primera fase de análisis y exploración corresponde a tres revisiones sistemáticas, siendo esta la primera iteración, donde se conoce las temáticas a tratar por parte de la investigaciones más recientes y las necesidades de mejora tomando en cuenta diferentes variables de las cuales se tienen datos suficientes para realizar una predicción válida y confiable, y a partir de ella proponer acciones a los MOOC, para mejorar el rendimiento, el aprendizaje y sobre todo el índice de abandono. Para la segunda fase del diseño, se plantea la segunda iteración que corresponde al diseño y desarrollo de la propuesta de mejora. Una vez se han obtenido las variables que permiten la predicción, se el uso de metodologías tecnológicas para el análisis de los datos, por lo que se utilizó el método machine learning (Big data), de esta manera se obtuvo la predicción a partir del comportamiento de los participantes de los cursos MOOC de la UVP y plantear la propuesta de mejora. En la última fase, correspondiente a la tercera iteración, se implementa la propuesta de mejora, se modifica, y se obtienen los resultados y conclusiones de la investigación. Como última tarea dentro de cada una de las iteraciones, se plantea una etapa de feedback en el que se exponen a los expertos de la UPV las conclusiones realizadas para que realicen las correcciones o comentarios oportunos. 63 Tesis doctoral 3.1. Marco de la investigación: los MOOC de la UPV Esta investigación parte de una necesidad concreta de la UPV y más concretamente de su plataforma edX para el desarrollo de MOOC. Por tanto, es importante introducir en primer lugar en qué estado se encuentra actualmente la plataforma, caracterizándola, y en segunda lugar, como ha sido la evolución hasta llegar a esta situación. 3.1.1. Caracterización de la UPV y su plataforma MOOC La UPV es una universidad pública y dinámica que recientemente ha celebrado su 50 aniversario con fuertes vínculos con el entorno social y con gran presencia en el extranjero. Cuenta con 34.000 estudiantes, 3.600 profesores e investigadores nueve escuelas técnicas superiores, dos facultades y dos escuelas politécnicas superiores. (https://www.upv.es/organizacion/la-institucion/historia/index-es.html). El éxito de la plataforma llamada upvx.es es tal que cuenta con más de 260 cursos diferentes, con más de 700.000 alumnos, lo que le permite ser la institución europea con más cursos MOOC realizados (Ruiperez-Valiente et al, 2020), además, en 2018 la UPV se posicionó como la quinta universidad con mas cursos realizados en la plataforma edX (Sanchis-Font et al, 2018). Además, UPV tuvo excelentes resultados respecto a la satisfacción de los estudiantes con la plataforma, los cursos y la forma de aprender, obteniendo un promedio de 4.05 sobre 5 en la pregunta "Teniendo en cuenta todo, califique cómo el curso ha cumplido sus expectativas" (Despujol, 2018). 3.1.2. Evolución de la plataforma MOOC La UPV ha estado involucrada en el desarrollo de contenido de video digital para apoyar los procesos de enseñanza durante varios años, desarrollando módulos relacionados con la producción de vídeos de aprendizaje adecuados para la formación a distancia. En este sentido, 64 Capítulo 3. Metodología de investigación desarrolló Polimedia, un sistema para grabar objetos de aprendizaje en video HD utilizando estudios audiovisuales baratos de una manera rápida y directa (Turro, Canero y Busquets, 2010), así como el programa "Docencia en Red" que alienta y apoya a los docentes que desarrollan contenido de aprendizaje digital y evalúan sistemáticamente su calidad (CáceresGonzález & Martínez-Naharro, 2011), capacitando a más de 600 facultades en la creación de objetos de aprendizaje de video HQ (Despujol, 2014). La evolución de la andadura de la UPV con sus cursos de educación a distancia se puede analizar desde seis etapas, cuya evolución se resumen en la siguiente Tabla 7: Tabla 7. Evolución plataforma online UPV. (Despujol, Castañeda & Turro,2018) Etapa Edición 1 Enero 2013 2 Febrero 2013 3 Julio 2013 Octubre 2013 4 Marzo 2014 Julio 2014 Septiembre 2014 5 2015 6 2016 Plataforma Course Builder MiríadaX Course Builder Course Builder Course Builder Open edX Course Builder Open edX Course Builder Open edX edX Open edX edX Open edX Origen hasta 2018 Course Builder MiríadaX edX Open edX 65 Cursos 2 14 10 8 14 3 8 Registrados 1.178 76.459 5.971 4.112 502.429 9 15 30 12 43 8 16.371 198.815 17.421 246.110 9.827 50 14 290 189 59.608 76.459 1.236.131 65.739 5.407 Tesis doctoral Primera etapa. Como indica Despujol (2018), en 2012 la UPV había subido más de 2,000 vídeos educativos a sus canales de Youtube e ITunesU, y se habían registrado más de 2,000,000 de visitas; lo que demostraba el interés del público en este tipo de contenido educativo. La Universidad contaba con el contenido y las herramientas (Polimedia y Docencia en Red) para crear MOOC con poco esfuerzo adicional y se había detectado una oportunidad significativa para mejorar la reputación digital y el marketing en los medios de comunicación, es por esto, que en su plan estratégico de la 2007-2014, se introdujo una línea estratégica dedicada a intensificar el uso de TI en la enseñanza (UPV, 2007). Como indican Despujol, Turro, Busquets & Cañero (2014), inicialmente se creó un grupo para fijar las bases para una fase piloto y se seleccionó Google Course Builder como plataforma para adaptar dos cursos existentes, dando lugar a los dos primeros pilotos MOOC. La edición transcurrió sin problemas y la encuesta de satisfacción posterior reveló que los cursos cumplieron con las expectativas de los estudiantes, validando el formato MOOC gracias a su bajo coste. Tras esto, el dominio upvx.es fue adquirido. Segunda etapa. Lo siguientes cursos que se realizaron desde la UPV surgieron a partir de la creación de la plataforma MiríadaX y su concurso para buscar el mejor MOOC en español de 2012 (MiríadaX 2012). Se presentaron un total de doce cursos nuevos, más los dos pilotos realizados, para lo que se dispuso de solo tres meses, para lo cual fue imprescindible el uso de Polimedia y la Guía para la creación de MOOC realizada en el programa Docencia en red (Cáceres-González & Martínez-Naharro, 2014). Los resultados de la encuesta de satisfacción fueron muy similares a los de la edición piloto, obteniendo 4.12 de 5 en la pregunta de cumplimiento de expectativas de la encuesta posterior al curso (Despujol, Turro, Busquets & Canero, 2014). En estos meses de preparación para el concurso, se probó el rendimiento y la velocidad de la infraestructura de producción y escalabilidad y los procedimientos establecidos, y se decidió apoyar a los docentes a crear los cursos permitiéndoles enfocarse en el proceso de creación 66 Capítulo 3. Metodología de investigación de contenido (Despujol, 2018). Tras finalizar el concurso, se migraron todos los cursos nuevamente a la plataforma Google Course Builder. Tercera etapa. La tercera etapa se centró en la realización modificaciones en la plataforma para poder alojar varios cursos creando una página de listado de cursos pareciendo que se encontraban en una plataforma común, y mejoras también para aumentar su usabilidad y agregar nuevas funciones como enviar correos electrónicos a los estudiantes o agregar una página con el progreso del estudiante en el curso (Despujol, 2018). En esta etapa, se contaba con un total de dieciocho cursos con 10.083 inscritos en total, demostrándose que una iniciativa MOOC con varios cursos podría ejecutarse sin problemas utilizando el código modificado de Google Course Builder. Negativamente se comprobó cómo personalizar en gran medida un código fuente abierto suponía un gran esfuerzo de actualización con el lanzamiento de nuevas versiones de Google Course Builder. Cuarta etapa. El 1 de junio de 2013, edX creó su plataforma MOOC de código abierto y creó una comunidad de código abierto. La plataforma ofrecía una interfaz para los docentes y una mejor interfaz para los estudiantes (Fitzgerald, 2013). Según indica Despujol (2018), la comunidad de código abierto era una garantía de crecimiento y mejora, por lo que se decidió probar la plataforma Open edX. Se confirmó la viabilidad de la plataforma con tres cursos, por lo que la UPV decidió pasar completamente a Open edX, incluso siendo nombrado miembro activo de su comunidad de desarrollo. Se desarrollaron herramientas web para ayudar con el proceso de producción entre la plataforma antigua y la nueva, permitiendo a los docentes seguir desarrollando cursos en la plataforma de prueba. Por último, dentro de esta etapa se decidió tener dos ediciones MOOC generales por año (marzo y octubre) y una tercera edición en julio solo con cursos de nivelación de entrada en la universidad. 67 Tesis doctoral Quinta etapa. A pesar de que la ejecución de los cursos en edx.org implicaba una mayor carga de trabajo, (Silvestre et al., 2012), en febrero de 2015 edX financió a la UPV la creación de cinco cursos en la plataforma, siendo un curso para aprender castellano, el más exitoso en participaciones, a pesar de su baja tasa de finalización (alrededor del 2%). Dentro de esta fase, Despujol (2018) destaca que el número de inscripciones con la nueva plataforma no aumentó tanto como lo esperado por la universidad, manteniendo la satisfacción de los usuarios y las tasas de finalización. Además, mantener la plataforma propia para realizar primeras ejecuciones de los cursos permitía mantener la reputación digital la independencia; y tener un desarrollador Open edX aumentaba la posibilidad de experimentar y mejorar posiciona a UPV como uno de los miembros activos de la comunidad de desarrollo de OpenedX. Sexta etapa. En la última etapa se decide transformar la mayoría de los cursos a inicio síncrono y continuación con ritmo propio para disminuir las tasas de finalización, y se suspendieron los certificados gratuitos para todos los cursos nuevos, provocando una caída de la tasa de finalización. Las conclusiones de esta etapa, según Despujol (2018) son que edX debería idear una forma de comercializar cursos autodidactas periódicamente para paliar la bajada del número de inscripciones, la falta de un reconocimiento gratuito del curso impacta negativamente en la motivación y en las tasas de finalización, y que el modelo de ingresos que cobra solo por certificados a los estudiantes que los demandan y solo reparte beneficios de un curso tras alcanzar un mínimo, no es auto sostenible para la Universidad. 68 Capítulo 3. Metodología de investigación 3.1.3. Definición del modelo de curso MOOC en la UPV Despujol, Castañeda & Turro, (2018) describe brevemente las características básicas de la estructura de los MOOC UPV: - Los cursos están estructurados en módulos con conceptos claramente independientes; un video, un concepto. Un módulo corresponde al trabajo de una semana y tres horas de dedicación de los estudiantes. El módulo contiene una hora de contenido de video. - Los cursos deben iniciarse en ediciones sincrónicas, permaneciendo los materiales disponibles entre las ediciones. - Los vídeos tienen una duración entre 1 a 12 minutos, y disponen de un documento pdf con una presentación. - Hay evaluaciones después de cada vídeo, de cada unidad y al final del curso. - Hay un foro por curso para la comunicación docente-estudiante y entre estudiantes. - Se entrega un certificado digital no académico gratuito a los estudiantes que superen el curso. 3.2. Objetivos de investigación Como se detallará en el marco de la investigación, la Universitat Politécnica de Valencia (UPV) cuenta con una importante plataforma de cursos MOOC con la que da servicio a más de 200.000 matrículas cada año. Esta plataforma ofrece a la UPV muchos nuevos estudiantes, mucho impacto y reputación digital, pero a la vez supone una cantidad enorme de datos y poco personal para su mantenimiento y optimización (https://www.upv.es/organizacion/lainstitucion/historia/index-es.html). La automatización de procesos que se encarguen de filtrar y procesar los datos de forma autónoma es una de las medidas claras que la institución entiende que es necesario tomar para optimizar los recursos y poder procesar y analizar la gran cantidad de datos que generan los cursos que oferta. 69 Tesis doctoral Objetivo general Diseñar mecanismos automatizados de predicción de datos con Machine Learning que se puedan poner en marcha en la plataforma MOOC de la UPV para mejorar la experiencia de los participantes en la actividad. Objetivos específicos - Identificar cuáles son los criterios de análisis que, desde el punto de vista pedagógico, se pueden estudiar en las LA de los MOOC. - Analizar, con base en la analítica de datos disponibles y en los criterios pedagógicos ya probados y/o sugeridos por la literatura científica, la experiencia de los MOOC de la UPV. - Desarrollar modelos predictivos, basados en la analítica de aprendizaje, que describan el posible comportamiento de los participantes de los cursos MOOC de la UPV. - Proponer estrategias automatizadas basadas en analíticas de aprendizaje para mejorar la experiencia de los alumnos y de la universidad y los elementos didácticos de los MOOC de la UPV. - Proponer estrategias automáticas, que, con base en un esfuerzo menor, permitan disminuir el abandono en los MOOC de la UPV. 3.3. Preguntas de investigación La pregunta general de la investigación es: ¿Cómo lograr una mejora en determinados parámetros de los MOOC a partir de la consideración de criterios pedagógicos y del tratamiento masivo de los datos obtenidos en experiencias anteriores de esos mismos cursos y de la automatización de procesos? Más en concreto, podemos definir otras preguntas a resolver: - ¿Cuáles son las variables más utilizadas para hacer proyecciones de actuación de los participantes en los cursos MOOC y qué otras variables nos sugiere la literatura en 70 Capítulo 3. Metodología de investigación educación a distancia, que sirvan para mejorar los procesos y lograr mejorar la calidad de los cursos? - ¿Qué indicadores de abandono temprano se pueden aplicar a los datos que podemos extraer de las plataformas tecnológicas que soportan los MOOC de la UPV, y qué tipo de tratamiento y filtrado de datos es necesario para obtenerlos? - ¿Qué tipo de procedimientos automatizados se deben plantear para poner en funcionamiento los indicadores de abandono seleccionados y cuáles son aplicables? - ¿Está la plataforma de MOOC de la UPV preparada para poner en funcionamiento los procedimientos propuestos? 3.4. Diseño de investigación Las decisiones, orientaciones y actuaciones realizadas en el marco de esta Tesis se explicitan en los siguientes apartados, concretando las mismas en la Tabla 8, que ya fue presentada brevemente en la introducción. Tabla 8. Síntesis de la metodología utilizada en la investigación. Elaboración propia. Objetivo de estudio Diseñar mecanismos automatizados que se puedan poner en marcha dentro de los MOOC de la UPV para mejorar la experiencia de los estudiantes y universidad en los cursos aplicando la predicción de datos con Machine Learning. Objetivos - Identificar cuáles son los criterios de análisis que, desde el punto de vista pedagógico, se pueden analizar en las LA de los MOOC. - Analizar, con base en la analítica de datos disponibles y en los criterios pedagógicos ya probados y/o sugeridos por la literatura científica, la experiencia de los MOOC de la UPV. - Desarrollar modelos predictivos, basados en la analítica de aprendizaje, que describan el posible comportamiento de los participantes de los cursos MOOC de la UPV. - Proponer estrategias automatizadas basadas en analíticas de aprendizaje para mejorar la experiencia de los alumnos y de la universidad y los elementos didácticos de los MOOC de la UPV. específicos 71 Tesis doctoral - Proponer estrategias automáticas, que, con base en un esfuerzo menor, permitan disminuir el abandono en los MOOC de la UPV. Pregunta de ¿Cómo lograr una mejora, a partir del uso de estrategias automatizadas, en investigación determinados parámetros de los MOOC a partir del tratamiento masivo de los datos obtenidos en experiencias anteriores de esos mismos cursos? Paradigma Tipo Sociocrítico de Investigación basada en el diseño investigación Iteraciones Iteración I: Fase 1: Planificar las revisiones bibliográficas de la Revisiones bibliográficas Fase 2: Realizar las revisiones bibliográficas Iteración II: Fase 1: Plantear los criterios a analizar Análisis de los MOOC UPV Fase 2: Analizar los datos con Machine Learning Iteración III: Fase 1: Plantear propuestas de mejora Propuesta de mejora y conclusiones Fase 2: Implementar y probar la propuesta de mejora investigación Fase 3: Aceptación UPV Fase 3: Presentar los resultados aceptación UPV Fase 3: Modificar y aceptación UPV Limitaciones Existen pocas investigaciones sobre experiencias MOOC, y más y dificultades concretamente sobre mecanismos automáticos de mejora de estos cursos. Contribución Propuesta de mejora de los MOOC de la UPV 3.5. Paradigma y metodología de investigación El hecho de trabajar con un gran conjunto de datos y de números discretos, podría hacer suponer que nos encontramos ante una aproximación cuantitativa, pero entendemos que la naturaleza de la acción educativa no cambia con los números, aunque si se pretende influir en la medida de nuestras posibilidades. 72 Capítulo 3. Metodología de investigación En cambio, la investigación sigue un paradigma sociocrítico, pues trata de comprender una realidad determinada, que en nuestro caso es cuál es la problemática de los MOOC o cómo se puede mejorar la experiencia de alumnos y universidad, para posteriormente aplicar una acción transformadora desde una posición crítica, que en este caso será la propuesta de mecanismos automatizados que intenten transformar esa realidad (Arnal, 1992). La investigación utilizará un enfoque mixto, es decir cualitativo y cuantitativo. La investigación cualitativa según Guba & Lincoln (2005) consiste en estudiar un fenómeno en su contexto natural mediante una serie de actividades, para luego hacer interpretaciones que le dan visibilidad y sentido, mientras que la investigación cuantitativa se refiere a la construcción de teorías, a partir la observación de la realidad objeto de estudio, y el uso del método inductivo para describir o explicar el fenómeno en estudio mediante el uso de técnicas estadísticas (Martínez, 2006). El enfoque mix o p ede er comprendido como da o c an i a i o c ali a i o , en n mi mo e n proce o q e recolec a, anali a ier e dio (Ta hakkori & Teddlie, 2003). No es simplemente una mezcla en la cual se borran o se repiten las características de cada enfoque, su riqueza radica en sacar provecho de ventajas de cada enfoque. Inicialmente los enfoques cuantitativo y cualitativo se consideraban contrarios y que se no podían utilizar conjuntamente; sin embargo, Uwe-Flick (2012) aclara que ( ) la combinación de ambas estrategias ha cristalizado como una perspectiva que se analiza y prac ica de aria forma . (p.277). En la actualidad en cambio, como indica Barrantes (2014), algunos investigadores tienen una postura posición más ecléctica, y se pueden encontrar estudios donde se relatan explicaciones de los hechos (enfoque cuantitativo) con una comprensión de estos (enfoque cualitativo), contribuyendo a reforzar el proceso investigativo. La investigación que se plantea es una investigación de diseño (IBD), en la cual se parte de una necesidad real, en la cual se dé respuestas a partir de diferentes fases, logrando la mejora parcial o total de la situación inicial. La IBD se centra en la investigación cualitativa, aunque utiliza para la validez y mayor confiabilidad los datos cuantitativos, donde confluyen diferentes áreas de conocimientos entre las que se encuentran la neurociencia, sociología 73 Tesis doctoral educación, didáctica entre otras (Confrey, 2006). En el contexto educativo tiene como fin analizar el proceso de manera sistemática (aprendizaje, estrategias, herramientas, evaluación), lo que permite conocer el proceso enseñanza-aprendizaje e investigarlo. La IBD, que según Anderson (2005) surgió debido a la poca repercusión de la investigación educativa en el propio sistema educativo, está centrada en el análisis, diseño y evaluación sistemáticos de problemas reales en contextos educativos. Se trata de investigaciones prácticas focalizadas en la resolución de problemas para desarrollar principios y orientaciones para otras investigaciones (Driscoll & Dick, 1999). Para conceptualizarlo más, Wang & Hannafin (2005) definen la IBD como na me odolog a sistemática, pero flexible, dirigida a la mejora de la práctica educativa mediante análisis, diseño, desarrollo e implementación iterativos, basados en la colaboración de investigadores y practicantes en un entorno real y que persigue principios de diseño y teoría basadas en con e o . El Design-Based Research Collective (2003) señala varias áreas en las que la IBD presentan mayores perspectivas como son: la creación de nuevos entornos de enseñanza, el desarrollo de teorías de aprendizaje basadas en el contexto y la consolidación del conocimiento sobre el diseño didáctico. Es por esto que según Reeves (2006) el IBD es el que más inspira la investigación referente a la educación a distancia, y De Benito & Salinas (2016) plantea que esta investigación se orienta a la innovación educativa, siendo utilizada frecuentemente en el diseño de programas, estrategias didácticas, validación de propuestas. 3.6. Fases del proceso de la Investigación Basada en Diseño El modelo de estructura de la investigación seguido, y que es el más representativo de IBD es de Reeves (2000; 2006). Las fases de esta estructura se repiten mediante ciclos continuos o iteraciones produciendo mejoras en la intervención y en el cuerpo teórico (de Benito & Salinas, 2016). Con el propósito de una comprensión más clara, se realiza un rediseño de las fases dejando tan solo tres fases: La iteración comienza con analizando la situación y definiendo el problema, a continuación, se diseñan las posibles soluciones, seguidamente se realiza el diseño e implementación de soluciones y por último la validación de la implementación realizada. 74 Capítulo 3. Metodología de investigación En concreto y como se esquematiza en la ilustración 2, en esta investigación se realizan tres ciclos continuos o iteraciones en los que se desarrollan cada una de las fases planteadas. Ilustración 2. Esquema iteraciones de la investigación. Elaboración propia. Previamente a indicar qué es lo que se realiza en cada una de las fases de las tres iteraciones, hemos realizado una reorganización de las preguntas de investigación, agrupando éstas por fases, de manera que tras cada iteración se debe dar solución sus preguntas correspondientes, así: Preguntas de la iteración I: - ¿Cuáles con las características de los MOOC que pueden implicar mejoras a los participantes, a los cursos y a la Universidad? - ¿Cuáles son las variables más utilizadas para hacer proyecciones de actuación de los participantes en los cursos MOOC que sirvan para mejorar los procesos y lograr la calidad de los cursos? - ¿Qué otras variables nos sugieren la Educación a distancia para mejorar la eficacia de los cursos? Preguntas de la Iteración II: - ¿De los indicadores obtenidos en la fase 1, cuáles se pueden aplicar a los datos aportados por la UPV? - ¿Qué tipo de tratamiento y filtrado de datos es necesario para obtener los indicadores de abandono que se han seleccionado? - ¿Cuáles de los indicadores seleccionados realmente funcionan para relacionar el abandono en los cursos de la UPV? 75 Tesis doctoral Preguntas de la iteración III: - ¿Qué tipo de procedimientos automatizados se plantean para poner en funcionamiento los indicadores de abandono seleccionados? - ¿Está la plataforma de MOOC de la UPV preparada para poner en funcionamiento los procedimientos propuestos? - ¿Cuál de las propuestas son de aplicación directa en la plataforma y cuáles no se pueden o no se desean aplicar? Aunque se van a detallar cada una de las iteraciones de forma pormenorizada, en la Tabla 9 se resumen las actuaciones que se realizarán en cada fase de las tres iteraciones incluyendo, qué parte del problema se analizará, qué se implementará y cómo se validarán los resultados: ITERACIÓN I Diseño e implementación Validación de soluciones. Tres revisiones Aprobación por parte de la sistemáticas de literatura UPV de los indicadores de para la obtención de abandono obtenidos. indicadores de abandono. Revisión de los indicadores de abandono obtenidos y verificación y validación con los datos proporcionados por la UPV. Formulación de patrones que puedan predecir el comportamiento de los participantes, a partir de analíticas de aprendizaje. Diseño de hipótesis. ML Aprobación de los indicadores validados para la predicción del comportamiento de los participantes. Solicitud de medidas automatizadas de aplicación de indicadores. Análisis de los indicadores validados para la predicción. Diseño e implementación de medidas automatizadas de aplicación de los indicadores. Aprobación de las medidas automatizadas de aplicación de los indicadores de abandono. ITERACIÓN III Análisis y definición del problema. Necesidades, contexto y objetivo. Definición de variables e indicadores claves para el análisis de las experiencias MOOC. ITERACIÓN II Tabla 9. Actuaciones por fases en cada iteración. Elaboración propia 76 Capítulo 3. Metodología de investigación A continuación se realiza un recorrido detallado por las tres iteraciones y las fases de cada iteración: 3.7. Iteración I. Metodología En la primera fase de la primera iteración se realizará el análisis y definición del problema. Para ello se realiza una primera revisión de literatura sobre conceptos y características de los MOOC, se revisa el objetivo principal propuesto por la UPV, el contexto y necesidades del cliente. Con esto se plantean las preguntas de investigación únicas que se pretenden resolver en esta iteración. Seguidamente, en la fase de diseño e implementación de soluciones, se realizan tres revisiones sistemáticas de literatura para obtener un conjunto de indicadores pedagógicos que sirvieran para predecir el abandono de los estudiantes en otras experiencias MOOC y que habrá que analizar en las siguientes iteraciones, su idoneidad para la casuística de los MOOC de la UPV. La última de las fases supondrá la validación o no, por parte de los expertos de la UPV, de los indicadores de abandono obtenidos en la fase anterior. 3.7.1. Metodología común a las revisiones bibliográficas Durante los años de auge de los MOOC, se realizaron números revisiones bibliográficas realizadas como las de Cabero (2015), Baturay (2015), Bartolomé-Pina & Steffens (2015), Conole (2016), Aguaded, Vázquez-Cano & López-Meneses (2016) y Bayeck (2016). La 77 Tesis doctoral motivación y necesidad de realizar una nueva, parte por la UPV con el objetivo de optimizar los resultados y la experiencia de sus MOOC, focalizándonos por ello tan solo en analizar investigaciones relacionadas con experiencias MOOC para conocer los temas de interés y acciones realizadas para mejorar la calidad de los MOOC. Dado que las revisiones que se realizan han seguido la misma metodología, a continuación, se plantean sus características comunes. Definición y utilidad de la revisión sistemática Las revisiones sistemáticas (RS) son investigaciones científicas en las cuales se realizan verificaciones de los aspectos cualitativos y/o cuantitativos de estudios que se refieren a un tema en concreto, con la finalidad de realizar una síntesis de las informaciones sobre este y responder a las preguntas de investigación. Se consideran investigaciones secundarias al tener una población formada por artículos ya publicados; se trata por tanto de investigar sobre lo ya investigado (Manterola et al., 2013). Estas revisiones parten de una pregunta formulada con claridad y, con el fin de identificar y recopilar los estudios que serán mas relevantes para responder a la pregunta, emplean una metodología sistemática para evaluarlos, compararlos y obtener los datos correspondientes (Martín, Tobías & Seoane, 2006). Este tipo de revisiones, por estar formadas por varios artículos y fuentes de información, representa según Letelier, Manríquez & Rada (2005), como se indica en la Ilustración 3, el nivel de evidencia más alto en la jerarquía de la evidencia. 78 Capítulo 3. Metodología de investigación Ilustración 3. Nivel de evidencia. Fuente Letelier, Manríquez & Rada (2005) La fortaleza de esta revisión radica en que posee un alto grado de sistematización de la búsqueda, no es sesgada ni subjetiva, que utiliza todas las fuentes de información disponibles, que informa de sus fuentes utilizadas y tanto los criterios de búsqueda como los de inclusión y exclusión, y que es reproducible, permitiendo a otros investigadores comprobar nuestro trabajo. Proceso de la revisión sistemática El proceso seguido para la realización de las revisiones sistemáticas se basa en las etapas de Sánchez (2010). En concreto, el proceso seguido se resume cinco etapas: la definición de la pregunta de interés de forma clara, la identificación y selección de estudios relevantes a través de la definición de unos criterios de exclusión e inclusión, la codificación de las características de los estudios para así comprobar cuáles de las características de los estudios pueden estar afectando los resultados, el análisis estadístico y presentación de los resultados obtenidos de manera sintetizada y reproducible, y por último, la interpretación de los resultados, incluyendo una discusión sobre la solidez de los hallazgos y su aplicabilidad. Bases de datos Se han seleccionado aquellas investigaciones que sean relevantes al tema propuesto, por lo que la búsqueda se ha realizado en revistas conocidas y en bases de datos de ciencias sociales, tecnología y educación, utilizando en cada uno los términos y palabras claves acordes a los objetivos planteados en cada uno. 79 Tesis doctoral Las bases de datos seleccionadas para la búsqueda de investigaciones tanto experimentales como bibliográfica fueron: Scopus y Google Académico. De acuerdo a Harzing et al. (2016) Scopus informa de un número mayor de artículos que Web of Science para todas las disciplinas, y que el número de artículos en Google Académico es sustancialmente mayor que el de Web of Science y Scopus para todas las disciplinas. Como aspecto negativo si se tiene en cuenta que un buen número de los artículos adicionales encontrados por Google Académico son "citas perdidas" que conducen a registros duplicados. Instrumento de recogida de información El instrumento utilizado para la realización de las revisiones sistemáticas fue, en todos los casos, una ficha de datos. En todas las revisiones que nos ocupan fueron fichas realizadas ad hoc de acuerdo con los aspectos más importantes de los artículos seleccionados e ítems que fueran de importancia para responder las preguntas que se plantearon al momento de realizar la revisión sistemática. Los componentes de las fichas se ajustaron a cada una de las investigaciones, ambas presentando todas las características de los artículos, de modo, que tras las lecturas pertinentes se pudieran almacenar en estas toda la información más relevante, para no necesitar volver a releer el artículo. Todas las fichas recogidas en esta iteración se incluyen en los anexos 1 y 2 de este trabajo. Se ha considerado el periodo desde el 2015 hasta 2018, ya que Raffaghelli, Cucchiara & Persico (2015) plantean que es a partir del 2012 cuando se da inicio a los MOOC con un curso inaugural, por lo que existen pocas investigaciones previas a la fecha, y es a partir de ese momento cuando comienza la investigación. 3.7.2. Revisión bibliográfica 1: Estudios de análisis sobre MOOC La primera revisión se ha realizado con el objetivo de examinar los distintos temas analizados y acciones que se han realizado desde su aparición hasta la actualidad para así mejorar la calidad de los MOOC, estableciendo especial importancia en la parte didáctica más que en la tecnología, para conocer los resultados, beneficios y limitaciones. Con esta revisión se obtendrán elementos para plantear mejoras a un corto y largo plazo. 80 Capítulo 3. Metodología de investigación Por lo que se plantearon las siguientes preguntas a investigar: - ¿Qué tipo de investigaciones se han realizado desde 2015-2018 sobre los MOOC? - ¿Qué metodologías de análisis se han utilizado para la obtención de los resultados? - ¿Qué temas han sido estudiados? Proceso de búsqueda En el periodo de búsqueda indicado se propusieron los siguientes términos en los buscadores: MOOC, efectividad de los MOOC (effectiveness), satisfacción de los MOOC (satisfaction). Se han seleccionado estos términos ya que son los que permitirán conocer los diferentes temas de estudios. El término MOOC , hace referencia a las siglas de los cursos, por lo que al colocarla en el buscador aparecerán las investigaciones realizadas sobre ese tema; el término efec i idad de lo MOOC hace referencia a las investigaciones que demuestran que los MOOC son efectivos en el proceso de enseñanza-aprendizaje logrando los objetivos que se han planteado en los cursos estudiados; y por último, el término Sa i facci n de lo MOOC , hace referencia a la satisfacción de los alumnos ante los cursos MOOC. Estos términos permiten dar respuesta a los temas que han sido estudiados y al interés, ya que es importante para esta investigación doctoral. Con estos términos, para realizar la búsqueda en los diferentes bases de datos se utilizaron las siguientes combinaciones a analizar en todo el texto: MOOC or (MOOC and effectiveness) or (MOOC and satisfaction) or (MOOC and efectividad) or (MOOC and satisfacción). Criterios de inclusión: - Se seleccionaron aquellos artículos con diez o mas citaciones en Google Académico). - Investigaciones basadas en MOOC. - Trabajos bibliográficos y sistemáticos. - Publicados en Google Académico y Scopus. - Años: 2015-2018. 81 Tesis doctoral Criterios de Exclusión: - Si mencionan los MOOC pero sin ser estos el objeto de estudio. - Si no presentan ningún estudio ni análisis de estos. - No cuenta con citaciones. Una vez se han encontrado los artículos en los años marcados, se seleccionan aquellos más citados, sin importar la temática o tipo de estudio. Según Martin & Irvine (1983) el número de citas de un artículo indica su impacto en la comunidad científica de área, sin que sea señal de una mayor o menor calidad de la evidencia. El instrumento de recogida utilizado para esta primera revisión es el mostrado en la Tabla 10: Tabla 10. Plantilla modelo de recogida de datos Revisión.1. Elaboración propia INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Área de estudio Nombre del artículo Año y país Revista Objetivos Tipo de estudio Hipótesis Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, rendimiento académico, efectividad ,abandono, otros) Entrevistas Instrumentos de medición Otros HERRAMIENTAS UTILIZADAS Encuesta DATOS DE LAS EXPERIENCIAS Población Ámbito Muestra Observaciones Método y procedimiento País Resultados Conclusiones Otros edX Año SPOC PLATAFORMA UTILIZADA Open edX Youtube 82 Capítulo 3. Metodología de investigación 3.7.3. Revisión bibliográfica 2: Utilización de Learning Analytics en MOOC En la segunda revisión, una vez ya se hayan conocido los datos, se procede a analizar las investigaciones que intentar predecir el comportamiento de los participantes de los MOOC, de manera tal que se puedan establecer acciones de mejoras, enfatizando en las investigaciones que se han realizado en cuanto a predicciones. Por lo que se plantearon las siguientes preguntas de investigación: - ¿Cuáles son las necesidades latentes en los MOOC? - ¿Cuál es el comportamiento de los participantes en los MOOC? - ¿Cuáles son las posturas más utilizadas para conocer los comportamientos de los participantes en los MOOC? - ¿Cómo se pueden predecir los resultados en base a los comportamientos de los participantes en los MOOC? - ¿Qué variables permiten anticipar los resultados de los MOOC? Proceso de búsqueda Para la búsqueda se plantearon los siguientes términos en inglés: MOOC, e-learning, prediction, learning analytics, machine learning, improvements, dropout. La selección de estos términos se ha llevado a cabo al considerar la revisión bibliográfica realizada y los resultados obtenidos de esta, ya que el tema de la predicción es uno de los que más interesa en la actualidad para poder establecer mecanismos de mejora y evitar el abandono. Partiendo de estos términos las sentencias utilizadas en los buscadores fueron las siguientes: - MOOC or (MOOC and prediction) or (MOOC and improvements) or (MOOC and learning analytics) or (MOOC and dropout) or (MOOC and machine learning) or (MOOC and predicción) or (MOOC and mejoras) or (MOOC and analíticas de aprendizaje) or (MOOC and abandono). - learning analytics or (learning analytics and prediction) or (learning analytics and improvements) or (learning analytics and machine learning) or (learning analytics and dropout) or analíticas de aprendizaje or (analíticas de aprendizaje and predicción) or (analíticas de aprendizaje and mejoras) or (analíticas de aprendizaje and machine 83 Tesis doctoral learning) or (analíticas de aprendizaje and abandono). No se establecieron criterios específicos más allá de los booleanos y los criterios de inclusión generales de todas las revisiones de este trabajo, pero si criterios de exclusión específicos: - Si mencionan los MOOC sin ser objeto de estudio. - Si no presentan ningún análisis de estos. - El título, resumen, objetivos no se relacionan con la temática que se aborda en esta investigación. - La metodología y resultados en los artículos carecen de información y datos que sustenten la investigación. Se consideraron aquellos artículos, que de alguna manera lograban mostrar los resultados al culminar los MOOC, ya sea en el estudio o en la predicción. El instrumento de recogida utilizado para la segunda revisión es el mostrado en la Tabla 11: Tabla 11. Plantilla modelo de recogida de datos Revisión.2. Elaboración propia INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Área de estudio Nombre del artículo Año y país Revista Objetivos Tipo de estudio Hipótesis Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, rendimiento académico, efectividad ,abandono, otros) Entrevistas Instrumentos de medición Otros Ámbito HERRAMIENTAS UTILIZADAS Encuesta DATOS DE LAS EXPERIENCIAS Población Muestra Observaciones Método y procedimiento País Resultados Conclusiones Año 84 Capítulo 3. Metodología de investigación Otros edX Otros SPOC PLATAFORMA UTILIZADA Open edX Youtube 3.7.4. Revisión bibliográfica 3. El abandono en la educación a distancia En la tercera revisión, una vez ya se han conocido los indicadores de abandono seleccionados en la segunda revisión, se procederá a analizar las investigaciones referentes a la educación a distancia para completar con nuevos indicadores de abandono. Proceso de búsqueda Partiendo de estos términos las sentencias utilizadas en los buscadores fueron las siguientes: (educación a distancia and abandono) or (e-learning and dropout) or (distance education and dropout) or (web-based learning and dropout) or (distance learning and droput) or (computer mediated teaching and dropout). Para seleccionar las investigaciones se aplican estrategias para buscar en las bases de datos comentadas anteriormente, sin establecer criterios específicos más allá de los booleanos y los criterios de inclusión generales de todas las revisiones de este trabajo, seleccionando los artículos con mayor número de citas. A continuación, se muestra en la ilustración 4 un resumen de la metodología a seguir en la primera iteración con las revisiones bibliográficas: 85 Tesis doctoral Ilustración 4. Resumen metodología Iteración I. Elaboración propia 3.8. Iteración II. Metodología Tras finalizar la primera iteración con su correspondiente fase de validación, se comenzará con nuevo ciclo de fases como los ya descritos. En la fase de análisis y definición del problema, se revisarán los indicadores de abandono validados por la UPV y se analizarán las necesidades y el contexto, en el que hay que proponer las medidas automatizadas de mejora de la experiencia de usuario que reclama el cliente. Además, se analizarán los datos proporcionados por la UPV para contrastar si los indicadores seleccionados tienen su correspondencia en datos. En la fase de diseño e 86 Capítulo 3. Metodología de investigación implementación de resoluciones se establecerán acciones concretas de mejora que favorezcan la mejora de los cursos mediante Machine Learning, lo que llevará consigo un trabajo de definición y programación de scripts para el filtrado y procesamiento de datos necesario. Por último, en la fase de validación se le hará una propuesta formal de los resultados obtenidos a los expertos de la UPV para su debate y aprobación si procede. 3.8.1. Contraste de indicadores obtenidos con estructura de datos edX Una vez que se hayan seleccionado los indicadores de abandono en la Iteración I, es necesario comprobar de cuál de estos indicadores disponemos datos en la documentación ofrecida por la UPV y de cuáles no. La documentación de la que disponemos es un conjunto de tablas en formato SQL (Structured Query Language), que se extraen de la plataforma edX en donde se encuentran y gestionan todos los MOOC de la universidad, con información de todos los alumnos matriculados en dicho curso. Antes de comenzar su análisis, viendo el volumen de datos recibidos del módulo de foros de la plataforma, se decidió obviarlos del análisis ya que deberían ser objeto de un nuevo trabajo de investigación. A continuación, se describen brevemente los ficheros SQL que proporciona edX con una pequeña descripción: - {org}-{course}-{run}-auth_user-{site}-analytics.sql: Información sobre los usuarios autorizados para acceder al curso. - {org}-{course}-{run}-auth_userprofile-{site}-analytics.sql: Datos demográficos proporcionados por los usuarios durante el registro del sitio. - {org}-{course}-{run}-certificates_generatedcertificate-{site}-analytics.sql: La calificación final y el estado del certificado para los alumnos. - {org}-{course}-{run}-course_structure-{site}-analytics.json: Este archivo documenta la estructura de un curso en un momento determinado. El archivo incluye datos para el curso, incluyendo fechas importantes, páginas y temas de discusión de todo el curso. También identifica cada elemento del contenido del curso definido en el esquema del curso. Se incluye un archivo separado para cada curso en el sitio. 87 Tesis doctoral - {org}-{course}-{run}-courseware_studentmodule-{site}-analytics.sql: El estado del curso para cada alumno, con una fila separada para cada elemento del contenido del curso al que accede el alumno. No se genera ningún archivo para los cursos que no tienen ningún registro en esta tabla. - {org}-{course}-{run}-django_comment_client_role_users-{site}-analytics.sql: Este archivo enumera el rol que cada usuario inscrito tiene para las discusiones del curso. - {org}-{course}-{run}-student_courseaccessrole-{site}-analytics.sql: Este archivo informa de los usuarios que tienen un rol privilegiado para el curso. - {org}-{course}-{run}-student_courseenrollment-{site}-analytics.sql: El estado de la inscripción y el tipo de inscripción seleccionada por cada alumno en el curso. - {org}-{course}-{run}-student_languageproficiency-{site}-analytics.sql: Indica la preferencia de idioma auto informada de cada alumno. - {org}-{course}-{run}-teams_courseteam-{site}-analytics.sql: Identifica los equipos de alumnos establecidos en un curso que utiliza la función de equipos. - {org}-{course}-{run}-teams_courseteammembership-{site}-analytics.sql: En un curso que utiliza la función de equipos, esta tabla indica los alumnos que son miembros de cada equipo. - {org}-{course}-{run}-{site}-mongo: El contenido y las características de las interacciones de discusión del curso. - {org}-{course}-{run}-user_api_usercoursetag-{site}-analytics.sql: Metadatos que describen diferentes tipos de participación del alumno en el curso. Cada uno de los ficheros SQL contiene un conjunto de campos/variables que hay que contrastar con los indicadores de abandono seleccionados para marcarlos como válidos o no. Además de la relación directa campos_edX - indicadores, también se evalúa si es posible obtener alguno de los indicadores previa procesamiento de los datos existentes. Los ficheros SQL que se han comentado, son unitarios para cada uno de los cursos. En total, desde la UPV se proporcionó información de 260 cursos, de modo que el número total de ficheros con los que trabajar fue muy alto. En concreto, desde las Tablas 12 a las 17 se indican los campos/columnas que contienen cada una de los ficheros/bases de datos con los que se trabajan. 88 Capítulo 3. Metodología de investigación Tabla 12. Contenido tabla auth_user. Fuente: edX Tabla 13. Contenido tabla auth_userprofile. Fuente: edX 89 Tesis doctoral Tabla 14. Contenido courseware_studentmodule. Fuente: edX Tabla 15.Contenido tabla grades_persistentcoursegrade. Fuente: edX Tabla 16. Contenido tabla student_courseenrollment. Fuente: edX 90 Capítulo 3. Metodología de investigación Tabla 17. Contenido tabla Course structure. Fuente: edX 3.8.2. Planteamiento de hipótesis Machine Learning Finalizada la selección de indicadores con la que trabajar, se representará el problema como un contraste de hipótesis en el que se proponen diferentes soluciones a los problemas en forma de hipótesis, se deducen de esas hipótesis consecuencias verificables que se someten a comprobación, manteniéndose o rechazándose la hipótesis, de acuerdo con el resultado de la comprobación. Con cada uno de los indicadores de abandono seleccionados se trazará una hipótesis que habrá que validar o rechazar en caso de que sea capaz o no de predecir abandonos en los MOOC de la UPV. 3.8.3. Scripts para el filtrado y tratamiento de datos Planteadas las hipótesis, es el momento de conseguir transformar el conjunto de todos los ficheros edX proporcionados, en un único fichero de datos en el que tan solo hay una columna por cada una de las hipótesis. 91 Tesis doctoral Algunas de las hipótesis planteadas tendrán representación directa en los ficheros SQL. Sin embargo, para el resto, es necesario un gran trabajo de filtrado y procesamiento para su obtención. Tomando como base los scripts facilitados por la UPV creados en Rodríguez (2019), se desarrollaron un conjunto de 14 scripts en lenguaje Python encargados del filtrado, procesamiento y obtención de las variables arriba planteadas. Esos scripts se dividen en dos grupos; en el primero de ellos se engloban los de definición de clases para facilitar el manejo de datos, como son: courseData, dataNormParser, userData, userProblems y userVideos; y en el segundo grupo se agrupan el resto de scripts que trabajan con dichas clases y se encargan del filtrado y procesamiento paso a paso de cada uno de los ficheros edX recibidos. Los scripts de definición de clases siguen la misma estructura descrita en la Ilustración 5. Importación de librerías/módulos Definición de clase Creación de variables propias de la clase Definición de métodos/funciones para el acceso de cada variable Ilustración 5. Estructura de los scripts de definición de clases. Elaboración propia La estructura de los scripts de filtrado y procesamiento es más variada, pero en general, todos guardan el orden que se describe en la Ilustración 6. Importación de librerías/módulos Definición de la ubicación de los ficheros de entrada y salida Definición de cabecera/s de los ficheros de salida Recorrido y almacenamiento de los ficheros de entrada Procesamiento de la información Escritura en los ficheros de salida Ilustración 6. Estructura de los scripts de filtrado y procesamiento. Elaboración propia 92 Capítulo 3. Metodología de investigación El código fuente de todos los scripts se incluye en el anexo 3. A continuación, se describe brevemente en la Tabla 18 la funcionalidad de cada script del segundo grupo (filtrado y procesado): 93 Tesis doctoral Tabla 18. Resumen de scripts creados con sus características. Elaboración propia course_id, week, section, type, module_id, graded Campos generados Descripción course_structure Tablas creadas Nombre script course_structures Tablas utilizadas extract_course_structure Extrae la estructura del curso obteniendo cada uno de sus módulos user_id, gender_year, level, allow, country user_id, enrollment, last_access, percent, letter_grade, passed_time, first_access user_profile course_users user_id, module_id, course_id, score, attempts, timestamp auth_userprofile student_courseenrollment course_scores_users user_id, module_id, course_id, watched, timestamp extract_user_data courseware_studentmodule course_videos_users user_id, module_id, course_id, score, attempts, timestamp Extrae biodatos y normaliza sexo y nivel educativo Extrae nota e intentos de cada módulo del curso courseware_studentmodule course_problem_users extract_course_data extract_scores_data Extrae tiempo de visualización de cada vídeo courseware_studentmodule grades_persistentcourse auth_user_prod_analytics extract_videos_data Extrae puntuación, intentos y fecha módulo Extrae nota, fecha de inscripción y fecha de último acceso extract_problem_data 94 Nombre script generate_week_data Descripción generate_csv Carga los ficheros generados en generate_week_data y crea un fichero global normalizado con todos los datos distribuidos en semanas. Extrae estadísticas semanales de cada uno de los tipos de módulos generate_csv_summary Filtra el fichero global obtenido con generate_csv manteniendo sólo los indicadores de abandono con los que se trabajará mediante Machine Learning. Tablas utilizadas user_profile course_data course_problem_users course_videos_users course_users courses_data problems_user videos_users users_courses final_csv 95 Capítulo 3. Metodología de investigación users_courses videos_users problems_user courses_data year_of_birth, gender, level_of_education, enrollment, last_access, percent, grade, passed_time, first_access week, watched, seconds, begin, end, elapsed-time. week, score, score_attemps, grade, grade_attempts, begin, end, elapsed-time. week, course_weeks, weeks_sections, videos, problems, discussions, evaluation_blocks. Campos generados final_csv course_id, course_weeks, user_id, user_age, user_gender, user_level_education, enrollment, last_aceess, percent, grade, course_grade, passed_time, first_access,duration, first_10_days, %course_watched_videos, course_time_videos, dropout, absence_1_month Tablas creadas final_csv_summary course_id, course_weeks, user_id, dropout, user_age, user_gender, user_level_education, percent, grade, duration, first_10_days, 50%course_watched_videos, course_time_videos, absence_1_month, absence_10_days, low_scores, 1week_attemps Tesis doctoral Con la ejecución de los scripts planteados, finalmente se genera el fichero CSV necesario con solo la información necesaria para validar o no las hipótesis planteadas. Este proceso es necesario realizarlo para cada uno de los 260 cursos de los que se dispone información. En el anexo 4, se puede encontrar una tabla donde se desglosan los cursos analizados, indicando su fecha de inicio y el % de abandono. 3.8.4. Definición del problema y algoritmo Machine Learning Una vez se consiguió obtener en una única tabla las variables que representan a cada una de las hipótesis planteadas previamente, el siguiente paso fue comprobar si estas variables están directa/inversamente relacionadas con el abandono de los estudiantes, que también es otra variable del fichero final. Para analizar esta relación, o lo que es lo mismo, para verificar cada una de las hipótesis planteadas, se decide utilizar como herramienta Machine Learning, ya que esta rama de la inteligencia artificial permite, trabajando con un gran volumen de información, buscar patrones y extraer comportamientos de los datos aportados. Definición del problema Para la verificación de las hipótesis, se resolverá un problema mediante Machine Learning del cual disponemos de pares ordenados variable_hipótesis/abandono. Nos enfrentamos ante un problema de aprendizaje supervisado del cual tenemos que elegir su clasificador, que es el algoritmo que implementa un mecanismo concreto para clasificar, o lo que es lo mismo, la función matemática en función de los datos de entrada producirá una categoría como resultado (abandono o no abandono). Como se ha comentado en el marco teórico, cuando se construye el clasificador, se debe escoger el algoritmo de ordenación y la muestra de datos con las que se va a trabajar. Si se consigue clasificar correctamente la mayor parte de los datos (los estudiantes), se asume que actúa también de forma precisa con nuevos datos, y por tanto, la hipótesis es acertada. Si se producen muchos errores, se admite que es un modelo erróneo, y la hipótesis se descartará. 96 Capítulo 3. Metodología de investigación En esta investigación se considerará que el alumno ha abandonado cuando no haya realizado más del 60% del curso una vez haya comenzado. Selección del algoritmo Dada la variedad de criterios para la elección del algoritmo que mejor se adapta al problema planteado, se decide hacer una prueba con los datos de uno de los cursos, al que se aplicará los seis modelos de Machine Learning más usados actualmente, para decidir el algoritmo a utilizar con todos los cursos y todas las hipótesis. Se seleccionará el algoritmo que obtenga la mayor precisión en las distintas hipótesis que se le plantean. A continuación, en la Ilustración 7 se muestra un resumen de la metodología a seguir en la segunda iteración. Ilustración 7. Resumen metodología la Iteración II. Elaboración propia Validación de métricas Una vez que se obtengan las métricas de clasificación para cada curso, será necesario marcar un umbral de decisión que determine la validación de las hipótesis. Tras la realización de varias pruebas con cursos piloto, se decide que un umbral apropiado de las métricas seleccionadas sería valores superiores al 80%. Se aplicará este umbral a cada curso, y de este modo se obtendrá el % de cursos que han superado el mismo para cada métrica. Con la aplicación del primer umbral, se seleccionará un segundo para clasificar las hipótesis. La decisión nuevamente está marcada por el tipo de problema y por las pruebas iniciales realizadas con cursos piloto. Se decide validar una hipótesis en caso de que algunas de sus métricas sean superiores a un 85%; la aplicación de este criterio supone que algunas de las 97 Tesis doctoral hipótesis validadas tengan alguna o algunas de sus métricas con un gran número de cursos donde no se llega a alcanzar el primer umbral del 80%. 3.9. Iteración III. Metodología Una vez finalizada la segunda iteración con la validación por parte de los expertos de la UPV de los indicadores que funcionan como predictores de abandono con los datos ofrecidos, comienza la última de las iteraciones que debe finalizar con la resolución de los objetivos generales propuestos al inicio de la investigación. Independientemente de la validez de los indicadores de abandono, el objetivo principal de la UPV era obtener un conjunto de mecanismos automatizados que mejoraran la experiencia de los usuarios. Es por esto, que la primera fase de análisis y definición del problema tenía que analizar y tener muy en cuenta, ya no solo los indicadores seleccionados, sino también las necesidades planteadas y el contexto de los docentes que imparten cursos en los MOOC de la UPV. La segunda fase es la de diseño e implementación de soluciones. Dado que los datos con los que se trabaja están almacenados en grandes bases de datos (BBDD), es obvio que las medidas automatizadas que se deben generar a partir de los indicadores, debían nacer también de esas BBDD. Por ello, tecnológicamente hablando, el trigger es un elemento clave en estas medidas. 98 Capítulo 3. Metodología de investigación 3.9.1. Automatización mediante triggers Este es un objeto presente en las bases de datos como la de la plataforma edX y que se ejecuta cuando algún evento sucede en las bases de datos, pudiendo ser operaciones de borrado, inserción o actualización. Su principal utilidad es facilitar el manejo de la base de datos al no ser necesario que haya un usuario que lo ejecute. Se utilizan para desarrollar una restricción o actividad especial que tiene que ser verificada cuando se intenta actualizar, agregar o borrar la información de una base de datos, previniendo de errores en los datos, modificando valores de una vista o sincronizando tablas. Todo trigger está formado por tres elementos: una llamada de activación, que permite "disparar" la instrucción a ejecutar; una restricción o condición necesaria; y una acción a ejecutar que son las instrucciones que se van a ejecutar cuando se cumplan las condiciones. En concreto, la propuesta a implementar consiste en un conjunto de triggers en los que cada uno tiene como llamada de activación y restricción uno de los indicadores validados con las hipótesis, y como acción a ejecutar el envío de un email personalizado. 3.9.2. Vías de comunicación para los procedimientos automatizados Una vez estos triggers estén diseñados, es importante definir cuál va a ser la acción que se ejecutará una vez se produzca la activación del indicador. La acción deberá suponer la puesta en conocimiento a alumnos y/o docentes de que la experiencia no está siendo la idónea en el MOOC, y para ello, hay que definir cuál es la vía de comunicación y a quién se debe comunicar en cada momento. Como vía de comunicación se contemplan tres opciones: por SMS, por correo electrónico o a través de la propia plataforma MOOC. De esas tres vías, la primera de ellas se descarta por no disponer esa tecnología de una gran capacidad de comunicación, ya que los SMS están limitados a 160 caracteres, y no se podría comunicar el mensaje completo con tan poco espacio. La comunicación con los estudiantes a través de la propia plataforma podría ser 99 Tesis doctoral válida para alguno de los mecanismos en concreto, pero no para todos, y es que, no tendría sentido recordar a los estudiantes a través de la plataforma que deben entrar a la plataforma para seguir con sus cursos. Es por eso, que finalmente, se optó que los mecanismos automatizados usaran la tecnología del correo electrónico. Por último destacar, que debido a que los indicadores de abandono podían ser de diversa índole, podría ser interesante la posibilidad de que los propios docentes pudieran recibir también notificaciones al respecto. Es por ello que se contempló la opción de mecanismos tanto para estudiantes como para docentes. A continuación, en la Ilustración 8 se muestra un resumen de la metodología seguida en la iteración III y en las anteriores. 100 Capítulo 3. Metodología de investigación Ilustración 8. Resumen metodología de las tres iteraciones. Elaboración propia 101 Capítulo 4. Datos y resultados Ca l 4. Da e l ad Una vez repasado los marcos teóricos y de investigación, y que se ha detallado la metodología que se va a seguir en cada una de las etapas, nos proponemos a ejecutar el plan programado. Como se ha comentado, la IBD que se realiza consta de 3 iteraciones que se van realimentando, de modo que en este capítulo se detallarán los datos y resultados obtenidos en cada una de las iteraciones desglosadas en la metodología. Inicialmente se presentarán los datos y resultados de la Iteración I que consistía en la realización de 3 revisiones bibliográficas para detectar las principales problemáticas en las experiencias MOOC analizadas y cuáles son los indicadores que pueden estar relacionados con ellas. Para cada una de las revisiones se expondrán los análisis de resultados y las conclusiones obtenidas; y por último se detallarán las conclusiones generales de esta primera iteración. Posteriormente en la Iteración II se confrontarán los indicadores obtenidos para la resolución de la problemática detectada con los datos de que se disponen de los MOOC de la UPV. Se plantearán las hipótesis necesarias y se validarán con la implementación de scripts utilizando herramientas de ML. Nuevamente para finalizar con la Iteración II se expondrán la evaluación y reflexiones de los resultados obtenidos. Por último, en la Iteración III, los resultados obtenidos se presentarán en forma de desglose de propuestas de mecanismos de automatización y una nueva evaluación y reflexión de los resultados obtenidos. 103 Tesis doctoral 4.1. Iteración I. Revisiones bibliográficas 4.1.1. Revisión bibliográfica 1: Estudios de análisis sobre MOOC Cuando se realiza la búsqueda con las sentencias mencionadas anteriormente, se obtienen 723 artículos a los que se le aplican las normas de inclusión/exclusión diseñadas, excluyendo 350. 150 investigaciones fueron descartadas al no disponer la investigación completa quedando 146 artículos; revisando el método aplicado y sus resultados quedaron 47; y tras una lectura pormenorizada finalmente se extraen 30 investigaciones. En la Ilustración 9 se observa el diagrama de flujo utilizado para el proceso de selección de los artículos. Ilustración 9. Diagrama de búsqueda Rev. bibliográfica 1. Elaboración propia 104 Capítulo 4. Datos y resultados A continuación, se presenta en la Tabla 19 el resultado de la búsqueda de artículos a analizar de acuerdo con los criterios de inclusión y exclusión seleccionados. Tabla 19. Artículos seleccionados para el análisis. Elaboración propia Autores Título Revista Año Aguaded, I. & Medina-Salguero, R. Criterios de la calidad para la valorización de los MOOC RIED. Revista Iberoamericana de Educación a Distancia 2015, 18 (2) 2015 Castaño, C., Maiz, I. & Garay, U. Percepción de los participantes sobre el aprendizaje en un MOOC Revista Iberoamericana de Educación a Distancia 2015 Cabero, J. Visiones educativas sobre los MOOC RIED. Revista Iberoamericana de Educación a Distancia, 18(2), 3960 2015 Castillo, N., Lee, J., Zahra, F. & Wagner, D. MOOC for development: Trends, Challenges and Opportunities Journal Articles (Literacy.org). 6 2015 Huri Baturay, M. An overview of te world of MOOC Procedia - Social and Behavioral Sciences 2015 Littlejohn, A., Hood, N., Milligan, C. & Mustain, P. Learning in MOOC: Motivations and self-regulated learning in MOOC. The Internet and Higher Education, 29, 40-48. 2015 Veletsianos, G., Collier, A. & Schneider, E, Digging deeper into learners' experiences in MOOC: Participation in social networks outside of MOOC, notetaking and contexts surrounding content consumption British Journal of Educational Technology, 46(3), 570-587. 2015 Bartolomé-Pina, A. & Steffens, K. ¿Son los MOOC una alternativa de aprendizaje? Promising Learning Environments? Com unica, vol. 22, n. 44, pp. 91-99 2015 Wang, Y. & Baker, R. Content or platform: Why do students complete MOOC. MERLOT Journal of Online Learning and Teaching, 11(1), 1730. 2015 105 Tesis doctoral Autores Título Revista Año Kizilcec, R. F. & Schneider, E. Motivation as a lens to understand online learners: Toward data-driven design with the OLEI scale. ACM Transactions on Computer-Human Interaction (TOCHI), 22(2), 6 2015 Conole, G. MOOC as disruptive technologies: strategies for enhancing the learner experience and quality of MOOC. RED: Revista de Educacion a Distancia, (50), 118. 2016 Hew, K. F. Promoting engagement in online courses: What strategies can we learn from three highly rated MOOC. British Journal of Educational Technology, 47(2), 320-341 2016 Hone, K. S. & El Said, G. R. Exploring the factors affecting MOOC retention: A survey study. Computers & Education, 98, 157168 2016 Borras-Gene, O., Martinez-Nunez, M. & Fidalgo-Blanco, Á. New challenges for the motivation and learning in engineering education using gamification in MOOC. International Journal of Engineering Education, 32(1), 501-512. 2016 Crossley, S., Paquette, L., Dascalu, M., McNamara, D. S. & Baker, R. S. , Combining click-stream data with NLP tools to better understand MOOC completion. In Proceedings of the sixth international conference on learning analytics & knowledge (pp. 614). ACM 2016 Aguaded, I., Vázquez-Cano, E. & López-Meneses, E. El impacto bibliométrico del movimiento MOOC en la Comunidad Científica Española. Educación XXI: revista de la Facultad de Educación, 19(2), 77-104 2016 Bayeck, R E lo a o d of MOOC lea ne demographics and motivation: The case of students involved in groups. Open Praxis, 8(3), 223-233 2016 Kizilcec, R. F., Pérez-Sanagustín, M. & Maldonado, J. J. Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses. . Computers & education, 104, 1833 2017 Wu, B. & Chen, X. Continuance intention to use MOOC: Integrating the technology acceptance model (TAM) and task technology fit (TTF) model. Computers in Human Behavior, 67, 221232. 2017 106 Capítulo 4. Datos y resultados Autores Título Revista Año Yamba-Yugsi, M. & Luján-Mora, S. Cursos MOOC: factores que disminuyen el abandono en los participantes. Enfoque UTE, 8(1), 1-15 2017 Mengual-Andrés, S., Vázquez-Cano, E. & López, E. La productividad científica sobre MOOC: aproximación bibliométrica 2012-2016 a través de SCOPUS. RIED. Revista Iberoamericana de Educación a Distancia, 20(1), 3958 2017 Milligan, C. & Littlejohn, A. Why study on a MOOC? The motives of students and professionals. The International Review of Research in Open and Distributed Learning, 18(2). 2017 Bote-Lorenzo, M. L. & Gómez-Sánchez, E. Predicting the decrease of engagement indicators in a MOOC. In Proceedings of the Seventh International Learning Analytics & Knowledge Conference (pp. 143147). 2017 Cabero-Almenara, J., Marín-Díaz, V. & Sampedro-Requena, B. Aportaciones desde la investigación para la utilización educativa de los MOOC. Revista Española de Pedagogía, 75 (266), 7-27 2017 Duart, J. M., RoigVila, R., Mengual Andrés, S. & Maseda Durán, M. Á. La calidad pedagógica de los MOOC a partir de la revisión sistemática de las publicaciones JCR y Scopus (20132015) Revista Española de Pedagogía, 75(266), 29-46 2018 Castaño, C., Maiz, I. & Garay, U. Factores de éxito académico en la integración de los MOOC en el aula universitaria. Revista Española de Pedagogía, 75(266). 2018 Watted, A. & Barak, M. Motivating factors of MOOC completers: Comparing between university-affiliated students and general participants. The Internet and Higher Education, 37, 11-20. 2018 Zhu, M., Sari, A. & Lee, M. M. A systematic review of research methods and topics of the empirical MOOC literature (2014 2016). The Internet and Higher Education, 37, 31-39 2018 Larionova, V., Brown, K., Bystrova, T. & Sinitsyn, E. Russian perspectives of online learning technologies in higher education: An empirical study of a MOOC Research in Comparative and International Education, 13(1), 7091. 2018 107 Tesis doctoral Autores Sastre, S. G., IdrissiCao, M., Arranz, A. O. & Sánchez, E. Título Uso de la colaboración y la gamificación en MOOC: un análisis exploratorio Revista RIED. Revista Iberoamericana de Educación a Distancia, 21(2). Año 2018 En el anexo 1 se encuentran las fichas con cada uno de los artículos revisados. 4.1.1.1. Análisis de resultados Poniendo en común todos los artículos analizados podemos observar cómo hay cinco temas globales en los que se centran estos documentos: la motivación de los alumnos cuando inscriben y terminan el curso, la satisfacción de los participantes, las características de los MOOC que condicionan su efectividad, su calidad y la preocupación por el abandono. Veamos los resultados en cada uno de los temas: Motivación. Con respecto a la motivación, Littlejohn et al. (2015), Wang & Baker (2015), Kizilcec & Schneider (2015) y Bayeck (2016) concuerdan en que solo aquellos que se sienten motivados por obtener conocimientos, habilidades y destrezas en el tema del curso, son aquellos que tienen mayor probabilidad de concluirlo con éxito y alcanzar el certificado. El solo deseo de obtener el certificado no es indicativo de que concluya con éxito el curso. A pesar de que los MOOC están diseñados para desarrollar las competencias fomentando la autonomía y de forma individual, en Bayeck (2016) se destaca que uno de las motivaciones de los alumnos de MOOC es la intención de socializar con otros asistentes. En Yamba-Yugsi & Luján-Mora (2017) se estudia la motivación en dos dimensiones: la motivación de inscripción y la motivación de finalizar el curso; concluyendo que además del reconocimiento de la institución y/o el certificado, la motivación inicial está directamente relacionada con el éxito en el curso. Además respecto a la satisfacción de los participantes, se concluía que entre el 40%-56% de los alumnos estaban satisfechos al considerar que la dificultad encontrada era la esperada. 108 Capítulo 4. Datos y resultados Ahora bien, en términos generales las personas pueden estar motivadas por el valor que le otorgan a una actividad, en este caso el estudiar determinado curso MOOC; pero también puede ser por una fuerte coerción externa, como, por ejemplo, el tener un certificado exigido en la empresa. En ambas ocasiones emitirán un comportamiento a partir de un sentido de compromiso que puede ser personal o por cumplir con las exigencias del otro, es decir, que se comprometerán a terminar el curso y harán lo necesario para ello. Borras-Gene, Martinez-Nuñez & Fidalgo-Blanco (2016) en su estudio, encontraron que las comunidades virtuales a través de las redes sociales y diferentes herramientas comunicativas tecnológicas (gamificación) son fundamentales para lograr la motivación de los participantes, por lo que plantean un modelo centrado en la gamificación como herramienta de interacción. Otro estudio que propone un modelo es el de Crossley, Paquette, Dascalu, McNamara & Baker (2016) que propone un modelo en el que se mide la efectividad del MOOC a través de las interacciones Strems y PNL, logrando así poder predecir el éxito de los MOOC y a su vez actuar para modificar las estrategias que permitan la interacción en el transcurso del curso. En Watted & Barak (2018), se pretendía analizar la motivación de 2 conjuntos de participantes que finalizaron un MOOC: los universitarios y los de educación general; concluyendo que los dos grupos tenían la misma motivación por el curso: el interés general y el enriquecimiento personal. Lo que sí se comprueba en los 30 artículos analizados, es que concuerdan que el objetivo real de estos cursos es sin duda, la adquisición del conocimiento de su contenido, por lo que se evidencia la discrepancia entre la motivación por tomar un curso MOOC y los objetivos planteados y el profesor de este. Efectividad Respecto a la efectividad, Aguaded & Medina-Salguero (2015) analiza la cantidad de alumnos que finalizan los MOOC consiguiendo su certificado, determinando que solo un porcentaje pequeño terminan, comenzando la deserción desde los primeros días del curso. El hecho de que sean cursos abiertos y gratuitos repercute en el alto número de inscritos pero que finalmente acaban sin acceder nunca al curso o sin efectuar las evaluaciones. 109 Tesis doctoral Estudios como el de Wang & Baker (2015) y Veletsianos, Collier & Schneider (2015) concuerdan que, para el éxito de un MOOC, es fundamental que el alumno esté con motivación para hacer las tareas asignadas. Otros factores motivantes que se indican en estos estudios son el prestigio del certificado y la ya comentada necesidad de crear relaciones con otros alumnos. Hew (2016) además plantea como factores que aumentan la efectividad de los cursos la claridad en las exposiciones, la accesibilidad de la plataforma, la dedicación del docente y la interacción con los otros participantes. Por otro lado, Hone & El Said (2016) demuesta que los alumnos que disponen de mayor instrucción educativa, tienen mas probabilidad de terminar los cursos. Bayeck (2017) además destaca la importancia de las actividades para fomentar la participación en estos cursos, otorgando valor a las actividades con aprendizaje cooperativo. La relación con la autoregulación se estudia en Milligan & Littlejohn (2017) y Kizilcec, Pérez-Sanagustín & Maldonado (2017), comprobando como la exitosa terminación se debe principalmente a las habilidades autorreguladoras de los participantes. Además se destaca que tanto las mujeres, y aquellos que disponen de un mayor nivel de escolaridad o experiencias previas en este tipo de cursos, son los que tienen una autorregulación mayor para establecer sus objetivos y consiguen finalizar los cursos. Sin embargo, Milligan & Littlejohn (2017) mediante un instrumento para medir la capacidad de los participantes para autorregular el aprendizaje no encontraron relación entre los MOOC y la autorregulación en cuanto a la organización y el desarrollo de las actividades, por lo tanto, no se obtienen suficientes evidencias para confirmar que realmente la autorregulación contribuye de manera eficaz a la culminación de los cursos. El hecho de que las estrategias de aprendizaje colaborativo sean las más apropiadas para lograr un buen rendimiento en los cursos MOOC fue confirmado por la investigación de Castaño, Maiz & Garay (2018), quienes a través del aprendizaje cooperativo (actividades orientadas a la participación activa de los estudiantes, tales como resolución de tareas y foros de discusión), demostraron que el empleo de este tipo de metodología produce efectos positivos en el rendimiento, sobre todo en aquellos alumnos que suelen obtener los peores 110 Capítulo 4. Datos y resultados resultados, confirmando los postulados del aprendizaje cooperativo, pues en él se trabaja de manera conjunta para lograr objetivos comunes. También en esta investigación se evidenció la importancia de combinar las actividades virtuales con las presenciales, ya que estas permiten promover la motivación logrando mejores resultados y experiencias de aprendizajes significativos. Para respaldar aún más esta afirmación, Larionova et al. (2018) realizaron una comparación del modelo de aprendizaje combinado con el modelo de aprendizaje en línea con el apoyo de tutoría, entre sí y con el formato tradicional de aprendizaje. Concluyeron que ambos modelos tienen mayor eficacia en el rendimiento académico y la motivación, que el método tradicional; y que dependiendo del área académica resulta más conveniente uno u otro modelo, ya que en disciplinas humanitarias el modelo combinado ofrece mejores resultados, dado el componente de comunicación que es considerado en esta área muy importante para el aprendizaje significativo, mientras que en disciplinas de ingenieros y técnicos no encontraron ninguna diferencia entre los dos modelos. Tal como se muestran en las investigaciones Castaño, Maiz & Garay (2015), Crossley, Paquette & Dascalu (2016) este tipo de cursos se apoyan en herramientas como foros, discusiones en línea, trabajo colaborativo o vídeos, con un tipo de evaluación considerada colaborativa, y con un certificado que se otorga por cumplir las actividades ofrecidas. Pero, realmente no son una metodología que responde en su totalidad a los objetivos educativos, tal vez si se utilizara otra forma de implementarla y con una evaluación orientada más hacia los programas educativos online, entonces podría acercarse. Sastre et al. (2018) además destaca la importancia del uso de la gamificación y del aprendizaje de tipo cooperativo para mejorar el rendimiento de los participantes de los MOOC. Satisfacción Castaño, Maiz & Garay (2015) indican que los alumnos que ya han realizado previamente cursos de tipo tienen mayor satisfacción y porcentajes mas elevados de finalización. En la satisfacción con estos cursos se destacan los contenidos, la autonomía, la interfaz y los procedimientos. Martín & Alberto (2015) destaca que en los cursos analizados, solo el 28% de los participantes terminaron el curso, y sobre estos, el 69% estaban satisfechos con el MOOC realizado. Por lo que según indican, los cursos tienen una estructura correcta y 111 Tesis doctoral disponen de las características necesarias para tener éxito, sin embargo, algún factor incide en los participantes y no los alienta a finalizar. Calidad La investigación de Duart et al. (2018) dirigida a conocer la calidad pedagógica de los MOOC, indica como elementos relacionados con la calidad: la planificación flexible de autorregulación para el alumnado, la presentación de los contenidos, la comunicación y la metodología empleada en los MOOC. Estos fueron factores que determinaron el abandono o no del curso. Deserción Cabero (2015), Castillo, Lee, Zahra & Wagner (2015), y Baturay (2015) confirman que son muchos los que se retiran de los MOOC y no terminan la formación. No obstante, los autores plantean que este tipo de cursos representan una oportunidad para masificar la educación y el conocimiento, sobre todo en aquellos países como los latinoamericanos, donde no todos tienen acceso a la educación, disminuyendo los costos. Además de estos elementos, los MOOC permiten que el alumno pueda ir adquiriendo conocimientos, habilidades y destrezas a su propio ritmo, prevaleciendo la autonomía. Señalan también estos autores la necesidad de dar a conocer más sobre los cursos MOOC y sus objetivos, para así minimizar que las personas se inscriban por curiosidad. Además, que se establezcan criterios claros de inscripción y certificación, que se planteen actividades más dinámicas que permitan la interacción con redes sociales y demás TIC, así como que las evaluaciones midan los objetivos realmente aplicando la complejidad merecida. Relacionado con la deserción, Fernández & Cano (2015) encontraron como una debilidad fuerte que los profesores no se encuentran suficientemente capacitados para utilizar la tecnología MOOC. Siendo ellos el eje principal para incentivar a los alumnos, no resulta difícil deducir que afecta de manera negativa en la motivación, ocasionando que muchos de los alumnos pierdan el interés. 112 Capítulo 4. Datos y resultados Otro elemento que influye en la deserción es el hecho de que en muchos cursos las evaluaciones tengan un costo, lo que implica que muchos alumnos pierdan la motivación, afectando a la tasa de deserción (Bartolomé-Pina & Steffens, 2015). Por último, en Conole (2016) se apuesta por modelos más participativos y activos, en los que predomine la interactividad de los contenidos con los alumnos gracias a herramientas que propicien la relación entre participantes. 4.1.1.2. Conclusiones Para que el curso tenga éxito, es fundamental que el alumno esté motivado a hacer las tareas que se plantean, por eso los factores que más interesan a los alumnos que cursan los MOOC (además de los conocimientos) son el uso como recursos de las redes sociales, la interacción social y el reconocimiento de la institución o del certificado. Como una característica de calidad a destacar en estos cursos, se destacaba la importancia de combinar las actividades virtuales con las presenciales, y el uso de contenido interactivo con el alumno. Se ha indicado también la necesidad de dar a conocer más sobre los cursos MOOC y sus objetivos y criterios claros de inscripción y certificación, para así minimizar que las personas se inscriban por curiosidad, criterios claros de inscripción y certificación. La efectividad de los MOOC es muy baja, ya que muy pocos de los estudiantes matriculados, logran acabarlos. El aprendizaje cooperativo y las actividades orientadas a la participación de los estudiantes (tales como resolución de tareas y foros de discusión) y la gamificación son factores que hacen que esta efectividad de los cursos sea mayor. Además, aquellos estudiantes que contaban con habilidades autorreguladoras, o con experiencias MOOC previas eran más propensos a finalizarlos. La efectividad de los MOOC si se ha puesto de relieve ampliamente en todos los artículos analizados, destacando el abandono con primer tema de interés. Por lo que en esta investigación, será el tema principal, y se trabajará con la predicción de la deserción para plantear mecanismos de mejora concretos. 113 Tesis doctoral A modo resumen la Ilustración 10 contiene un diagrama con las características que pueden influir en mayor medida para aumentar la efectividad de los cursos: Características de los alumnos: Características que mas interesan a los alumnos: Factores que pueden aumentar la efectividad: participantes motivados utilización de las redes sociales aprendizaje cooperativo habilidades autorreguladoras con experiencias previas MOOC interacción social reconocimiento de la institución certificado actividades con participación activa gamificación Ilustración 10. Gráfico resumen conclusiones Rev. bibliográfica 1. Elaboración propia 4.1.2. Revisión bibliográfica 2: Learning Analytics en MOOC Tras la primera revisión de literatura se comprobó cómo uno de los principales problemas de los MOOC era el porcentaje de deserciones que se dan en los MOOC, y que es sumamente importante que los docentes e instructores diseñen intervenciones oportunas para aquellos alumnos en riesgo de deserción, pero ¿cómo pueden los docentes conocer de antemano quienes son los que van a abandonar el curso? Siguiendo la metodología que se ha descrito en el capítulo dedicado para ello, y una vez se ha realizado la búsqueda, se obtienen 115 artículos a los que se les aplican los criterios de inclusión/exclusión descritos en la metodología. Se excluyeron 75 por no ser del tema central a tratar y/o presentar conceptualizaciones y no estudios. De estos 40 se revisó en detalle nuevamente el título, resumen, objetivos y quedaron 25. De estos, se leyó en detenimiento cada artículo y descartándose 9 por no presentar datos suficientes en la metodología y resultados, quedando finalmente un total de 16 artículos a analizar. 114 Capítulo 4. Datos y resultados En la figura inferior, Ilustración 11, se observa el diagrama de flujo utilizado para el proceso de selección de los artículos. Ilustración 11. Diagrama sobre la estrategia de búsqueda. Elaboración propia A continuación, se presenta en la Tabla 20 el resultado de la búsqueda de artículos a analizar de acuerdo a los criterios de inclusión y exclusión seleccionados. Tabla 20. Artículos seleccionados para el análisis. Elaboración propia Autores Kizilcec, R. F., Piech, C. & Schneider, E. Xing, W. & Du, D. Charleer, S., Moere, A. V., Klerkx, J., Verbert, K. & De Laet, T. Millecamp, M., Gutiérrez, F., Charleer, S., Verbert, K. & De Laet, T. García-Tinizaray, D., Ordoñez-Briceño, K. & Torres-Diaz, J. C. Título Revista Año Deconstructing disengagement: analyzing learner subpopulations in massive open online courses Dropout Prediction in MOOC: Using Deep Learning for Personalized Intervention. In Proceedings of the third international conference on learning analytics and knowledge (pp. 170-179). Journal of Educational Computing Research,. 2013 Learning analytics dashboards to support adviser-student dialogue. IEEE Transactions on Learning Technologies, 11(3), 389399. 2018 A qualitative evaluation of a learning dashboard to support advisor-student dialogues. In Proceedings of the 8th International Conference on Learning Analytics and Knowledge (pp. 56-60). Campus virtuales, 3(1), 120126. 2018 Learning analytics para predecir la deserción de estudiantes a distancia. 115 2018 2015 Tesis doctoral Autores Título Revista Año León-Urrutia, M. Vázquez-Cano, E. & López-Meneses, E. (2017) Halawa, S., Greene, D. & Mitchell, J. MOOC learning analytics using real-time dynamic metrics. Revista d'innovació educativa, (18), 3 2017 Dropout prediction in MOOC using learner activity features. 2014 Li, W., Gao, M., Li, H., Xiong, Q., Wen, J. & Wu, Z. Dropout prediction in MOOC using behavior features and multi-view semi-supervised learning. Predicting MOOC dropout over weeks using machine learning methods. Proceedings of the Second European MOOC Stakeholder Summit, 58-65. In Neural Networks (IJCNN), 2016 International Joint Conference on (pp. 31303137). Proceedings of the EMNLP 2014 Workshop on Analysis of Large Scale Social Interaction in MOOC(pp. 6065). Journal of Learning Analytics, 1(3), 169-172. IEEE International Conference on Data Mining Workshop (ICDMW) arXiv preprint arXiv:1407.7131 2014 In Proceedings of the first ACM conference on Learning@ scale conference (pp. 197-198). 2014 Beyond prediction: First steps toward automatic intervention in MOOC student stopout SSRN: https://ssrn.com/abstract=261 1750 2015 Big data application in education: dropout prediction in edx MOOC. In 2016 IEEE Second International Conference on Multimedia Big Data (BigMM) (pp. 440443). IEEE. Distance Education, 38(3), 353-368 2016 Kloft, M., Stiehler, F., Zheng, Z. & Pinkwart, N. Ye, C. & Biswas, G. Mi, F. & Yeung, D. Y. Sinha, T., Jermann, P., Li, N. & Dillenbourg, P. Rosé, C. P., Carlson, R., Yang, D., Wen, M., Resnick, L., Goldman, P. & Sherer, J. Whitehill, J., Williams, J., Lopez, G., Coleman, C. & Reich, J. Liang, J., Yang, J., Wu, Y., Li, C. & Zheng, L. Henderikx, M. A. Early prediction of student dropout and performance in MOOC using higher granularity temporal information. Temporal Models for Predicting Student Dropout in Massive Open Online Courses Your click decides your fate: Inferring information processing and attrition behavior from mooc video clickstream interactions. Social factors that contribute to attrition in MOOC. Refining success and dropout in massive open online courses based on the intention behavior gap En el anexo 2 se encuentran las fichas con cada uno de los artículos revisados. 116 2016 2014 2014 2014 2017 Capítulo 4. Datos y resultados 4.1.2.1. Análisis de resultados Estas dieciséis investigaciones que se han logrado analizar demuestran que la principal predicción de las investigaciones en esta área es la deserción de los participantes, por lo que en su mayoría son propuestas de modelos predictivos de la deserción o del comportamiento del alumno en el curso que permite predecir la deserción. Las investigaciones analizadas hacen referencia a la creación de modelos para tratar de predecir las deserciones a partir de unas hipótesis previas que se plantean. A continuación, se resumen en la Tabla 21 los distintos modelos propuestos en los artículos, destacando las hipótesis que plantean y sobre todo los indicadores de abandono que utilizan: Tabla 21. Comparativa modelos propuestos en Revisión 2. Elaboración propia Artículo Hipótesis Ye & 1) Se considera abandono cuando un estudiante ve menos del 10% de las conferencias o deja de presentar las tareas asignadas; Biswas (2014) Indicadores de abandono 2) La calificación final (con certificado o no) al completar el curso. Fei & Yeung (2015) 1) Se considera la predicción de abandono al aplicar modelos secuenciales que parten de la evaluación de la perspectiva para la resolución de problemas. 2)Utiliza un modelo de RNN de memoria a corto plazo (LSTM), al analizar los resultados del pre y post test y aplicando los métodos de deserción. 117 Tratamiento Descargas de videoconferencias. exámenes semanales y evaluaciones. número de vistas de vídeos por semana. información temporal, (cuando se ve una conferencia o se inicia una evaluación) correlación R de Pearson Participación en conferencias. Nº de descargas (vídeos y materiales). Nº de veces que se vio el foro. Nº de veces que se vieron los hilos del foro. Nº de participaciones en el foro. Nº de comentarios en respuesta a los comentarios de otros participantes. regresión logística Tesis doctoral Artículo Hipótesis Indicadores de abandono Li, Gao, Tratamiento 1) ¿Cuáles son las diferencias en el comportamiento de los Li, Xiong, alumnos que abandonan Wen & frente a los que lo finalizan? 2) ¿En qué grado los Wu (2016) algoritmos propuestos superan a los métodos existentes? 3) ¿Se puede predecir la deserción de los estudiantes en las primeras semanas de un curso? Visualización de asignaciones: Precision, recall y FTrabajando en las tareas del medida. curso. Visualización de vídeos: Ver vídeos del curso. Acceso a otros elementos: Acceder a otros objetos del curso, excepto vídeos y asignaciones. Wiki : Acceso a la wiki del curso. Foro: Acceso al foro curso Kizilcec, ¿Existen patrones de compromiso de los estudiantes para finalizar el curso? Datos demográficos, Datos geográficos, Intenciones de inscripción, Satisfacción, Colaboración, Participación en foros, Acceso a las evaluaciones Acceso a los vídeos Cálculo de trayectorias y algoritmo de agrupamiento Cómo optimizar el rendimiento del modelo de predicción de deserción hacia la personalización de la intervención para estudiantes en riesgo. Solicitudes realizadas. Días de mayores visitas al curso. Nº de sesiones. Páginas visitadas. Veces que se visualiza un video, una wiki, un material. País. KNN, SVM y árbol de decisión ¿Cuándo abandona el estudiante? (desertores) Accesos a la plataforma de un estudiante. Nº tema de discusión agregados. Nº mensaje de respuesta en el foro. Nº recursos adjuntos agregados al foro. Nº de tareas enviadas. Análisis factorial y regresión logística Piech & Schneider (2013) Xing & Du (2018) GarcíaTinizaray, OrdoñezBriceño & TorresDíaz (2015) 118 Capítulo 4. Datos y resultados Artículo Hipótesis Indicadores de abandono Tratamiento Nº de mensajes enviados a los compañeros o al docente del curso. Nº comentarios en los anuncios. Nº de accesos. Tiempo total de duración en los accesos al curso. Nº de descargas de un recurso. Halawa, Interacción la plataforma Tiempo de cada sesión. Nº de veces que visualiza un video Días ausentes Asignación de estudiantes a 4 patrones predefinidos. Medidas de recall Kloft et al. ¿Es el número de clicks un indicador de la deserción? (2014) Número de días activos. Número de páginas vistas. Número de páginas vistas por sesión. Número de vídeos vistos. Número de vídeos vistos por sesión. País. SVM Sinha et Registro de clicks Acciones realizadas sobre las videoconferencias: pausas realizadas, visualizaciones, inicio y fin. Information Processing Index (IPI), IPI trayectory Información sobre el curso Inscripción en el curso de los estudiantes. R Registro de comportamiento de los usuarios. SVM, Regresión logística, Bosque aleatorio y Greene & ¿Está relacionada la interacción en la plataforma con la deserción? Mitchell (2014) al. (2014) Liang et al. (2016) a) ¿Durante cuánto tiempo los estudiantes interactúan con el material del curso y cómo ha sido la trayectoria en el curso? b) La cantidad de clics e interacciones que se realizan durante el curso determinan su trayectoria. c) Los estudiantes que llegan al final del curso son aquellos que más interacciones tienen durante el curso. Al analizar el comportamiento de aprendizaje en los estudiantes después de un mes, se podrá predecir en los 119 Tesis doctoral Artículo Hipótesis próximos diez días abandonará el curso Indicadores de abandono si Tratamiento Árbol de decisión Además de los modelos presentados, se han analizado otros artículos como el de LeónUrrutia, Vázquez-Cano & López-Meneses (2017) en el que a partir del estudio de datos demográficos, profesionales, intereses, de acceso a la plataforma y mensajes, plantean que resulta importante agrupar las área de interés de los MOOC para incorporar foros, vídeos y diferentes recursos que le permitan a los estudiantes sentirse motivados y alcanzar conocimientos, habilidades y destrezas en el área determinada que los incentive en tomar ese curso y no otro. Rose et al. (2014) destacan que parte de la interacción que más motiva a los participantes para no abandonar los cursos, son las interacciones con otros compañeros, por lo que concluyen que la interacción social determina de algún modo el comportamiento de los alumnos y la tasa de deserción. Con la misma finalidad de reducir el abandono, Millecamp et al. (2018) plantea que la actuación de un asesor académico puede ser determinante para mejorar el porcentaje de abandono, demostrando cómo una intervención a tiempo permite disminuir el porcentaje negativo del curso y obtener una mayor satisfacción de los participantes. 4.1.2.2. Conclusiones Se han analizado en total diez modelos predictivos, todos ellos centrados en reducir la tasa de abandono de los MOOC. Con estos modelos contamos con un gran número de indicadores de abandono que han sido testeados en experiencias MOOC, cada uno verificando sus hipótesis a partir de un tratamiento de datos distinto. Muchos de los indicadores han sido comunes varios modelos como: el número de vistas de vídeos por semana, número de veces que se accede el foro y tiempo de dedicación en 120 Capítulo 4. Datos y resultados visualizar vídeos. No obstante, todos los indicadores que se han utilizado son importantes, y pueden ser claves para la resolución del problema de la UPV. En consecuencia, esta tesis doctoral, conociendo la realidad de los MOOC y las implicaciones de las predicciones, se ha decidido enmarcar en el estudio de tipo predictivo del comportamiento de los participantes con el objetivo de lograr una reducción de la deserción a través de estrategias. No sólo será plantear un nuevo modelo como lo hacen cada una de las investigaciones que se han presentado, sino que, en base a los resultados obtenido de la predicción, presentar estrategias y propuestas concretas que permitan la disminución del abandono. Se puede evidenciar que todas las investigaciones que se refieren a la predicción toman en cuenta los mismos criterios, evalúan la predicción, pero no plantean cómo intervenir de forma concreta para cambiar la predicción y disminuir la deserción, es decir, plantear estrategias en las que el alumno se sienta motivado, interesado, involucrado y comprometido en continuar. 4.1.3. Revisión bibliográfica 3: El abandono en la educación a distancia Una vez se han obtenido los indicadores de abandono que se mencionan en los artículos sobre MOOC analizados, es necesario plantearse si, abriendo la investigación a la educación a distancia en general, podemos llegar a encontrar algún otro indicador de abandono que se pueda añadir a las conclusiones de esta primera iteración. Siguiendo los criterios y los procedimientos de inclusión/exclusión indicados en la metodología, se realiza una nueva búsqueda de la que se obtienen un total de 21 artículos como podemos ver en la Ilustración 12. 121 Tesis doctoral Ilustración 12. Diagrama de búsqueda Revisión bibliográfica 3. A continuación, se presenta en la Tabla 22 el resultado de la búsqueda de artículos. Tabla 22. Artículos seleccionados para el análisis en la revisión bibliográfica 3. Autores Título Revista Area & Adell E-learning: Enseñar y aprender en Tecnología Educativa. La (2009) espacios virtuales Formación Del Profesorado En La Era de Internet, 391 424. Bean & Metzner A Conceptual Model of Review of Educational (1985) Nontraditional Undergraduate Research, 55(4), 485 540. Student Attrition. Billings, Connors Benchmarking Best Practices in Advances in Nursing & Skiba (2001) Web-Based Nursing Courses Science: March 2001 Volume 23 - Issue 3 - p 41-52 Boyle & Wambach Interaction in graduate nursing web- Journal of Professional (2001) based instruction Nursing Volume 17, Issue 3, May June 2001, Pages 128-134 Chickering & Seven principles for good practice in Gamson (1987) undergraduate education. 122 AAHE bulletin, 3, 7. Capítulo 4. Datos y resultados Contreras (2011) Experiencias educativas en las aulas - del siglo XXI: innovación con TIC Escanés, Herrero, Deserción en educación a distancia: Virtualidad, Educación Y Merlino & Ayllón factores asociados a la elección de Ciencia, 5(9), 45 55. (2014) modalidad como desencadenantes del abandono universitario. García-Aretio Educación a distancia. Bases Educación a Distancia (1994) conceptuales Hoy. Madrid: Universidad de Educación À Distância, 11 57. García-Tinizaray, Learning analytics para predecir la Ordoñez-Briceño & deserción de estudiantes a distancia Campus virtuales, 3(1), 120-126. Díaz (2015) Himmel (2002) Kember (1989) Lee & Choi (2011) Modelos de análisis de la deserción Calidad de La Educación, estudiantil en la educación superior. 17, 91 107. A longitudinal-process model of The Journal of Higher drop-out from distance education Education, 60(3), 278 301 A Review of Online Course Dropout Educational Technology Research: Implications for Practice Research and and Future Research. Development, 59(5), 593 618 Restauri (2001) Rodríguez (2014) Assessment of Students' Ratings for ERIC Document Two Methodologies of Teaching via Reproduction Service No. Distance Learning: ED 460148 Fundamentos del proceso educativo a Revista Iberoamericana de distancia: enseñanza, aprendizaje y Educación., 17(2), 75 93. evaluación Stocks & Enhancing computer-mediated Research on Social Work Freddolino (1998) teaching through interactivity: The Practice, 10(4), 505-518. second iteration of a World Wide 123 Tesis doctoral Web-based graduate social work course. Thurmond & Towards an understanding of Online Journal of Nursing Wambach (2004) interactions in distance education. Informatics, 8(2), 18. Thurmond (2003) Examination of interaction variables Published Dissertation. as predictors of students' satisfaction University of Kansas. and willingness to enroll in future Parkland, FL: Web-based courses while controlling Dissertation.com. for student characteristics Tinto (1989) Tinto (1999) Wagner (1994) Definir la deserción: una cuestión de Revista de Educación perspectiva Superior, 71, 33 51. Taking retention seriously: NACADA Journal, 19(2), Rethinking the first year of college 5 9. In support of a functional definition The American Journal of of interaction. Distance Education, 8(2), 6-29. Wagner (1997) Interactivity: From agents to San Francisco: Jossey- outcomes. In T. E. Cyrs (Ed.), Bass Publishers Teaching and learning at a distance: What it takes to effectively design, deliver, and evaluate programs. 4.1.3.1. Análisis de resultados En líneas generales, la deserción estudiantil es definida como el abandono de los estudios antes de obtener el grado, título, certificado por un tiempo prolongado, en donde se descarta la posibilidad de reincorporación del estudiante (Himmel, 2002). Ahora bien, cuando se habla de educación superior, Tinto (1989) considera que no puede obtenerse una definición concreta, pues depende de los intereses y las perspectivas de los 124 Capítulo 4. Datos y resultados investigadores, además de que se dan diferentes tipos de abandono a nivel universitario, lo que hace que sea un concepto complejo. Los distintos modelos señalan diferentes variables que conllevan a la deserción, entre los cuales se encuentran: la identificación institucional, el compromiso académico y la identificación profesional al inicio del programa de estudios y el desarrollo intelectual, el rendimiento, así como las relaciones con el profesor y los compañeros (Tinto,1999), la experiencia académica previa, la influencia de aspectos de tipo psicológicos, el rendimiento y las metas educativas (Bean & Metzner, 1985), la autorregulación para atender tanto el trabajo académico como sus compromisos sociales y laborales (Kember, 1989; Escanés, Herrero, Merlino & Ayllón, 2014) y finalmente, los accesos a la interfaz, el uso de los foros y la descarga de materiales (García-Tinizaray, Ordoñez-Briceño & Torres-Díaz, 2015). En esta investigación, dada las características de los MOOC, se definirá la deserción del curso en línea como la ausencia del estudiante en un período mayor a diez semanas, en el cual no acceda al entorno virtual, ni descargue contenidos ni recursos educativos, ni participe en foros virtuales. Edad y sexo Generalmente los alumnos en la educación virtual son adultos, gestores de su propio aprendizaje (Rodríguez, 2014), que tienen responsabilidades laborales y familiares (Contreras, 2011), que se comportan diferentes a los estudiantes de una clase convencional, dado su historia vivencial, intereses, etc. Lee & Choi (2011) afirman que la edad y el sexo de los participantes de los cursos a distancia no influyen de manera determinante en la toma de decisiones sobre continuar o abandonar, sin embargo, estos elementos se consideran de importancia para poder responder a las necesidades de los participantes, ya que no es igual un curso a distancia diseñado para un recién graduado, que para una persona ya con experiencia laboral. La metodología empleada en un estudio a distancia para adultos ha de ser diferenciada para enseñar y motivar a este tipo de alumnado (García-Aretio, 1999). Por tanto, en este estudio se considerarán la variable sexo como el género al que pertenece el estudiante inscrito en un curso en línea; y la variable edad como el tiempo cronológico de vida del estudiante inscrito en un curso en línea. 125 Tesis doctoral Interacción Investigaciones como Billings, Connors & Skiba (2001) y Boyle & Wambach (2001) han dado mucha importancia a las interacciones establecidas en la educación online y su efectividad para lograr los objetivos, pero ninguno de ellos la ha definido. No obstante, Thurmond (2003) las define como el compromiso del alumno con los contenidos, otros estudiantes, el docente y el medio tecnológico utilizado, siendo el objetivo de la interacción el aumento de la comprensión del contenido o mejorar el dominio de los objetivos que se definen. Chickering & Gamson (1987) plantean que es un elemento importante dentro del proceso de la educación a distancia, la cual implica profesores, participantes, recursos, donde se pretende obtener la reciprocidad, la cooperación, logrando un aprendizaje activo. Apoyándose en la definición de Thurmond (2003) y los elementos de Chickering & Gamson (1987), en este trabajo se define a la interacción como el intercambio recíproco de información entre participantes, profesores y recursos cuya retroalimentación tiene la intención de mejorar el desarrollo del conocimiento en la interfaz de aprendizaje. Cabe señalar que no es lo mismo interacción e interactividad, dado que la interacción se refiere a un intercambio entre los individuos, mientras que la interactividad se refiere al contacto con la tecnología en tiempo real (Wagner, 1994, 1997). El aula virtual según Area & Adell (2009) es un espacio en donde se llevan a cabo experiencias de aprendizaje en donde los recursos adquieren un papel relevante, pues de ellos depende que se produzca la interacción virtual, que es el factor clave para el aprendizaje y éxito del alumno. Entre los recursos más relevantes están el video y el foro (Thurmond & Wambach, 2004). Con el video se pueden realizar conferencias en sus diferentes modalidades que mantienen al participante activo, además de que este puede acceder varias veces al recurso, involucrándose con su aprendizaje. Cabe resaltar que estos no deben superar más de veinte minutos, dada la capacidad de retención del estudiante. En cuanto al foro es un espacio interactivo que permite que los participantes planteen y respondan cuestionamientos, establezcan relaciones entre los compañeros, de manera que promueve la auto reflexión del 126 Capítulo 4. Datos y resultados proceso en el aprendizaje y la ampliación de conocimientos y destrezas que se van logrando en el proceso educativo (Thurmond & Wambach, 2004). Este recurso ofrece el intercambio de archivos, imágenes, gráficos o compartir el escritorio de un ordenador, proporcionando beneficios importantes. En Thurmond & Wambach (2004) se entienden los recursos como herramientas didácticas que permiten la interacción comunicativa virtual, apoyados en hardware y programas que permiten simultáneamente la conexión de varios alumnos; entendiendo por interacción la que se lleva a cabo del participante con el curso, y los recursos que en este intervienen. Evaluación Restauri (2001) realiza un estudio en el que compara la evaluación final de un curso tradicional y un curso en línea, y concluye que el factor del cara a cara no es importante, en su lugar, la interacción de los estudiantes fue más dependiente de la frecuencia y el contacto personalizado. Por otra parte, la alta frecuencia de la comunicación electrónica privada entre el estudiante y el instructor ha sido identificado como un fuerte predictor de calificaciones de los estudiantes (Stocks & Freddolino, 1998). Chickering & Gamson (1987) comenta que el intercambio del alumno con los diferentes recursos y con el instructor durante el proceso de enseñanza-aprendizaje, es fundamental, ya que permite llevar a cabo la adecuada retroalimentación en el momento adecuado, ya que ofrece a los alumnos información sobre su avance en el curso (Collis, DeBoer & Slotman, 2001). 4.1.3.2. Conclusiones De esta última revisión bibliográfica centrada en la EaD podemos identificar varios indicadores de abandono que añadir a los obtenidos en la segunda de las revisiones. A continuación, se muestra en la Tabla 23, un resumen con los indicadores y su autor que se unirán a los obtenidos en la revisión bibliográfica II. 127 Tesis doctoral Tabla 23. Indicadores de abandono extraídos en Revisión 3. Elaboración propia Indicador de abandono Autor Tinto (1999) La identificación institucional. El compromiso académico. La identificación profesional. las relaciones con el profesor y los compañeros. La experiencia académica previa. La influencia de los aspectos psicológicos. El rendimiento escolar. Las metas educativas. Bean & Metzner (1985) La autorregulación para atender tanto el Kember (1989); trabajo académico como sus compromisos Escanés, Herrero, Merlino & Ayllón sociales y laborales (2014) García-Tinizaray, Ordoñez-Briceño & Los accesos al entorno virtual Torres-Díaz (2015) La participación en foros La subida o descarga de materiales y recursos educativos Lee & Choi (2011) La edad El sexo Las interacciones que se establecen en la Billings, Connors & Skiba (2001) docente-alumno. Boyle & Wambach (2001) Chickering & Gamson (1987) El acceso a los recursos más relevantes: el Thurmond & Wambach (2004) video y el foro El intercambio del alumno con los diferentes Chickering & Gamson (1987) recursos y con el instructor durante el proceso Collis, DeBoer & Slotman (2001) de enseñanza-aprendizaje 4.1.4. Resultados de la Iteración I Hasta ahora se han analizados los problemas mas planteados en las experiencias MOOC (revisión bibliográfica I) y cuáles son las propuestas de mejora sobre estos cursos que se 128 Capítulo 4. Datos y resultados identifican en la bibliografía (revisión bibliográfica II) junto con las caracterizaciones de la propia educación online (revisión bibliográfica III). Como se indica en la Ilustración 13, este proceso da como resultado los distintos indicadores de abandono que se han detectado durante esta primera iteración. Ilustración 13. Pasos obtención listado indicadores de abandono. Elaboración propia. En total, se han extraído veinticinco indicadores que han sido tomados de cada uno de los pasos que se han dado en esta iteración y que se agrupan en la Tabla 24, agrupando por categorías e indicando en la revisión en las que obtienen. Tabla 24 Indicadores de abandono extraídos. Elaboración propia. Indicador Investigación Revisión INFORMACIÓN SOBRE EL ALUMNO Interés del estudiante por la materia. Halawa, Greene & Mitchell 2 (2014) Mentalidad, autoeficacia, establecimiento de Halawa, Greene & Mitchell objetivos y pertenencia social. (2014) Encuesta inicial de motivación. Henderikx et al. (2017) Identificación institucional, compromiso Tinto (1999) 2 2 3 académico e identificación profesional. Experiencia académica previa e influencia de Bean & Metzner (1985) los aspectos psicológicos, el rendimiento escolar y las metas educativas. 129 3 Tesis doctoral Indicador Investigación Revisión Autorregulación para atender tanto el trabajo Kember (1989) y Escanés et 3 académico como sus compromisos sociales y al. (2014) laborales. Edad y sexo (biodatos). Lee & Choi (2011) 3 Variables de tipo demográfico y profesional. León-Urrutia et al. (2017) 2 AUSENCIAS O RETRASOS Ausencia del curso en un periodo superior a Halawa, Greene & Mitchell un mes. (2014) Inicio del curso después de dos semanas. Halawa, Greene & Mitchell 2 2 (2014) Abandono si hay ausencias de diez días o Halawa, Greene & Mitchell más. 2 (2014) Abandono si no hay ninguna actividad en Liang et al. (2016) 2 diez días. FORO Cantidad de veces que se interactúa en el foro Kizilcec et al. (2018) 2 . Contacto/intercambio alumno profesor. Millecamp et al. (2018), 2y3 Billings, Connors & Skiba (2001), Chickering & Gamson (1987) Interacciones en los foros. Li et al. (2016) Nº de visualizaciones y participaciones en el Fei & Yeung (2015) 2 2 foro. Mensajes y acceso a los foros. Rose et al. (2014), García- 2y3 Tinizaray et al. (2015) VISUALIZACIONES Visualizaciones de un mismo vídeo. Kizilcec et al. (2018) 130 2 Capítulo 4. Datos y resultados Indicador Investigación Revisión Visualización de menos de 50% de los vídeos Halawa, Greene & Mitchell en el curso. (2014) Omisión de vídeos en la unidad anterior. Halawa, Greene & Mitchell 2 2 (2014) Participaciones en las videoconferencias, Sinha (2014) 2 interacción, visualizaciones y toma de anotaciones. RECURSOS Interacciones en las tareas y recursos. García-Tinizaray et al. (2015) Navegación (clics) que se realiza en la Kloft et al. (2014) 3 2 plataforma. PUNTUACIONES OBTENIDAS Puntuaciones bajas en las pruebas en las tres García-Tinizaray et al. (2015) 3 primeras semanas. Intentos para resolver las pruebas de la Fei & Yeung (2015) 2 primera semana. 4.1.5. Evaluación y reflexiones de la Iteración I Como se ha comentado en el capítulo de metodología, al finalizar cada una de las iteraciones es necesario evaluar los resultados, y para ello, se mantuvo una reunión con los expertos de la plataforma MOOC de la UPV para exponer los resultados y que estos los analizaran y realizaran los comentarios y correcciones oportunas. En ella, previo a la muestra de resultados, inicialmente se les informó del proceso realizado para la obtención de los indicadores y de los detalles de cada una de las revisiones bibliográficas realizadas. Con el análisis de cada uno de los indicadores, se aprueba el listado expuesto y se instaba a continuar con el proceso de investigación hasta llegar al objetivo principal de conseguir propuestas automatizadas para la mejora de la experiencia de los usuarios y la UPV. 131 Tesis doctoral A raíz de esta aprobación, la UPV afirma que, como base de estas propuestas de mejora, dispone de las bases de datos que se extraen de la plataforma edX donde se almacenan los cursos y se hace entrega de los históricos de las 260 ediciones de cursos realizadas hasta el momento, junto con unos manuales de la plataforma en la que se detalla la estructura y el funcionamiento de estos archivos. Como comentario final, la UPV también informa que, ya que algunos de los indicadores de abandono extraídos están relacionados con el acceso al foro y mensajes, la información de la que se dispone de estos foros tiene un gran volumen, y es posible que estos requieran de otra investigación pormenorizada solo para su tratamiento. 132 Capítulo 4. Datos y resultados 4.2. Iteración II: Planteamiento y validación de hipótesis con Machine Learning Como se describe en el capítulo de metodología, una vez que se han seleccionado los indicadores de abandono en la iteración I, es necesario comprobar de cuál de estos indicadores disponemos datos en la documentación ofrecida por la UPV y de cuáles no. Siguiendo esas indicaciones, y tras hacer una comprobación personalizada de cada de los indicadores obtenidos en la primera iteración, se desecharon los indicadores de abandono de los que no se encontraron datos, quedando la Tabla 25 con los 10 indicadores seleccionados: Tabla 25. Indicadores seleccionados. Elaboración propia Indicadores seleccionados Variables de tipo demográfico y profesional Ausencia en un periodo superior a 10 días Nº de veces que se ve un mismo vídeo Ausencia en un periodo superior a 1 mes Omisión de vídeos de la unidad anterior Inicio del curso después de 2 semanas Menos del 50% de visualizaciones de los vídeos en las primeras semanas 133 Tesis doctoral Indicadores seleccionados Nº de intentos para resolver las pruebas de la primera semana Ninguna actividad de aprendizaje en diez días continuos Puntuaciones bajas en las pruebas en las tres primeras semanas 4.2.1. Planteamiento de hipótesis Finalizada la selección de indicadores con la que trabajar, se representa el problema como un contraste de hipótesis. Con cada uno de los indicadores de abandono seleccionados se traza una hipótesis que habrá que validar o rechazar en caso de que sea capaz o no de predecir abandonos en los MOOC de la UPV. Sabiendo que los identificadores seleccionados son diez, en total se trazan once hipótesis, habiendo d plicado Edad g nero en Edad, g nero ni el ed ca i o . Dada la importancia de esta última, y considerándola un complemento ideal para las otras hipótesis planteadas, se decide añadirla a las hipótesis comprendidas entre los números 3 y 10 de dobl ndola con la iden ificaci n bi . En o al, como e m e ra en la Tabla 26, se plantean veinte hipótesis distintas. 134 Capítulo 4. Datos y resultados Tabla 26. Hipótesis generadas para verificar. Elaboración propia Planteadas las hipótesis, es el momento de conseguir transformar el conjunto de todos los ficheros edX proporcionados, en un único fichero de datos en el que tan solo hay una columna por cada una de las hipótesis. Como se ha comentado anteriormente, algunas de estas hipótesis tienen representación directa en los ficheros SQL como son las relativas a los datos biográficos (nº 1 y 2), al tiempo dedicado a la visualización de vídeos (nº 4) y el número de intentos para resolver las pruebas de la primera semana (nº 11). Sin embargo, para el resto, es necesario un gran trabajo de filtrado y procesamiento para su obtención. En concreto, en la Tabla 27 se desglosan cuáles son las variables seleccionadas directamente sin procesar, y para cuáles fue necesario crearlas a partir de ese procesamiento. 135 Tesis doctoral Tabla 27. Desglose de variables seleccionadas y creadas. Elaboración propia. Con la ejecución de los scripts planteados con la información descrita en la metodología, finalmente se genera el fichero CSV necesario con solo la información necesaria para validar o no cada una de las hipótesis planteadas. Este proceso es necesario realizarlo para cada uno de los 260 cursos de los que se dispone información. En el anexo 4, se puede encontrar una tabla donde se desglosan los cursos analizados, indicando su fecha de inicio y el porcentaje de abandono. 4.2.2. Selección del algoritmo Una vez se ha conseguido obtener en una única tabla las variables que representan a cada una de las hipótesis planteadas previamente, el siguiente paso es comprobar si estas variables están directa o inversamente relacionadas con el abandono de los estudiantes, que también es otra variable del fichero final. Para la verificación de las hipótesis nos enfrentamos ante un problema de aprendizaje supervisado del cual tenemos que elegir su clasificador. Para su selección hará una prueba con los datos de uno de los cursos, al que se aplicarán los seis modelos de Machine Learning descritos en la metodología. A continuación, en la Tabla 28 se muestran los resultados obtenidos por cada uno de los modelos de Machine Learning para el curso de prueba utilizado. 136 Capítulo 4. Datos y resultados Tabla 28. Comparativa de resultados modelos ML. Elaboración propia. Como se puede observar, el algoritmo que mejor puntuación obtuvo fue Ramdon Forest, y por tanto fue el elegido para evaluar todas las hipótesis. 4.2.3. Validación de hipótesis de procedimiento de Machine Learning Como se puede observar en la tabla resumen de todos los cursos analizados (ver anexo 4), el número de abandonos en los MOOC de la UPV es muy alto, entorno al 80%, lo que indica que el tipo de problema a resolver tiene una de sus clases (la del abandono) con un gran peso frente a la del no abandono. O lo que es lo mismo, cualquier algoritmo que siempre diera por re l ado Abandono , endr a n 80% de preci i n, q e es un valor muy alto. Esto da lugar a una matriz de confusión (gráfico que describe el rendimiento del modelo) de un rango similar al que se muestra en la Ilustración 14: 137 Tesis doctoral Ilustración 14. Matriz de confusión del problema ML. Elaboración propia Con estas características, es importante realizar una buena selección de métricas de clasificación para validar o descartar las hipótesis a evaluar. Y es que el número de métricas que podemos utilizar es muy grande: Matriz de error, precisión, recall o sensibilidad o TPR, especificidad o TNR, F1-Score, Área bajo la curva de funcionamiento del receptor, Pérdida logar mica, Cohen Kappa De todos estos, y con la finalidad de reducir los falsos negativos y falsos positivos, se seleccionaron tres métricas: - Precisión: número de elementos resueltos correctamente como positivo sobre el total de elementos identificados positivos. - Recall: número de elementos identificados correctamente como positivos del total de positivos verdaderos. - F1-score: media armónica que combina los valores de la precisión y recall. Una vez seleccionados el algoritmo y las métricas, se desarrolló un nuevo script que implementara la resolución del problema en cuestión. Nuevamente se optó por el lenguaje Python, y en concreto, se utilizó la biblioteca Scikit-learn por tratarse de la más utilizada y fomentada para el uso académico para algoritmos de aprendizaje, y un conjunto de pruebas del 20% de los datos disponibles. 138 Capítulo 4. Datos y resultados El código fuente del script se encuentra en el anexo 3, no obstante, su estructura se indica en la Ilustración 15: Importación de librerías Indicación ruta del fichero de datos a analizar Comprobación de usuario con valores nulos Análisis de los parámetros estadísticos de cada una de las variables Visualización en una dimensión de cada variable Selección de hipótesis División de datos para entrenar y test: Selección y aplicación de modelo para entrenamiento Comprobación de la precisión del modelo seleccionado Visualización Matriz de Confusión: Ilustración 15. Estructura código fuente script ML. Elaboración propia. Repitiendo este proceso para las 20 hipótesis y para los 260 cursos obtenemos una tabla como la que se muestra en Tabla 29 para cada uno de los cursos (ver en anexo 5 el total de las tablas obtenidas para todos los cursos). 139 Tesis doctoral Tabla 29. Resultados con técnicas de ML para cada curso. Elaboración propia 140 Capítulo 4. Datos y resultados Disponiendo ya de las métricas de clasificación para cada curso, es necesario marcar un umbral de decisión que determine la validación de las hipótesis. Como se indica en la metodología, se decide que un umbral apropiado sería valores superiores al 80%. Si aplicamos este umbral a cada curso, podemos obtener el porcentaje de cursos que han superado el mismo para cada métrica, obteniendo la Tabla 30: Tabla 30. Porcentaje de cursos por encima del umbral establecido. Elaboración propia. 141 Tesis doctoral A partir de los datos mostrados en la Tabla 29, ya solo resta marcar un segundo umbral para clasificar las hipótesis. La decisión nuevamente está marcada por el tipo de problema, y como se indica nuevamente en la metodología, se validará una hipótesis en caso de que algunas de sus métricas sean superiores a un 85%. La aplicación de este criterio supone que algunas de las hipótesis validadas tengan alguna o algunas de sus métricas con un gran número de cursos donde no e llega a alcan ar el primer mbral del 80%; e e e el ca o de la hip e i 4 bi , donde solo el 50% de los cursos, tienen el parámetro recall superior al 80%. No obstante, se considera más importante una posible detección de abandono, aunque esta resulte finalmente falsa, que una no detección de ese abandono por la no inclusión de una hipótesis. Con la aplicación de este segundo umbral, finalmente ya disponemos de las hipótesis que han sido validadas con los datos proporcionado por la UPV y que servirán como base de nuestra propuesta de mejora de experiencia. En concreto son los que se muestran en la Tabla 31: Tabla 31. Listado de hipótesis validadas. Elaboración propia Hipótesis Descripción 3 y 3bis El alumno no realiza las tareas asignadas en un periodo de diez días; también se tendrán en cuenta la edad, género y nivel educativo (bis). 4 bis El alumno dedica un tiempo determinado a visualizar los vídeos de cada semana, teniendo en cuenta la edad, género y nivel educativo. 5 y 5 bis El alumno tiene una ausencia durante un periodo superior a un mes desde su última conexión con la plataforma; también se tendrán en cuenta la edad, género y nivel educativo (bis). 6 y 6 bis El alumno tiene una ausencia durante un periodo de diez días desde su última conexión con la plataforma; también se tendrán en cuenta la edad, género y nivel educativo (bis). 7 bis Durante las tres primeras semanas, el alumno visualiza menos del 50% de los vídeos asignados. 142 Capítulo 4. Datos y resultados Hipótesis Descripción 9 y 9 bis El alumno no ha visualizado todos los vídeos de la unidad anterior a la que se está cursando; también se tendrán en cuenta la edad, género y nivel educativo (bis). 10 y 10 bis El alumno ha obtenido puntuaciones bajas en las pruebas realizadas durante las primeras tres semanas del curso; también se tendrán en cuenta la edad, género y nivel educativo (bis). 11 y 11 bis El alumno necesita de varios intentos para resolver las pruebas de la primera semana del curso; también se tendrán en cuenta la edad, género y nivel educativo (bis). Como resumen, se muestra en la Ilustración 16 un gráfico con los tres pasos realizados con cada una de las hipótesis y para todos los cursos. Cálculo de métricas por hipótesis Umbral de decisión validación hipótesis > 80% Alguna de sus métricas > 85% Ilustración 16. Pasos de validación de hipótesis. Elaboración propia Con el listado de hipótesis validadas, se tiene una nueva toma de contacto con los responsables de la UPV para notificarles los resultados y tener su retroalimentación, para saber si se podía seguir adelante con la investigación o había que realizar alguna modificación. 143 Tesis doctoral 4.2.4. Evaluación y reflexión de la Iteración II Como último punto de cada una de las iteraciones, una vez obtenidos los resultados, que en este caso son el listado de hipótesis planteadas y cuáles han sido validadas y cuáles rechazadas, es imprescindible su presentación a los responsables de la UPV para que lo evalúen y reflexionen sobre su idoneidad y la necesidad de nuevas componentes. En primer lugar, se aprueba el listado de las hipótesis con las que se trabaja, ya que es continuación del trabajo presentado en la primera iteración, y fruto de las tres revisiones bibliográficas realizadas con los criterios aprobados. Además, por parte de la UPV no se propone ningún otro indicador para añadir al estudio de Machine Learning. En segundo lugar, se evalúa la validación de hipótesis realizada, dando por correctos los umbrales aplicados, estos son: del 80% sobre las métricas de calidad y del 85% sobre el porcentaje total de los cursos en alguna de sus métricas. Con estas dos aprobaciones, se da por finalizada la segunda iteración, y se insta por parte de la UPV, a presentar dentro de una nueva iteración un conjunto de medidas reales para aplicar los resultados obtenidos sobres las hipótesis al objetivo inicial de la investigación. 144 Capítulo 4. Datos y resultados 4.3. Iteración III: Formulación de procedimientos automáticos. Una vez se tiene la aprobación por parte de la UPV para proseguir con la investigación, la tercera y última de las iteraciones consiste en aportar un conjunto de propuestas que, partiendo de las hipótesis validadas, den solución al objetivo principal que es la mejora de la experiencia de los MOOC y más concretamente la reducción del porcentaje de abandonos. Para este propósito, se plantea un mecanismo automatizado de envío de notificaciones personalizadas a alumnos y docentes en caso de que algunas de las hipótesis validadas se activen. Más concretamente: dado que cada hipótesis tiene su reflejo en un indicador/variable que se encuentra almacenada en la base de datos de la plataforma edX junto con los datos de contacto (email) de alumnos y docentes, se propone automatizar el proceso mediante el cual, na e no de lo indicadore e ac i a a condici n de abandono , e crea un email con un mensaje predefinido para ese indicador y se envía a los implicados. 4.3.1. Desglose de propuestas Para cada una de las hipótesis validadas, hay asociado un indicador que se ha localizado en una base de datos en la que además se encuentran los datos de contacto (email) de alumnos y docentes. Con la medida propuesta, se pretende reducir el abandono enviando a unos y a otros un mensaje preestablecido dependiente del indicador que se ha activado. Esto supone la activación de un proceso automatizado de envío de emails personalizados que notifique la incidencia o indicador detectado, para intentar volver a atraer al alumno al curso. A continuación, se desglosan en la Tabla 32 cada uno de los mensajes predefinidos a enviar en caso de que se active alguno de los indicadores: 145 Email automático Tabla 32. Relación hipótesis - propuesta automática de mejora. Elaboración propia Hipótesis Omisión de vídeos de la unidad anterior. Profesor: Email automático de incidencia del alumno con su identificador. Alumno: Email de motivación para el alumno. Profesor: Email automático de incidencia del alumno con su identificador. Alumno: Email de motivación para el alumno. Profesor: Email automático de incidencia del alumno con su identificador. Alumno: Email automático de los contenidos de los vídeos que no ha visualizado. Alumno: Email automático con las últimas actividades realizadas y las que tiene pendiente. Alumno: Email automático con las últimas actividades realizadas y las que tiene pendiente. Alumno: Email automático recordando la importancia de ver todos los vídeos cada una de las unidades. Profesor: Email automático de incidencia del alumno con su identificador. Profesor: Email automático de incidencia del alumno con su identificador. Alumno: Email automático de los contenidos de los vídeos que no ha visualizado. Profesor: Email automático de incidencia del alumno con su identificador. Alumno: Email automático de las tareas que no ha realizado hasta la fecha. Tiempo dedicado a ver vídeos. Omisión de las tareas asignadas. Tesis doctoral 3 y 3bis 4bis 5 y 5bis 6 y 6bis 9 y 9bis Puntuaciones bajas en las pruebas de las tres primeras semanas. 7bis 10 y 10bis Nº de intentos para resolver las pruebas de la primera semana. Ausencia en un periodo superior a 1 mes. Ausencia en un periodo de diez días. Visualización de vídeos asignados inferior al 50% en las tres primeras semanas. 11 y 11bis 146 Capítulo 4. Datos y resultados El indicador de las hipótesis 3 y 3 bis en la que su activación supone que alguno de los alumnos no ha realizado las tareas asignadas en una semana determinada (con o sin biodatos), según el análisis realizado, supone un claro antecedente de abandono del curso por parte del alumno. Como propuesta de mejora de medida automática para mejorar el abandono se propone realizar el envío automático tanto a docente y alumno, donde al alumno se le informa que no ha realizado las tareas de una semana en concreto, sirviéndole de recordatorio. Para el caso del docente, en caso de recibir numerosos emails de este tipo sobre una misma semana, le sirve de feedback de que es posible que las actividades de esa semana no hayan sido bien entendidas o son de gran dificultad, permitiendo un replanteamiento de estas. La validación de las hipótesis 4 bis suponía que un mayor o menor tiempo dedicado a la visualización de los vídeos de cada semana influía directamente en el abandono de los alumnos. Como medida automática se propone el envío de mensajes automáticos a alumnos y docentes, en caso de que el tiempo que dedican los alumnos a los vídeos de una semana se acerque a los tiempos estipulados de ese curso. Para los docentes, la recepción de este tipo de mensajes en gran número les puede suponer concluir que los vídeos propuestos para su visualización no son lo suficientemente atractivos por su contenido, duración, etc. para el alumnado. En cambio, esta notificación para el alumno le supone un recordatorio de los vídeos que no ha visualizado en esa semana. La validación de las hipótesis relacionadas con la ausencia del alumnado durante un periodo (ya sea por diez días o un mes): 5, 5bi , 6 6 bi , ha demostrado que la activación de sus indicadores supone un posible abandono de estos. Como propuesta de mejora de la experiencia, en este caso, no se propone una notificación a los docentes, sino tan solo al alumnado. La recepción de estos emails supondrá nuevamente un recordatorio de la pertenencia al curso, y del tiempo transcurrido sin ningún acceso. Relacionada con la hip e i e han alidado la hip e i 4 bi por estar vinculada a la visualización de vídeos, también 7bi , 9 9bi q e anali an a no el iempo dedicado, i no la visualización o no de los vídeos. En concre o 7 bi pone na comprobaci n reali ada tras la tercera emana de c r o, mien ra q e para 9 9 bi se realiza la comprobación semanalmente. La mejora propuesta relacionada con la activación de los indicadores de estas hipótesis consiste en el envío automatizado de emails a los alumnos recordándoles que no 147 Tesis doctoral han visto los vídeos de las unidades en curso. Del mismo modo, como en los casos anteriores, además, los docentes también recibirán notificaciones de los mismos, para que si reciben un alto volúmenes de los mismos, puedan concluir en la no idoneidad de los vídeos presentados. Otra de las mejoras de la experiencia, está relacionada con la detección de puntuaciones bajas en las pruebas realizadas por el alumnado tras la tercera semana de curso. Vinculada y acep ada en la hip e i 10 10 bi , la ac i ación de sus indicadores supone nuevamente el envío de notificaciones a alumnos y docentes. El objetivo del recordatorio para los alumnos se puede aprovechar para incluir en ese mensaje algún tipo de materia complementaria que pueda ayudar a los mismo a mejorar sus puntuaciones. Ese mismo objetivo se hace extensible a los docentes que, en caso de recibir un gran número de notificaciones, entenderán que existe un déficit de conocimientos en el alumnado, lo que les puede llevar a añadir materias complementarias para mejorar la situación. La última de las propuestas de mejora está relacionadas con la posibilidad de que los alumnos realicen una prueba en varias ocasiones en caso de no aprobarlas. Con la aceptación de las hip e i 11 11 bi ( in o con bioda os) se ha comprobado que, en el caso de la UPV, ese número de intentos en realizar las pruebas de la primera semana implica una alta probabilidad de abandono. Los mecanismos automatizados ante la activación de estos indicadores son similares a los planteado con la hip e i 10 10 bi , permi iendo al al mnado acceder a materias complementarias para mejorar la situación y al docente su publicación en caso de que lo crea necesario tras la recepción de numerosas notificaciones similares. 4.3.2. Evaluación y reflexiones de la Iteración III Al igual como se realizó al finalizar las iteraciones anteriores, es imprescindible que una vez se han terminado de redactar cada una de las propuestas para dar solución al objetivo principal propuesto de mejora de la experiencia, se haga una presentación formal de los mismos ante los responsables de los MOOC en la UPV. Dado que era la última de las iteraciones se redactó un informe ejecutivo (ver anexo 6), con el fin de resumir a nivel técnico todo el procedimiento realizado entrando en detalle en los 148 Capítulo 4. Datos y resultados aspectos de programación de scripts, procedimiento de Machine Learning y, sobre todo, el desglose de cada una de las propuestas que se reclamaban al finalizar la segunda de las iteraciones que implicaran la puesta en práctica de esas hipótesis aceptadas. Una semana después del envío del informe ejecutivo, se realizó una reunión conjunta con el objeto de exponer los resultados obtenidos (ver presentación en anexo 7) y conocer la opinión de los expertos de la UPV sobre cada uno de los procedimientos automatizados. Gracias a que el documento ejecutivo había sido analizado previamente en detalle, la reunión se centró en conocer la segunda parte. La primera de las conclusiones extraídas es que, a día de hoy, la UPV todavía no dispone de un módulo de envío automatizado de correos electrónicos personalizado, está en desarrollo y por tanto, hay que esperar a que esté disponible para implementar las propuestas de mejoras seleccionadas. El siguiente punto de la reunión se centró en una explicación, por parte de los expertos de la UPV, del panel edX Insights (que es el panel más avanzado de la plataforma MOOC para obtener información estadística relacionada con los cursos) para contrastar si la información disponible en el panel y la proporcionada en la investigación era similar. Todos los docentes de MOOC acceden a n panel b ico llamado Panel del in r c or para realizar consultas simples del estado del curso, pero existe un módulo avanzado (que es menos utilizado) llamado edX Insights que permite obtener mucha más información específica y en detalle: en concreto hay secciones para conocer el compromiso, el rendimiento, datos agregados e información de estudiantes individuales. Durante el análisis se comprobó cómo las diferencias en la utilidad de este panel con la investigación realizada eran muy grandes. En primer lugar, y la más importante, es que la propuesta realizada implicaba un procedimiento automatizado que suponía no necesitar realizar un análisis individual para cada uno de los cursos y alumnos. En segundo lugar, se comprobó como la mayor parte de la información proporcionada por los indicadores de abandono obtenidos, no está disponible sin procesamiento en este panel. Por ejemplo, se dispone de las fechas de matriculación y primer acceso, pero no se dispone 149 Tesis doctoral de un listado de alumnos que no acceden durante un periodo de tiempo. De forma similar, se dispone información de los vídeos visualizados en cada curso, pero no se conoce el tiempo dedicado a ver esos vídeos por cada uno de los alumnos. En el último punto de la reunión se realizó un análisis pormenorizado de cada una de las propuestas realizadas: - Respecto a los mecanismos automatizados correspondientes a la hipótesis 3 y 3 bis relacionadas con la no realización de las tareas asignadas en la semana actual, se indicó que, si lo ven aplicable a la plataforma de la UPV, pero añadiendo la salvedad de que se está obviando la casuística de los alumnos que empiezan el curso semanas después de su inscripción, y lo finalizan sin seguir la periodicidad de las semanas programadas. - La hip e i 4bis ( iempo dedicado a ver vídeos) inicialmente no la ven válida ya que habrá que tener modelizado previamente para cada curso, el tiempo objetivo que marcará la activación de su indicador. - También relacionadas con la visualización de vídeos, las propuestas correspondientes a la hip e i 9 9 bi 7 bi ( i ali aci n del 50% de lo (omi i n de deo de la emana) deo de la tres primeras semanas), la con ideran aplicable , a q e como se ha comentado ese mecanismo automatizado no está disponible de de el panel edX In igh . No ob an e, e ol i a de acar q e con lo mecani mo a oma i ado de la hip e i 9 9 bi no e con empla la ca ica de lo al mno q e empie an el curso semanas después de su inscripción, y lo finalizan sin seguir la periodicidad de las semanas programadas. - Las propuestas relacionadas con la ausencia del alumno durante un periodo: 5, 5 bis , 6 6 bi para ser aplicables necesitan de una reconversión previa, ya que estas trabajan con unidades de días (10 días y 30 días), mientras que la plataforma edX trabaja con semanas, con lo que habría que reformularlas en periodos de una y cuatro semanas. Además, se indica por parte de la UPV que, por su experiencia, y dada la longitud de sus MOOC, que todo alumno que tenga un periodo de cuatro semanas sin interactuar en la plataforma lo dan por abandonado, de modo que no es necesario enviar ningún tipo de notificaci n. De modo q e la prop e a 5 150 5 bi q edan de car ada . Capítulo 4. Datos y resultados - La detección de puntuaciones bajas en las tres primeras semanas mediante los mecani mo prop e o 10 10 bi e con idera aplicable, de acando adem q e puede ser de utilidad para el docente detectando bajos niveles de conocimientos de los alumnos. - La última de las propuestas, 11 y 11 bis , relacionada con la in erpre aci n del n mero de intentos para resolver las pruebas de la primera semana, se ve útil de cara a detectar por parte de los profesores un bajo nivel de conocimientos de los alumnos, lo que le puede llevar a proponer contenido extra o de apoyo a estos alumnos detectados. la necesidad. Además, se indica que para su correcto funcionamiento se debe modelizar el número de intentos objetivo para cada curso. Como resumen en Tabla 33 se indican cuáles de las propuestas son aceptadas finalmente por la UPV y cuáles no: 151 Tesis doctoral Alumno: Email automático de los contenidos de los vídeos que no ha visualizado. Alumno: Email automático recordando la importancia de ver todos los vídeos cada una de las unidades. Profesor: Email automático de incidencia del alumno con su identificador. Alumno: Email automático con las últimas actividades realizadas y las que tiene pendiente. Alumno: Email automático con las últimas actividades realizadas y las que tiene pendiente. Profesor: Email automático de incidencia del alumno con su identificador. Alumno: Email automático de los contenidos de los vídeos que no ha visualizado. Profesor: Email automático de incidencia del alumno con su identificador. Alumno: Email automático de las tareas que no ha realizado hasta la fecha. A A A NA* NA* NA NA A Aplicable (A) / No (NA) A Tabla 33. Evaluación de propuestas de mejora automáticas. Elaboración propia Profesor: Email automático de incidencia del alumno con su identificador. A 10 y 10bis 11 y 11bis Email automático 5 y 5bis Alumno: Email de motivación para el alumno. A 3 y 3bis 6 y 6bis Profesor: Email automático de incidencia del alumno con su identificador. A 4bis 7bis Alumno: Email de motivación para el alumno. A A 9 y 9bis Profesor: Email automático de incidencia del alumno con su identificador. Las propuestas indicadas con * es necesario hacer un reajuste en su implementación. 152 Capítulo 4. Datos y resultados 4.3.3. Realimentación de Iteración III Completada la evaluación y reflexión de los resultados obtenidos en la tercera iteración, una de la concl ione ofrecida por la UPV 6 pone la reform laci n de la hip e i 5, 5 bi , 6 bi , a q e como e ha comentado, estas trabajan con días (10 y 30 respectivamente) como unidades de tiempo, mientras que el sistema edX trabaja con semanas. Esto supone que las nuevas hipótesis quedarán reformuladas como indica la Tabla 34: Tabla 34. Reformulación de hipótesis. Elaboración propia Hipótesis reformuladas 5 Ausencia en un periodo superior a 4 semanas 5 bis Ausencia en un periodo superior a 1 semanas + edad, género y nivel educativo 6 Ausencia en un periodo de 1 semana 6 bis Ausencia en un periodo de 1 semana + edad, género y nivel educativo La necesidad de replantear estas hipótesis en esta iteración lleva consigo la repetición de varios pasos ya realizados que se han de realimentar con la información proporcionada por la UPV. En primer lugar, es necesario modificar los scripts encargados de obtener los indicadores implicados, esto es, calcular ausencias de cuatro semanas en vez de 1 mes, y calcular ausencias de una semana en vez de diez días. Una vez obtenida la tabla definitiva con todos los indicadores actualizados con los últimos comentarios, en segundo lugar, se reformularán la hip e i 5, 5 bi , 6 6 bi , para anali ar i on válidas o no en su aplicación a los cursos de la UPV. Para hacer este análisis, en tercer lugar, se volverá a ejecutar el procedimiento de Machine Learning para los 260 cursos. Seguidamente se volverán a aplicar los criterios de validación aplicados para aceptar o rechazar las 4 nuevas hipótesis replanteadas. 153 Tesis doctoral Una vez se verifique su aceptación, ya que las propuestas de mejoras relacionadas con estas hipótesis si han sido aprobadas por las UPV, sí se podrán volver a introducir las propuestas de mejora correspondientes junto a las definitivamente aprobadas. Actualización de scripts Como se ha comentado, el primero de los pasos para introducir los cambios por la UPV es actualizar los scripts necesarios para que los dos indicadores relacionados con las hipótesis seleccionadas (5, 5 bi , 6 6 bi ) trabajen con unidades de tiempo la semana. La modificación en los scripts de generación de estas variables creadas es mínima, ya que en ellos tan solo se hace una comprobación de si la variable temporal donde se almacena el tiempo de ausencia es mayor o igual a diez o treinta días. La modificación se limita a cambiar en esa línea de código los diez días por siete días (una semana) y los treinta días por veintiocho días (cuatro semanas). Los cambios realizados se muestran en la Ilustración 17. Ilustración 17. Variables cambiadas en scripts tras reformulación. Elaboración propia Con ese cambio, se obtiene nuevamente los ficheros CSV temporales que se describían en la tabla superior y el fichero final_csv_summary.csv donde hay una columna por cada uno de los indicadores a verificar. 154 Capítulo 4. Datos y resultados Técnicas de Machine Learning. Con las hipótesis ya reformuladas y los scripts actualizados, el siguiente paso es volver a ejecutar el script de Machine Learning para verificar si las cuatro nuevas hipótesis pasan los umbrales establecidos. Los datos resultantes de la ejecución del script para cada uno de los cursos se muestran como ejemplo en la siguiente Tabla 35: Tabla 35. Resultados con técnicas de ML tras reformulación. Elaboración propia Validación de hipótesis de procedimiento de ML En este caso, como el resto de las hipótesis ya fueron analizadas, tan solo hay que centrarse en el an li i de 5, 5 bi , 6 6 bi . Tabla 36. Porcentaje cursos superior umbral tras reformulación. Elaboración propia % DE CURSOS CON VALORES > 80% Hipótesis 5 5 bis 6 6 bis Precisión 100 98 100 100 Recall 100 100 100 100 f1-score 100 100 100 100 Para llegar a los resultados mostrados en la Tabla 36, se han aplicado los dos umbrales que se comentaron en la segunda iteración: en primer lugar, se aplicará el porcentaje de cursos que han superado el umbral 80% en cada una de las métricas. En segundo lugar, se validará 155 Tesis doctoral una hipótesis en caso de que algunas de sus métricas sean superiores a un 85%. Con los umbrales aplicados y los resultados de la tabla superior solo queda marcar las nuevas hip e i 5, 5 bi , 6 6 bi como acep ada . De estas hipótesis, desde la UPV se indicó, q e la a encia de cuatro emana no la en aplicables, por lo que a pesar de que cumplen los criterios establecidos, quedarán descartadas la hip e i 5 5 bi . Propuestas aprobadas Con esta modificación, y dado que la propuesta de mecanismos automatizados correspondien e a la hip e i 5 5 bi , con i en e en el envío de emails a docentes y alumnos, ya fue presentada a la UPV, podemos concluir con el listado de las propuestas finales que han quedado aprobadas y que presentamos en la Tabla 37: Tabla 37. Propuestas automáticas de mejora tras reformulación. Elaboración propia 3 - 3bis 6 - 6bis 7bis 9 - 9bis 10 10bis 11 11bis Hipótesis Omisión de las tareas asignadas Propuesta Alumno: Email automático de las tareas que no ha realizado hasta la fecha. Profesor: Email automático de incidencia del alumno con su identificador. Ausencia en un periodo de Email automático con las últimas actividades diez días realizadas y las que tiene pendiente. Visualización de vídeos Alumno: Email automático recordando la asignados inferior al 50% en importancia de ver todos los vídeos cada una de las tres primeras semanas las unidades. Profesor: Email automático de incidencia del alumno con su identificador. Omisión de vídeos de la Alumno: Email automático de los contenidos de unidad anterior los vídeos que no ha visualizado. Profesor: Email automático de incidencia del alumno con su identificador. Puntuaciones bajas en las Alumno: Email de motivación para el alumno. pruebas de las tres primeras Profesor: Email automático de incidencia del semanas alumno con su identificador. Nº de intentos para resolver Alumno: Email de motivación para el alumno. las pruebas de la primera Profesor: Email automático de incidencia del semana alumno con su identificador. 156 Capítulo 4. Datos y resultados Estas propuestas presentadas y finalmente aprobadas han sido discutidas y aprobadas por los expertos de la UPV en la investigación basada en el diseño formada por tres iteraciones en las que después de cada una de ellas ha habido un proceso de realimentación con sus comentarios y correcciones. 157 Capítulo 5. Conclusiones Ca l 5. C ncl i ne En este capítulo vamos a recoger las conclusiones principales a las que hemos llegado en el marco de este trabajo de investigación. Partiendo de nuestros objetivos generales y tomando como referencia tanto los resultados de los datos recopilados como la información investigada en el marco teórico se presentan las conclusiones más destacadas del trabajo. Tras esto se discutirán las conclusiones parciales que se han tomado en cada una de las iteraciones de la investigación basada en el diseño realizado. Posteriormente, se analizarán los elementos que han aparecido nuevos y no estaban contemplados, las lecciones aprendidas tras la investigación y los módulos que cambiaríamos en caso de comenzar nuevamente el estudio. Por último, se incluirán las limitaciones que no ha solventado la investigación y los trabajos futuros que se podrán realizar una vez finalizada la misma. 5.1. Conclusiones relativas a los objetivos planteados Esta investigación tenía el objetivo principal de proponer mecanismos automatizados que se puedan poner en marcha dentro de los MOOC de la UPV para mejorar la experiencia de los estudiantes y universidad aplicando la predicción de datos con Machine Learning, pero siempre a partir de criterios pedagógicos y basados en las revisiones bibliográficas realizadas. Para ello se abordaron los objetivos específicos y las preguntas de investigación que se pretendían ir cubriendo con cada una de las etapas en las que se dividió el proceso metodológico y que creemos que se han cubierto así: Identificar las características de los MOOC que permitan mejorar la experiencia de los estudiantes, de la UPV y los planteamientos didácticos: Gracias al estudio detallado sobre la bibliografía de los MOOC, creemos que cada vez más, el concepto massive se está dejando de lado, ya que el número de matriculados no es muy elevado, no ocurriendo así con el número de cursos disponibles que sí es altísimo. La 159 Tesis doctoral característica central para mejorar en los MOOC, como se presuponía y como han indicado todos los estudios analizados, sigue siendo la alta tasa de abandono de los cursos. Revisando artículos más actuales a los analizados, se observa como la problemática sigue vigente: la mayoría de los participantes nunca vuelven al curso después de su primer año, su crecimiento se ha concentrado casi por completo en los países más ricos del mundo y las bajas tasas de finalización no han mejorado en 6 años (Reich & Ruipérez-Valiente, 2019). Analizar, con base en la analítica de datos disponibles, la experiencia de los diferentes actores y elementos didácticos de los cursos MOOC de la UPV: El trabajo fue muy productivo ya que se analizaron un gran número de experiencias MOOC que tenían el mismo objetivo. Estos estudios se realizaron a través de tres revisiones sistemáticas de bibliografía con las que se consiguieron un gran número de variables e indicadores que permitían hacer proyecciones de actuación de los participantes en los MOOC y que permitían mejorar los procesos y la calidad de los cursos. Llevando esta conclusión a investigaciones actuales, vemos como en Min, Teo & Rappa (2020) las percepciones del desempeño de los MOOC siguen estando representadas por la calidad de transmisión del conocimiento y la calidad de la interacción. No obstante, según éstos, la calidad de la interacción no está relacionada con la satisfacción en la experiencia de aprendizaje, mientras que sí se encontró que el hábito de usar MOOC como modo de aprendizaje aumenta significativamente la intención de continuación en el curso. Desarrollar modelos predictivos, basados en la analítica de aprendizaje, que describan el posible comportamiento de los participantes de los cursos MOOC. Creemos que el objetivo también se ha cumplido gracias al amplio trabajo de procesamiento y filtrado de los datos proporcionados por la UPV y las técnicas de Machine Learning utilizadas. Con los indicadores de abandono seleccionados a partir del listado obtenido en la Iteración I, se han podido formular y validar un conjunto de hipótesis de las cuales se han logrado métricas esperanzadoras para la predicción de los abandonos en los cursos de esta universidad. 160 Capítulo 5. Conclusiones Una parte importante de la investigación ha consistido en trabajo técnico de filtrado y tratamiento de datos mediante scripts Python para la obtención de los datos de algunos de esos indicadores seleccionados. Indicadores como la ausencia de los alumnos en diez días, la visualización de vídeos asignados inferior al 50% en las tres primeras semanas o la obtención de puntuaciones bajas en las pruebas de las tres primeras semanas, son algunos de los indicadores validados a lo largo de la investigación. En estos últimos dos años se siguen desarrollando nuevos modelos de predicción en entornos MOOC como el de Hmedna, El Mezouary & Baz (2019) cuyo objetivo es predecir los estilos de aprendizaje de los participantes teniendo en cuenta sus huellas de aprendizaje con el análisis de los datos recogidos en un curso de la misma plataforma edX; o como el modelo desarrollado por Jin (2020) en el que, también con la finalidad de reducir el abandono, se escogen como parámetros: la información del comportamiento, el tiempo de aprendizaje y los hábitos de estudio de los alumnos. Proponer estrategias, basadas en analíticas de aprendizaje, para mejorar la experiencia de los alumnos y de la universidad y los elementos didácticos de los MOOC de la UPV: El objetivo principal no trataba sobre indicadores, sino de estrategias y procedimientos automatizados. Con ello, el objetivo se ha cumplido al plantear la dupla trigger + email, en el que tras la activación de un indicador de abandono, se enviará un email al usuario afectado (ya sea este alumno o docente). Esta estrategia, al igual que el resto de los elementos obtenidos en cada una de las iteraciones de la investigación, fue validada por los expertos de la UPV. En investigaciones actuales se continúa analizando el uso de otras estrategias para reducir la tasa de abandono. Así por ejemplo, en Ortega-Arranz et al. (2019), se analizan las estrategias de gamificación basadas en recompensas para promover la participación de los estudiantes y prevenir la deserción, a pesar de no tener un efecto significativo en la retención y en el compromiso de los estudiantes. Proponer procedimientos automatizados que se plantean para poner en funcionamiento los indicadores de abandono seleccionados: 161 Tesis doctoral Se han validado un total de once procedimientos automatizados y por tanto se ha cumplido con el último de los objetivos propuestos. No obstante, algunos de los procedimientos propuestos no se han podido aplicar debido a que la UPV no contaba con la infraestructura necesario para ello en este momento. A pesar de esto, la propuesta final de mecanismos automatizados de envíos de email a alumnos y/o docentes informando de la incidencia detectada (que podría llevar asociado un posible abandono en el futuro) la consideramos muy válida para reducir la tasa de abandono de los MOOC de la UPV. Con estos mecanismos se podría conseguir que en el momento que un alumno no realice un porcentaje de tareas programadas o visualice vídeos de cada semana, automáticamente recibirá una notificación él y el docente indicándoles el evento, permitiendo por un lado el recordatorio y por otro lado la detección de anomalías en los problemas o vídeos asignados. Además, si durante las tres primeras semanas, no se visualizan el 50% de los vídeos asignados o se obtienen puntuaciones bajas en los exámenes realizados, se enviarán nuevamente notificaciones a alumnos y docentes con los incidentes. Esto también ocurrirá si el alumno necesita de varios intentos para realizar las pruebas de la primera semana. Por último, se marca un periodo de ausencia de una semana para notificar al alumno con una notificación recordándole su matriculación en el curso y los contenidos que todavía no ha visualizado. La puesta en práctica de estos mecanismos debe esperar a que finalice el desarrollo por parte de la UPV de la herramienta que permita el envío personalizado de correos electrónicos a partir de las bases de datos de la plataforma edX. Mecanismos similares a los diseñados se proponen en investigaciones recientes como la de Borrella, Caballero-Caballero & Ponce-Cueto (2019) en la que se pretenden identificar a los alumnos en riesgo de abandonar un curso, utilizando algoritmos de aprendizaje automático que trabajan con los datos de flujo de clics, diseñando una intervención que consiste en enviar correos electrónicos de ánimo personalizados a los estudiantes en riesgo. 162 Capítulo 5. Conclusiones 5.2. Discusión de las conclusiones parciales de las iteraciones. Para llegar a la propuesta definitiva aprobada con los procedimientos de mejora de la experiencia de los MOOC se ha dado un largo proceso de investigación en el que se han tomado conclusiones parciales en cada una de las iteraciones. De los modelos estudiados en las revisiones de bibliografía de la Iteración I, se ha comprobado cómo no todos han funcionado correctamente en la investigación realizada con los datos proporcionados por la UPV. Así, el modelo diseñado tiene en común indicadores de abandono con tres de los modelos analizados: el de Halawa, Greene & Mitchell (2014) (ausencias de diez días o más, omisión de vídeos en la unidad anterior y visualizaciones de vídeos inferior al 50% de los vídeos); el de García-Tinizaray et al. (2015) (omisión de tareas asignadas y puntuaciones bajas en las pruebas de las tres primeras semanas); y el de Fei & Yeung (2015) (número de intentos para resolver las pruebas de la primera semana). Muchos de los modelos analizados como Millecamp et al. (2018), Billings, Connors & Skiba (2001), Boyle & Wambach (2001), Chickering & Gamson (1987), Collis, DeBoer & Slotman (2001), Kizilcec et al. (2017) y Li et al. (2016) utilizaban indicadores de abandono que no se han podido contrastar al haber descartado los datos de los foros y de las comunicaciones alumno-alumno y alumno-docente. Además, hay modelos que lamentablemente no se han podido verificar, al utilizar indicadores de abandono de los que la plataforma MOOC de la UPV no aportaba información, como son los de León-Urrutia et al. (2017) y Tinto (1999) con los datos profesionales y compromiso académico; Kloft et al. (2014) con la navegación/clics que se realiza sobre la plataforma; Henderikx et al. (2017) con la encuesta inicial de motivación; Bean & Metzner (1985) con la experiencia académica previa, la influencia de los aspectos psicológicos, el rendimiento escolar y las metas educativas; y Kember (1989) y Escanés et al.(2014) con la información sobre la capacidad de autorregulación para atender tanto el trabajo académico como sus compromisos sociales y laborales. Dentro de las problemáticas identificadas en las experiencias MOOC, se han destacado cinco: la motivación de los participantes a la hora de inscribirse y finalizar el curso, la satisfacción 163 Tesis doctoral de los participantes, las características de los MOOC que condicionan la efectividad, la calidad de los cursos y la preocupación por la deserción. La motivación se trataba por ejemplo en Yamba-Yugsi & Luján-Mora (2017) donde se afirmaba que la motivación antes de iniciar el curso era muy importante para alcanzar el éxito. Respecto a la eficiencia de los cursos, Aguaded & Medina-Salguero (2015) determinan que solo un pequeño porcentaje de los que se inscriben en un MOOC son los que finalizan, y este abandono arranca desde los primeros días. Su apertura y gratuidad hace que muchos alumnos estén interesados inicialmente y se inscriban, pero finalmente no accedan al curso o lo abandonen antes de hacer las evaluaciones. La satisfacción de los participantes con los cursos también se ha visto respaldada, concluyendo por ejemplo en el estudio de Bartolomé-Pina & Steffens (2015) donde destacan que estos cursos permiten la transferencia del conocimiento y son una gran herramienta para el aprendizaje. En la investigación de Duart et al. (2018) que estaba dirigida a conocer la calidad pedagógica de los MOOC se encontró que la planificación flexible permite que el alumno autorregule su aprendizaje; que la presentación de los contenido (más que el contenido en sí mismo) motivan a los alumnos, al igual que la calidad de los recursos y su variabilidad; que la comunicación y la metodología empleada en los MOOC, determinan el abandono o no del curso; y finalmente, que las evaluaciones y las certificaciones siguen siendo el punto menos estudiado a pesar de que son los más criticados. Re pec o a la de erci n, a ore como Fern nde & Cano (2015) e alan la necesidad de dar a conocer más sobre el curso MOOC y sus objetivos, para así minimizar que las personas e in criban por alg na c rio idad , q e e e able can cri erio claro de in cripci n certificación, al igual que se planteen actividades más dinámicas que permitan la interacción con redes sociales y demás TIC, así como que las evaluaciones midan los objetivos realmente. Con todo esto, se vieron autores como Conole (2016) que propone un nuevo modelo con MOOC más activos y participativos, buscando la efectividad y calidad educativa; proponiendo la mejora de la interactividad gracias al uso de metodologías y herramientas que permitan la relación entre los participantes. Borras-Gene, Martinez-Nunez & Fidalgo-Blanco 164 Capítulo 5. Conclusiones (2016) también plantean un modelo de mejora del diseño de los MOOC que impacte significativamente en el comportamiento de los estudiantes, basado en el uso del aprendizaje cooperativo, la gamificación y nuevamente el uso de las redes sociales. Con todas estas propuestas, quedaba claro que el problema principal a solucionar era la elevada deserción, que se vio reflejada en el estudio empírico durante el análisis de las 260 ediciones de cursos de la UPV, en las que se obtuvo de media que el 80% de alumnos abandonaban. Gracias a una nueva búsqueda bibliográfica se pudo obtener un listado con un conjunto de indicadores que estuvieran directamente relacionados con esa deserción, destacando en esa búsqueda los artículos de Fei & Yeung (2015), Li et al. (2016) y Ye & Biswas (2014) en los que se proponía la creación de nuevos modelos de predicción en los que partiendo de unas hipótesis, se planteaban un conjunto de indicadores que anticiparan esos abandonos. En concreto, por ejemplo, el modelo de Fei & Yeung (2015) utilizaba solo como indicadores la descarga de videoconferencias, los resultados de exámenes semanales y el número de vistas de vídeos por semana. 5.3. Conclusiones emergentes. En esta sección nos centráremos en los elementos que han aparecido en la investigación y no eran esperados, agrupando estos elementos por la iteración en la que se ha producido. Una de las principales conclusiones no esperadas es que, de los veinticinco indicadores pedagógicos de abandono referidos por las revisiones bibliográficas de la Iteración I, solo se validan diez de ellos con los cursos de la UPV (no se tienen datos automáticos ni automatizables de los otros), y de esos finalmente solo seis de ellos son posibles predictores del abandono de los alumnos; o lo que es lo mismo, a pesar de la ingente cantidad de datos de los que se dispone, se echa en falta información sobre otros aspectos como: el estado de ánimo de los alumnos, datos de los docentes o si se complementa la plataforma MOOC con otros medios o redes sociales. Es por este motivo que, aunque con LA y ML se obtiene el 165 Tesis doctoral máximo rendimiento de los datos disponibles, no siempre funcionan correctamente al no poder tener disponibles todos los datos deseables. La primera revisión de literatura realizada en la Iteración I se realizó para identificar las principales problemáticas detectadas en los MOOC, y la conclusión emergente fue que la gran mayoría de las investigaciones analizadas se limitaban a tratar el problema de la alta tasa de abandono de los cursos, sin abordar otros posibles problemas que pudieran tener. Es por esto por lo que en esta investigación solo se ha analizado esta problemática. Además, cuando se realizó la revisión bibliográfica agrupada por años de los artículos que trataban sobre experiencias MOOC entre 2015 y 2018, sorprendió el hecho de que el número de artículos encontrados descendió de forma exponencial en los últimos años del intervalo. Una caída en el número de investigaciones si era esperada por el boom originado por los MOOC y sus investigaciones los primeros años, pero no se esperaba que fuera tan importante, ya que consideramos que aún queda mucho trabajo por delante en la optimización de estos. En esa misma revisión bibliográfica en la que se estudiaban multitud de experiencias MOOC, tampoco se esperaba, como se ha comentado anteriormente, que el concepto massive de los MOOC se estuviera perdiendo, ya que en la mayoría de las investigaciones no se contaba con ese alto número de alumnos a los que se hace referencia. En la segunda iteración, inicialmente, no se esperaba que el volumen de datos que se almacenaban en la plataforma edX de cada uno de los cursos fuera tan alto; y es que el hecho de registrar cada uno de los accesos e interacciones que los participantes realizaban en la interfaz genera una acumulación de datos que es necesario filtrar antes de poder analizarla. Además, esto se multiplica teniendo en cuenta que los datos corresponden a 700.000 participantes repartidos en 260 cursos desde el año 2015 hasta 2019. Dentro de esa misma iteración, hubiera sido importante haber conocido previamente el modo en el que los docentes tienen organizados sus cursos de modo práctico ya que, a pesar de dominar la estructura a nivel de base de datos de la plataforma, no conocíamos en detalle, por ejemplo, el hecho de que en los cursos de la UPV se trabaja por semanas en vez de por días. Esto originó que se tuviera que repetir la ejecución de la tercera iteración para modificar los procedimientos automatizados propuestos. 166 Capítulo 5. Conclusiones Como en toda plataforma tecnológica, en edX van surgiendo modificaciones/mejoras en la estructura de las bases de datos donde se almacenan los cursos, y esto dio lugar a un gran trabajo (no esperado) en el desarrollo de los scripts de filtrado y tratamiento de datos, para adap ar e a la e r c ra de da o cambian e de lo 260 cursos analizados. Para la última de las iteraciones en la que se proponían mecanismos automatizados de mejora, hubiera sido de gran utilidad haber conocido la organización y recursos con los que contaban desde la UPV. De este modo se podrían haber seleccionado mecanismos automatizados que fueran cien por cien compatibles con su infraestructura. 5.4. Limitaciones del trabajo La presente investigación ha permitido diseñar un conjunto de medidas automatizadas que permiten la mejora de la experiencia de los usuarios MOOC de la UPV. Ahora bien, es necesario reconocer que existen unas limitaciones, así como proponer algunas recomendaciones de cara a la realización de futuras investigaciones. La principal limitación con la que cuenta este trabajo es que las medidas diseñadas solo sirven en principio para los cursos de la UPV, y no está demostrado, que los indicadores de abandono que se han comprobado que son válidos en estos cursos, sean válidos en otras plataformas o instituciones. Otras de las limitaciones de la investigación es que ha habido que obviar los datos correspondientes a los foros, ya que la información allí recogida era de una gran magnitud, habiendo que dedicar una investigación en exclusiva a su análisis. Esta información de los foros ha sido utilizada en numerosos modelos que trabajaban con LA como los de Fei & Yeung (2015), García-Tinizaray, Ordoñez-Briceño & Torres-Díaz (2015) y Kizilcec, Piech & Schneider (2013). Los foros sigue siendo un foco de análsis en el último año dentro de los MOOC. Así por ejemplo, en Chen et al. (2020) se indica que la clasificación de opiniones de las publicaciones en foros de MOOC es esencial para que los educadores realicen intervenciones y para que los instructores mejoren el rendimiento del aprendizaje. 167 Tesis doctoral Respecto a la metodología aplicada, hubiera sido interesante realizar en cada una de las fases de la IBD un trabajo más amplio en las etapas de validación, de modo que además de la opinión de los expertos de la UPV, se pudieran haber aplicado los resultados obtenidos a datos concretos, y más concretamente, en la última iteración, donde no se pudieron probar los procedimientos automatizados diseñados. Por otro lado, en esta investigación se han definido medidas de mejora que se podrían aplicar en la UPV, pero en ningún momento se ha tenido de información sobre la capacidad que tiene esta institución a tomar un tipo de medidas u otras; y es que la universidad no siempre funciona como un sistema y no dispone siempre de los medios necesarios. 5.5. Trabajos futuros. Como ya se ha comentado, han quedado sin analizar todos los datos que ofrece la plataforma edX sobre los foros y el intercambio de mensajes; el volumen de estos datos es muy grande y ese fue el motivo por el que sacaron de la investigación principal. Relacionados con esos da o , e encon raron indicadore como: la cantidad de veces que se interactúa en el foro de Kizilcec et al. (2017), el n mero de men aje in ercambiado en re alumno profesor de Millecamp et al. (2018), número de veces que interactúa el alumno en los foros, wiki o en la plataforma de Li et al. (2016), navegación (clics) que se realiza sobre la plataforma y los vídeos de Kloft et al. (2014) o el número mensajes y veces que se accede en los foros de Rose et al. (2014) y Fei & Yeung (2015). Todos estos futuros indicadores será necesario procesarlos de forma similar a lo realizado en la Iteración II de la investigación (con nuevo desarrollo de scripts de filtrado) hasta obtener una única tabla en la que solo aparezcan esos indicadores y se pueda tratar con técnicas de Machine Learning para conseguir su validación o no como indicadores de abandono para la UPV. Centrándonos ya en los trabajos futuros propios de los resultados obtenidos, como se ha comentado es necesario, para la puesta en marcha de los mecanismos automáticos de mejora, la implantación de la herramienta de envío de emails personalizados en los servidores de la 168 Capítulo 5. Conclusiones UPV. Una vez implementada, es esencial tomar un curso como piloto para poner en funcionamiento los mecanismos desarrollados y evaluar la eficiencia de estos. Para la evaluación de los resultados, el hito buscado será nuevamente la reducción del porcentaje de abandono de ese curso piloto y es el principal objetivo que se quiere conseguir. Otros indicadores pueden ser estudiados de forma más individualizada, como qué acciones han tomado los instructores con la recepción de los mensajes de advertencia: si han tomado alguna medida especial con el alumnado ausente, si han modificado el contenido de los cursos /o deo , i han acado concl ione a cerca de la e al acione Desde el lado de los participantes, se puede evaluar si aunque el abandono no se haya visto modificado, al menos sí se ha incrementado el acceso de los usuarios que habían dejado de acceder; si se han visualizado algunos de los vídeos o contenidos que tenían pendientes de ver o si algunos de los mensajes recibidos han tenido mejor aceptación que otros (siempre referidos al incremento de la permanencia en el curso). Una vez se haya probado su validez en el curso piloto, es el momento de aplicar las herramientas de mejora sobre todos los cursos de la plataforma. Esto permitirá analizar si las mejoras obtenidas en el curso piloto se traducen del mismo modo en todos los cursos o es de forma desigual, y cuál es el motivo de ello. Por último, aunque el objetivo principal de la investigación es mejorar la experiencia de los cursos de la UPV y de sus participantes, no queda probado que los indicadores/hipótesis aprobadas y seleccionadas que funcionan con estos estudiantes, sean igual de válidos con otras plataformas de MOOC de otras universidades y países, ya que las características de estos variarán. Es por esto por lo que, como trabajos futuros de la investigación, considero importante la repetición de la iteración II con los datos de otros contextos para comprobar nuevamente mediante herramientas de Machine Learning la validación de estos indicadores. 169 Referencias bibliográficas Refe encia bibli g fica Adell, J. & Sales, A. (1999). El profesor online: elementos para la definición de un nuevo rol docente. Edutec, 99. Disponible: face.uc.edu.ve/webntce/clase02/proonline.html Aguaded, I. & Medina-Salguero, R. (2015). Criterios de calidad para la valoración y gestión de MOOC. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 119143. doi: http://dx.doi.org/10.5944/ried.18.2.13579. Aguaded, I., Vázquez-Cano, E. & López-Meneses, E. (2016). El impacto bibliométrico del movimiento MOOC en la Comunidad Científica Española. Educación XXI: revista de la Facultad de Educación, 19(2), 77-104. doi: 10.5944/educXX1.13217 Alario-Hoyos, C., Pérez-Sanagustín, M., Delgado-Kloos, C., Parada, H. A., y M o Organero, M. (2014). Del ing in o Par icipan Profile and U e of Social Tools in MOOC. IEEE Transactions on Learning Technologies 7(3), 260-266. doi: 10.1109/TLT.2014.2311807 Alpaydin, E. (2010). Introduction to Machine Learning 2nd ed. (Adaptive Computation and Machine Learning). The MIT Press. Amiel, T. & Reeves, T. C. (2008). Design-Based Research and Educational Technology: Rethinking Technology and the Research Agenda. Educational Technology & Society, 11(4), 29 40. Amigud, A., Arnedo-Moreno, J., Daradoumis, T. and Guerrero-Roldan, A.E. (2017), U ing learning anal ic for pre er ing academic in egri Research in Open and Distributed , The In erna ional Re ie Learning, Vol. 18 No. 5. of doi: https://doi.org/10.19173/irrodl.v18i5.3103 Anderson, T. (2005). Design-based research and its application to a call center innovation in distance education. Canadian Journal of Learning and Technology, 31(2), 69-84. 171 Tesis doctoral Area, M. & Adell, J. (2009). E-learning: Enseñar y aprender en espacios virtuales. En J de Pablos (Coord.) Tecnología Educativa. La Formación Del Profesorado En La Era de Internet, 391 424. Arlot, S. & Celisse, A. (2010). A survey of cross-validation procedures for model selection. Statistics surveys, 4, 40-79. doi: 10.1214/09-SS054 Arnal, J. (1992). Investigación educativa. Fundamentos y metodología. Barcelona: Labor Atiaja, L. (2016). The MOOC: evolution, problems and perspectives until 2015. Revista Congreso 5, 3. Avella, J., Kebritchi, M., Nunn, S., Kanai, T. (2016): Learning analytics methods, benefits, and challenges in higher education: a systematic literature review. Online Learn. J. 20(2), 13 29. Bartolomé-Pina, A. & Steffens, K. (2015) ¿Son los MOOC una alternativa de aprendizaje? Comunicar, vol. 22, n. 44, pp. 91-99. doi: http://dx.doi.org/10.3916/C44-2015-10 Baturay, M. H. (2015). An overview of the world of MOOCs. Procedia - Social and Behavioral Sciences, 174, 427 433. https://doi.org/10.1016/j.sbspro.2015.01.685. Bayeck, R. (2016). Exploratory study of MOOC learner demographic and mo i a ion: The case of students involved in groups. Open Praxis, 8(3), 223-233. doi: http://dx.doi.org/10.5944/openpraxis.8.3.282 Bean, J. & Metzner, B. (1985). A Conceptual Model of Nontraditional Undergraduate Student Attrition. Review of Educational Research, 55(4), 485 540. doi: https://doi.org/10.3102/00346543055004485 Beard, L. A. & Harper, C. (2002). Student perceptions of online versus on campus instruction. Education, 122, 658-663. Berman, D. (2012). In the Future, Who Will Need Teachers? The Wall Street Journal, 23/10/2012: http://online.wsj.com/article/SB10001424052970203 400604578075080640810820.html. 172 Referencias bibliográficas Bernard, R. M., P. C. Abrami, Y. Lou, E. Borokhovski, A. Wade, L. Wozney, P.A. Wallet, M. Fiset, and B. Huang. (2004). How does distance education compare with classroom instruction? A meta-analysis of the empirical literature. Review of Educational Research 74 (3):379 439. doi: https://doi.org/10.3102/00346543074003379 Berners-Lee, T., Hendler, J. & Lassila, O. (2001). The semantic web. Scientific american, 284(5), 28-37. Billings, D. M., Connors, H. R. & Skiba, D. J. (2001). Benchmarking best practices in Webbased nursing courses. Advances in Nursing Science, 23, 41-52. Bishop, C.M. (2006) Pattern recognition and machine learning, page 229. Springer-Verlag New York. Boland, A., Cherry, M. G., Dickson, R. (2014) Doing a S ema ic Re ie : A S den Guide. London: Sage. Boneu, J. M. (2007). Plataformas abiertas de e-learning para el soporte de contenidos educativos abiertos. RUSC. Universities and Knowledge Society Journal, 4(1), 36-47. Booth, A; Papaionnou; Sutton, A. (2012). Systematic Approaches to a Successful Literature Review. London: Sage. doi: 10.5596/c13-009 Borrella, I., Caballero-Caballero, S., Ponce-Cueto, E. (2019) L@S '19: Proceedings of the Sixth ACM Conference on Learning Scale. June 2019 Article No.: 24 Pages 1 9 doi: https://doi.org/10.1145/3330430.3333634 Borges, F. (2007). El estudiante de entornos virtuales. Una primera aproximación. Digithum, UOC, 9. Recuperado a partir de http://www.uoc.edu/digithum/9/dt/esp/borges.html Borras-Gene, O., Martinez-Nunez, M. & Fidalgo-Blanco, Á. (2016). New challenges for the motivation and learning in engineering education using gamification in MOOC. International Journal of Engineering Education, 32(1), 501-512. 173 Tesis doctoral Borup, J., Graham, C. R. & Davies, R. S. (2013). The nature of adolescent learner interaction in a virtual high school setting. Journal of Computer Assisted Learning, 29(2), 153 167. doi: https://doi.org/10.1111/j.1365-2729.2012.00479.x Bote-Lorenzo, M. L. & Gómez-Sánchez, E. (2017). Predicting the decrease of engagement indicators in a MOOC. In Proceedings of the Seventh International Learning Analytics & Knowledge Conference (pp. 143-147). doi: https://doi.org/10.1145/3027385.3027387 Bottles, K., Begoli, E. & Worley, B. (2014). Understanding the pros and cons of big data analytics. Physician Executive, 40(4), 6-12. Bouchet F. & Bachelet R. (2019) Socializing on MOOCs: Comparing University and Selfenrolled Students. In: Calise M., Delgado Kloos C., Reich J., Ruiperez-Valiente J., Wirsing M. (eds) Digital Education: At the MOOC Crossroads Where the Interests of Academia and Business Converge. EMOOCs 2019. Lecture Notes in Computer Science, vol 11475. Springer, Cham. https://doi.org/10.1007/978-3-030-19875-6_4 Box, G. E. & Cox, D. R. (1964). An analysis of transformations. Journal of the Royal Statistical Society. Series B (Methodological), 211-252. doi: https://doi.org/10.1111/j.2517-6161.1964.tb00553.x Boyle, D. K. & Wambach, K. A. (2001). Interaction in graduate nursing Web-based instruction. Journal of Professional Nursing, 17, 128-134. Bransford, J. D., Brown, A. L. & Cocking, R. R. (1999). How people learn: Brain, mind, experience, and school. Washington, D.C.: National Academy Press. doi: 10.17226/9853 Bringas, M.A. & Domínguez, C. (2014). Más allá de OCW: los cursos en línea masivos y abiertos (MOOC). Actas del XI Encuentro de Didáctica de la Historia Económica. Santiago de Compostela: Universidad de Santiago de Compostela. 174 Referencias bibliográficas Britain, S. & Liber, O. (2004). A framework for pedagogical evaluation of virtual learning environments. Educational Cybernetics: Reports. Paper 2. Recuperado de http://digitalcommons.bolton.ac.uk/iec_reports/2 Cabero, J. (2006). Bases pedagógicas del e-learning. RUSC. Universities and knowledge society journal, 3(1), 1-10. Cabero, J. (2015). Visiones educativas sobre los MOOC. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 39-60. doi: http://dx.doi. org/10.5944/ried.18.2.13718. Cabero, J. & Llorente, M.C. (Dirs.), (2006). La rosa de los vientos. Dominios tecnológicos de las TICs por los estudiantes. Sevilla: Grupo de Investigación Didáctica, Universidad de Sevilla. Cabero, J. & Lloren e, MC. (2007). El rol del profe or en eleformaci n . Po ibilidade de la Teleformación en el Espacio Europeo de Educación Superior. Granada: Editorial Octaedro Andalucía. pp. 289-299. Cabero, J. & Llorente, Mª. C. (2013). La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información y comunicación (TIC). Revista de Tecnología de Información y Comunicación en Educación, 7, (2), 11-22. Cabero, J., Marín-Díaz, V. & Sampedro-Requena, B. (2017). Aportaciones desde la investigación para la utilización educativa de los MOOC / Research contributions on the educational use of MOOCs. Revista Española De Pedagogía, 75(266), 7-27. Retrieved from http://www.jstor.org/stable/26379344 Caceres-Gonzalez, P. & Martinez-Naharro, S. (2011). Memoria del plan docencia en red 2007-2011. Retrieved from: http://www.upv.es/contenidos/DOCENRED/ infoweb/docenred/info/U0702930.pdf Caceres-Gonzalez, P. & Martinez-Naharro, S. (2014). Guia para la creacion de cursos MOOC. Retrieved from http://www.upv.es/contenidos/DOCENRED/ infoweb/docenred/info/U0711219.pdf 175 Tesis doctoral Calise, M., Reda, V. (2017). Federica experience in the rugged terrain of MOOCs inclusion in institutional strategies of university education. Proceedings of EMOOCs 2017: Work in Progress Papers of the Experience and Research Tracks and Position Papers of the Policy Track 89 In and Out. Campbell, J. P., DeBlois, P. B. & Oblinger, D. G. (2007). Academic analytics: A new tool for a new era. EDUCAUSE Review, 42(4), 40. Castaño, C. & Maiz, I. & Garay, U. (2015). Percepción de los participantes sobre el aprendizaje en un MOOC. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 197-221. doi: http://dx.doi.org/10.5944/ ried.18.2.13444 Castillo, N. M., Jinsol, L., Fatima, Z. T. & Daniel, W. A. (2015). "MOOC for Development: Trends, Challenges, and Opportunities". Journal Articles (Literacy.org). 6. https://repository.upenn.edu/literacyorg_articles/6 Cavanaugh, C. (2001). The effectiveness of interactive distance education technologies in K 12 learning: A meta-analysis. International Journal of Educational Telecommunications 7 (1):73 78. Cerón, J. R. & Quintero, J. H. (2018). Línea de tiempo de la evolución de los MOOC. Ingeniería e Innovación, 6(1), 40-46. Doi: https://doi.org/10.21897/23460466.1546 Chamberlin, L. & Parish, T. (2011). MOOC: Massive Open Online Courses or Massive and Often Obtuse Courses?. eLearn, 8. doi: https://doi.org/10.1145/2016016.2016017 Charleer, S., Moere, A. V., Klerkx, J., Verbert, K. & De Laet, T. (2018). Learning analytics dashboards to support adviser-student dialogue. IEEE Transactions on Learning Technologies, 11(3), 389-399. doi:10.1109/TLT.2017.2720670 Chatti, M. A., Dckhoff, A. L., Schroeder, U. & Thüs, H. (2012). A reference model for learning analytics. International Journal of Technology Enhanced Learning, 4(5-6), 318-331. doi: https://doi.org/10.1504/IJTEL.2012.051815 176 Referencias bibliográficas Chaupart, J. M., Corredor, M. V. & Marin, G. (1997). El tutor, el estudiante y su nuevo rol. Encuentro Internacional de Educación a Distancia Del Instituto de Educación a Distancia de La UIS. Chávez, F.J., Panchi, A. & Montoya, S. (2007). Abandono de estudios en la educación superior a distancia. Un análisis de casos. Innovación Educativa, 7(39), 5 17. Chen J, Feng J, Sun X & Liu Y (2020). Co-Training Semi-Supervised Deep Learning for Sentiment Classification of MOOC Forum Posts. Symmetry. 2020; 12, 8. doi: https://doi.org/10.3390/sym12010008 Chiappe-Laverde, A., Hine, N., Martínez-Silva, J.A. (2015) Literatura y práctica: una revisión crítica acerca de los MOOC. Comunicar. XXII, (44): 9-18. doi: https://doi.org/10.3916/C44-2015-01 Chickering, A. W. & Gamson, Z. F. (1987). Seven principles for good practice in undergraduate education. AAHE bulletin, 3, 7. doi: https://doi.org/10.1080/13562517.2013.827653 Clark, D., (2013): MOOC: taxonomy of 8 types of MOOC. Donald Clark Paln B,April 16, 2013, http://donaldclarkplanb.blogspot.co.uk/2013/04/MOOC-taxonomy-of-8-typesof-mooc.html Clow, D. (2013). An overview of learning analytics. Teaching in Higher Education, 18(6), 683-695. doi: https://doi.org/10.1080/13562517.2013.827653 Cobb, P., Confrey, J., Disessa, A., Lehrer, R. & Schauble, L. (2003). Desing experiment in Educational Research. Educational Researcher, 32(1), pp. 9-13. doi: https://doi.org/10.1080/13562517.2013.827653 Cocea, M. & Weibelzahl, S. (2007). Cross-system validation of engagement prediction from log files Creating new learning experiences on a global scale. Springer, 14-25. doi: https://doi.org/10.1007/978-3-540-75195-3_2 Codina, L. (2015) No lo llame Análisis Bibliográfico, llámelo Revisión Sistematizada. Cultura académica, comunicación. 177 Tesis doctoral Collis, B., De Boer, W. & Slotman, K. (2001). Feedback for web‐based assignments. Journal of Computer Assisted Learning, 17(3), 306-313. doi: https://doi.org/10.1046/j.02664909.2001.00185.x Confrey, J. (2006). The evolution of design studies as methodology, en Sawyer, R.K. (ed.). The Cambridge Handbook of the Learning Sciences, pp. 135-152. Nueva York: Cambridge University Press. Conole, G. (2016). MOOC as disruptive technologies: strategies for enhancing the learner experience and quality of MOOC. RED: Revista de Educacion a Distancia, (50), 118. Conole, G., Ga e i , D., Long, P. & Siemens, G. (2011). Message from the LAK 2011 General & Program Chairs. In G. Conole & D. Ga e i (Ed .), Proceeding of he 1 International Conference on Learning Analytics and Knowledge Association for Computing Machinery (ACM). Contreras, A. (2011). La educación a distancia en la Formación Profesional. Experiencias educativas en las aulas del siglo XXI: innovación con TIC (pp. 195 198). Recuperado a partir de http://dialnet.unirioja.es/servlet/articulo?codigo=3772967 Cook, M. (2016). State of the MOOC 2016: A year of massive landscape change for Massive Open Online Courses. Recuperado de https://www.onlinecoursereport.com/state-ofthe-mooc-2016-a-year-of-massive-landscape-change-for-massive-open-onlinecourses/ Cooper, H. (2010). Research synthesis and meta-analysis: A step-by-step approach. Thousand Oaks. Cormier, D. & Siemens, G. (2010). The open course: Through the open door--open courses as research, learning, and engagement. Educause Review, 45(4), 31-39. Crawford, M. W. (1999). Students' perceptions of the interpersonal communication courses offered through distance education (Doctoral dissertation, Ohio University, 1999). UMI Dissertation Services, (UMI No. 9929303). 178 Referencias bibliográficas Crossley, S., Paquette, L., Dascalu, M., McNamara, D. S. & Baker, R. S. (2016). Combining click-stream data with NLP tools to better understand MOOC completion. In Proceedings of the sixth international conference on learning analytics & knowledge (pp. 6-14). doi: https://doi.org/10.1145/2883851.2883931 Daniel, J.; Vázquez-Cano, E.; Gi ber , M. (2015) El f ro de lo MOOC: aprendi aje adap a i o o modelo de negocio? . RUSC. Universities and Knowlwdge Society Journal, 12 (1), pp. 64-74. doi: http://dx.doi.org/10.7238/rusc.v12i1.2475 Darder Me q ida, A.; P re , A. (2015) Online oring proced re for re earch projec supervision: management, organization and key elements , Jo nal of Ne Approaches in Educational Research, 4 (2), pp. 123-132. DBRC (The Design Based Research Collective) (2003). Design-Based Research: An Emerging Paradigm for Educational Inquiry. Educational Researcher, 32(1), pp. 5-8. doi: https://doi.org/10.1007/BF02504682 De Benito, B. & Salinas, J. (2016). La Investigación Basada en Diseño en Tecnología Educativa. Revista Interuniversitaria de Investigación en Tecnología Educativa, 4459. doi: https://doi.org/10.6018/riite2016/260631 Dean, J. & Ghemawat, S. (2008). MapReduce: simplified data processing on large clusters. Communications of the ACM, 51(1), 107-113. doi: https://doi.org/10.1145/1327452.1327492 Dede, C., (2006). Online professional development for teachers: Emerging models and methods. Cambridge, Mass.: Harvard Education Publishing Group. Del Peral-Pérez, J.J (2019). Patrones temporales de participación en MOOC. Estudio de un MOOC de lenguas (Temporal patterns of MOOC participation. Case study of a language MOOC). RIED Revista Iberoamericana de Educación a Distancia 22(2). doi: 10.5944/ried.22.2.23109 179 Tesis doctoral Design-Based Research Collective. (2003). Design-Based Research: An Emerging Paradigm for Educational Inquiry. Educational Researcher, 32(1), 5-8. doi: https://doi.org/10.3102%2F0013189X032001005 Despujol, I, Castaneda, L, Turró, C. (2018). Developing a MOOC initiative: lessons learnt from The Universitat Politecnica de Valencia experience. Turkish Online Journal of Distance Education. doi:10.17718/tojde.382805 Downes, S. (2012). What a MOOC Does #Change11. Recuperado de http://halfanhour.blogspot.co.uk/2012/03/what-mooc-does-change11.html Downes S. (2008). MOOC and Mookies: The Connectivism & Connective Knowledge Online Course. Seminar presentation delivered to eFest, Auckland, New Zealand. Disponible en: http://www.downes.ca/presentation/197 Dringus, L. P. (2012). Learning analytics considered harmful. Journal of Asynchronous Learning Network, 16 (3), 87-100. Driscoll, M.P. & Dick, W. (1999). New research paradigms in instructional technology. An inquiry. Educational Technology Research & Development, 47(2), 7-18. doi: https://doi.org/10.1007/BF02299462 Duart, J. M., Roig-Vila, R., Mengual-Andrés, S. & Maseda Durán, M. Á. (2018). La calidad pedagógica de los MOOC a partir de la revisión sistemática de las publicaciones JCR y Scopus (2013-2015). Revista Española de Pedagogía 266, 29-46.: doi: 10.22550/REP75-1-2017-02 Dyckhoff, A. L., Zielke, D., Bültmann, M., Chatti, M. A. & Schroeder, U. (2012). Design and implementation of a learning analytics toolkit for teachers. Journal of Educational Technology & Society, 15(3), 58-76. EADTU (2014). Porto Declaration on European MOOC. European Association for Distance Teaching Universities, Heerlen. Recuperado de http://www.eadtu.eu/images/News/Porto_Declaration_on_European_MOOC_Final. pdf 180 Referencias bibliográficas EADTU (2019) European Association of Distance Teaching Universities- MOOC status in European HEIs. EADTU (2018). MOOC Strategies in European Universities Status report. EADTU (2019). MOOC status in European HEIs - with special reference to opening up education for refugees Egger M, Smith GD, Sterne JA. (2001). Uses and abuses of meta-analysis. Clin Med.1:47884. doi: https://dx.doi.org/10.7861%2Fclinmedicine.1-6-478 Escanés, G., Herrero, V., Merlino, A. & Ayllón, S. (2014). Deserción en educación a distancia: factores asociados a la elección de modalidad como desencadenantes del abandono universitario. Virtualidad, Educación Y Ciencia, 5(9), 45 55. Fawcett (2004). ROC graphs: Notes and practical considerations for researchers. Fei, M. & Yeung, D. Y. (2015). Temporal Models for Predicting Student Dropout in Massive Open Online Courses. 2015 IEEE International Conference on Data Mining Workshop. doi: 10.1109/ICDMW.2015.174. doi: 10.1109/ICDMW.2015.174 Ferguson, R. (2012). Learning analytics: Drivers, developments and challenges. International Journal of Technology Enhanced Learning, 4(5/6), 304 317. doi: https://doi.org/10.1504/IJTEL.2012.051816 Ferguson, R. & Shum, S. B. (2012). Social learning analytics: five approaches. In Proceedings of the 2nd international conference on learning analytics and knowledge. pp. 23-33. doi: https://doi.org/10.1145/2330601.2330616 Ferreira I, Urrútia G & Alonso-Coello P. (2011). Revisiones sistemáticas y metaanálisis: Bases conceptuales e interpretación. Revista Española de Cardiología. 64(8):688696. doi: https://doi.org/10.1016/j.recesp.2011.03.029 Fidalgo-Blanco, Á., Sein-Echaluce, M.L., García-Peñalvo, F.J. & Conde, M.Á. (2015), U ing learning anal ic o impro e eam ork a e men , Computers in Human Behavior, Vol. 47, pp. 149-156. doi: https://doi.org/10.1016/j.chb.2014.11.050 181 Tesis doctoral Fink, A. (2010). Conducting research literatura reviews: From Internet to paper (3º ed). Thousand Oaks, California:Sage. Floridi, L. (2008). Glossary of term for the digital era. University of Hertfordshire & University of Oxford. Fritz, J. (2011). Cla room all ha alk: ing online co r e ac i i da a of cce f l students to raise self-awareness of underperforming peers , The In e ne and Highe Education, Vol. 14 No. 2, pp. 89-97. doi: http://dx.doi.org/10.1016/j.iheduc.2010.07.007 Galvez, A. & Tirado, F. (2006). Sociabilidad en pantalla. Un estudio de la interacción en los entornos virtuales. Barcelona: UOC. García, E. (2007). El abandono en cursos de e-learning: algunos aprendizajes para nuevas propuestas. Revista Iberoamericana de Educación, 44(3). Recuperado a partir de http://dialnet.unirioja.es/servlet/articulo?codigo=2471855 García-Aretio, L. (1994). Educación a distancia. Bases conceptuales. Educación a Distancia Hoy. Madrid: Universidad de Educación À Distância, 11 57. García-Aretio, L. (2011). Perspectivas teóricas de la educación a distancia y virtual. Revista española de pedagogía, 249, 255- 271. García-Are io, L. (2012): Q e ed caci n a di ancia (EaD)? Contextos Universitarios Mediados, 12 (15). García-Aretio, L. (2014). Bases, mediaciones y futuro de la educación a distancia en la sociedad digital. Madrid: Síntesis. García-Peñalvo, F. J., Fidalgo-Blanco, Á. & Sein-Echaluce, M. L. (2018). An adaptive hybrid MOOC model: Disrupting the MOOC concept in higher education. Telematics and Informatics, 35(4), 1018-1030. doi: https://doi.org/10.1016/j.tele.2017.09.012 182 Referencias bibliográficas García-Tinizaray, D., Ordoñez-Briceño, K. & Torres-Diaz, J. C. (2015). Learning analytics para predecir la deserción de estudiantes a distancia. Campus virtuales, 3(1), 120126. Ga e ic, D., Da on, S., Roger , T. & Ga e ic, D. (2016), Learning anal ic ho ld no promote one size fits all: the effects of instructional conditions in predicting academic cce , The Internet and Higher Education, Vol. 28, pp. 68-84 doi: https://doi.org/10.1016/j.iheduc.2015.10.002 Gibson, D.C. & Webb, M.E. (2015), Da a cience in ed ca ional a e men , Education and Information Technologies, Vol. 20 No. 4, pp. 697-713. doi: https://doi.org/10.1007/s10639-015-9411-7 Gillani, N. & Eynon, R. (2014). Los patrones de comunicación en los cursos en línea masivamente abiertas. Internet y Educación Superior, 23 (2014) 18 26. doi: https://doi.org/10.1016/j.psicod.2019.08.002 Goglio, V. (2019). The Landscape of MOOCs and Higher Education in Europe and the USA. Proceedings of EMOOCs 2019: Work in Progress Papers of the Research, Experience and Business Track. Gómez-Aguilar, D. A., García-Peñalvo, F. J. & Therón, R. (2014). Analítica visual en elearning. El profesional de la información, 23(3). doi: https://doi.org/10.3145/EPI González de Dios, J., Balaguer, A. (2007). Revisión sistemática y metanálisis: conceptos básicos. Evid Pediatr. 3:107 11. Grünewald, F., Mazandarani, E., Meinel, C., Teusner, R., Totschnig, M., y Willems, C. (2013). OpenHPI - a Case-Study on the emergence of two learning communities. Proc. IEEE Global Eng. Edu. Conf. (pp. 13- 15) Gutierrez-Osuna, R. (2001). Lecture 13: Validation. Wright State University Recuperado: http://research.cs.tamu.edu/prism/lectures/iss 183 Tesis doctoral Guyatt, M., Richardson A. & Jaeschke, C (2008). Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia? Revista médica de Chile, 133 (2), 246-249. doi: http://dx.doi.org/10.4067/S0719-01072018000300184 Halawa, S., Greene, D. & Mitchell, J. (2014). Dropout prediction inMOOC using learner activity features. Proceedings of the Second European MOOC Stakeholder Summit, 58-65. Harlen, W. & Doubler, S. (2004). Can teachers learn through enquiry online? Studying profesional development in science delivered online and on-campus. International Journal of Science Education 2(10):1247 67. doi: https://doi.org/10.1080/0950069042000177253 Harzing, A.W. & Alakangas, S. (2016). Google Scholar, Scopus and the Web of Science: a longitudinal and cross-disciplinary comparison. Scientometrics 106, 787 804. https://doi.org/10.1007/s11192-015-1798-9 Haythornthwaite, C. & de Laat, M. (2010). Social networks and learning networks: Using social network perspectives to understand social learning. Paper presented at the 7th International Conference on Networked Learning, Aalborg, Denmark. doi: https://doi.org/10.1007/s10648-014-9276-0 Henderikx, M. A., Kreijns, K. & Kalz, M. (2017). Refining success and dropout in massive open online courses based on the intention behavior gap. Distance Education, 38(3), 353-368. doi: https://doi.org/10.1080/01587919.2017.1369006 Hernández R, Fernández, C. & Baptista L. (2006). Metodología de la investigación. México: McGraw-Hill. Herrador, T.C. & Hernández, M. (2013). Un estudio del e-learning para adultos en educación universitaria a distancia: Un análisis estadístico sobre el rendimiento de estudiantes de Contabilidad Financiera en la UNED. Revista Iberoamericana de Educación., 16(2), 33 57. doi: https://doi.org/10.5944/ried.16.2.9904 184 Referencias bibliográficas Hew, K. F. (2016). Promoting engagement in online courses: What strategies can we learn from three highly rated MOOC. British Journal of Educational Technology, 47(2), 320-341. doi: https://doi.org/10.1111/bjet.12235 Higgins, J.P.T.; Green, S. (2011). Manual Cochrane de revisiones sistemáticas de intervenciones. The Cochrane Collaboration. Disponible en: http://handbook.cochrane.org Hill, P. (2012). Four Barriers That MOOCs Must Overcome To Build a Sustainable Model, Recuperado de: http://mfeldstein.com/four-barriers-thatmoocs-must-overcome-tobecome-sustainable-model/ Hilton III, J., Wiley, D., Stein, J. & Johnson, A. (2010). The Four «R»s of Openness and ALMS Analysis: Frameworks for Open Educational Resources. Open Learning, 25(1), 37-44. doi: https://doi.org/10.1080/02680510903482132 Hiltz, S. R. & R. Goldman, (2005). Learning together online: Research on asynchronous learning networks. Mahwah, N.J.: Lawrence Erlbaum. doi: https://doi.org/10.1080/02680510903482132 Himmel, E. (2002). Modelos de análisis de la deserción estudiantil en la educación superior. Calidad de La Educación, 17, 91 107. doi: http://dx.doi.org/10.31619/caledu.n17.409 Hmedna, B., El Mezouary, A. & Baz, O. (2020). A predictive model for the identification of learning styles in MOOC environments. Cluster Comput 23, 1303 1328. doi: https://doi.org/10.1007/s10586-019-02992-4 Holder, B. (2007). An investigation of hope, academics, environment, and motivation as predictors of persistence in higher education online programs. The Internet and Higher Education, 10(4), 245 260. doi: https://doi.org/10.1016/j.iheduc.2007.08.002 Holmberg, B. (2005). Theory and practice of distance education (2ª ed.). Londres/ Nueva York: Routledge. doi: https://doi.org/10.4324/9780203973820 185 Tesis doctoral Hone, K. S. & El Said, G. R. (2016). Exploring the factors affecting MOOC retention: A survey study. Computers & Education, 98, 157-168. doi: https://doi.org/10.1016/j.compedu.2016.03.016 Ifenthaler, D. & Widanapa hirana, C. (2014), De elopmen and alida ion of a learning analytics framework: two case studies using support vector machine , Technology, Knowledge and Learning, Vol. 19 Nos 1/2, pp. 221-240. doi: https://doi.org/10.1007/s10758-014-9226-4 Jacoby, J. (2014) El potencial disruptivo de la masiva Curso en Línea Abierta: Una revisión de la literatura. Journal of open, flexible, and distance learning, 18 (1), 73-85. Jaffe, R., Moir, E., Swanson, E. & Wheeler, G. (2006). EMentoring for Student Success: Online mentoring and professional development for new science teachers. In Online professional development for teachers: Emerging models and methods, ed. C. Dede, 89 116. Cambridge, Mass.: Harvard Education Press. Jansen, D. & Schuwer, R. (2015). Institutional MOOC strategies in Europe. Status report based on a mapping survey conducted in October- December 2014. EADTU. Recuperado de http://eadtu.eu/documents/Publications/OEenM/Institutional_MOOC_strategies_in_ Europe.pdf Jayaprakash, S.M., Moody, E.W., Lauría, E.J., Regan, J.R. & Baron, J.D. (2014), Earl aler of academically at-ri k Learning Analytics, den : an open o rce anal ic ini ia i e , Journal of Vol. 1 No. 1, pp. 6-47. doi: https://doi.org/10.18608/jla.2014.11.3 Jin, C. (2020). MOOC student dropout prediction model based on learning behavior features and parameter optimization. Interactive Learning Environments doi: https://doi.org/10.1080/10494820.2020.1802300 Johnson, L., Smith, R., Willis, H., Levine, A. & Haywood, K. (2011). The 2011 Horizon Report. Austin: The New Media Consortium. 186 Referencias bibliográficas Kay, D., Korn, N. & Oppenheim, C. (2012). Legal, risk and ethical aspects of analytics in higher education. Kelly, A.E., Lesh R.A. & Baek J.Y. (2008). Handbook of design research in methods in education. Innovations in science, technology, engineering, and mathematics learning and teaching. Nueva York: Routledge. Kember, D. (1989). A longitudinal-process model of drop-out from distance education. The Journal of Higher Education, 60(3), 278 301. doi:https://doi.org/10.1080/00221546.1989.11775036 Khalil, M.; Ebner, M. (2016) De-Iden ifica ion in Learning Anal ic , Journal of Learning Analytics, 3(1), pp. 129-138. doi: https://doi.org/10.18608/jla.2016.31.8 Khalil, M.; Ebner, M.; Kopp, M.; Lorenz, A.; Kalz. M. (2016), Proceedings of the European Stakeholder Summit on experiences and best practices in and around MOOC(EMOOC 2016) Norderstedt, pp. 265-278 Ki ilcec, R. F.; Piech, C.; Schneider, E. (2013) Decon r c ing di engagemen : anal ing learner bpop la ion in ma i e open online co r e . En Proceedings of the third international conference on Learning Analytics and knowledge, ACM, pp. 170- 179. doi: https://doi.org/10.1145/2460296.2460330 Kizilcec, R. F. & Schneider, E. (2015). Motivation as a lens to understand online learners: Toward data-driven design with the OLEI scale. ACM Transactions on ComputerHuman Interaction (TOCHI), 22(2), 6. doi: https://doi.org/10.1145/2699735 Kizilcec, R. F., Pérez-Sanagustín, M. & Maldonado, J. J. (2017). Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses. Computers & education, 104, 18-33. doi: https://doi.org/10.1016/j.compedu.2016.10.001 Kloft, M., Stiehler, F., Zheng, Z. & Pinkwart, N. (2014). Predicting MOOC dropout over weeks using machine learning methods. In Proceedings of the EMNLP 2014 187 Tesis doctoral Workshop on Analysis of Large Scale Social Interaction in MOOC (pp. 60-65). doi: 10.3115/v1/W14-4111 Kluijfhout, E., Henderikx, P. & Ubachsun, G. (2019). MOOC status in European HEIs - with special reference to opening up education for refugees. European Association of Distance Teaching Universities (EADTU) Kno , J. (2018). Be ond he c and he : Learning i h algorithms in massive open online courses (MOOC). International Review of Education, 64(2), 161-178. doi: https://doi.org/10.1007/s11159-018-9707-0 Kohavi, R (1995).: A Study of Cross-Validation and Bootstrap for Precision Precision and Model Selection Artificial Intelligence Proceedings 14th International Joint Krumm, A.E., Waddington, R.J., Teasley, S.D. & Lonn, S. (2014), A learning managemen system-based early warning system for academic advising in undergraduate engineering , in Learning Analytics, Springer, New York, NY, pp. 103-119. doi: https://doi.org/10.1007/978-1-4614-3305-7_6 Lan, A. S.; Wa er , A. E.; S der, C.; Barani k, R. G. (2014) Spar e fac or anal i for learning and con en anal ic , Journal of Machine Learning Research, 15, pp. 19592008. Lang, C., Siemens, G., Wise, A. & Ga e i , D. (2017). The Handbook of Learning Anal ic . Society for Learning Analytics Research. doi: 10.18608/hla17 Langseth, I., Lysne, D.A., Nykvist, S., Haugsbakken H. (2019) MOOC platforms: A Nordic approach to research informed education in higher education. Proceedings of EMOOCs 2019: Work in Progress Papers of the Research, Experience, and Business Tracks at EMOOCs 2019 (CEUR Workshop Proceedings, Volume 2356). Vol. 2356., CEUR Workshop Proceedings, pp.157-162. Larson, S. C. (1931). The shrinkage of the coefficient of multiple correlation. Journal of Educational Psychology, 22(1), https://psycnet.apa.org/doi/10.1037/h0072400 188 45. doi: Referencias bibliográficas Lee, Y. & Choi, J. (2011). A Review of Online Course Dropout Research: Implications for Practice and Future Research. Educational Technology Research and Development, 59(5), 593 618. doi: https://doi.org/10.1007/s11423-010-9177-y León-Urrutia, M., Vázquez-Cano, E. & López-Meneses, E. (2017). MOOC learning analytics using real-time dynamic metrics. @ tic. revista d'innovació educativa, (18), 3. doi: https://doi.org/10.7203/attic.18.10022 Letelier, L. M., Manríquez, J. J. & Rada, G. (2005). Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia? Revista médica de Chile, 133(2), 246-249. doi: http://dx.doi.org/10.4067/S0034-98872005000200015 Li, W., Gao, M., Li, H., Xiong, Q., Wen, J. & Wu, Z. (2016). Dropout prediction inMOOCusing behavior features and multi-view semi-supervised learning. In Neural Networks (IJCNN), 2016 International Joint Conference on (pp. 3130-3137). doi: https://doi.org/10.1109/IJCNN.2016.7727598 Liang, J., Yang, J., Wu, Y., Li, C. & Zheng, L. (2016). Big data application in education: dropout prediction in edx MOOC. IEEE Second International Conference on Multimedia Big Data (BigMM) (pp. 440-443). IEEE. doi: 10.1109/BigMM.2016.70 Littlejohn, A., Hood, N., Milligan, C. & Mustain, P. (2015). Learning in MOOC: Motivations and self-regulated learning in MOOC. The Internet and Higher Education, 29, 40-48. doi: https://doi.org/10.1016/j.iheduc.2015.12.003 Liu, Yuping; & Shrum, L.J. (2002). What is interactivity and is it always such a good thing? Implications of definition, person, and situation for the influence of interactivity on advertising effectiveness. Journal of advertising. 4, pp.53-64. doi: https://doi.org/10.1080/00913367.2002.10673685 Long, P. & Siemens, G. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE Review. López, J. & Leal, I. (2002), Aprender a planificar la formación, Barcelona, Paidós. 189 Tesis doctoral López-Meneses, E., Vázquez Cano, E. & Román, P. (2015). Análisis e implicaciones del impacto del movimiento MOOC en la comunidad científica: JCR y Scopus (201013). Comunicar: Revista Científica de Comunicación y Educación, 22(44), 73-80. doi: http://dx.doi.org/10.3916/C44-2015-08 López-Meneses, E., Gómez-Galán, J., Bernal-Bravo, C. & Vázquez-Cano, E. (2020). Fortalezas y debilidades de los cursos masivos abiertos en línea (MOOC) frente a otros modelos de enseñanza en contextos socio-educativos. Formación universitaria, 13(6), 77-84. https://dx.doi.org/10.4067/S0718-50062020000600077 Ma, J., Han, X., Yang, J. & Cheng, J. (2015), E amining he nece ar condi ion for engagement in an online learning environment based on learning analytics approach: he role of he in r c or , The Internet and Higher Education, Vol. 24, pp. 26-34. doi: https://doi.org/10.1016/j.iheduc.2014.09.005 Mancera, D. T. & Saldaña, D. G. (2014). Los MOOC y su papel en la creación de comunidades de aprendizaje y participación. RIED. Revista Iberoamericana de Educación a Distancia, 17(1), 13-34. doi: https://doi.org/10.5944/ried.17.1.11570 Margaryan, A. Bianco, M. & Littlejohn, A. (2015). Calidad de la enseñanza de cursos masivos en línea abiertos (MOOC). Computadoras y Educación, 80 (2015) 77 Mar n D a , V.; Sampedro Req ena, B. (2016) par icipa ion of familie 83. Web 2.0 for he in igora ion and and comm ni ie , Journal of New Approaches in Educational Research, 5 (1), pp. 38-43. Doi: 10.7821/naer.2016.1.137 Martin, Br. & Irvine, J. (1983). Assessing Basic Research: Some Partial Indicators of Scien ific Progre in Radio A ronom , Research Policy, 12, pp. 61- 90. Martín, J.L.R., Tobías, A. & Seoane, T. (2006). Revisiones sistemáticas en ciencias de la vida. Toledo: FISCAM. Martin-Martín, A., Orduna-Malea, E., Thelwall, M. (2019). Google Scholar, Web of Science, and Scopus: Which is best 190 for me?. Recuperado de: Referencias bibliográficas https://blogs.lse.ac.uk/impactofsocialsciences/2019/12/03/google-scholar-web-ofscience-and-scopus-which-is-best-for-me/ Martínez, M. (2006). La investigación cualitativa (síntesis conceptual). Revista de investigación en psicología, 9(1), 123-146. Martínez-Uribe, C. (2008). La Educación a Distancia: sus características y necesidad en la educación actual. Educación. XVII, (33) :7-27 Mazza, R. & Milani, C. (2004). Gismo: a graphical interactive student monitoring tool for course management systems. In International Conference on Technology Enhanced Learning, Milan (pp. 1-8). doi: 10.1007/978-3-642-16020-2_53 McKenney, S. & Reeves, T. (2012). Educational Design Research. In Handbook of research on educational communications and technology. Springer. doi:10.1007/978-1-46143185-5_11 McNeely, C. L. & Hahm, J. (2014). The big (data) bang: Policy, prospects, and challenges. Review of Policy Research, 31(4), 304-310. doi: https://doi.org/10.1111/ropr.12082 Meade MO, Richardson WS. (1997). Selecting and appraising studies for a systematic review. Ann Intern Med. 127: 531-537. doi: https://doi.org/10.7326/0003-4819-1277-199710010-00005 Méndez García, Carmen M. (2013). Diseño e implementación de cursos abiertos masivos en línea (MOOC): expectativas y consideraciones prácticas. RED. Revista de Educación a Distancia. Nº39. doi: 10.7821/naer.2016.1.137 Mendoza, Y. D., Castro, M. A. B. & Castro, G. R. B. (2018). Nuevos escenarios de aprendizaje, un reto pedagógico. Revista Atlante: Cuadernos de Educación y Desarrollo (mayo 2018). Mengual-Andr , S. (2013) Re hinking he role of Higher Ed ca ion , Journal of New Approaches in Educational Research, 2 (1), pp. 1-2. doi: 10.7821/naer.2.1.1-2 191 Tesis doctoral Mengual-Andrés, S., Vázquez-Cano, E. & Meneses, E. L. (2017). La productividad científica sobre MOOC: aproximación bibliométrica 2012-2016 a través de SCOPUS. RIED. Revista Iberoamericana de Educación a Distancia, 20(1), 39-58. doi: https://doi.org/10.5944/ried.20.1.16662 Millecamp, M., Gutiérrez, F., Charleer, S., Verbert, K. & De Laet, T. (2018). A qualitative evaluation of a learning dashboard to support advisor-student dialogues. In Proceedings of the 8th International Conference on Learning Analytics and Knowledge (pp. 56-60). doi: https://doi.org/10.1145/3170358.3170417 Milligan, C. & Littlejohn, A. (2017). Why study on a MOOC? The motives of students and professionals. The International Review of Research in Open and Distributed Learning, 18(2). doi: https://doi.org/10.19173/irrodl.v18i2.3033 Min, H. D., Teo, T., Rappa, N.A (2020). Understanding continuance intention among MOOC participants: The role of habit and MOOC performance, Computers in Human Behavior, volume 112, 106455, doi: https://doi.org/10.1016/j.chb.2020.106455. Monteón-Getino, A. (2015). El impacto del Big-data en la Sociedad de la Información. Significado y utilidad. Historia y comunicación social. doi: https://doi.org/10.5209/rev_HICS.2015.v20.n2.51392 Mohri, M., Rostamizadeh, A. & Talwalkar, A. (2018) Foundations of machine learning. Ch. 1, 1 3 MIT press. Moore, A. W. (2001). Cross-validation for detecting and preventing overfitting. School of Computer Science Carneigie Mellon University. Moore, M. G. & Kearsley, G. (2012). Distance education: A systems view of online learning (3ª ed.). Belmont, CA: Wadsworth Cengage Learning. Mora, L. F. M. (2014). La integración académica de los estudiantes universitarios como factor determinante del abandono de corto plazo: Un análisis en el sistema de educación superiora distancia del Ecuador. RIED: Revista Iberoamericana de Educación a Distancia, 17(2), 173 196. 192 Referencias bibliográficas Mystakidis, S., Berki, E. (2014). Participative Design of qMOOCs with Deep Learning and 3d Virtual Immersive Environments: the case of MOOC Agora. Recuperado de: http://openeducationeuropa.eu/sites/default/files/m4ws_submission_2.pdf O Connor, K. (2018). MOOC-ing the Discipline: Tensions in the Development and Enactment of a Massive Open Online Course. In Reconfiguring Knowledge in Higher Education (pp. 113-127). Springer, Cham. doi: https://doi.org/10.1007/978-3-31972832-2_7 Onrubia, J. (2005). Aprender y enseñar en entornos virtuales: actividad conjunta, ayuda pedagógica y construcción del conocimiento. RED. Revista de Educación a Distancia, Número Monográfico II, 16. OpenupEd (2015). Definition Massive Open Online Courses (MOOC). Recuperado de http://www.openuped.eu/images/docs/Definition_Massive_Open_Online_Courses.p df Ortega-Arranz, A., Bote-Lorenzo, M.L., Asensio-Pérez, J.I., Martínez-Monés, A., GómezSánchez, E., Dimitriadis, Y. (2019). To reward and beyond: Analyzing the effect of reward-based strategies in a MOOC, Computers & Education, Volume 142, 103639, doi: https://doi.org/10.1016/j.compedu.2019.103639. Papamitsiou, Z. & Economide , A.A. (2014), Learning anal ic and ed ca ional da a mining in prac ice: a ema ic li era re re ie of empirical e idence , Journal of Educational Technology & Society, Vol. 17 No. 4. Peña A. (2014). Review: Educational data mining: A survey and a data miningbased analysis of recent works. Expert Systems with Applications, 41(4):1432 1462. doi: https://doi.org/10.1016/j.eswa.2013.08.042 Peña B. (2019). Análisis del aprendizaje a través de la huella en Moodle: aplicación en la asignatura de Termodinámica Técnica. IN-RED 2019. V Congreso de Innocación educative y docencia en red. doi: 10.4995/INRED2019.2019.10415 193 Tesis doctoral Phelps, S.F.; Campbell, N. (2012). Systematic reviews in theory and practice for library and information studies. Library and Information Research, 36 (112), 6-15. Picciano, A. (2012). The Evolution of Big Data and Learning Analytics in American Higher Education. Journal of Asynchronous Learning Networks, 16(3), 9-20. Raffaghelli, J. E., Cucchiara, S. & Persico, D. (2015). Methodological approaches in MOOC research: Retracing the myth of Proteus. British Journal of Educational Technology, 46, 488 509. doi: https://doi.org/10.1111/bjet.12279 Ramos, C. & Y dko, E. (2008). Hi (no Di c ion Po ) predic den cce in online courses: A double cross-validation study. Computers & Education, 50(4), 1174-1182. doi: https://doi.org/10.1016/j.compedu.2006.11.003 Reeves, T. (2006). Design research from a technology perspective. In Educational design research (pp. 64-78). Routledge. Reeves, T. C., Herrington, J. & Oliver, R. (2005). Design research: A socially responsible approach to instructional technology research in higher education. Journal of Computing in Higher Education, 16(2), 97-116. doi: https://doi.org/10.1007/BF02961476 Refaeilzadeh Payam, Tang Lei & Lui Huan (2008), k-fold Cross-Validation, Arizona State University. doi: 10.1007/978-0-387-39940-9_565 Reich, J. (2015) Reboo ing MOOC Re earch. Improve assessment, data sharing, and e e imen al de ign , Science, 347 (6217), pp. 34-35. doi: 10.1126/science.1261627 Reich J., Ruipérez-Valiente, José A. (2019). The MOOC pivot. Science 11, vol. 363, issue 6423, pp. 130-131. doi: 10.1126/science.aav7958 Restauri, S. L., King, F. L. & Nelson, J. G. (2001). Assessment of Students' Ratings for Two Methodologies of Teaching via Distance Learning: An Evaluative Approach Based on Accreditation. 194 Referencias bibliográficas Riel, M. & Polin, L. (2004). Online communities: Common ground and critical differences in designing technical environments. In Designing for virtual communities in the service of learning, ed. S. A. Barab, R. Kling, and J. H. Gray, 16 50. Cambridge, Mass.: Cambridge University Press. doi: 10.1017/CBO9780511805080.006 Rivera, D.E. (2011). Factores que inciden en la retención o deserción del estudiante a distancia. Nova Southeastern University. http://ponce.inter.edu/cai/tesis/deriveraindex.html Rodríguez, N. (2014). Fundamentos del proceso educativo a distancia: enseñanza, aprendizaje y evaluación. Revista Iberoamericana de Educación., 17(2), 75 93. doi: 10.5944/ried.17.2.12679 Rodriguez T, María (2019). Sistemas de predicción y recomendación para MOOC. Univeristat Politécnica de Valencia Roger , T., Ga e ic, D. & Da on, S. (2016), Learning anal ic and he impera i e for heor dri en re earch , The SAGE Handbook of E-Learning Research, pp. 232-250. doi: https://dx.doi.org/10.4135/9781529716696.n12 Romero, C., Ventura, S. & Garcia, E. (2008). Data mining in course management systems: Moodle case study and tutorial. Computers & Education, 51(1), 368-384. doi: https://doi.org/10.1016/j.compedu.2007.05.016 Romero, C. & Ventura, S. (2010). Educational data mining: A review of the state of the art. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 40(6):601 618 doi: 10.1109/TSMCC.2010.2053532 Rosé, C. P., Carlson, R., Yang, D., Wen, M., Resnick, L., Goldman, P. & Sherer, J. (2014). Social factors that contribute to attrition in MOOC. In Proceedings of the first ACM conference on Learning@ scale https://doi.org/10.1145/2556325.2567879 195 conference (pp. 197-198). doi: Tesis doctoral Rostaminezhad, M.A., Nozayani, N., Nozori, D. & Iziy, M. (2013). Factors Related to Elearner Dropout: Case Study of IUST Elearning Center. Science Direct, 83, 522 527. doi: https://doi.org/10.1016/j.sbspro.2013.06.100 Ruipérez-Valiente, P., Muñoz-Merino J., Díaz, H., Ruiz, J. S. & Delgado-Kloos, C. (2017). Evaluation of a learning analytics application for open edX platform. Computer Science and Information Systems 14, 1. doi: https://doi.org/10.2298/CSIS160331043R Ruipérez-Valiente, J. A. (2020). El Proceso de Implementación de Analíticas de Aprendizaje. RIED. Revista Iberoamericana de Educación a Distancia, 23(2), pp. 88-101 doi: http://dx.doi.org/10.5944/ried.23.1.26283 Ruipérez-Valiente, J. A. Jenner, M, Staubitz, T, Li, X, Despujol, I (2020). Macro MOOC Learning Analytics: Exploring Trends Across Global and Regional Providers. Learning Analytics & Knowledge Conference 2020. doi: https://doi.org/10.1145/3375462.3375482 Russo, C., Ramón, H., Alonso, N., Cicerchia, L., Esnaola, L. & Tessore, J.P. (2016). Tratamiento masivo de datos utilizando técnicas de machine learning. XVIII Workshop de Investigadores en Ciencias de la Computación WICC 2016 Salinas, I. & Viticcioli, M. (2008) Catalogación Innovar con blogs en la enseñanza universitaria presencial. EDUTEC, Revista Electrónica de Tecnología Educativa.Núm. 27. doi: https://doi.org/10.21556/edutec.2008.27.464 Salinas, J. & De Benito, B. (2012). El e-portfolio como herramienta para la construcción de los Entornos Personales de Aprendizaje en la materia de Tecnología Educativa. Congreso Nacional Edutec. doi: 10.13140/2.1.3666.4967 Salinas, L.A., Chinchilla, P.E. & Payares, J. (2012). Deserción escolar en el Bachillerato virtual de la Universidad La Gran Colombia con base en la caracterización de la población. 196 Referencias bibliográficas Sánchez, J. (2010). Cómo realizar una revisión sistemática y un meta-análisis. Aula Abierta, 38(2). Sánchez-Meca, J. & Botella, J. (2010). Revisiones sistemáticas y meta-análisis: Herramientas para la práctica profesional. Papeles del psicólogo, 31(1), 7-17. Sánchez-Valtierra, J. (2013). Práctica docente. Métodos de investigación mixto: un paradigma de investigación cuyo tiempo ha llegado. Recuperado de: http://practicadocentemexico.blogspot.com/2013/03/metodos-de-investigacionmixto-un.html Sanchis-Font, R., Castro-Bleda, M., Turró-Ribalta, C., Despujol-Zabala, I. (2018). In egraci n del U er E perience Q e ionnaire Shor nacional de innovación educativa y de en MOOC UPV. Congreso docencia en red. doi: https://doi.org/10.4995/INRED2018.2018.8840 Sawyer, R.K. (2006). The New Science of Learning, en Sawyer, R.K. (ed.). The Cambridge Handbook of the Learning Sciences, pp. 1-18. Nueva York: Cambridge University Press. doi: 10.1017/CBO9781139519526 Schwen, T. M. & N. Hara. (2004). Community of practice: A metaphor for online design. In Designing for virtual communities in the service of learning, ed. S. A. Barab, R. Kling, and J. H. Gray, 154 78. Cambridge, U.K.: Cambridge University Press. doi: https://doi.org/10.1080/01972240309462 Sedano, B. (2017). Español para viajeros: diseño de un MOOC de lenguas a partir del análisis de necesidades formativas en el dominio turístico. Tesis doctoral presentada en la UNED. Shen, J., Ye, M., Wang, Y. & Zhao, Y. (2016). Massive Open Online Course (MOOC) in China: Status quo, opportunities, and challenges. Paper presented at the IEEE Global Engineering Education Conference 10.1109/EDUCON.2016.7474692 197 (EDUCON). doi: Tesis doctoral Siemens, G. (2004). Connectivism. A Learning Theory for the Digital Age. ElearnSpace. Recuperado de: http://www.elearnspace.org/Articles/connectivism.htm Siemens, G. (2011), "1st International Conference on Learning Analytics and Knowledge 2011", en Technology Enhanced Knowledge Reearch Institute (TEKRI), blog Universidad de Athabasca, Disponible en: https://tekri.athabascau.ca/analytics Siemens, G. (2013). Learning Analytics: The emergence of a discipline. American Behavioral Scientist, 57(10), 1380-1400. doi: https://doi.org/10.1177%2F0002764213498851 Sinha, T., Jermann, P., Li, N. & Dillenbourg, P. (2014). Your click decides your fate: Inferring information processing and attrition behavior from mooc video clickstream interactions. arXiv preprint arXiv:1407.7131. Sitzmann, T., Kraiger, K., Stewart, D. & Wisher, R. (2006). The comparative effectiveness of Web-based and classroom instruction: A meta-analysis. Personnel Psychology 59:623 64. doi: https://doi.org/10.1111/j.1744-6570.2006.00049.x Stocks, J. T. & Freddolino, P. P. (2000). Enhancing computer-mediated teaching through interactivity: The second iteration of a World Wide Web-based graduate social work course. Research on Social Work Practice, 10(4), 505-518. doi: https://doi.org/10.1177%2F104973150001000409 Tashakkori, A. & Teddlie, C. (2003). Handbook of Mixed Methods in Social & Behavioral Research Thousand Oaks: Sage. Tello, S. F. (2007). An analysis of student persistence in online education. International Journal of Information and Communication Technology Education (IJICTE), 3(3), 47 62. doi: 10.4018/jicte.2007070105 Thurmond, V. A. (2003). Examination of interaction variables as predictors of students' satisfaction and willingness to enroll in future Web-based courses while controlling for student characteristics. Published Dissertation. University of Kansas. Parkland, 198 Referencias bibliográficas FL: Dissertation.com. Available online http://www.dissertation.com/library/1121814a.htm Thurmond, V. & Wambach, K. (2004). Towards an understanding of interactions in distance education. Online Journal of Nursing Informatics, 8(2), 18. Tinto, V. (1989). Definir la deserción: una cuestión de perspectiva. Revista de Educación Superior, 71, 33 51. Tinto, V. (1999). Taking retention seriously: Rethinking the first year of college. NACADA Journal, 19(2), 5 9. doi:10.12930/0271-9517-19.2.5 Torras-Virgili, M. E. & Bellot-urbano, A. (2018). Learning Analytics: Online Higher Education in Management. In 4th Annual International Conference on Management, Economics and Social Development (ICMESD 2018). Atlantis Press. doi: https://dx.doi.org/10.2991/icmesd-18.2018.46 Turro, C., Canero, A. & Busquets, J. (2010). Video learning objects creation with Polimedia. IEEE International Symposium on Multimedia (ISM), 2010, Taichung, 371-376. Doi: 10.1109/ISM.2010.69 Ubachs, G. & Konings, L. (2018) MOOC Strategies in European Universities. Status report based on a mapping survey conducted in December 2017 May 2018. EADTU. Retrieved from URL https://tinyurl.com/MOOC-Strategies UNESCO & COL (Commonwealth of Learning) (2016). Making Sense of MOOC: A Guide for Policy-Makers in Developing Countries. M.Patru y V. Balaji (Eds.). París/ Burnaby: UNESCO and Commonwealth of Learning. Recuperado de http://unesdoc.unesco.org/images/0024/002451/245122E.pdf Valenzuela, J. (2000). «Tres autos del aprendizaje: aprendizaje estratégico en educación a distancia». I Seminario sobre Educación a Distancia y Aprendizaje Virtual. México DF: Universidad Autónoma Metropolitana. Valero Orea, S., Salvador Vargas A. & García-Alonso Marcela (2015). Minería de datos: predicción de la deserción escolar mediante el algoritmo de árboles de decisión y el 199 Tesis doctoral algoritmo de los k vecinos más cercanos. Universidad Tecnológica de Izúcar de Matamoros, Prolongación Reforma 168. Varón, C. A. S. (2010). La educación a distancia, reduce las distancias. Punto de Vista, 1(2), 9 22. Vásquez, C.R. & Rodríguez, M.C. (2007). La deserción estudiantil en educación superior a distancia: perspectiva teórica y factores de incidencia. Centro, 37(3-4), 107 122. Vázquez Cano, E. & López Meneses, E. (2015). La filosofía educativa de los MOOC y la educación universitaria. RIED. Revista Iberoamericana de Educación a Distancia, 18(2), 25-37. doi: https://doi.org/10.5944/ried.18.2.14261 Veletsianos, G., Collier, A. & Schneider, E. (2015). Digging deeper into learners' experiences in MOOC s: Participation in social networks outside of MOOC s, notetaking and contexts surrounding content consumption. British Journal of Educational Technology, 46(3), 570-587. doi: https://doi.org/10.1111/bjet.12297 Volman, M. (2005). A variety of roles for a new type of teacher educational technology and the teaching profession. Teaching and Teacher Education.21.1. 15-31. doi: https://doi.org/10.1016/j.tate.2004.11.003 Vrasidas, C. & Glass, G. V. (2004). Teacher professional development: Issues and trends. In Online professional development for teachers, ed. C. Vrasidas and G. V. Glass, 1 12). Greenwich, Conn.: Information Age. Wang, Y. & Baker, R. (2015). Content or platform: Why do students complete MOOC. MERLOT Journal of Online Learning and Teaching, 11(1), 17-30. Wagner, E. D. (1994). In support of a functional definition of interaction. The American Journal of Distance Education, 8(2), 6-29. doi: https://doi.org/10.1080/08923649409526852 Wagner, E. D. (1997). Interactivity: From agents to outcomes. In T. E. Cyrs (Ed.), Teaching and learning at a distance: What it takes to effectively design, deliver, and evaluate 200 Referencias bibliográficas programs. San Francisco: Jossey-Bass Publishers. doi: https://doi.org/10.1016/j.sbspro.2013.10.429 Wang, F. & Hannafin, M. (2005). Design-based research and technology-enhanced learning environments. Educational Technology Research and Development, 53(4). doi: 10.1007/BF02504682 Watted, A. & Barak, M. (2018). Motivating factors of MOOC completers: Comparing between university-affiliated students and general participants. The Internet and Higher Education, 37, 11-20. Doi: https://doi.org/10.1016/j.iheduc.2017.12.001 West, D. M. (2012). Data mining, data analytics, and web dashboards. Governance Studies at Brookings, 1-10. Whitehill, J., Williams, J., Lopez, G., Coleman, C. & Reich, J. (2015). Beyond prediction: First steps toward automatic intervention in MOOC student stopout. http://www.educationaldatamining.org/ Witten I.H., E. Frank, M.A. Hall (2011), Data Mining: Practical Machine Learning Tools and Techniques, 3rd ed., Morgan Kaufmann, San Francisco. Wu, B. & Chen, X. (2017). Continuance intention to use MOOC: Integrating the technology acceptance model (TAM) and task technology fit (TTF) model. Computers in Human Behavior, 67, 221-232. doi: https://doi.org/10.1016/j.chb.2016.10.028 Xing, W. & Du, D. (2018). Dropout Prediction in MOOC: Using Deep Learning for Personalized Intervention. Journal of Educational Computing Research. doi: https://doi.org/10.1177%2F0735633118757015 Xu, W., Jia, Y., Fox, A., Patterson, D. (2014). From MOOC to SPOC: Lessons from MOOC at Tsinghua and UC Berkeley. Journal of Learning Analytics, 1(3), 169-172 Xu, J.; Kang, Q.; Song, Z. (2015). The current state of systematic reviews in library and information studies. Library & Information Science Research, 37 (4): 296-310. doi: https://doi.org/10.1016/j.lisr.2015.11.003 201 Tesis doctoral Yamba-Yugsi, M. & Luján-Mora, S. (2017). Cursos MOOC: factores que disminuyen el abandono en los participantes. Enfoque UTE, 8(1), 1-15. doi: https://doi.org/10.29019/enfoqueute.v8n1.124 Ye, C. & Biswas, G. (2014). Early prediction of student dropout and performance in MOOC using higher granularity temporal information. Journal of Learning Analytics, 1(3), 169-172. doi: https://doi.org/10.18608/jla.2014.13.14 Zakharova, U.S. (2019) Online Course Production and University Internationalization: Correlation Analysis. In: Calise M., Delgado Kloos C., Reich J., Ruiperez-Valiente J., Wirsing M. (eds) Digital Education: At the MOOC Crossroads Where the Interests of Academia and Business Converge. EMOOCs 2019. Lecture Notes in Computer Science, vol 11475. Springer, Cham. https://doi.org/10.1007/978-3-030-19875-6_12 Zambrano, J., Cano, L. & Presiga K. (2017). Virtualidad y MOOC desde la perspectiva de estudiantes universitarios. Virtualidad, Educación y Ciencia. 15(8):106-119. doi: https://doi.org/10.25044/25392190.968 Zhang, D. (2005). Interactive multimedia-based e-learning: A study of effectiveness. American Journal of Distance Education 19 (3):149 62. doi: https://doi.org/10.1207/s15389286ajde1903_3 Zhao, Y., Lei, J., Yan, B., Lai, C. & Tan, H. S. (2005). What makes the difference? A practical analysis of research on the effectiveness of distance education. Teachers College Record 107 (8). doi: https://doi.org/10.1111/j.1467-9620.2005.00544.x Zhu, M., Sari, A. & Lee, M. M. (2018). A systematic review of research methods and topics of the empirical MOOC literature (2014 2016). The Internet and Higher Education, 37, 31-39. doi: https://doi.org/10.1016/j.iheduc.2018.01.002 202 Anexos ANEXOS 203 Machine Learning y predicciones para la mejora del rendimiento en MOOC ÍNDICE DE ANEXOS Anexo 1. Iteración I. Rev. bibliográfica I. Fichas de revisión de artículos. ....................... 207 Anexo 2. Iteración I. Rev. bibliográfica II. Fichas de revisión de artículos. ...................... 291 Anexo 3. Iteración II. Código fuente scripts. ..................................................................... 327 Anexo 4. Iteración II. Listado de cursos analizados. .......................................................... 377 Anexo 5. Iteración II. Tablas de métricas hipótesis por curso analizado. .......................... 389 Anexo 6. Iteración III. Informe ejecutivo de presentación de resultados. .......................... 455 Anexo 7. Iteración III. Presentación para exposición de resultados. .................................. 469 204 ÍNDICE DE TABLAS Tabla 1. Artículo 1. 2015 .................................................................................................... 209 Tabla 2. Artículo 2. 2015 .................................................................................................... 211 Tabla 3. Artículo 3. 2015 .................................................................................................... 214 Tabla 4. Artículo 4. 2015 .................................................................................................... 216 Tabla 5. Artículo 5. 2015 .................................................................................................... 218 Tabla 6. Artículo 6. 2015 .................................................................................................... 220 Tabla 7. Artículo 7. 2015 .................................................................................................... 224 Tabla 8. Artículo 8. 2015 .................................................................................................... 227 Tabla 9. Artículo 9. 2015 .................................................................................................... 229 Tabla 10. Artículo 10. 2015 ................................................................................................ 232 Tabla 11. Artículo 1. 2016 .................................................................................................. 234 Tabla 12. Artículo 2. 2016 ................................................................................................. 236 Tabla 13. Artículo 3. 2016 ................................................................................................. 238 Tabla 14. Artículo 4. 2016 ................................................................................................. 241 Tabla 15. Artículo 5. 2016 ................................................................................................. 244 Tabla 16. Artículo 6. 2016 ................................................................................................. 248 Tabla 17. Artículo 7. 2016 ................................................................................................. 251 Tabla 18. Artículo 1. 2017 ................................................................................................. 254 Tabla 19. Artículo 2. 2017 ................................................................................................. 257 Tabla 20. Artículo 3. 2017 ................................................................................................. 260 Tabla 21. Artículo 4. 2017 ................................................................................................. 262 Tabla 22. Artículo 5. 2017 .................................................................................................. 265 Tabla 23. Artículo 6. 2017 .................................................................................................. 268 Tabla 24. Artículo 7. 2017 .................................................................................................. 270 Tabla 25. Artículo 1. 2018 .................................................................................................. 273 Tabla 26. Artículo 2. 2018 .................................................................................................. 276 Tabla 27. Artículo 3. 2018 .................................................................................................. 279 Tabla 28. Artículo 4. 2018 .................................................................................................. 282 Tabla 29. Artículo 5. 2018 .................................................................................................. 285 205 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 30. Artículo 6. 2018 .................................................................................................. 288 Tabla 31. Artículo 1. Learning Analytics. .......................................................................... 293 Tabla 32. Artículo 2. Learning Analytics. .......................................................................... 295 Tabla 33. Artículo 3. Learning Analytics. .......................................................................... 297 Tabla 34. Artículo 4. Learning Analytics. .......................................................................... 299 Tabla 35. Artículo 5. Learning Analytics. .......................................................................... 301 Tabla 36. Artículo 6. Learning Analytics. .......................................................................... 304 Tabla 37. Artículo 7. Learning Analytics. .......................................................................... 307 Tabla 38. Artículo 8. Learning Analytics. .......................................................................... 310 Tabla 39. Artículo 9. Learning Analytics ........................................................................... 312 Tabla 40. Artículo 10. Learning Analytics. ........................................................................ 314 Tabla 41. Artículo 11. Learning Analytics. ........................................................................ 316 Tabla 42. Artículo 12. Learning Analytics. ........................................................................ 319 Tabla 43. Artículo 13. Learning Analytics. ........................................................................ 321 Tabla 44. Artículo 14. Learning Analytics. ........................................................................ 323 Tabla 45. Artículo 15. Learning Analytics. ........................................................................ 325 Tabla 46. Listado de cursos analizados .............................................................................. 378 Tabla 47. Resultados de las hipótesis para cada curso ....................................................... 391 206 Anexo 1 Ane o 1. I e aci n I. Re . bibliog fica I. Ficha de e i i n de a c lo . 207 Anexo 1 Tabla 1. Artículo 1. 2015 Autor/es Nombre del artículo Revista Tipo de estudio Otros INFORMACIÓN GENERAL DEL ARTÍCULO Ignacio Aguaded, Área de estudio Educación Rosario MedinaSalguero Criterios de la calidad Año, Idioma 2015, idioma español para la valorización de original y país los MOOCs RIED. Revista Objetivos Identificar los Iberoamericana de elementos claves que Educación a Distancia aseguran los índices de 2015, 18 (2) calidad y de la gestión de los MOOC. Cualitativo Hipótesis No se evidencia ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad, Abandono, Otros) La calidad de los MOOCs en su aplicación educativa desde su creación en el 2012 HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Instrumentos de medición Otros Técnicas indirectas o no interactivas, documentos bibliográficos científicos. revistas, libros, estudios, periódicos DATOS DE LAS EXPERIENCIAS Ámbito Educativo No. De No especifica participantes cuantos documentos se analizaron País No se especifica Año 2015 Resultados Desde el año 2012 con la creación de los MOOCs y en el 2013 con las críticas a los mismos, se considera que al momento de realizar el estudio, los MOOCs estaban debilitados por la gran deserción que se evidenció en los diferentes estudios analizados. Por lo que la principal recomendación es estudiar las debilidades para reforzar la calidad de esta tecnología. Si bien se considera que la aplicación de los MOOCs es beneficiosa y se han hecho campañas de promoción para ser aplicados, el hecho de ser gratuitos, de carecer de capacitación y certificación hace que sea renegada por los docentes. Otros estudios, hacen especial énfasis en aquellos criterios de calidad que se evidencian al incorporar los MOOC, entre los que se encuentra la autonomía, interactividad, flexibilidad, participación e integración de contenidos, entre otros. 209 Machine Learning y predicciones para la mejora del rendimiento en MOOC Conclusiones La conclusión a la que se llega es que pesar de las oportunidades que brinda esta tecnología., tal y como se presenta la capacitación, no es viable en cuanto a calidad que ofrece, y de ahí su deserción. Otros Criterios establecidos Criterios no considerados Cómo se hace el tratamiento de datos Tratamiento de datos Análisis cualitativo La repercusión de los MOOCs desde su lanzamiento hasta hoy día, su proyección y estudios sobre las dimensiones a tener en cuenta en la evaluación de la calidad de un MOOC. No se especifica. Organización de la información por los criterios definidos. Matriz de análisis cualitativa. Descripción de los datos obtenidos, agrupando los autores 210 Anexo 1 Tabla 2. Artículo 2. 2015 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Carlos Castaño Área de Educación Garrido, Inmaculada estudio Maiz Olazabalaga y Urtza Garay Ruiz Nombre del Percepción de los Año, 2015, español, España artículo participantes sobre el Idioma aprendizaje en un original y MOOC país Revista Revista Objetivos Analizar cómo perciben el Iberoamericana de aprendizaje en un MOOC sus Educación a participantes Distancia Tipo de estudio Descriptivo Hipótesis La percepción de la utilidad (PU) y la percepción del disfrute (PD) influyen directamente en la percepción global sobre el aprendizaje. En cambio, la percepción de la facilidad de uso (PFU), además de influir en la percepción global, también lo hace tanto en la percepción de la utilidad (PU) como en la percepción del disfrute (PD), aspectos que contribuyen directamente en la motivación de los alumnos. Otros Se diseñó un curso cooperativo, siendo su punto de encuentro el foro. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) La satisfacción por parte de los usuarios HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Instrumentos La escala TAM de medición (Technology Acceptance Model) Otros La adaptación de la MOOCs se llevó a cabo utilizando tres áreas de evaluación: 1. Percepción de Utilidad (PU). 2. Percepción de facilidad de uso (PFU). 3. Percepción de disfrute (PD) DATOS DE LAS EXPERIENCIAS 211 Machine Learning y predicciones para la mejora del rendimiento en MOOC Ámbito Universitario. Población Muestra La muestra final con la Observaciones que se realizó el estudio fue con 85 participantes. Principalmente para los alumnos de 4º curso de Educación Primaria de la Universidad del País Vasco, aunque se abrió a todo aquel que quisiera participar De los 744 que se inscribieron, 186 realizaron las primeras actividades, pero solo 85 llegaron a finalizar el curso. Programa estadístico Spss Método y Se dividieron en dos Tratamiento procedimiento grupos los participantes de los del grado y los que son resultados participantes externos. Dentro de ese grupo se hizo clasificación al género (femenino, masculino). Se analizó también el tipo de participante (Muy oculto, oculto, participante, colaborador). País España, en especial la Año 2013 provincia del País Vasco Resultados La percepción de los participantes frente a la utilización de los MOOCs es positiva en un 90% en total y manteniéndose en los tres criterios evaluados en el instrumento. Se muestra una ligera diferencia entre los participantes, ya que los de no grado tienen una perspectiva del 100 % favorable y los del grado en un 83%, ambos dicen que la mayor fortaleza es la cooperación y participación con otras personas. En el caso de la facilidad de la utilización del MOOC, el 96% de los participantes del grado les pareció fácil de utilizar y al 83% de los de no grado les parece fácil. Todos se muestran agradados y expresan que han disfrutado de las actividades. El comportamiento de mujeres y hombres varía siendo en la primera y segunda variable los hombres de no grado, y las mujeres de grado expresan la mejor utilidad. En cuanto al tipo de participantes, los resultados obtenidos no son de significación, se evidencia similitudes en las respuestas dadas por los participantes individualistas y ocultos y los activos y colaboradores. 212 Anexo 1 Conclusiones Se logró concluir que la percepción general ante los MOOCs es positiva, por la facilidad y utilidad del curso, sin embargo, la motivación varía de acuerdo al tipo de participante. Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX Youtube El curso MOOC se alojó en la plataforma METAUNIVERSIDAD basada en Chamilo, utilizando software libre de gestión e-learning licenciada bajo la GNU/GPLv3. 213 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 3. Artículo 3. 2015 Autor/es Nombre del artículo Revista Tipo de estudio INFORMACIÓN GENERAL DEL ARTÍCULO Cabero Almenara, J. Área de estudio Educativa Visiones educativas Año, Idioma 2015, España, sobre los MOOC original y país Castellano RIED. Revista Iberoamericana de Educación a Distancia, 18(2), 39-60. Bibliográfico Objetivos Reconocer la realidad de los MOOCs en la educación universitaria Hipótesis Identificar las ideologías emergentes que apoyan y rechazan los MOOC Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Las fortalezas y posibilidades, las debilidades y limitaciones de la incorporación de los MOOCs en la educación universitaria HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos de No se evidencia medición Otros Revisión y análisis de documentos bibliográficos científicos. Revistas, libros, estudios, periódicos DATOS DE LAS EXPERIENCIAS Ámbito Universitario No. De No se especifica participantes País España Año 2015 Resultados Se plantean los MOOCs como la gran alternativa para el cambio educativo, sin embargo se evidencian grandes porcentajes de deserción. Conclusiones Si bien pareciera que las debilidades y limitaciones tienen mayor fuerza sobre las posibilidades y fortalezas. Los MOOCs son herramientas realmente exitosas para llevar a cabo el proceso de enseñanza-aprendizaje a nivel universitario, sin embargo, para poder alcanzar y superar las expectativas que se presentan, será indispensable superar las limitaciones y debilidades. Otros 214 Anexo 1 Criterios establecidos Criterios no considerados Cómo se hace el tratamiento de datos Tratamiento de datos Análisis cualitativo Fortalezas y posibilidades, debilidades y limitaciones No se evidencia Se clasificaron los autores por su visión sobre los MOOC, para establecer las fortalezas y desventajas. Análisis de los estudios bibliográficos. 215 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 4. Artículo 4. 2015 Autor/es Nombre del artículo Revista Tipo de estudio Otros INFORMACIÓN GENERAL DEL ARTÍCULO Nathan Castillo, Jinsol Área de estudio Educación Lee, Fátima Zahra y Daniel Wagner MOOCs for Año, Idioma 2015, Pensilvania development: Trends, original y país Estados Unidos, inglés Challenges and Opportunities Journal Articles Objetivos Sintetizar la (Literacy.org). 6 conferencia de la Universidad de Pensilvania Conferencia Hipótesis No se evidencia ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Las tendencias, desafíos y oportunidades de los MOOC HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos de No se evidencia medición Otros Cada una de las presentaciones de las conferencias Universitarias de la Universidad de Pensilvania Ámbito País Resultados Conclusiones Educación No. De No se especifica Universitaria participantes Estados Unidos Año 2015 Se evidencia el deseo de que los MOOCs sean incorporados con éxito y logren abarcar al mayor número de estudiantes posibles. Para esto es indispensable superar las limitaciones que presenta, entre ellos lo que se refiere al contexto, y adaptación a la población. Es indispensable adaptar los MOOCs a los diferentes contextos y realidades, ya que este será un elemento de gran importancia para lograr el éxito. Se debe reforzar la capacidad que tienen para llegar a gran cantidad de población, por bajo coste, destaca también la prevalencia actual que tienen las TIC desde temprana edad en todo el mundo. Otros Análisis cualitativo 216 Anexo 1 Criterios establecidos Criterios no considerados Cómo se hace el tratamiento de datos Tratamiento de datos Tendencias, desafíos y oportunidades de los MOOC. No se especifica No se especifica Análisis y síntesis de cada una de las presentaciones de la conferencia 217 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 5. Artículo 5. 2015 Autor/es Nombre del artículo INFORMACIÓN GENERAL DEL ARTÍCULO Meltem Huri Baturay Área de estudio An overview of the world of MOOCs Año, Idioma original y país Revista Procedia - Social and Behavioral Sciences, Objetivos Tipo de estudio Otros Bibliográfico Hipótesis Educación universitaria 2015 Definir el origen de los MOOCs y las implementaciones pedagógicas y tecnológicas que ha tenido desde su creación. No se evidencia ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) La efectividad de la inclusión de los MOOCs HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No evidencia Instrumentos de No se evidencia medición Otros Ámbito País Resultados Educación universitaria se No. De No se participantes especifica Cadde Universidad Año 2015 pek, Ankara, 06550, Turquía Los países europeos han hecho adaptaciones de las plataformas MOOC de EEUU, en Turquía, sin embargo, no existe plataforma MOOC. Las características que resaltan y favorecen las iniciativas, son: abiertos, participativos y repartido. Los principales países que se encuentran en la utilización de los MOOCs son: estados unidos, Reino Unido e India. El origen de los MOOCs era conectivista principalmente, sin embargo, estudios demuestran que han cambiado al incluir certificados de conocimiento que permiten entrar al campo laboral. 218 Anexo 1 Conclusiones Si bien, nació pensado en que el aprendizaje y evaluación se realizará en pareja o grupos, las actividades han sido modificadas a individuales, evaluaciones con selección simple y contenidos en línea, que implican videos y lecturas principalmente. Los MOOCs son una de las tendencias más importantes en la educación superior en los últimos años. Representa el acceso abierto, libre, contenido educativo global, basado en video, boletines de problemas y foros. Debido a la tendencia de utilizarlos cada vez más se hace indispensable generar investigaciones que permitan reconocer su importancia, y aquellos aspectos que permitan la mejora. Otros Criterios establecidos Criterios no considerados Cómo se hace el tratamiento de datos Tratamiento de datos Análisis cualitativo Implementación pedagógica e implementación tecnológica No se evidencia No se evidencia Análisis de los datos bibliográficos de revistas, investigaciones, entre otros. 219 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 6. Artículo 6. 2015 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Littlejohn, A., Hood, N., Área de Milligan, C., & Mustain, P. estudio Nombre del artículo Learning in MOOCs: Año, Idioma 2015 Motivations and selforiginal y regulated learning in país MOOCs. Revista The Internet and Higher Objetivos Investigar la Education, 29, 40-48. influencia de las diferentes motivaciones en los comportamientos de aprendizaje autorregulado Tipo de estudio Hipótesis Otros Citado 117 veces ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) La motivación del aprendizaje autorregulado HERRAMIENTAS UTILIZADAS Entrevistas Semi estructurada. La Encuesta Encuesta validada entrevista surgió de la de una versión modificación de una validada la cual fue encuesta ya realizada en modificada otra investigación. Esta se adaptó al contexto de esta investigación (Experiencias MOOC) Instrumentos de medición Otros DATOS DE LAS EXPERIENCIAS Ámbito Universidad de Población 788 participantes Washington curso el aprendizaje de los MOOCs 'Introducción a la Ciencia de datos' Muestra 362 contestaron la Observaciones encuesta. Las entrevistas se realizaron a través de Skype con 32 participantes de 16 países. Todas las 220 Anexo 1 Método procedimiento País Resultados entrevistas fueron grabadas y transcritas textualmente. y Se obtuvieron datos cuantitativos, se obtuvieron a partir de la encuesta, los cuales permitieron desarrollar un perfil para cada participante. Se realizó una puntuación por separado para 8 subprocesos específicos y se analizó en base a la estructura factorial y la estadística descriptiva. Las entrevistas se realizaron a través de Skype, fueron grabadas y transcritas textualmente. Estas se analizaron en combinación con los datos cuantitativos con el fin de sondear cómo los participantes autorregulan su comportamiento en relación a cada uno de los subprocesos. En un primer momento, se realizarán tres rondas sucesivas para los 8 subprocesos y poder interpretar cada dato de forma independiente. En segundo lugar, se les asigna a los participantes un rango entre (1 a 32) correspondiente a su puntuación SRL general, que se calculó mediante la adición de las respuestas para cada uno de los 39 artículos, con una puntuación posible mínimo de 39 y una puntuación máxima de 195. Las puntuaciones totales sirvieron de referencia para el análisis. El análisis de correlación de Pearson realizado entre los ocho factores determina la fuerte correlación entre cada uno de los ocho subfactores y para la puntuación global para el instrumento, indicando que las construcciones forman un grupo coherente. Estados Unidos Año 2015 1. Ajuste de la motivación: Cuatro categorías de objetivos surgieron: el aprendizaje y el desarrollo general; adopción de enfoques específicos sabe cómo; para lograr la certificación; y para completar todas las asignaciones. 2. La autoeficacia: relacionada con la confianza en su capacidad de aprender, la confianza en sus conocimientos de la materia, y la determinación y disciplina al llevar a cabo actividades de aprendizaje. 3. Las estrategias de las tareas: surgieron un gran número de temas: el aprendizaje selectivo; llevar a cabo la lectura de fondo; comprometerse con el material adicional que complementa el MOOC; toma de notas y la creación de registros personales de contenido desde el MOOC (y sin hacer notas o registros); observación de conferencias y la realización de las pruebas y asignaciones; y la realización de actividades prácticas para consolidar el aprendizaje. 4. Interés: se evidenció por parte de los participantes, total interés en utilizar los MOOC, ya que le permiten desarrollar conocimientos en el área laboral, la capacidad para establecer relación teoría- práctica, y la obtención de un certificado. 221 Machine Learning y predicciones para la mejora del rendimiento en MOOC Conclusiones 5. Auto- satisfacción y autoevaluación: Los participantes demuestras satisfacción por los conocimientos adquiridos, al autoevaluarse y valorar su desenvolvimiento durante el curso MOOC Se evidencia un contraste de resultados entre los alumnos con índice alto e índice bajo, confirmando las teorías de los estudios anteriores en el área. 1. Los individuos con altas puntuaciones ven los MOOCs principalmente como una oportunidad de aprendizaje profesional. Centraron su motivación y objetivos de participación en el desarrollo del conocimiento y la experiencia que estaba relacionada a su contexto de trabajo en lugar de las motivaciones más extrínsecos tales como pasar las asignaciones y recibir el certificado de finalización. Esto llevó a la conceptualización del MOOC como una oportunidad de aprendizaje no formal, permitiendo a cada alumno lograr el alcance de manera independiente de las actividades y objetivos basados en sus necesidades e intereses, más que en las formalidades del curso como tal. Por lo que centrarse en sus necesidades, le permite comprometerse y adoptar estrategias de trabajo más flexibles y mejor adaptación. La estrecha relación entre su participación en el MOOC y sus necesidades del lugar de trabajo (presentes y futuras) llevó a estos estudiantes a puntuar alto la tarea de interés, ya que podrían aplicar sus conocimientos directamente a sus funciones profesionales. Este enfoque en el desarrollo de conocimientos especializados de sus funciones profesionales en lugar de los logros formales se traduce en una mayor satisfacción general. 2. Por el contrario, aquellos alumnos con bajas puntuaciones tendían a estar más preocupados con la obtención de un certificado de finalización y en consecuencia estaban más centrados en completar todas las actividades y evaluaciones. Al mismo tiempo, estos estudiantes eran más propensos a ser impulsados por factores de motivación extrínseca, y se utilizan marcadores externos como evidencia de su aprendizaje. Estos estudiantes fueron menos propensos a conectar su aprendizaje con tareas específicas del lugar de trabajo o para discutir la forma en que estaban aplicando activamente el conocimiento y la experiencia que se estaban desarrollando en su contexto de trabajo. Tendían a conceptualizar el MOOC como una actividad de aprendizaje formal, la adopción de un enfoque más uniforme y lineal para su compromiso. Su aprendizaje se centra principalmente en el propio MOOC, en lugar de ser distribuida entre el MOOC y el entorno en línea de su lugar de trabajo. Esto llevó a los niveles más bajos de interés e influyó en la forma en que estos alumnos evalúan su aprendizaje, con la mayoría de los estudiantes a través de medidas extrínsecos, como el logro de las 222 Anexo 1 evaluaciones o la finalización del curso, para evaluar su aprendizaje. 3. Por lo que se puede concluir que la autorregulación varia, de acuerdo al interés y la motivación Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX Youtube Se ofreció en la plataforma Coursera 223 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 7. Artículo 7. 2015 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Veletsianos, G., Collier, A., & Área de Schneider, E estudio Nombre del Digging deeper into learners' Año, Idioma 2015 artículo experiences in MOOC s: original y Participation in social país networks outside of MOOC s, notetaking and contexts surrounding content consumption Revista British Journal of Educational Objetivos Comprender las Technology, 46(3), 570experiencias de 587. los alumnos en las actividades de los cursos MOOC Tipo de estudio Cualitativo. Investigación Hipótesis Interpretativa Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad, Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas Semi estructurada Encuesta Demográfica (Para la selección de la Muestra Instrumentos de Se utilizó el método constante comparativa (Glaser y Strauss, 1967) medición para analizar los datos recogidos. Individualmente, se leyeron las transcripciones de la entrevista en su totalidad para obtener una comprensión de la experiencia de cada entrevistado. A continuación, se leyó cada respuesta para establecer categorías de análisis. En total surgieron 151 códigos. Otros Se midió con la entrevista la: 1. Interacciones alumno en las redes sociales fuera de las plataformas MOOC, 2. Tomar notas 3. Factores contextuales contenidos DATOS DE LAS EXPERIENCIAS Ámbito Población 41participantes. Todos aquellos que hayan participado mínimo tres semanas en un curso MOOC y 224 Anexo 1 Muestra Método y procedimiento País Resultados hayan completado la encuentra demográfica Muestra de 13 participantes Observaciones Por la repetición en las respuestas solo se aplicaron 13 entrevistas Dos investigadores entrevistaron a los participantes usando un protocolo de entrevista semiestructurada que se centró en pedir a los alumnos a relatar y describir momentos particulares en sus experiencias MOOC. El protocolo permitió a los entrevistadores realizar comentarios y reflexiones, garantizando el cumplimiento cabal del guion. Las entrevistas duraron entre 25 y 50 minutos, se registraron y transcribieron. Año 2015 Todos los estudiantes que participan en esta investigación fueron motivados para describir sus experiencias MOOC del día a día. En la descripción de sus actividades de aprendizaje y la participación, los alumnos describen (a) actividades que son digitales, pero se producen en plataformas que no sean aquellas en los que se imparten MOOCs (por ejemplo, grupos de apoyo en sitios de redes sociales), (b) las actividades que no son digitales (por ejemplo, tomar notas en el papel), (c) las actividades que son sociales (por ejemplo, discutiendo experiencias MOOC con otros), y (d) las actividades que son individuales (por ejemplo, la localización de un espacio de estudio en casa). 1. Interacción en redes sociales: Un número de estudiantes aludió a las interacciones que tuvieron con las personas que forman parte de sus redes sociales. Estas relaciones se han realizado, antes, durante y después del curso MOOC, intercambiando conocimientos, experiencias de aprendizaje. 2. Tomar notas: A pesar del hecho de que ninguna de las plataformas populares MOOC apoyar la toma de notas integrado en el momento de escribir, casi todos los entrevistados reportaron tomar notas mientras veían los videos de conferencias. Sin embargo, las herramientas utilizadas para tomar notas y el posterior uso de notas variaron sustancialmente por alumno. 3. Uso de contenidos: son muchos los factores que intervienen en cómo se consumen los contenidos MOOC, los videos se pueden analizar por el tiempo de cada participante al interactuar con el mismo, esta depende principalmente de los personales, del 225 Machine Learning y predicciones para la mejora del rendimiento en MOOC tiempo principalmente, aunque se pudo demostrar que la estructura del curso también puede ser determinante. Conclusiones Se obtuvo como resultado, que son tres las actividades y experiencias que recibieron poca atención en la literatura previa MOOC: interacciones en redes sociales fuera de la plataforma MOOC, tomar notas, y el contenido que consumen. Es un tema poco tratado por lo que se concluye la necesidad de realizar más estudios en el área, esto permitirá mejorar los procesos de enseñanza-aprendizaje de los cursos MOOCC y por lo tanto la experiencia que se tiene en la interacción con ellos.´ Otros La edad de los participantes oscila entre 25 y 67 años, 9 hombres y 4 mujeres, de diferentes partes del mundo. Sólo uno no había culminado el título universitario. Han participado de Cursos MOOCC en todas las plataformas: incluyendo Coursera, EDX FutureLearn, Universidad P2P, NovoEd, y la pizarra CourseSites. Todos habían completado al menos un curso MOOC aunque en su mayoría ya habían hecho varios. PLATAFORMA UTILIZADA EDx SPOC Open EDX Youtube Otros Coursera, EDX FutureLearn, Universidad P2P, NovoEd, y la pizarra CourseSites 226 Anexo 1 Tabla 8. Artículo 8. 2015 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Bartolomé-Pina, AntonioÁrea de Ramón and Steffens, Karl estudio Nombre del artículo ¿Son los MOOCs una Año, Idioma 2015 alternativa de aprendizaje? original y país Revista Promising Learning Objetivos Establecer entre Environments? Comunica, los MOOCs y las vol. 22, n. 44, pp. 91-99 teorías del aprendizaje. Tipo de estudio Bibliográfico y descriptivo Hipótesis No se evidencia Otros Revisión bibliográfica y discusión sobre ella. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Relación teoría práctica de los MOOC HERRAMIENTAS UTILIZADAS Entrevistas No aplica Encuesta No aplica Instrumentos de Matriz de relación entre teoría y características de MOOC medición Otros Focus groups, dos fases. 1- Revisar las teorías del aprendizaje haciendo hincapié en la autorregulación. 2- Revisión de los conceptos y características de cMOOC y xMOOC DATOS DE LAS EXPERIENCIAS Ámbito Educación universitaria Población No especifica Muestra No especifica Método y procedimiento Se establecieron grupos de discusión sobre las características y conceptualización de los MOOCs y su relación con la autorregulación y las diferentes teorías del aprendizaje. Las discusiones se realizaron en diferentes grupos y en dos etapas, las cual la segunda depende de la primera. España Año 2015 Los MOOCs soportan el aprendizaje mejor que cualquier otra herramienta tradicional, utilizando la auto regulación en un proceso de: explorar, comprender, practicar y transferir Uno de los aspectos a discutir sobre los MOOC, es que estos son abiertos y gratuitos, sin embargo, los certificados y evaluaciones no, ya que el alumno paga para recibir la certificación una vez culmina el curso. Por lo que, los resultados obtenidos en diferentes investigaciones, dan por sentado que los que mejor interactúan con los MOOCs son aquellos que de alguna manera ya tienen algún tipo de práctica con los cursos en línea. País Resultados Conclusiones Observaciones Otros 227 Machine Learning y predicciones para la mejora del rendimiento en MOOC EDx Otros SPOC PLATAFORMA UTILIZADA Open EDX Youtube 228 Anexo 1 Tabla 9. Artículo 9. 2015 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Wang, Y., & Baker, R. Área de estudio Nombre del artículo Content or platform: Año, Idioma Why do students original y complete país MOOCs. Revista MERLOT Journal of Online Learning and Teaching, 11(1), 17-30. Educación 2015 Objetivos Evaluar la motivación de los alumnos por los estudios a través de los MOOCs y la relación de esto por la culminación o no del curso. Tipo de estudio Hipótesis Establecer relaciones entre la motivación y la culminación de cursos MOOC. Otros El estudio se realizó en un MOOC, Big Data en la educación , emitido a través de Coursera. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad, Abandono, Otros) Motivación de los alumnos al utilizar los MOOCs y como esto influye en la culminación del curso HERRAMIENTAS UTILIZADAS Entrevistas No aplica Encuesta Se aplica al principio y final del curso Instrumentos de Se utiliza el programa Spss para establecer correlaciones medición Para obtener los datos se utilizaron 3 instrumentos: 1. MOOC- artículos específicos de motivación; 2. dos PALS (patrones Adaptativo Encuesta de aprendizaje) subescalas, Academic de eficacia y Dominio de Goal orientación 3. y un elemento de confianza en torno a la finalización del curso. Otros Se analizó cada instrumento por separado DATOS DE LAS EXPERIENCIAS Ámbito Educación universitaria Población El MOOC tuvo una inscripción de aproximadamente 48.000 229 Machine Learning y predicciones para la mejora del rendimiento en MOOC estudiantes en el momento de finalización. Muestra Método procedimiento País Resultados Conclusiones El pre-curso de estudio Observaciones recibió 2.792 respuestas El no responder la encuesta no implica que sea el número real de deserción, ya que esta no era obligatoria. y El curso MOOC constó de videoconferencias, foros de discusión, y un conjunto de 8 tareas semanales con evaluaciones flexibles. En relación al procedimiento realizado para pasar la encuesta se les envió por correo electrónico al inicio y culminación del curso a todos, sin embargo, el estudio se realizó solo con aquellos que dieron respuesta a la misma en el inicio y finalización del curso. Canadá Año 2015 1. Los estudiantes que estaban motivados por las oportunidades de cursos y / o MOOCs tenían menos probabilidades de completar este MOOC. 2. Al mirar los artículos individuales, sólo Estoy seguro de que puedo dominar las habilidades que se enseñan en la clase de este año. Tenía una diferencia estadísticamente significativa entre los grupos. Los alumnos que lo completaron dieron calificaciones más altas por este concepto que los que no completaron el MOOC. 3. La tercera sección de las preguntas consistía en una sola pregunta pidiendo a los encuestados evaluar si es probable completar el curso de acuerdo con el ritmo marcado por el instructor. Vale la pena señalar que todos los estudiantes tenían acceso al programa de los cursos. Por lo tanto, la suposición era que todos los estudiantes registrados tenían acceso a la información y requisitos antes de iniciar el curso. Para esta pregunta, los resultados mostraron que los estudiantes al tomar la encuesta previa al curso que completaron el curso de auto-clasificado más alto (M = 7,27, SD = 2,10) que aquellos que no completaron el curso (M = 6,41, SD = 2.26) , t (1.354) = 4.15, q <0,001 Aunque los participantes MOOC representan una población diversa de estudiantes con una amplia gama de motivaciones, puede haber importantes características comunes entre los subgrupos de estudiantes MOOC. La baja tasa de retención observada a través de diferentes plataformas MOOC es un fenómeno importante. 1. Se observa que los estudiantes que están motivados sobre todo por los nuevos y únicos aspectos de MOOCs como 230 Anexo 1 una nueva plataforma de aprendizaje tienen menos probabilidades de completar el curso de acuerdo con el conjunto de ritmo por el instructor. 2. En segundo lugar, los resultados de los elementos PALS sobre la orientación dominio-objetivo y los niveles de eficacia académica podrían no servir como predictores útiles de si un alumno completa con éxito el curso o no. 3. Los estudiantes que pensaban que completarían el curso eran más propensos a hacerlo, en comparación con los estudiantes que no pensaban que completarían la clase. Otros EDx Otros SPOC Coursera PLATAFORMA UTILIZADA Open EDX Youtube 231 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 10. Artículo 10. 2015 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es RENE F. KIZILCEC y Área de Educación EMILY SCHNEIDER estudio Nombre del artículo Motivation as a Lens to Año, Idioma 2015 Understand original y país Revista Online Learners: Objetivos Elaborar un nuevo Toward Data-Driven instrumento para Design with the OLEI medir las Scale motivaciones del alumno en los ambientes MOOC Tipo de estudio Hipótesis RQ1. ¿Qué motiva a los estudiantes en MOOCs? PI2. ¿Cómo pronunciadas son las diferencias individuales en las motivaciones entre demografía o dentro de las materias? PI3. ¿Qué motivaciones son predictivos de comportamientos en MOOCs, y cómo de predictivos son? Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Motivación de los estudiantes HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Opcional de 3 Instrumentos de Para la RQ1 se compararon los porcentajes de alumnos en cada medición curso. Para la encuesta se utilizaron 13 intenciones de inscripción en la escala Otros OLEI, Ámbito Muestra DATOS DE LAS EXPERIENCIAS Universitario Población Dieron respuesta a la Observaciones encuesta 71.475 alumnos 232 Estudiantes de la Universidad de Stanford. Estos estudiantes pertenecían a 14 MOOCs en total Anexo 1 Método y procedimiento País Resultados Conclusiones Se les envió la encuesta a través del link por la dirección de correo electrónico con la que se inscribieron en el curso. Estados Unidos Año 2013-2014 1. La motivación por parte de los estudiantes hace referencia a la obtención de un certificado, conocer otras personas, la importancia para su profesión, actividad laboral o estudios, también por la relevancia del instructor o instituto que lo presta, adicionalmente la publicidad del curso es determinante a la hora de decidir tomar un curso o no, y por último se encuentra la curiosidad por participar en un curso online. 2. Se muestra una diferencia del 5% de inscripción de más hombres que mujeres. La edad no se evidenció como parte determinante del estudio, ya que no se presentaron diferencias significativas en la inscripción de los 14 cursos, si se evidencia el deseo de participar en diferentes cursos con el grado de escolaridad, por lo que se corresponde la temática con el interés y motivación. 3. Dentro de las conductas predictivas se encuentra la social, en la cual se puede predecir que se toma el mismo curso MOOC con los compañero o amigos, para poder interactuar con ellos, al igual que ocurre con las intenciones de inscripción, es decir: la intención de inscripción puede ser predictiva de la motivación. Se evidencia que tan sólo un porcentaje de los inscritos toman el curso para la acreditación, un porcentaje significativo lo toma por razones sociales, estos y otros criterios discrepan de los objetivos principales de los cursos que es en definitiva la adquisición de conocimientos de forma individual. Por lo que es indispensable dar a conocer la fortaleza de estos cursos apoyando la autonomía que generan los aprendizajes que se pueden lograr. Si bien se utilizó la escala de OLEI para obtener los resultados, es importante que se hagan estudios que permitan la inclusión de la motivación en la escala, para así generar más investigaciones en el área. Otros EDx no SPOC Otros Coursera. PLATAFORMA UTILIZADA no Open Si Youtube EDX aplica 233 no Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 11. Artículo 1. 2016 Autor/es Nombre del artículo Revista Tipo estudio Otros de INFORMACIÓN GENERAL DEL ARTÍCULO Conole, G. (2016). Área de estudio Mooc Universitarios MOOCs as disruptive Año, Idioma 2016, inglés. technologies: strategies original y país Inglaterra for enhancing the learner experience and quality of MOOCs. RED: Revista de Objetivos Proponer nuevos tipos Educacion a Distancia, de MOOC que sean (50), 1-18. pedagógicos y que por lo tanto, contribuya a la eficacia y calidad de educativa. Bibliográfico Hipótesis No se evidencia ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos de No se evidencia medición Otros DATOS DE LAS EXPERIENCIAS Ámbito Universitario No. De Bibliográfico, no participantes se indican cuantos País Reino Unido Año 2016 Resultados Las dimensiones necesarias para la mejora pedagógica de los MOOCs son: Que se haga uso de multimedia Tenga cierto grado de comunicación y de colaboración Tenga un itinerario de aprendizaje Calidad, autonomía y diversidad. Conclusiones Los MOOCs son una iniciativa tecnológica que permite la inclusión y masificación educativa, pero al mismo tiempo su diseño poco estructurado, incita al fracaso y la deserción. Otros No se evidencia Análisis cualitativo Criterios Tipos de MOOC, y elementos pedagógicos para la efectividad establecidos de MOOC y reducir la deserción. 234 Anexo 1 Criterios no considerados Cómo se hace el tratamiento de datos Tratamiento de datos No se especifica Análisis bibliográfico Análisis bibliográfico 235 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 12. Artículo 2. 2016 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Hew, K. F. Área de estudio Nombre del Promoting Año, 2016 artículo engagement in online Idioma courses: What original y strategies can we país learn from three highly rated MOOCS. Revista British Journal of Objetivos Reconocer los factores que Educational existen detrás de la Technology, 47(2), popularidad de los MOOCs 320-341 Tipo de estudio Estudio de casos. Hipótesis ¿Qué factores podrían cualitativo influir en la participación del estudiante en los cursos 3 MOOCs en línea tradicionales? ¿También se aplican a los cursos en línea de gran tamaño y abiertos? ¿Qué factores consideran los estudiantes importantes en términos de su capacidad percibida para promover una experiencia satisfactoria o participar aprendizaje en línea? Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Factores que permiten el éxito en los cursos MOOCS HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta Si, online Se proporcionaron las siguientes preguntas de guía para ayudar a los Instrumentos participantes a dar sus comentarios: (1) ¿Cuál fue su experiencia previa con de medición el tema? (2) ¿Cómo se compara este curso con otros? y (3) ¿qué le gustó / no le gustó del curso? Otros Ámbito Muestra DATOS DE LAS EXPERIENCIAS Universitario. Población Participantes MOOCs. 965 participantes. Observaciones 236 de 3 Anexo 1 Análisis de los cometarios Método y Se procedió a analizar los Tratamiento resultados de una encuesta procedimiento de los de los participantes a través enviada a través de resultados de coursetalk y del País Resultados Conclusiones coursetalk. rendimiento académico. Hong Kong Observaciones y análisis reflexivo 2014 Año De estos 965 participantes, 908 indicaron que completaron al menos uno de los MOOC. Organizando los elementos por orden de importancia: (1) el aprendizaje centrado en el problema con exposiciones claras. (2) la accesibilidad y dedicación del instructor. (3) el aprendizaje activo. (4) la interacción entre compañeros. (5) el uso de los recursos. Este estudio destaca la importancia del papel que los instructores, los recursos del curso y las prácticas pedagógicas que se centran en un juego. Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX Coursera, edX, Udacity, Udemy y Canvas Network 237 Youtube Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 13. Artículo 3. 2016 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Hone, K. S., & El Área de Universitario Said, G. R. estudio Nombre del Exploring the factors Año, 2016, El Cairo Egipto, artículo affecting MOOC Idioma Inglés retention: A survey original y study. país Revista Computers & Objetivos Explorar los factores que Education, 98, 157afectan a la finalización 168 del alumno en el aprendizaje MOOC. Tipo de estudio Comparar encuestas Hipótesis Explorar si las variables a los que experimentales (es decir, concluyeron y no las experiencias concluyeron el reportadas por los MOOC alumnos) fueron predictivas en la medida que los alumnos estén comprometidos con el curso, con el fin de potencialmente conseguir diseños de MOOCs más eficaces. Tres amplias categorías de experiencia: experiencias con el instructor del curso; experiencias con otros estudiantes en el curso; y las experiencias con las características de diseño del curso. Otros Se centraron principalmente en la percepción del usuario de las características de los MOOC, en lugar de las características individuales del alumno, ya que su preocupación principal es el diseño y suministro de MOOCs más eficaces para la amplia gama de estudiantes que pueden acceder a ellos, incluidos los de los países menos desarrollados como los que han formado la muestra para este estudio. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Factores que influyen en la culminación o no de curso MOOC. HERRAMIENTAS UTILIZADAS Entrevistas No aplica Encuesta Cuestionario tipo Likert 238 Anexo 1 Instrumentos de medición Se utilizó una escala de 5 criterios y las preguntas se centraron en los 3 aspectos principales del estudio. Se recogieron datos demográficos de la edad, el género, la educación y la experiencia. Al final del cuestionario había espacio para que los participantes proporcionaran una respuesta de texto abierto en cuanto a por qué lo hicieron o no completaron el curso. Otros DATOS DE LAS EXPERIENCIAS Ámbito Universitario. Población Estudiantes de dos Universidades del Cairo: 256 en un curso de Sistemas de Información de Gestión (SIG) y 245 en un curso de Habilidades de software. En total 486 participantes. Muestra 379 contestaron ambas Observaciones Estudiantes de bajos encuestas. recursos con el instrumento en inglés. Método y Se pasó un primer Tratamiento Proyección de datos y procedimiento instrumento al de los el análisis factorial se comenzar el curso y un resultados llevó a cabo en SPSS. instrumento al finalizar PLS (mínimos el curso después de 6 cuadrados parciales) se semanas. utilizó para realizar el análisis del modelo estructural. PLS fue elegido debido a la naturaleza exploratoria de este estudio. País Egipto Año 2016 Resultados Los estudiantes mostraron que el contenido del MOOC tiene un efecto significativo en la retención. Este efecto está relacionado con la eficacia percibida de la calidad del contenido del curso que a su vez afecta a la retención. La interacción con el instructor también ha demostrado tener un efecto directo en la retención, de manera que la retención es mayor cuando la interacción con el instructor es mayor. En general, estas construcciones explican el 79% de la varianza en la retención MOOC. Es interesante observar que la tasa de finalización observada en este estudio fue mayor que las encontradas en estudios anteriores, con alrededor de un tercio de los participantes que completaron su curso hasta el punto de su certificación. Esto sugiere que el uso de un MOOC como una oportunidad de aprendizaje en el contexto de 239 Machine Learning y predicciones para la mejora del rendimiento en MOOC Conclusiones Otros EDx Otros un programa acreditado más amplio es beneficioso en términos de aumento de la probabilidad de finalización. Sin embargo, la mayoría de los estudiantes todavía no completó su curso, incluso en este contexto, lo que sugiere que todavía existe un problema de finalización entre un público motivado. Los contenidos de los MOOCs demuestran eficacia e interacción con el instructor, teniendo un efecto significativo en la retención del alumno. Mientras que el contenido MOOC tiene un efecto importante sobre la eficacia percibida y, posteriormente, en la retención, la interacción con el instructor también es importante para la retención. Esto puede representar un factor limitante para la viabilidad de MOOCs muy a gran escala y sugiere que los proveedores de MOOCs tienen que pensar cuidadosamente sobre cómo proporcionar elementos interactivos adecuados a sus cursos, así como un excelente contenido. Las hipótesis fueron reformuladas como sigue: H1. El contenido del curso (CC) tendrá un efecto significativo en la eficacia percibida. H2. El contenido del curso (CC) tendrá un efecto significativo en la retención del alumno dentro de un MOOC. H3. La interacción instructor (Int) tendrá un efecto significativo en la eficacia percibida de un MOOC. H4. La interacción instructor (Int) tendrá un efecto significativo en la retención del alumno. H5. La eficacia percibida (PE) de un MOOC tendrá un efecto significativo en la retención del alumno PLATAFORMA UTILIZADA SPOC Open EDX Youtube No se evidencia 240 Anexo 1 Tabla 14. Artículo 4. 2016 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Nombre del artículo Revista Tipo de estudio Otros Borras-Gene, O., Martinez-Nunez, M., & Fidalgo-Blanco, Á. New challenges for the motivation and learning in engineering education using gamification in MOOC. International Journal of Engineering Education, 32(1), 501-512. Área de Universitario estudio Año, 2016. España, Inglés Idioma original y país Objetivos Presentar un modelo cooperativo de gamificación MOOC Model (gcMOOC) que se puede aplicar en el diseño de MOOC Cuantitativo y Hipótesis La hipótesis de este trabajo cualitativo es: que la incorporación de metodologías y estrategias de gamificación en MOOCs puedan potenciar la motivación de los participantes a través del uso de mecanismos de juego; y puede influir en la participación, el compromiso y la lealtad de los alumnos. En los métodos, el estudio investiga los factores que influyen en la motivación, la colaboración y el aprendizaje en MOOCs. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad, Abandono, Otros) Se presenta un modelo de MOOC cooperativo y de gamificación. También se muestra la aplicación de este modelo en un curso particular y la metodología seguida para la obtención de resultados. HERRAMIENTAS UTILIZADAS Entrevistas Entrevistas semiestructuradas Encuesta 241 25 preguntas abiertas Machine Learning y predicciones para la mejora del rendimiento en MOOC Instrumentos de medición Otros DATOS DE LAS EXPERIENCIAS Ámbito Universitario Población Muestra 60 entrevistados Observaciones Método y Se diseña el modelo de Tratamiento acuerdo a la literatura procedimiento de los existente aplicando la gamificación en los resultados MOOC. Se aplica a partir de la mitad del curso. Año Segunda edición del curso ''Aplicación de las redes sociales a la educación: las comunidades virtuales '' 239 ingenieros participantes del curso Se utilizaron los datos cualitativos (entrevistas) y de las encuestas, y se integraron con los hallazgos cuantitativos en la sección de resultados. Los datos cualitativos apoyan las conclusiones de los resultados cuantitativos, proporcionando razonamientos detallados y los detalles detrás de los números. 2016 País España Resultados El elevado número de profesores de ingeniería que han participado en este curso pone de relieve que las metodologías de gamificación en cursos MOOC, como el que se sugiere en este documento, son apropiados para la enseñanza de la ingeniería. De acuerdo con los resultados obtenidos en este trabajo, las propuestas del curso (el concurso de Instagram) se pueden aplicar a los cursos de ingeniería formales. Por lo tanto, la Universidad Politécnica de Madrid, como institución de referencia de la enseñanza de la ingeniería en España, se enfrenta a este tipo de cursos. Conceptos tales como la motivación, la colaboración y el aprendizaje tienen especial relevancia para este estudio, especialmente la percepción de los participantes y su relación con la tasa de éxito del MOOC. El modelo incluye la gamificación MOOC, propuesta que 242 Anexo 1 Conclusiones Otros EDx Otros implica la motivación del estudiante y satisface las necesidades de las relaciones, la autonomía y la competencia. En cuanto a la tasa de terminación, el modelo gcMOOC obtiene un porcentaje del 39,9% de los estudiantes que completaron el curso, muy por encima de la tasa media finalización para este tipo de curso, que es de alrededor de 7%. Un aumento de la motivación y el compromiso se han logrado con el trabajo colaborativo utilizando un nuevo tipo de recurso llamado ''recursos de colaboración''. Usar la gamificación en los MOOCs en la educación de ingeniería supone un nuevo reto para mejorar la motivación y el aprendizaje, pero todavía no se ha generalizado en todos los tipos de MOOCs. La incorporación de las comunidades virtuales a través de las redes sociales y las aplicaciones externas de gamificación son un nuevo aporte para aumentar la motivación en el aprendizaje de los ingenieros a través de los MOOCs. Los resultados del estudio indican que la mayoría de los estudiantes ven positivo el uso de la gamificación y de los medios sociales en la educación y en especial en MOOCs. Estos resultados son compatibles con los resultados cualitativos de las entrevistas semiestructuradas. Los resultados de este estudio sugieren que cualquier análisis adicional de nuevos enfoques y entornos de aprendizaje en el contexto de la ingeniería supondrá una mejor comprensión de la relación entre MOOC y gamificaciones. Estos estudiantes consideran de ayuda las herramientas de gamificación para profundizar su aprendizaje e incrementar su motivación. El modelo incorpora y mejora elementos de Gamificación en los MOOCs . Los participantes de la fase cuantitativa fueron invitados para participar en la segunda fase del estudio. A pesar de que el investigador tenía limitadas opciones en la selección de los participantes de acuerdo con cuatro recomendaciones para un enfoque secuencial, las preguntas de la entrevista estructurada se han desarrollado sobre la base del análisis de datos inicial de los datos cuantitativos para asegurar que los datos cualitativos de seguimiento proporcionan una mejor comprensión de resultados de la encuesta. PLATAFORMA UTILIZADA SPOC Open EDX Plataforma MiriadaX. 243 Youtube Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 15. Artículo 5. 2016 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Crossley, S., Área de Universitario Paquette, L., Dascalu, estudio M., McNamara, D. S., & Baker, R. S. Nombre del Combining clickAño, 2016, Ingles, California artículo stream data with NLP Idioma Estados Unidos tools to better original y understand MOOC país completion. Revista In Proceedings of the Objetivos El objetivo de este trabajo sixth international es crear un modelo conference on automatizado de éxito learning analytics & MOOC basado en ambos knowledge (pp. 6índices de click-stream y 14). ACM PNL. Es decir; en examinar la eficacia del enfoque combinado en la predicción de la probabilidad del rendimiento del curso. El objetivo a largo plazo de esta investigación es dar a conocer las intervenciones que proporcionan la retroalimentación personalizada en términos del uso del lenguaje y de la interacción del MOOC para los estudiantes o profesores con el fin de aumentar la tasa de finalización, y aumentar la comprensión científica de los factores asociados con la terminación de MOOC. Tipo de estudio Hipótesis El desarrollo de la comprensión completa y la predicción de resultados de los estudiantes requiere de múltiples fuentes de datos y una variedad de enfoques; porque el aprendizaje no es simple, sino más bien un proceso complejo con 244 Anexo 1 múltiples capas y plazos. Depende de una sola fuente de datos, ya sea datos de información de idioma o de click-stream, Otros Se centra en la tasa de finalización de los estudiantes, ya que es un componente importante del éxito de los estudiantes, no sólo en sí mismo, sino porque predice la participación en una comunidad científica. Las herramientas de PNL que se utilizan, en conjunto con los datos tradicionales de selección de programas, abren un amplio abanico de oportunidades para un mejor éxito de la comprensión en los estudiantes. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) La predicción de la culminación de los participantes, a través de su partición en el foro y sus clics en videos y streams. HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos Estos incluyen la Herramienta de Evaluación de Escritura (WAT), de medición la herramienta para el análisis automático de léxico sofisticación (TAALES), la herramienta para el análisis automático de la cohesión (TAACO), ReaderBench (RB), y el análisis de los sentimientos y la cognición motor (SEANCE). Otros Los datos más comunes para este tipo de análisis son los datos de click-stream, es decir, las interacciones de los estudiantes dentro del software MOOC. Tales datos proporcionan a los investigadores la evidencia de la participación en el curso y las actividades asociadas con los objetivos de cada curso. Otros enfoques utilizados en estudios recientes para evaluar el éxito del estudiante incluyen el uso de herramientas de análisis de los sentimientos para medir los estados afectivos de los estudiantes, las características lingüísticas que miden la sofisticación y organización de la escritura del estudiante dentro de un MOOC. Nos centramos en la tasa de finalización de los estudiantes, ya que es un componente importante del éxito de los estudiantes, no sólo en sí mismo, sino porque predice la participación en una comunidad científica. Ámbito Muestra DATOS DE LAS EXPERIENCIAS Colegio de Profesores Población 426 estudiantes Universidad de Columbia 320 personas que Observaciones El curso tuvo una realizaron al menos una matrícula total de más de 48.000 245 Machine Learning y predicciones para la mejora del rendimiento en MOOC intervención palabras de 50 participantes, pero un número mucho menor participó activamente; 13.314 estudiantes vieron al menos un vídeo; 1.242 estudiantes vieron todos los videos; 1.380 estudiantes completaron al menos una asignación; y 710 hizo un post en los foros de discusión. De los que tienen puestos, 426 completaron al menos una asignación de clase Método y El MANOVA fue seguido por análisis de función discriminante procedimiento por pasos (DFA), utilizando los índices de PNL seleccionados que demostraron diferencias significativas entre los estudiantes que completaron el curso y los que no lo hicieron, y no exhibió multicolinealidad (r> 0,90) con otros índices en el conjunto. En el caso de multicolinealidad, el índice que demuestra el mayor tamaño del efecto se mantuvo en el análisis. La DFA se utilizó para desarrollar un algoritmo para predecir la pertenencia al grupo a través de un coeficiente función discriminante. Un modelo de DFA fue desarrollado por primera vez para todo el corpus de publicaciones. A continuación, se utilizó este modelo para predecir la pertenencia al grupo de los mensajes utilizando dejar uno fuera transversal de validación (LOOCV) con el fin de asegurar que el modelo era estable en el conjunto de datos. Tratamiento Las medidas típicas calculadas a partir de los datos de secuencias de los de clics y usados en los MOOCs incluyen variables relacionadas resultados con la sincronización de acciones, cargos de los diferentes tipos de posibles acciones, interacciones en el foro y las asignaciones. Las marcas de tiempo en la selección de programas se han utilizado para calcular la diferencia de tiempo entre el envío de las tareas y los plazos de asignación para identificar a los estudiantes que van a la zaga. Las interacciones de los estudiantes con los foros del curso se pueden utilizar para determinar el número de veces que cada estudiante leyó diferentes hilos del foro o publicó en los foros. El análisis de los clicks también se ha utilizado para examinar cómo los estudiantes interactúan con las tareas del curso mediante el cálculo del número de problemas distintos a los estudiantes y el 246 Anexo 1 número medio de presentaciones por problemas. Los datos acerca de la interacción con videoconferencias se pueden utilizar para calcular el porcentaje de conferencias disponibles que el estudiante ha visto. País Resultados Conclusiones Otros EDx Otros Estados Unidos Año 1993 De estos 320 estudiantes, 132 no completado satisfactoriamente el curso, mientras que los restantes 188 estudiantes completaron el curso. Los predictores más fuertes fueron las variables de secuencias de clics seguidos de las variables de PNL. Una serie de variables de selección de programas relacionadas: con los vídeos vistos, el tiempo antes de entregar las tareas, las páginas y conferencias vistas, mostró el gran impacto de éstas. Los índices de PNL midieron una variedad de construcciones del lenguaje que incluye el dominio de escritura, la fluidez, la cohesión local y global, el sentimiento, el uso de los números, la sofisticación léxica, entidades con nombre, y la colaboración social. Los resultados indican que una combinación de datos de flujo y los índices de click-PNL puede predecir con exactitud sustancial (78%) si los estudiantes completan el MOOC. Esta capacidad de predicción sugiere que los datos de interacción del estudiante y datos de la lengua dentro de un MOOC pueden ayudarnos a comprender tanto la retención de estudiantes en MOOCs como a desarrollar señales automatizadas de éxito de los estudiantes. Los resultados indican que las variables basadas en datos de secuencias de clics fueron los predictores más relevantes de finalización MOOC pero que las variables de la PNL también fueron predictivas. En cuanto a las características del lenguaje, los índices relacionados con el número de entidades en un mensaje del foro, la longitud de los posts (número medio de oraciones), la calidad general del post escrito, sofisticación léxica, la cohesión entre los posts, y la certeza de la palabra también fueron fuertes predictores de la finalización MOOC. Tales hallazgos tienen importantes implicaciones sobre cómo las interacciones de los estudiantes y las diferencias individuales (las habilidades lingüísticas) se pueden utilizar para predecir el éxito. Los resultados indican que los que completaron el curso interactuaban más dentro del sistema de la media (no acumulativo) y eran más activos en los foros. El MOOC de interés para este estudio es el Big Data en Educación PLATAFORMA UTILIZADA SPOC Open EDX Youtube Plataforma Coursera 247 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 16. Artículo 6. 2016 INFORMACIÓN GENERAL DEL ARTÍCULO tutor/es Aguaded Gómez, I., Área de estudio Educativa Vázquez-Cano, E., & López-Meneses, E. Nombre del El impacto bibliométrico Año, Idioma 2016, España, artículo del movimiento MOOC original y país Castellano en la Comunidad Científica Española. . Revista - Educación XXI: revista de la Facultad de Educación, 19(2), 77-104 Objetivos - Realizar un estudio bibliométrico de la repercusión científica en forma de articulo o libro de investigación en revistas y editoriales españolas durante el periodo comprendido entre enero de 2010 y junio de 2014. - Proporcionar un estado completo de la cuestión actual y de la producción científica española sobre MOOC que sirva de referencia para futuros estudios e investigaciones. Tipo de Bibliográfico. Metodología descriptiva y cuantitativa estudio Hipótesis Tomando como referencia indicadores bibliométricos de producción, en número de citas e indicadores de visibilidad y de impacto en diferentes bases de datos se tienen las siguientes variables: - número total de artículos publicados y su evolución por área de conocimiento - revistas, editoriales e instituciones con mayor índice de publicación e impacto en bases de datos, - autores, numero de citas recibidas, principales revistas citantes, promedio de citas por año - enfoque metodológico de los artículos. Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Producción de bibliografía sobre los MOOCs HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Instrumentos de Tomando como referencia indicadores bibliométricos de medición producción, en número de citas e indicadores de visibilidad y de impacto en diferentes bases de datos: Wos/Social Science Citation Index, Scopus, In-Recs, Google Scholar y la categorización de revistas científicas españolas (ANEP/ FECYT). Las bases de datos utilizadas para determinar la indexación de las editoriales de libros han sido: Catalogo del ISBN, Google Books, Google Scholar y SPI (Scholarly Publishers Indicators). 248 Anexo 1 Otros Ámbito País Resultados Conclusiones Otros Criterios establecidos Revisión y análisis de documentos bibliográficos científicos. Revistas, libros, estudios, periódicos DATOS DE LAS EXPERIENCIAS Ciencias sociales No. De No se especifica participantes España Año 2013-2014 La evolución del movimiento en España por área de conocimiento se ha centrado principalmente en el área de Ciencias de la Educación que acapara el 89,5% de los artículos publicados y el 75% de los libros del total de publicaciones sobre MOOC. En el intervalo de estudio analizado, se han publicado un total de 38 artículos y 4 libros. El impacto del movimiento en España se ha producido con una mayor incidencia a partir del año 2013 (11 artículos y 2 libros) y más acusadamente en los seis primeros meses del año 2014 (27 artículos y 2 libros). Como se puede comprobar, los tres primeros años no arrojan ningún resultado conforme a los criterios de impacto considerados en el estudio. Los resultados muestran que el impacto de la producción científica española en formato libro y articulo en prestigiosas bases de datos internacionales (Wos-SSCI/Scopus) es muy bajo, aunque el impacto nacional según categorización ANEP/FECYT e In-Recs es moderadamente alto. Los resultados muestran que la repercusión de la temática MOOC en la comunidad científica española ha sido moderada. El área de conocimiento en que la temática MOOC ha tenido una mayor incidencia ha sido ≪Ciencias de la Educación≫ con un porcentaje del 88,10% sobre el total de la producción científica en el campo de las Ciencias Sociales. Es significativo que no se haya publicado en el ámbito español ningún artículo en el inicio y gestación del movimiento MOOC (2010-2012). A partir de 2013, empieza la publicación tanto en artículos y libros y destaca que en la primera mitad del 2014 (27 artículos) se doble ya el número de artículos publicados en el 2013 (11 artículos). Cuatro revistas españolas acaparan el 54,75% de las publicaciones sobre MOOC Uno de los aspectos más significativos y, que puede explicar en buena medida la baja repercusión internacional, es que una gran parte de los artículos publicados (47,6%) son artículos teóricos. Análisis cualitativo Los indicadores empleados en el presente estudio han sido: • Titulo. • Carácter: Libro o artículo. 249 Machine Learning y predicciones para la mejora del rendimiento en MOOC • rea de conocimientos de la revista: Educación, Comunicación, Biblioteconomía y Documentación. • Autor/res. • ISBN / ISSN. • Revista / Editorial. • Año de publicación. • Categoría ANEP. • Cuartil In-Recs. • Citas (Google Scholar). • Citas (Wos/SSCI). • Citas (Scopus). • Indexación en otras bases de datos. • Citas recibidas. • Principales revistas citantes. • Nombre de la institución. • rea de conocimiento. • Enfoque metodológico del artículo. no No se evidencian Criterios considerados Cómo se hace el El procedimiento de análisis de datos abarca el periodo de tratamiento de estudio desde el 1 enero de 2010 hasta el 30 de junio de 2014 y datos la extracción de datos para el estudio del impacto del movimiento MOOC en la comunidad científica española se ha realizado atendiendo a las siguientes fases: 1. Utilización de la base de datos DICE: Con esta base de datos, se filtraron tres áreas temáticas para la extracción: Comunicación. Ciencias de la educación y Biblioteconomía y Documentación. 2. Selección de la categoría ANEP/FECYT. 3. Extracción de cada una de las revistas 4. Cada uno de los artículos localizados se ha clasificado 5. Las variables que se obtienen de manera directa de la revista Tratamiento de Análisis de los estudios bibliográficos. datos 250 Anexo 1 Tabla 17. Artículo 7. 2016 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Bayeck, R Área de estudio Nombre del Exploratory study of Año, Idioma (2016). artículo MOOC learners original y país demographics and motivation: The case of students involved in groups. Revista Open Praxis, 8(3), Objetivos Reconocer las 223-233 características de los participantes en cursos MOOC Tipo de estudio Bibliográfica y Hipótesis ¿Cuáles son las descriptiva características de los estudiantes que participan en un trabajo de grupo en línea MOOC (es decir, sexo, nivel de educación y situación laboral)? Y lo que motiva a los participantes en este estudio para tomar el curso. Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) El interés y la motivación por participar y culminar cursos MOOC, siendo de gran interés el trabajo cooperativo como metodología didáctica. HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta Una encuesta previa con diferentes preguntas relacionadas con: la información demográfica y preferencias del grupo (por ejemplo, grupos basados en el lenguaje, las intenciones para completar, o disponibilidad de tiempo). Otro elemento de la encuesta previa al curso era clasificar nueve declaraciones sobre cómo les gustaría agruparse con otros en una escala de 1 a 9 251 Machine Learning y predicciones para la mejora del rendimiento en MOOC para captar la importancia de cada declaración Instrumentos de medición Otros En línea a través Qualtrics DATOS DE LAS EXPERIENCIAS La Universidad del Población Con una matrícula total de Estado de Pensilvania 150.317 Muestra 655 que respondieron Observaciones Fue un curso de 8 semanas, la encuesta La creatividad, la innovación y el cambio (CIC 2.0) Método y La siguiente revisión de la literatura se divide en dos áreas: (a) la procedimiento demografía de los estudiantes MOOC en términos de género, la situación laboral y el nivel de educación y (b) la motivación para inscribirse en MOOCs. Para reclutar participantes, un correo electrónico fue enviado a los estudiantes en el MOOC CIC 2.0 invitando a los estudiantes a voluntarios para un estudio de investigación en el que se colocan en grupos para enriquecer su experiencia MOOC (Hristova y Bayeck, 2015). El permiso para la realización del estudio se obtuvo de la junta de revisión interna de la institución en la que se llevaron a cabo el estudio y análisis de los datos. Los análisis de frecuencia se realizaron con SPSS para responder a las Tratamiento de los preguntas de investigación resultados País Estados Unidos Año Resultados Participaron 86 países, no se encontró ninguna diferencia en la zona geográfica con respecto a la relación con los MOOC. Las mujeres superaron a los hombres. El 60% de los participantes del MOOC trabajan y tienen un grado de profesionalidad que les hace necesitar el certificado del curso. Ámbito La motivación de los participantes para tomar el curso se puede colocar en estas 3 categorías principales: Construir relaciones que incluyen las siguientes razones: amigos y conectarse con otros; Desarrollo personal que contiene la adquisición de capacidades, por supuesto relacionados con el trabajo, créditos ganados, e intereses personales; Reputación, que abarca los profesores y la institución. Conclusiones Se concluye que las actividades cooperativas llaman la atención más a mujeres que hombres. La sociabilidad y el intercambio en el trabajo ha hecho que en esta experiencia sea mayor en el número de mujeres inscritas en comparación al de los hombres y que han concluido. Un factor de gran influencia en este trabajo ha sido la formación 252 Anexo 1 académica del participante y el reconocimiento público, ya sea del profesor que lo dicta o de la Universidad. Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX Coursera. 253 Youtube Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 18. Artículo 1. 2017 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Kizilcec, R. F., Área de Pérez-Sanagustín, estudio M., & Maldonado, J. J. Nombre del Self-regulated Año, 2017 artículo learning strategies Idioma predict learner original y behavior and goal país attainment in Massive Open Online Courses. . Revista Computers & Objetivos Estudiar la predicción de la education, 104, 18-33 autorregulación para el logro de las metas trazadas en el estudio de los MOOC Tipo de estudio Descriptivo Hipótesis ¿Qué estrategias de autorregulación son más útiles para lograr las metas del curso? ¿De qué manera las estrategias de autorregulación se manifiestan en las interacciones con el contenido del curso? ¿Cómo las estrategias de autorregulación varían según las características individuales del alumno? Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Los estudiantes que se autorregulan logran un mayor éxito en los cursos MOOC HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Inicial acerca de sus estrategias de autorregulación y características demográficas, intenciones y motivaciones. Instrumentos Encuesta con preguntas de datos demográficos, intenciones, experiencias previas con cursos MOOC. Se incorporó las intenciones de la escala OLEI de medición y la encuesta de estrategias de autorregulación sobre 6 factores. 254 Anexo 1 Otros Ámbito Muestra 6 MOOC de diversos temas ingeniería, ciencias de la computación, administración, transporte y educación DATOS DE LAS EXPERIENCIAS Universidad Pontifica Población 6709 estudiantes de chile inscritos en alguno de los seis MOOC 4831 Observaciones Método y Se presentó la encuesta Tratamiento procedimiento de manera voluntaria a de los todos los inscritos en los resultados MOOCs seleccionados. País Resultados Se analizó cada una de las preguntas de manera individual utilizando las estadísticas correspondientes. Coeficiente de correlación y logística de regresión. Chile Año Abril y diciembre del 2015 La mitad de los estudiantes reportaron haber tenido experiencias previas en cursos en línea, el 95% expresó el deseo de participar de todas las actividades, ver los videos y realizar las evaluaciones. Dentro de las estrategias de autorregulación, la elaboración de planes, la planificación estratégica, estrategias de trabajos, el establecimiento de objetivos y la búsqueda de ayuda son las más expresadas por los participantes. En particular, la planificación estratégica fue un predictor fuerte y positivo con el establecimiento de metas. Por lo tanto, los alumnos que participan en la fijación de objetivos y evitar la búsqueda de ayuda, fueron significativamente más predictivos en la probabilidad de lograr sus objetivos personales en el curso. En general, los estudiantes que reportan fuertes habilidades autorreguladoras estaban más inclinados a revisar los materiales del curso después de completar otros materiales, en lugar de iniciar uno nuevo. Una excepción de esta tendencia, eran los estudiantes más inclinados a buscar ayuda, estos eran menos propensos a pasar una evaluación después de terminar una conferencia. Se evidenció, que las mujeres presentaron mayor autorregulación en los niveles de fijación de objetivos, las estrategias de trabajo y tienden más a buscar ayuda, mientras que los hombres destacaron en la planificación estratégica, la elaboración del plan y la autoevaluación. Se encontró que con mayores niveles de escolaridad (doctorado, master), mayor es la habilidad de establecer objetivos, estrategias de trabajo y planificar. Aquellos que ya tenían experiencia en cursos en línea mostraron mayores habilidades de autorregulación que le permitían tener mayor éxito. 255 Machine Learning y predicciones para la mejora del rendimiento en MOOC Conclusiones Otros EDx Otros Con este estudio se logró comprobar que las habilidades de autorregulación, benefician la culminación exitosa en los MOOC. Para la enseñanza del Español PLATAFORMA UTILIZADA SPOC Open EDX Youtube Cousera 256 Anexo 1 Tabla 19. Artículo 2. 2017 Autor/es Nombre artículo Wu, B., & Chen, X. del Revista Tipo de estudio Hipótesis Continuance intention to use MOOCs: Integrating the technology acceptance model (TAM) and task technology fit (TTF) model. Computers in Human Behavior, 67, 221232. Área de estudio Año, Idioma original y país Objetivos 2017 El propósito de este estudio es proponer un modelo unificado que integre el modelo de aceptación de tecnología (TAM), el modelo de tecnología de ajuste de tareas (TTF), las características del MOOC y la motivación social para investigar la continuidad en la utilización de los MOOCs . Descriptivo Pregunta de investigación: ¿En qué medida los factores influyen en los MOOC? Hipótesis: H1. La facilidad de uso percibida tiene un efecto positivo en la percepción utilidad de los MOOCs. H2. La facilidad de uso percibida tiene un efecto positivo en las actitudes hacia los MOOCs. H3. La utilidad percibida tiene un efecto positivo en la actitud hacia los MOOCs. H4. La utilidad percibida tiene un efecto positivo en la intención de continuar usando MOOCs H5. La actitud hacia el uso de MOOCs tiene un efecto positivo en intención de seguir usándolos H6. El ajuste individual de la tecnología tiene un efecto positivo en la percepción de los que hacen uso de los MOOCs. H7. El ajuste individual de la tecnología tiene un efecto positivo en la percepción y facilita el uso de los MOOCs . H8. El ajuste tarea-tecnología tiene un efecto positivo en la percepción utilidad de los MOOCs. H9. El ajuste de la tecnología de tareas tiene un efecto positivo en la facilidad percibida de uso de los MOOCs 257 Machine Learning y predicciones para la mejora del rendimiento en MOOC H10. La apertura tiene un efecto positivo en la percepción de la utilidad de los MOOC. H11. La apertura tiene un efecto positivo en la facilidad de uso percibida de MOOCs. H12. La reputación tiene un efecto positivo en la percepción de los que utilizan los MOOCs H13. El reconocimiento social tiene un efecto positivo en lo percibido por los que utilizan de los MOOCs H14. La influencia social tiene un efecto positivo en la utilidad percibida de los MOOCs. H15. La influencia social tiene un efecto positivo en la actitud hacia utilizando MOOCs Otros El modelo se desarrolló en base a la literatura revisado otros modelos, por lo que se fundamenta principalmente en el Modelo TAM, haciendo énfasis en las interrelaciones que existentes entre todos los elementos que intervienen para garantizar la continuidad en el MOOC una vez se ha inscrito el participante. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Proponer y comprobar un modelo HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta Tipo cuestionario Instrumentos Se utilizó la encuesta con un cuestionario con dos secciones para de medición probar el modelo teórico. La primera sección incluye preguntas demográficas sobre los participantes, mientras que la segunda sección presenta preguntas que miden los constructos en el modelo de investigación. Considerando las características de los MOOCs , el modelo de investigación, constaba de diez construcciones, que se midieron utilizando elementos múltiples y escalas de percepción. Otros DATOS DE LAS EXPERIENCIAS Ámbito MOOC Población Todos los que han tenido experiencia MOOC Muestra Se devolvieron 252 Observaciones encuestas válidas Método y Los participantes objetivo de este estudio fueron aquellos con procedimiento experiencia con MOOCs. Se enviaron encuestas en línea por www.Sojump.com a aquellos que miembros de un grupo MOOCs en Tencent QQ (la mayor red social online en china). Tratamiento El elemento correspondiente a las construcciones se midió utilizando de los una escala de Likert de siete puntos, anclada en 1 muy en resultados desacuerdo y 7 muy de acuerdo . 258 Anexo 1 País Resultados Conclusiones Al analizar los datos recopilados, en primer lugar, se examinaron las aptitudes y la validez del modelo de medición propuesto para la evaluación, la validez convergente y la validez discriminante. Luego, se examinó el modelo estructural para investigar las relaciones entre los constructores teóricos. La confiabilidad se evaluó utilizando el alfa de Cronbach. China Año Los datos se recogieron de enero a marzo en 2016 Los resultados muestran que el marco de investigación para integrar el TAM y el modelo TTF de utilidad proporcionan una comprensión más completa de los comportamientos relacionados con este contexto: (1) la utilidad y la actitud percibidas son críticas para la intención continua de utilizar MOOCs; (2) la utilidad percibida es un mediador significativo de los efectos de la facilidad de uso percibida, la reputación, el reconocimiento social y la influencia social en la intención de continuidad; (3) inesperadamente, la facilidad de uso percibida y la influencia social no tienen un efecto significativo en la actitud, y la tecnología individual y la apertura no afectan la utilidad percibida. Hay poca investigación relacionada con los factores que influyen en la adopción de los MOOCs y aún menos, el uso continuado de MOOCs. El modelo propuesto en este estudio ayuda a los investigadores y los profesionales a obtener una mejor comprensión de los comportamientos de los usuarios en MOOCs. Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX No se evidencia 259 Youtube Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 20. Artículo 3. 2017 Autor/es Nombre artículo Revista INFORMACIÓN GENERAL DEL ARTÍCULO Yamba-Yugsi, M., & Área de Universitarios profesores Luján-Mora, S. estudio del Cursos MOOC: Año, 2017. Castellano, Ecuador factores que Idioma disminuyen el original y abandono en los país participantes. el nivel de Enfoque UTE, 8(1), Objetivos - Medir conocimiento tecnológico de 1-15 los participantes en el curso MOOC. - Conocer el estado de ánimo previo a participar en el curso MOOC. - Medir la organización, colaboración y evaluación del curso. Tipo de estudio Descriptivo Hipótesis ¿Cuál es el estado de ánimo, previo a participar en el curso MOOC?, ¿Cuál es la principal motivación para concluir el curso?, ¿cuál es el nivel de satisfacción al concluir los dos cursos? Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta 2 encuestas Instrumentos Preguntas cerradas de SI o NO de diagnóstico de medición Encuesta con escala tipo likert, de satisfacción Otros 2 MOOC, 1 de matemática y 1inducción a la plataforma DATOS DE LAS EXPERIENCIAS Ámbito Profesores Población 3.060 Universitarios Muestra En la ED participaron Observaciones El certificado de 367 personas, mientras finalización de los que en la ES MOOCs fue avalado por participaron 3.020 el Ministerio de personas. Educación de Ecuador Método y Se realizó una encuesta. Tratamiento Los resultados se procedimiento de los analizaron con resultados herramientas 260 Anexo 1 País Resultados Conclusiones tecnológicas Google Form y Typeform Ecuador Año Enero a septiembre 2015 La mayoría, el 82,6% correspondiente a 303 personas, dijo que el curso lo realizó por Aplicar en la actividad como profesor . Solo 4, correspondientes al 1,1%, contestaron por ser por exigencia de la institución. En cuanto a satisfacción entre un 40% y un 56% están Totalmente de acuerdo . Además la mayoría considera que el grado de dificultad y el esfuerzo que se realiza para concluir el MOOC es adecuado a lo esperado. La motivación de los participantes al momento de la inscripción al MOOC es fundamental para lograr el éxito, sin embargo, factores tales como el reconocimiento del certificado y de la Institución que lo otorgue, el diseño, planificación y ejecución del MOOC son elementos también esenciales para poder tener un MOOC de calidad. Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX Forma X 261 Youtube Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 21. Artículo 4. 2017 Autor/es Nombre artículo INFORMACIÓN GENERAL DEL ARTÍCULO Mengual-Andrés, S., Área de estudio Vázquez-Cano, E., & Meneses, E. L. del La productividad Año, Idioma 2017, castellano, científica sobre MOOC: original y país España aproximación bibliométrica 2012-2016 a través de SCOPUS. RIED. Revista Tipo estudio Otros de Revista Iberoamericana de Educación a Distancia, 20(1), 39-58 Bibliográfico Objetivos Analiza la productividad científica del fenómeno MOOC Hipótesis ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Producción científica y publicaciones HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos de El total de las referencias fue exportado mediante CSV, se empleó medición Bibexel para la normalización de los datos y VosViewer para la visualización y representación de los nodos de datos. Otros DATOS DE LAS EXPERIENCIAS Ámbito No. De 1451 documentos, participantes pero se seleccionaron 752 publicaciones indexadas en la base de datos SCOPUS. País España Año Periodo 2012-2016 Resultados La mayor concentración ha sido descrita entre el año 2014, con un 33,1% de las publicaciones (n=249) y en particular en 2015, con un 42,4% (n=319) de las publicaciones totales. La tendencia del año 2016, con un 11.6% (n=87) podría ser una evidencia de la desaceleración del fenómeno (era post-MOOC) u otros factores asociados como el retraso en la indexación de trabajos del último trimestre por parte de SCOPUS. 262 Anexo 1 Conclusiones Otros Criterios establecidos Criterios considerados El 41,3% de la productividad (n=301) ha estado bajo el formato de artículo. En dicho cómputo se incluyen también los artículos en prensa (n=16) y los artículos de revisión (n=21). Hemos excluido de este cómputo el 1.6% (n=12) de editoriales. Otro gran bloque de trabajos sobre MOOC estaría conformado por los conference papers que, con 358 documentos, confirman un total del 47,6% de los trabajos publicados. Por lo que respecta a los libros por compilación y capítulos de libro indexados en SCOPUS, representan el 5,9% (n=44), siendo dicha publicación algo mayor que el resto de documentos que representan el 3,3% de la producción (cartas al editor, notas y cuestionarios). En primer lugar, se ha evidenciado una producción científica destacada, que con una evolución constante se prevé que el 2016 se posicione, si cabe, al mismo nivel que los años 2014 y 2015. Se pone de manifiesto la vigencia de la temática MOOC y la confrontación con los investigadores que describen la ya era postMOOC. Se pone de manifiesto que la actualidad de la temática se manifiesta a través de dos fuentes básicas de difusión: a) el artículo científico y b) los papers de comunicaciones indexadas. Del mismo modo, el escenario en 2016 acogerá en mayor medida el artículo científico como medio de difusión del conocimiento respecto a MOOCs. Los campos de las Ciencias Sociales y de la Computación son aquellos más activos en la investigación y dinamización, habiendo producido un 31,2% de la productividad científica total del fenómeno tan solo en el año 2015, más de un 20% que en 2014. Dos son los países que abanderan las mayores tasas de productividad: Estados Unidos, con un 27,4% del total y España, con un 10,6%. Durante el mes de abril de 2016 se llevó a cabo la búsqueda, recolección y cuantificación de las publicaciones científicas que respondían al fenómeno MOOC Análisis cualitativo Se seleccionó la base de datos internacional SCOPUS en base al reconocimiento científico de la misma y la amplia cobertura nacional e internacional de los trabajos. no La información recuperada aportó información sobre: a) fuente de publicación, b) tipo de documento, c) localización geográfica, d) afiliación institucional, e) citas recibidas, f) palabras clave, g) año de publicación, h) área de conocimiento e i) referencias citadas en los documentos. 263 Machine Learning y predicciones para la mejora del rendimiento en MOOC Cómo se hace el Análisis Bibliométrico tratamiento de Finalmente, los análisis descriptivos sobre indicadores datos bibliométricos de producción (productividad de los autores, tipo de documentos, años, citas, etc.) se llevó a cabo con el paquete estadístico SPSS 22 y fueron completados con un análisis de concitación. Tratamiento de El análisis y tratamiento de datos se llevó a cabo a través de datos estadísticos descriptivos y medidas de tendencia central y dispersión, complementadas con técnicas centradas en el análisis de información en red. 264 Anexo 1 Tabla 22. Artículo 5. 2017 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Milligan, C., & Área de Salud Littlejohn, A. estudio Nombre del Why study on a Año, 2017. inglés. Estados artículo MOOC? The motives Idioma Unidos of students and original y professionals. The país International Revista Review of Research Objetivos Explorar las motivaciones in Open and de los alumnos que Distributed participan en dos MOOCs, Learning, 18(2). Tipo de estudio Descriptivo Hipótesis ¿Cuál fue su principal motivación para realizar este curso? Otros Proporciona una idea de las percepciones de estos alumnos a corto plazo, las necesidades de aprendizaje del lugar de trabajo a largo plazo y el papel que pueden jugar los MOOCs en el cumplimiento de ellos. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Una encuesta tipo cuestionario de preguntas cerradas y abiertas. Se centró en los ensayos clínicos (n= 303) y de la ciencia de datos (n=667) Instrumentos El instrumento de estudio fue diseñado para proporcionar una medida de medición de la capacidad de los participantes MOOC para autorregular su aprendizaje, junto con la información demográfica y preguntas abiertas adicionales que exploran la motivación y expectativas del alumno. Se pidió a los encuestados que indicaran si trabajaban actualmente como profesionales en un ámbito relacionado con el tema del curso, o si lo estaban estudiando para obtener un título en un campo relacionado. Las normas éticas se adoptaron de acuerdo con la normativa local, y los participantes eran libres de abandonar el estudio en cualquier momento y sin prejuicios. Otros DATOS DE LAS EXPERIENCIAS Ámbito Universidad de Población En uno se inscribieron Washington y otro en la 50.000 de 197 países, en el segundo MOOC hubo 265 Machine Learning y predicciones para la mejora del rendimiento en MOOC Escuela de Medicina de Harvard. 22.000 inscriptos de 168 países. Los requisitos de participación era tener una experiencia intermedia en programación y ser profesionales del área. Muestra 12.500 y 6.500 de estos Observaciones dos cursos. Método y El estudio se basa en Tratamiento Los datos se recogieron procedimiento datos recogidos durante de los entre finales de 2013 y dos estudios paralelos resultados mediados de 2014. Se que exploran analizaron en base al experiencias MOOCs programa estadístico de los profesionales de Spss y distintas la enseñanza. categorías para las Se les envió encuestas preguntas abiertas con la por correo electrónico y colaboración de un se complementaron en tercer investigador. línea. País Estados Unidos Año 2013 hasta el 2014 Resultados Se identificaron nueve tipos de motivaciones para participar en los dos MOOCs, agrupándolas en dos categorías generales. La gran mayoría de las respuestas hicieron referencia al tema del curso (cuatro categorías codificadas como: interés general en el tema, la oportunidad de aprender sobre el tema, la relevancia del tema del curso y su relevancia para la futura intención de carrera). Un grupo mucho más pequeño de respuestas se centraron en el curso como una entidad (cinco categorías, codificado como: el prestigio del proveedor de MOOC, la oportunidad de estudiar en un MOOC, la oportunidad de obtener un certificado de aprendizaje, el (cero) el costo de la participación, y el lenguaje de la entrega del curso). Conclusiones El análisis presentado aquí permite reconocer la variedad de motivaciones para aprender que se han percibido por los participantes MOOC. A través de estos dos MOOCs, que se centraron en temas técnicos con poco atractivo para las masas, se plantea un perfil de profesional cuya motivación para cursar el MOOC era ampliar y perfeccionar los conocimientos específicos, y tiene una gran vinculación con la función actual o futura carrera. Ambos cursos demostraron que los alumnos no cursaban los MOOCs por una motivación extrínseca, sino por la motivación intrínseca de aprender. Otros Los MOOCs seleccionados para su inclusión en el estudio fueron cursos cuya temática estaba orientada a un público profesional. El objetivo de este público era actualizar o complementar sus 266 Anexo 1 EDx Otros conocimientos profesionales o para obtener un certificado en un tema como prueba de su conocimiento. PLATAFORMA UTILIZADA SPOC Open EDX Youtube Curso de 8 semanas que se ofrece en la plataforma Coursera. 267 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 23. Artículo 6. 2017 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Bote-Lorenzo, M. L., Área de Mooc en circuitos y & Gómez-Sánchez, estudio electrónica E. Nombre del Predicting the Año, 2017, inglés. España artículo decrease of Idioma engagement original y indicators in a país MOOC. Revista In Proceedings of the Objetivos Presentar un enfoque para Seventh International predecir la disminución de Learning Analytics los indicadores de & Knowledge compromiso. Conference (pp. 143147). ACM. Tipo de estudio Experimental Hipótesis Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos Se analizó en base al comportamiento del alumno en cada uno de los de medición capítulos del MOOC, sacando medidas que permitieran comprobar los criterios. Otros DATOS DE LAS EXPERIENCIAS Ámbito Educativo Población 26.947 inscritos, sólo 6.002 realizaron al menos una actividad. Muestra Un certificado de logro Observaciones fue concedida a 1.099 estudiantes Método y Se estableció un Tratamiento El indicador de la procedimiento indicador de de los participación de vídeo se compromiso diferente resultados obtiene promediando los para cada una de las 3 porcentajes de tareas principales que se videoconferencias que esperaba de los fueron total o estudiantes para llevar a parcialmente vistos por cabo en el curso: un estudiante en cada - La observación de capítulo. videos de conferencias, - ejercicios y 268 Anexo 1 - la presentación de las tareas. País Resultados Conclusiones Otros EDx Otros Año 2013 El estudio experimental mostró que el enfoque propuesto en este documento dio buenos resultados en la predicción de la disminución de los indicadores de compromiso derivados de las tres tareas principales que se llevaron a cabo por los estudiantes. Como se ha señalado antes, las predicciones se hicieron al final de los capítulos 2 a 11 utilizando sólo la información que estaba disponible en esos momentos. La detección temprana de los indicadores de compromiso de los estudiantes MOOC, permite realizar intervenciones dirigidas a la prevención del compromiso de los participantes durante el curso. En este trabajo se ha presentado un enfoque para predecir la disminución de los indicadores de compromiso al final de los capítulos MOOCs utilizando información sobre el comportamiento de los estudiantes que esté disponible durante el curso. Se ha demostrado que se pueden lograr buenos resultados para todos los indicadores, utilizando el método CFS para la selección de características y el algoritmo de SGD para la clasificación. Esto apoya la idea que el método propuesto habría sido útil para detectar los estudiantes en retroceso y sugiere que podría ser útil en otros MOOCs también. El MOOC analizado contó con 14 semanas, diferentes actividades en las que destaca video, actividades del libro y evaluación formativa y sumativa PLATAFORMA UTILIZADA SPOC Open EDX Youtube Plataforma edx. 269 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 24. Artículo 7. 2017 INFORMACIÓN GENERAL DEL ARTÍCULO Almenara, J. C., Marín Área de estudio Díaz, V., & Sampedro Requena, B. E. Nombre del Aportaciones desde la Año, Idioma (2017). artículo investigación para la original y país utilización educativa de los MOOC. Revista Revista Española de Objetivos Analizar las diversas Pedagogía, 75 (266), 7contribuciones que se 27 han realizado a revistas científicas de corte educativo y de ámbito internacional sobre los MOOCs entre el período de 2011-2016. Tipo de Revisión sistemática de diversos artículos, en los que se abordaba la estudio temática de los MOOCs pretendiendo obtener un índice cuantitativo común, mediante el cual se ha efectuado una búsqueda metódica en diversas bases de datos del área de Ciencias Sociales pero atendiendo a revistas que fueran de carácter tecnológico educativo de acceso abierto; y cualitativo, identificando las diversas áreas que se afrontan en estos MOOCs desde el ámbito más científico. Hipótesis No se evidencia Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos de No se evidencia medición Otros DATOS DE LAS EXPERIENCIAS Ámbito Tecnológico No. De Se recopilaron un educativo participantes total de 89 artículos de las diferentes revistas consultadas. País España Año Período comprendido entre Autor/es 270 Anexo 1 Resultados Conclusiones 2011 y los dos primeros meses de 2016. Los artículos analizados en revistas de tecnología educativa reflejan que existe un aumento en las aportaciones, dado que donde concurren un mayor número de artículos científicos sobre el tópico MOOC es en 2015 (50,6%) y una menor cantidad en 2012 (3,4%); asimismo, se observa como en sólo dos meses estudiados del 2016 existen el doble que en 2013 (7,9%), mientras que en 2011 hay un 1%, hecho que induce a pensar que en 2016 se superaran las contribuciones científicas del 2015. En referencia al índice de impacto de los que gozan las revistas donde se encuentran los artículos seleccionados, encontramos que la mayoría de los artículos se engloban en revistas que disfrutan de factor de impacto JCR y SCOPUS (57,3%). En relación, a las categorías o áreas temáticas que quedaron reestructuradas de los 89 artículos analizados el 33,7% se refieren a diseño de contenidos y materiales; el 22,5% a la categoría de otras; el 18% a la problemática de aplicación de los MOOC; el 7,9% a las teorías de aprendizaje y MOOC; el 5,6% a la motivación e implicación de los alumnos; el 3,4% a los beneficios institucionales; el 2,2% a metodologías y estrategias pedagógicas; el 1,1% a economía en los MOOC, y el mismo porcentaje al análisis y/o presentación de plataformas MOOC, a las herramientas de comunicación en los MOOCs y a la comparativa con otras estrategias virtuales de formación. En los últimos cinco años las publicaciones relacionadas con el tópico de los MOOCs se han ido ampliando, lo que denota que es una temática que está teniendo un alto impacto en el terreno educativo. Este estudio pone de manifiesto que los ámbitos en los cuales se está fundamentando la aplicación de los MOOCs son por una parte el universitario y por otro las acciones formativas destinadas a la capacitación de las personas ya formadas, es decir a su perfeccionamiento. Otros Criterios establecidos Análisis cualitativo Para efectuar el análisis cuantitativo se contemplaron algunas de las categorías: - tipo de documento (investigación o teórico); - índice de impacto de la revista; - tipo de sección dentro de la revista; - institución a la que se dirigen; - metodología y diseño de investigación planteado; - tipo de instrumento; 271 Machine Learning y predicciones para la mejora del rendimiento en MOOC Criterios considerados no Cómo se hace el tratamiento de datos Tratamiento datos de Con las mismas categorías se clasificaron y categorizaron los artículos abordados. Después del análisis previo, las mismas quedaron reestructuradas en las siguientes áreas temáticas sobre MOOC: - Diseño de contenidos y materiales. - Análisis y/o presentación de plataformas MOOC. - Beneficios institucionales. - Problemática de la evaluación en los cursos MOOC: técnicas y estrategias de evaluación. - Economía en los MOOC: modelo de negocio. - Herramientas de comunicación en los MOOC. - Motivación e implicación de los alumnos. - Comparativa con otras estrategias virtuales de formación. - Problemática de aplicación de los MOOC. - Metodología y estrategias pedagógicas. - Teorías de aprendizaje y MOOC. Otras (en las que se recogen diversas temáticas por cada aportación que no se expresan en las áreas propuestas). La metodología planteada en este estudio se basa, inicialmente, en los anteriores análisis, seleccionando como palabra clave «MOOC» en diversas bases de datos donde se encuentran alojadas las revistas y las aportaciones más relevantes sobre la temática de esta observación sistemática. En concreto, se buscó en ISI Web of Knowledge para las contribuciones con factor de impacto JCR, Scimago Journal & Country Rank, SCOPUS y Sello Fecyt, aunque en todas se partió de la premisa de que tuvieran acceso libre y que fueran revistas del campo de la Tecnología Educativa. Análisis de cada uno de los criterios con programas estadísticos de Spss 272 Anexo 1 Tabla 25. Artículo 1. 2018 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Watted, A., & Área de Barak, M. estudio Nombre del artículo Motivating factors Año, 2018 of MOOC Idioma completers: original y Comparing between país university-affiliated students and general participants. Revista The Internet and Objetivos Examinar los factores de Higher motivación de los Education, 37, 11estudiantes que 20. completaron con éxito un MOOC en nanotecnología y nanosensores Tipo de estudio Se utilizó el método Hipótesis Preguntas de de estudio de caso. investigación: Se examinó un - ¿Qué expectativas sobre fenómeno las características y contemporáneo beneficios tiene los que dentro del contexto terminaron los MOOC? de la vida real, y - ¿Cuáles son las había poco control diferencias en cuanto a sobre las variables expectativas en el que intervienen. MOOC hay entre los estudiantes universitarios y los participantes generales (no universitarios)? - ¿Qué diferencias en cuanto a datos demográficos existe entre los alumnos que finalizaron los MOOC? Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas No se evidenció Encuesta En línea Instrumentos Se utilizó una encuesta en línea, mensajes en el foro y mensajes de correo de medición electrónico. Se organizó en dos partes: (1) datos demográficos: sexo, edad, nivel de educación y el estado de ocupación; (2) una pregunta 273 Machine Learning y predicciones para la mejora del rendimiento en MOOC abierta "¿Por qué estás tomando el MOOC en Nanotecnología y Nanosensores"? Otros Los temas a tratar fueron tres: motivación profesional, personal y educativo DATOS DE LAS EXPERIENCIAS Ámbito Universitario Población 11.210, se inscribieron en el curso, 377 completaron el curso y 308 rellenaron la autorización de participación en la investigación. Muestra 308 participantes: 114 inscritos en la universidad y 194 estudiantes en general. Los participantes generales se repartieron en dos grupos: Los de inscripción gratuita (libres) (N = 67) y participantes que pagaron (N = 127). Observaciones El curso de 10 semanas incluyó áreas interdisciplinares que abarcaban química, física, biología, ciencia de los materiales e ingeniería eléctrica. Los materiales de aprendizaje consistieron en videoconferencias, artículos y un libro electrónico. El curso incluye 3 tipos de tareas calificadas: 10 pruebas semanales, 2 preguntas de ensayo y un proyecto final. Con el fin de recibir una Declaración de Cumplimiento (participantes generales) o un Certificado, los participantes están obligados a recibir una calificación general del 70% o superior. Método y Se realizó durante el primer curso de Nanotecnología y nanosensores. procedimiento En condiciones similares a las del curso presencial. Tratamiento En este estudio, se empleó un diseño de métodos mixtos, en el que un de los estudio cualitativo exploratorio conduce a un proceso de análisis resultados cuantitativo. El análisis de datos cualitativos siguió al enfoque fenomenológico, subrayando las percepciones, creencias y puntos de vista de los participantes. Para el proceso de análisis cualitativo, las categorías emergentes fueron codificadas, se contaron y se compararon con el fin de examinar las diferencias entre los grupos de investigación. Además de la encuesta, se analizaron 116 mensajes en el foro y 45 mensajes de correo electrónico que hacen referencia explícita o implícitamente a la motivación de los participantes para aprender. Entre ellos, 44 mensajes en el foro y 17 mensajes de correo electrónico fueron escritos por estudiantes universitarios, y 72 mensajes en el foro y 28 mensajes de correo electrónico fueron escritos por los participantes en general. La información adicional se utilizó para triangular las categorías que surgieron de la encuesta en línea. Debido a la naturaleza ordinal de los datos, se utilizaron métodos no paramétricos para el análisis estadístico. El análisis estadístico involucró dos pruebas principales, un Mann - Whitney T prueba para comparar dos 274 Anexo 1 grupos independientes y la prueba de Kruskal - Wallis H-test para comparar más de dos grupos. País Resultados Conclusiones Otros EDx Otros Año 2013 Los dos grupos (universitarios y generales) fueron similares en cuanto a que su motivación se basaba en los beneficios personales, junto con el crecimiento y el enriquecimiento. Sin embargo, los dos grupos se diferenciaron en otros parámetros, destacando la gran capacidad de los alumnos universitarios. El propósito de los MOOCs se caracterizó principalmente por el interés con el crecimiento y el enriquecimiento. En concreto, los participantes no universitarios estaban interesados en adquirir conocimientos y habilidades relevantes para su lugar de trabajo, mientras que los universitarios estaban interesados en aprender los contenidos que son relevantes para su grado académico. Se puede concluir, que ambos grupos fueron motivados por el interés general, el crecimiento personal y enriquecimiento. Con los resultados obtenidos se puede sugerir que el diseño de MOOCs en el área académica debe dirigirse tanto a promover la comprensión de nuevos conceptos como a generar nuevas habilidades. Se evidenció la inscripción en mayor proporción de hombres que de mujeres, aunque la distribución de los sexos en ambos grupos no evidenció gran diferencia. En cuanto a la edad, los universitarios eran más jóvenes que los generales. Aunque en su mayoría eran del área de ingeniería, no se presentaron grandes diferencias en los resultados entre ambos cursos. Solo uno pocos trabajan. PLATAFORMA UTILIZADA SPOC Open Youtube EDX Coursera 275 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 26. Artículo 2. 2018 Autor/es Nombre artículo Revista INFORMACIÓN GENERAL DEL ARTÍCULO Zhu, M., Sari, A., & Lee, Área de estudio Educativo M. M.. A del Systematic review of Año, Idioma 2018 research methods and original y país topics of the empirical MOOC literature (2014 2016). Proporcionar The Internet and Higher Objetivos revisión de Education, 37, 31-39. una los paradigmas de investigación y temas de MOOCs para comprender mejor el fenómeno y cuestiones metodológicas relacionadas con ellos. Tipo de Sistemático estudio Hipótesis Las preguntas de investigación fueron las siguientes: - ¿Cuáles son los métodos de investigación empleados en los estudios empíricos MOOC? - ¿Cuáles son los temas de investigación o focos de los estudios anteriores MOOC? - ¿Cómo están distribuidos geográficamente los investigadores de los estudios empíricos? - ¿cuáles son los países que mayor interés están teniendo sobre los MOOCs ? Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Instrumentos de Los datos registrados de cada estudio incluyen una variedad de medición dimensiones, tales como los autores y sus afiliaciones, la ubicación de los autores, la ubicación de los participantes, año de publicación, título, nombre de la revista, método analítico general (por ejemplo, cualitativa, cuantitativa, o mixto métodos), los métodos de recolección de datos, métodos de análisis de datos, el enfoque general de estudio, enfoque de estudio especial, y la URL del artículo. 276 Anexo 1 Otros Ámbito País Resultados Conclusiones Para aumentar la validez, dos investigadores cotejarán los datos, discutieron las discrepancias, y llegaron a un consenso en los análisis DATOS DE LAS EXPERIENCIAS No. De 146 para la fase 1, participantes y 51 para la fase 2. Año Publicados entre octubre 2014 a julio 2017. Este proyecto de investigación ha recogido estudios empíricos publicados en 77 revistas diferentes. En total, 26 de 197 artículos (13%) se publicaron en 2014, 68 artículos (35%) en 2015, 57 artículos (29%) en 2016, y 46 artículos (23%) en sólo el primer siete meses de 2017. La mayoría de los artículos se publicaron en la Revista Internacional de Investigación en educación abierta ya distancia (IRRODL). Los resultados revelaron que: - los métodos cuantitativos fueron los que utilizaron principalmente, - los métodos de recolección más usados fueron encuestas, análisis de base de datos de la plataforma y entrevistas, - la mayoría de los investigadores MOOC utilizan la estadística descriptiva para analizar los datos, - el foco de la investigación se centró principalmente en los estudiantes, seguido del diseño, el contexto y en el impacto, - la mayoría de los autores trabajaron en colaboración dentro del mismo país, y - Estados Unidos es el país que más investiga, seguido por el Reino Unido, España y China. Otros Criterios establecidos Análisis cualitativo - El estudio tenía que ser un estudio empírico. - El estudio debe investigar principalmente los aspectos educativos de MOOCs. - Se incluyeron artículos de Scopus y otras reconocidas. - La palabra clave MOOC se utilizó para la inspección en títulos, resúmenes y palabras clave de la literatura. - Los tipos de documentos incluidos en esta revisión fueron artículos de revistas; no se incluyeron informes técnicos, documentos de conferencias y comunicados de prensa. - El idioma es inglés. Se logró clasificar los datos recogidos como información de inscripción, los registros de seguimiento de clics, porcentaje de actividades terminadas, y el vídeo/páginas vistas. 277 Machine Learning y predicciones para la mejora del rendimiento en MOOC Cómo se hace el Este estudio incluye la fase 1(octubre 2014-noviembre 2016) y tratamiento de la fase 2 (diciembre el año 2016 - Julio 2017). datos Tratamiento de Para dar respuesta a cada una de las preguntas de investigación datos se realizaron proyectos diferentes: 1- los investigadores codificaron los documentos utilizando 3 categorías generales: investigación cuantitativa, cualitativa de investigación y métodos mixtos. Para el análisis de los métodos de recolección de datos, los investigadores utilizaron categorías identificadas por Tashakkori y Teddlie (2003), tales como entrevistas, encuestas, grupos focales, pruebas y observaciones 2- para aumentar la validez, los investigadores utilizaron 5 categorías de codificación identificados por Veletsianos y Shepherdson (2015); a saber: (1) centrada en el estudiante, (2) maestro-centrado, (3) designfocused, (4) contexto y el impacto, y (5) otros. Estas categorías encapsulan efectivamente las diversas áreas de la investigación sobre MOOCs. 3- se calcularon las ubicaciones de todas las afiliaciones de los autores MOOC en este estudio. 4- los investigadores calcularon los países que participan de investigaciones MOOC. 278 Anexo 1 Tabla 27. Artículo 3. 2018 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Castaño-Garrido, C., Área de Garay, U., & Maizq, I estudio Nombre del Factores de éxito Año, artículo académico en la Idioma integración de los original y MOOCs en el aula país universitaria Revista Revista Española de Objetivos Pedagogía, 75(266). Universitario 2018 Analizar el impacto en el rendimiento académico de la integración de un MOOC cooperativo en las aulas universitarias Tipo de estudio Estudio longitudinal Hipótesis Preguntas de investigación: a lo largo de 3 cursos 1. ¿Es eficaz un MOOC académicos. integrado en una asignatura de Grado universitario para el aprendizaje del alumnado? 2. ¿Los factores sociales contribuyen al éxito académico en un MOOC? 3. ¿Qué tipo de participación en el MOOC obtiene un mayor nivel de rendimiento académico? Otros La metodología didáctica implementada en el curso MOOC fue la cooperativa, por lo que todas las actividades debían compartirse entre los compañeros y con demás personas a través de las redes sociales. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Instrumentos El rendimiento se ha evaluado a través de evidencias de aprendizaje, de medición mientras que el diseño y la influencia del tipo de participación se han controlado a través de instrumentos estandarizados (TAM, Technology Acceptance Model, e IMMS, Instructional Materials Motivation Survey). Otros DATOS DE LAS EXPERIENCIAS Ámbito Los estudiantes de Población 2.358 participantes, cuarto curso del Grado distribuidos de la de Educación Primaria siguiente manera: 279 Machine Learning y predicciones para la mejora del rendimiento en MOOC de la Universidad del 1º año: 744 País Vasco, y público en 2º año: 481 general. 3º año: 1.133 Muestra Todos los alumnos de 4º Observaciones 5 semanas, 5 módulos curso de Grado de Educación Primaria de la Universidad del País Vasco, por lo que los demás inscritos en el curso fueron excluidos de la muestra. Los participantes fueron: 1º año: 150 2º año: 53 alumnos que participaron en la primera edición 3º año: 43 que lo hicieron en la segunda y 54 en la tercera. Método y Se diseñó un curso cooperativo en el que los alumnos participan a procedimiento partir de la interacción. Acceden a los materiales y a las actividades y a su vez participan activamente en la parte social del aprendizaje: resolución de tareas, foros de discusión, evaluaciones entre pares, materiales adicionales, participación en la comunidad de aprendizaje, etc. Tratamiento Los resultados se analizaron con técnicas diferentes para cada de los pregunta de investigación: resultados 1. Número de caso de Clúster, Diferencia de medias, Error estándar, Sig., Intervalo de confianza al 95%, comprobación a través de ANOVA. 2. Se han analizado tres ediciones de un curso online masivo y abierto en un estudio longitudinal, las cuatro variables del cuestionario IMMS (confianza, atención, satisfacción y relevancia) 3. Regresión múltiple para ver cuál de las variables estudiadas es la más relevante para pronosticar los resultados académicos. País España Año 2018 Resultados Los resultados se obtuvieron de manera diferenciada en cada una de las preguntas de investigación: 1. Realizar un MOOC insertado en la asignatura de Grado influye de forma positiva en la mejora de los resultados académicos, sobre todo, en aquellos alumnos que obtienen peores resultados. 2. Se evidenciaron diferencias significativas entre las dos primeras ediciones y la tercera, ya que la tercera era con 280 Anexo 1 actividades que implicaban menos cooperación entre los participantes. Siendo los participantes de la edición 1 y 2 los que más presentan confianza en sí mismos para realizar actividades cooperativas. 3. El alumno debe estar satisfecho con el diseño del curso MOOC para poder participar y así obtener un buen rendimiento académico. Conclusiones Se puede concluir que la partición en cursos MOOCs de manera cooperativa donde se interactúe activamente, permite una mejora notable en el aprendizaje y en el rendimiento académico. Un aspecto de gran influencia es la combinación entre el curso virtual y presencial, lo que también promueve el interés y motivación. La cooperación permite que entre compañeros se motiven lo que hace que se obtengan mejores resultados y un mayor aprendizaje de la experiencia. Otros Una de las principales limitaciones de la propuesta, fue que cada edición utilizó una plataforma diferente, lo que de alguna manera pudo afectar el resultado (aunque esto no fue valorado). PLATAFORMA UTILIZADA EDx SPOC Open EDX Youtube Otros Cada año en el que se estudió el MOOC, se utilizó una plataforma diferente: 1. Metauniversidad basada en Chamilo, solución de software libre de gestión del e-learning y licenciada bajo la GNU/GPLx3. 2. MetaMOOC sobre la plataforma de código libre de EdX 3. MiriadaX. 281 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 28. Artículo 4. 2018 Autor/es Nombre artículo Revista Tipo estudio INFORMACIÓN GENERAL DEL ARTÍCULO Duart, J. M., Roig-Vila, Área de estudio Educativo R., Mengual-Andrés, S., & Maseda Durán, M. Á del La calidad pedagógica de Año, Idioma 2018. Los MOOCs a partir de la original y país revisión sistemática de las publicaciones JCR y Scopus (2013-2015). Revista Española de Objetivos Determinar los Pedagogía, 2017, vol. 75, aspectos abordados en núm. 266, p. 29-46 relación a la calidad pedagógica de los MOOC. de Sistemático Hipótesis En el marco de la Educación Superior, ¿Los MOOCs presentan una buena calidad pedagógica? Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Instrumentos de Revisar diferentes estudios que han evaluado la calidad medición pedagógica de los MOOCs y analizar qué criterios han utilizado. Otros DATOS DE LAS EXPERIENCIAS Ámbito Educativo No. De 33 artículos participantes publicados País Resultados Año En el intervalo de 2013 al 2015 Los resultados se presentan por cada uno de los criterios analizados: 1. La planificación flexible permite que el alumno aprenda a su propio ritmo, por lo que logra obtener un aprendizaje significativo y autónomo. 2. Los contenidos no determinan que sean más o menos demandados, lo que, si es cierto, es que el diseño y la 282 Anexo 1 Conclusiones presentación de los contenidos forman parte de los factores motivacionales para que los alumnos concluyan el MOOC. 3. La metodología pedagógica utilizada en el MOOC determina el abandono o no del MOOC, es por eso que se considera que pese a la importancia de estos criterios son pocos los estudios que se encuentran sobre este tema. Los estudios encontrados en su mayoría demuestran como la metodología cooperativista beneficia la motivación, el logro del aprendizaje y a su vez la disminución del abandono. 4. La calidad de los recursos, su variabilidad y la utilidad que se les pretende dar, será de gran motivación para el logro del aprendizaje. 5. La motivación en los MOOCs se logra según las diferentes investigaciones, a través de diferentes factores, entre los que se encuentra, el área temática, el prestigio de la universidad que lo imparte y las actividades cooperativas que se presentan, entre otros. 6. La comunicación es fundamental para evitar el abandono, esta debe incentivarse con el profesor y demás compañeros a través del foro y otras actividades de corte conectivista o cooperativa, que permitan al estudiante expresarse, y demostrar lo aprendido. 7. Las evaluaciones y certificaciones quizás son el tema menos estudiado y más criticado, por lo que para considerarse válidas, deben utilizarse diferentes estrategias de evaluación que midan lo que realmente se pretende medir. Además, la certificación no debe darse únicamente por haber pagado una determinada tasa, sino por haber cumplimentado todas las actividades y haber obtenido un aprobado en la evaluación. Los resultados del presente estudio ponen de manifiesto que la valoración de la calidad de los MOOCs alude a un promedio de calidad ligeramente superior a la media, exceptuando 3 variables, como son los contenidos, los recursos y actividades y la evaluación. Asimismo, se advierte de la escasez de estudios relacionados directamente con la calidad pedagógica de los MOOC, por lo que se estima necesario desarrollar más estudios que, desde el rigor metodológico, tiendan a obtener resultados concluyentes. Otros Criterios establecidos - Análisis cualitativo Planificación del curso, contenidos, metodología, recursos y actividades, motivación, 283 Machine Learning y predicciones para la mejora del rendimiento en MOOC - comunicación, evaluación y certificación. Criterios no considerados Cómo se hace el Haciendo uso de las bases de datos académicas JCR y Scopus. tratamiento de En la fase de búsqueda de la información se buscaron resultados datos a partir del establecimiento de las siguientes palabras clave: MOOC, Massively Open Online Course, Massive Open Online Course. Los términos que se buscaron fueron: ISI Web of Knowledge (JCR) y Scopus (SJR). Tratamiento de Se estableció un listado de revistas punteras en educación para datos consultar y obtener la información necesaria atendiendo a estudios con fecha de publicación entre los años 2013 y 2015. 284 Anexo 1 Tabla 29. Artículo 5. 2018 INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Larionova, V., Área de Universitario Brown, K., Bystrova, estudio T., & Sinitsyn, E Nombre del Russian perspectives Año, 2018 artículo of online learning Idioma technologies in original y higher education: An país empirical study of a MOOC. Revista Research in Objetivos Comparar los diferentes Comparative and modelos de aprendizaje en International línea entre sí y con el Education, 13(1), 70formato tradicional 91. enseñado Tipo de estudio Un análisis Hipótesis - La elección de los comparativo basado métodos (modelos) para el en un estudio uso de los cursos en línea empírico de la en la implementación de aplicación de un programa educativo en diferentes modelos de una universidad depende aprendizaje en línea de los objetivos dentro de una educativos y los universidad. estudiantes. - Diferentes disciplinas y categorías de los estudiantes, pueden requerir diferentes modelos de aprendizaje en línea con el fin de ser eficientes. Otros El experimento pretende comprobar cómo se manejan algunas disciplinas en el marco de un modelo de aprendizaje combinado y un modelo de aprendizaje en línea con el apoyo de tutoría. Los resultados del estudio piloto se compararon con los resultados de la formación de un grupo de control de estudiantes que dominan las mismas disciplinas en un formato tradicional enseñanza. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta Encuesta de satisfacción Instrumentos Datos propios que se obtienen de la encuesta al inscribirse en el de medición MOOC - puntuación media en el Examen de Estado Unificado (USO) - rendimiento promedio para el período de estudio previo; 285 Machine Learning y predicciones para la mejora del rendimiento en MOOC - rendimiento actual académico de los estudiantes durante el experimento. Otros DATOS DE LAS EXPERIENCIAS Universidad Federal de Población Más de 800 estudiantes los Urales de los programas de licenciatura de distintas carreras participaron en este experimento Muestra El número total de Observaciones participantes fue de 472 estudiantes: - 115 estudiantes en el grupo de control, 148 estudiantes en el primer grupo experimental; - 209 estudiantes en el segundo grupo experimental Método y En el marco del experimento se seleccionaron 3 modelos de procedimiento implementación de una disciplina: - Formato tradicional extendido (modelo 1); - Aprendizaje mezclado con el examen en línea (modelo 3); - Formato en línea con el apoyo de un tutor (modelo 4). Todos estos modelos de aprendizaje en línea se compararon entre sí y con el formato tradicional de aprendizaje. Los estudiantes fueron divididos en lotes con el fin de adoptar diferentes enfoques para el estudio de una disciplina. Tratamiento Los datos experimentales se procesaron utilizando el siguiente de los algoritmo. En el primer paso, la normalidad y la homogeneidad en resultados términos de nivel de la formación inicial de los estudiantes se evaluaron utilizando el criterio Kolmogorov-Smirnov. Se utilizaron herramientas estadísticas descriptivas para el procesamiento de las distribuciones de las puntuaciones medias de los estudiantes (para el primer semestre del año académico 2016-17). Se calcularon indicadores de distribución estadísticos y se representaron barras del gráfico de frecuencia Se agruparon los estudiantes en función de su rendimiento académico anterior, y se hicieron subgrupos correspondientes a diferentes rangos de puntuación de acuerdo con los criterios de evaluación estándar utilizados en el sistema de clasificación de la universidad. En el tercer paso, se analizaron los indicadores estadísticos de los resultados finales de los estudiantes en una disciplina, mediante diferentes modelos de aprendizaje utilizando estadística descriptiva. Ámbito 286 Anexo 1 País Resultados Conclusiones Rusia Año Todos los estudiantes que dominan la disciplina en el segundo trimestre del curso académico 2016-17. Se demostró que ambos modelos presentan una mayor eficacia en comparación con el modelo tradicional; tanto en términos de resultados académicos como en términos de satisfacción con el proceso de aprendizaje. Para las disciplinas de ingeniería y técnicos, no hay ninguna diferencia estadísticamente significativa en el uso de tecnologías de aprendizaje combinado o en línea, mientras que para las disciplinas humanitarias, en los que el componente comunicativo del proceso de aprendizaje es significativo, la tecnología de aprendizaje combinado produce mejores resultados. Los resultados del experimento permiten la selección del modelo propósito para la implementación del proceso educativo teniendo en cuenta tanto las características específicas de las disciplinas, el nivel de formación inicial de los alumnos y su disposición para el aprendizaje en línea. Se confirma que el uso de los cursos en línea no reduce los resultados de aprendizaje de los estudiantes. Por otra parte, los modelos que utilizan MOOCs en el proceso educativo, tales como el aprendizaje mixto y el aprendizaje en línea con el apoyo de un tutor, demuestran una mayor eficacia en comparación con el modelo tradicional. Se demostró que incluso el uso del curso en línea como material adicional en el formato tradicional impartido elevó logros académicos de los estudiantes. Otros EDx Otros PLATAFORMA UTILIZADA X SPOC Open EDX Plataforma en línea 287 Youtube Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 30. Artículo 6. 2018 Autor/es Nombre artículo Revista Tipo estudio Otros INFORMACIÓN GENERAL DEL ARTÍCULO Sastre, S. G., IdrissiÁrea de Universitario Cao, M., Arranz, A. O., estudio & Sánchez, E. G. del Uso de la colaboración Año, 2018 y la gamificación en Idioma MOOC: un análisis original y exploratorio. país RIED. Revista Objetivos Analizar en detalle el uso Iberoamericana de del aprendizaje colaborativo Educación a y de la gamificación en los Distancia, 21(2). mencionados cursos. de Análisis exploratorio Hipótesis La exploración de 20 cursos masivos, en diferentes idiomas, en distintas plataformas y en diversos dominios de conocimiento. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta Encuesta de satisfacción Instrumentos Ficha con información detallada de cada uno de ellos. de medición Otros DATOS DE LAS EXPERIENCIAS Ámbito Educativo universitario Población Cursos MOOC Muestra 20 cursos Observaciones Se seleccionaron entre los que pudieran presentar dificultad tecnológica y los que tuvieran elementos de gamificación y colaboración. Método y Esta investigación consta de una parte teórica que sustenta los procedimiento conocimientos sobre los MOOCs y las metodologías didácticas. En la segunda fase se observaron y analizaron 20 MOOCs, donde se pudiera observar la gamificación y colaboración en los MOOCs. Los cursos se seleccionaron de los buscadores de MOOCs a nivel mundial, haciendo énfasis en aquellos con gamificación y los que pudieran tener una limitación tecnológica. Tratamiento El resultado se organizó en 5 categorías, algunas con subcategorías: de los A. Datos básicos; resultados 288 Anexo 1 País Resultados Conclusiones B. Mecanismos para favorecer la interacción y la comunicación entre participantes (creación de grupos, subgrupos, herramientas para intercambiar ideas y opiniones: foros, chats, redes sociales, etc.); C. Aprendizaje colaborativo (si está presente en el MOOC, a través de la motivación, escala en la que se presenta, papel de la colaboración en el aprendizaje, recursos, evaluación colaborativa); D. Gamificación (si está presente en el MOOC, con el fin que se utiliza, las mecánicas y dinámicas que se llevan a cabo, qué tipos de acciones y herramientas gamificadas); y, E. Observaciones. España Año Se observan propuestas de actividades y herramientas en los MOOCs que fomentan la interacción con una motivación fundamentalmente social, mientras que en otros casos la meta podría ser lograr una situación de aprendizaje colaborativa, como ocurre con frecuencia en los diseños de aprendizaje para contextos presenciales. Se ha observado que en ninguno de los 20 MOOCs analizados se desarrollaban tareas en las que ese aprendizaje colaborativo fuera el eje central de las actividades propuestas. Esto no significa que no exista ningún tipo de interacción entre los participantes de los cursos ya que en las plataformas se incluyen diferentes herramientas sociales (como foros o herramientas para el soporte de revisiones entre pares). De hecho, una vez finalizado el análisis de los MOOCs, se observó que las dos herramientas más utilizadas son los foros y las redes sociales. En este sentido, en la mayoría de los MOOCs se plantean actividades en las que el alumnado interactúa con grupo en total debido por una parte a las limitaciones de las plataformas actuales a la hora de formar grupos pequeños y por otra, por el alto grado de abandono. En la mayoría de los MOOCs analizados, la interacción social a través de los medios anteriormente descritos desempeña un papel relevante dado que se hace alusión a ella a lo largo de todo el curso. Se recuerda constantemente a los usuarios que utilicen los foros y las redes sociales, e incluso (aunque sin ser obligatorio) la experiencia de aprendizaje se expande a través de estos medios ya que se pide que se reflexione y se debata con el resto de usuarios sobre las actividades propuestas. Así, a través de estos medios termina por crearse un proceso de aprendizaje colaborativo espontáneo. El único tipo de evaluación que puede considerarse colaborativa, y que sí ha sido utilizada en la mayoría de los MOOC, es el peer assessment, casi siempre apoyado por rúbrica. El otro foco de atención de este estudio es la gamificación. S resume en que se ha encontrado presencia de la gamificación en algunos de los cursos analizados, aunque no es muy frecuente. Se puede concluir que los MOOCs logran una interacción social, pero esta no ha sido diseñada intencionalmente desde su diseño 289 Machine Learning y predicciones para la mejora del rendimiento en MOOC Otros EDx Otros pedagógico. La gamificación se ha diseñado en estos cursos para lograr la motivación individual no colectiva. Los contenidos de los cursos abarcan distintas categorías o áreas de interés como: ciencias sociales, ciencias de la educación, diseño de cursos, desarrollo personal, etc. Los contenidos de los cursos abarcan distintas categorías o áreas de interés como: ciencias sociales, ciencias de la educación, diseño de cursos, desarrollo personal, etc. PLATAFORMA UTILIZADA SPOC Open EDX Youtube Canvas Network2, ECOLearning (OpenMOOC)3, Coursera4, FutureLearn5, EdX6, NovoEd7, y MiríadaX8, y un agregador de búsquedas llamado class-central.com 290 Anexo 1 Ane o 2. I e aci n I. Re . bibliog fica II. Ficha de e i i n de a c lo . 291 Anexo 2 Tabla 31. Artículo 1. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Kizilcec, R. F., Piech, C., Área de Educativo & Schneider, E. estudio Nombre del Deconstructing Año, 2013 artículo disengagement: analyzing Idioma learner subpopulations in original y massive open online país courses Revista In Proceedings of the third international conference on learning analytics and knowledge (pp. 170-179). ACM. Objetivos El objetivo es proporcionar a los educadores, diseñadores y desarrolladores de plataformas ideas para crear diseños y ambientes que se adapten mejor a las necesidades de los participantes MOOC aprendizaje Tipo de Método de clasificación simple, escalable e informativo que identifica estudio un pequeño número de trayectorias de acoplamiento en los MOOCs. Hipótesis Las variables son: demográficas, geográficas, intenciones, satisfacción, colaboración, participación en foros y el acceso a los alumnos en evaluaciones y vídeos. Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Instrumentos de medición En todos los cursos, los participantes recibieron una encuesta al final del curso. En el curso de nivel UG, se administró una encuesta adicional. En las encuestas posteriores al curso, los participantes calificaron su experiencia en general con el curso en una escala Likert de 7 puntos de 'pobre' a 'excelente'. Esta medida da una idea de la satisfacción de los alumnos con la experiencia. Se obtuvo el análisis de cada variable de cada uno de los alumnos. Se aplicó la k (agrupamiento del algoritmo) para poder determinar los patrones de compromiso. Otros DATOS DE LAS EXPERIENCIAS Ámbito Población Se basa en tres cursos de informática que varían en su nivel de sofisticación: Computer Science 101 abarca contenidos de nivel de básico (HS-nivel), Algoritmos: Diseño y análisis abarca contenidos 293 Machine Learning y predicciones para la mejora del rendimiento en MOOC de nivel de licenciatura (UG nivel), y Modelos gráficos probabilísticos es un curso de nivel graduado (GS-nivel) Muestra Los participantes de los Observaciones tres cursos Método y Con los datos obtenidos se procedió en primer a calcular una procedimiento descripción para cada estudiante en la cual el estudiante estaba comprometido a lo largo de la duración de un curso y luego aplicar técnicas de agrupamiento de subpoblaciones en estas descripciones de compromiso. Tratamiento Se analizaron los datos para obtener trayectorias. Para ello se de los compararon los diferentes grupos de alumnos y cursos, a lo largo de resultados características de los comportamientos registrados en la base de datos MOOC. Se aplicó un análisis unidireccional de la varianza (ANOVA) País Estados Unidos Año 2013 Resultados La ejecución de esta metodología a través de los cursos en el estudio revela cuatro patrones de compromiso para la interacción de los alumnos con la creación de instancias de MOOCs. A pesar de existir diferencias entre sexos en los diferentes cursos, realmente no afectan significativamente a los resultados de compromiso; sino más bien se refiere a la preferencia de sexo por el área de estudio. Otro aspecto encontrado de gran interés fue la motivación o interés por la participación en el curso. Las dos razones más frecuentemente elegidas para inscribirse son, porque les resulta divertido y desafiante, y que están interesados en el tema. Por otra parte, la probabilidad de inscribirse para mejorar su formación profesional es particularmente alta. La participación continua en el foros y mensajes permite la realización de un aprendizaje cooperativo, elemento de gran influencia que evidencia el compromiso del participante, al igual que la interacción con videos o videoconferencias. La satisfacción de los alumnos por el curso en general es satisfactoria en los tres tipos de participantes estudiados. Conclusiones En los tres cursos, la gran mayoría de los estudiantes activos son empleados a tiempo completo, seguido por graduados y estudiantes universitarios. Se compararon las diferentes trayectorias obteniendo propuestas para generar cambios que permitan un mayor compromiso de los participantes. Además, con la incorporación de estrategias didácticas a los cursos, se concluye que se evita la deserción y se aumenta el compromiso e interés durante el curso. Otros PLATAFORMA UTILIZADA EDx SPOC Open EDX Youtube 294 Anexo 2 Tabla 32. Artículo 2. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Xing Wanli y Du Área de Tecnología de la Dongping estudio Información Nombre del Predicción de deserción Año, 2018, Inglés, Alemania artículo en MOOCs: Usando el Idioma aprendizaje profundo de original y intervención país personalizada. Revista Journal of Educational Computing Objetivos Optimizar los modelos de predicción de deserción centrándose en la personalización de la intervención para los estudiantes de riesgo. Tipo de Revisión de los modelos empíricos. estudio Hipótesis No se evidencia Otros No se evidencia ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Predecir los riesgos de la deserción en los cursos MOOC HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta 12 cuestionarios Instrumentos Estadísticos de medición Otros 14 Foros de discusión DATOS DE LAS EXPERIENCIAS Ámbito Educativo Población 11.607 participantes en la semana que comienza Muestra 3.861participantes Los datos se recogieron durante el curso. de un curso de psicología que fue lanzado en marzo de 2013. El curso duró 12 semanas Método y Los datos provienen de 2 fuentes: (1) el nº de clics que informan las procedimiento páginas visitadas, incluyendo cuándo y cuántos estudiantes lo hacen y (2) los foros de discusión recuperados en formato JSON. Este conjunto de datos incluye las puntuaciones de los cuestionarios y los foros de discusión. Se evaluaron los siguientes elementos: - Solicitudes realizadas. - Días de mayores visitas al curso. - Nº de sesiones. - Páginas visitadas. - Nº de veces que se visualiza un video o actividad. - Nº de pixeles. 295 Machine Learning y predicciones para la mejora del rendimiento en MOOC - País. Tratamiento Se revisaron los modelos empíricos de deserción de plazo fijo y el de de los predicción temporal, así como también el KNN, SVM y Árbol de resultados decisión. País Alemania Fecha 2017 Resultados El aprendizaje profundo obtuvo un rango de 0,95 mientras que el KNN obtuvo uno de 0,86. El aprendizaje profundo se comporta mejor con la predicción de SVM para todas las semanas. Al promediar el curso MOOC se obtuvo: KNN 0,89, Árbol de decisión 0,84 y SVM 0,90 Conclusiones El modelo de predicción de plazo fijo no permite identificar con suficiente antelación al alumno en riesgo de deserción, ni permite conocer quienes permanecerán más allá de la primera semana. El modelo de predicción temporal permite identificar el riesgo de deserción en la semana siguiente a partir de datos recogidos en semanas anteriores, es decir, una semana después. Ninguno de los dos modelos permite personalizar la intervención de los estudiantes. El modelo de aprendizaje profundo permite a los profesores personalizar la intervención para aquellos estudiantes que necesitan más ayuda y asistencia inmediata. En el KNN no se puede llevar a cabo este tipo de intervención, pero con el SVM y el árbol de decisión si pueden llevar a cabo intervenciones personalizadas. Otros PLATAFORMA UTILIZADA EDx SPOC Open EDX Youtube Otros 296 Anexo 2 Tabla 33. Artículo 3. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Millecamp, M., Gutiérrez, Área de Tecnológico F., Charleer, S., Verbert, estudio K., & De Laet, T. Nombre del A qualitative evaluation of Año, Bélgica 2018 artículo a learning dashboard to Idioma support advisor-student original y dialogues. país Revista In Proceedings of the 8th International Conference on Learning Analytics and Knowledge (pp. 56-60). ACM Objetivos Presentar una evaluación de un tablero de instrumentos de aprendizaje que apoya el diálogo entre un estudiante y un asesor de estudio. Tipo de Descriptivo/exploratorio estudio Hipótesis Preguntas de los alumnos y conversaciones con el asesor Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) La efectividad del tablero de aprendizaje para el desempeño académico. HERRAMIENTAS UTILIZADAS Entrevistas Encuesta 101 encuestas de las 224 reuniones Instrumentos Análisis de datos estadístico y gráficas y elaboración de cuadro de de medición mando Otros DATOS DE LAS EXPERIENCIAS Ámbito Universidad Católica de Población 224 Lovaina Muestra Se obtuvo finalmente 101 encuestas. Observaciones Al observar los diálogos entre el alumno y el asesor académico, observó que todos los estudiantes tenían algunas dudas en mente sobre sus posibles resultados en los cursos. En base a esta duda, se categorizaron los estudiantes en tres grupos diferentes: los estudiantes que dudaban si continuar el programa (grupo 1), los estudiantes que dudaban que cursos escoger para el próximo año (grupo 2), y los estudiantes que dudan si serían capaces de tolerar un curso (grupo 3). Método y Se tienen dos datos: procedimiento Archivo de progreso , que enumera todos los cursos del estudiante junto con sus calificaciones obtenidas, el número de créditos de cada curso, así como una indicación de la posición con respecto a las calificaciones de los compañeros. 297 Machine Learning y predicciones para la mejora del rendimiento en MOOC - La segunda fuente de datos es la página de comentarios de la licenciatura. Este sitio web proporcionaba información a los estudiantes sobre la posición del alumno respecto a sus compañeros y en relación con las expectativas del programa. Tratamiento Se analizaron las 224 entrevistas, y de acuerdo a las respuestas se de los diseñó el tablero, el cual es adaptable a cualquier curso universitario resultados País Bélgica Año Septiembre de 2017 Resultados En general, el tiempo que se utiliza el tablero de instrumentos es alta en todos los grupos, e indica que el cuadro de mandos está apoyando el diálogo entre el alumno y el asesor. En un diálogo más personal, el alumnado espera con el asesor obtener más puntos de vista que en un diálogo propio con los compañeros. Para los estudiantes de los grupos 2 y 3 que están buscando información sobre la regulación, el tablero de instrumentos se puede modificar para mejor soporte de la toma de decisiones. Conclusiones Aunque el enfoque utilizado es menos avanzado que muchas otras aplicaciones del tablero de instrumentos de aprendizaje, los resultados indican que los datos de evaluación son útiles para apoyar ideas de reflexión y toma de decisiones. El panel de control se ha desplegado en 10 programas de la universidad, por lo que los investigadores están convencidos que la activación de este instrumento es positiva para el desempeño académico de los alumnos y su efectividad en los diferentes cursos de las Universidades. Otros PLATAFORMA UTILIZADA EDx SPOC Open EDX Youtube Otros No se evidencia 298 Anexo 2 Tabla 34. Artículo 4. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es García-Tinizaray, D., Área de estudio Predictiva Ordoñez-Briceño, K., & Torres-Diaz, J. C. Nombre del Learning analytics para Año, Idioma 2015, Castellano, artículo predecir la deserción de original y país Ecuador estudiantes a distancia. Revista Campus virtuales, 3(1), 120-126. Objetivos Desarrollo de un modelo predictivo aplicando regresión logística para la deserción Tipo de Métodos multivariantes estudio Hipótesis La variable dependiente tomada en cuenta para este estudio es desertor , que indica si un estudiante abandonó o no su carrera universitaria. Variables tecnológicas: se han seleccionado los datos de los cursos que poseen una mayor interacción en: foros, tareas, recursos, accesos y mensajes, tanto por parte del profesor como de los estudiantes del curso. Otros La variable que mide el número de mensajes entre compañeros y con el profesor no alcanzó valores significativos por lo que fue excluida del modelo final. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) La predicción del abandono HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos De los cursos seleccionados para el modelo, se recolectaron los datos de medición referentes al: - número de veces que un estudiante revisa - agrega un tema de discusión, da un mensaje de respuesta en el foro - agrega recursos adjuntos al foro - el número de tareas enviadas - el número de mensajes enviados a los compañeros o al docente - el número de veces que realiza comentarios - el número de accesos - el tiempo total de duración en los accesos al curso - el número de descargas de un recurso. Otros DATOS DE LAS EXPERIENCIAS Ámbito Modalidad abierta y a Población Estudiantes de distancia estudios virtuales en la Universidad Técnica Particular de Loja, 299 Machine Learning y predicciones para la mejora del rendimiento en MOOC Muestra 6 cursos con mayor Observaciones interacción, de los cuales 4 pertenecen a la carrera de Sistemas Informáticos y Computación, y los 2 restantes a la carrera de Abogacía y Gestión Ambiental respectivamente, dando un total de 205 estudiantes. Método y Una vez se obtuvieron los datos se hizo uso de técnicas estadísticas procedimient multivariantes, como son el análisis factorial y la regresión logística. El o análisis factorial es utilizado para agrupar las variables por ámbito de acción y con el propósito principal de reducir el conjunto de estas, y así contar con pocas variables predictoras, que tengan una mayor influencia sobre la deserción. Con estas se elaboró un modelo de regresión combinando distintas posibilidades a fin de lograr la mayor explicación de la varianza posible. Tratamiento Cada uno de los aspectos que se tomó en cuenta para seleccionar el curso, de los fue tratado como variables, lo que permitió predecir el comportamiento resultados de los alumnos y diseñar un modelo que permita conocer el comportamiento de la deserción. País Ecuador Año Período académico Octubre 2012 Febrero 2013. Resultados Se organizaron los datos obtenidos en 4 variables: accesos, foros, mensajes y recursos (los cuales determinaron el diseño del modelo predictivo). El nivel de predicción alcanzado por el modelo es de 64,4% y la varianza explicada alcanza el 15,7%. El modelo resultante es el siguiente: Conclusiones Los elementos que determinan la deserción del estudiante son las tres variables que se señalan en el modelo (se eliminó la que corresponde a mensaje). El cambio en los valores de los coeficientes determina un potencial cambio del estado final del estudiante (deserción/no deserción). Los resultados muestran que las variables relacionadas con el acceso a un entorno virtual, la participación en foros y la subida/descarga de recursos educativos son las que determinan una potencial deserción. Otros 300 Anexo 2 Tabla 35. Artículo 5. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Urrutia, M. L., Cano, E. Área de Educación V., & Meneses, E. L. estudio Nombre del MOOC learning analytics Año, 2017 artículo using real-time dynamic Idioma metrics original y país Revista Revista d'innovació educativa, (18), 3 Objetivos Presentar el diseño y funcionamiento de una experiencia de analítica mediante una plataforma que ofrece métricas dinámicas en tiempo real denominada MOOC Dashboard. Tipo de Descriptivo-exploratorio estudio Hipótesis Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Presenta la experiencia de 2 universidades en el análisis del aprendizaje de los MOOCs, para determinar las variables que intervienen y las que se pueden modificar para lograr una mejora en el desempeño académico de los alumnos y una disminución de la deserción. HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos de Estadística descriptiva medición Otros No se evidencia DATOS DE LAS EXPERIENCIAS Ámbito Experiencia entre la Población Curso Digital Universidad de Marketing: Challenges Southampton y la and Insights ofrecido Universidad Autónoma por la plataforma de Madrid. FutureLearn Muestra área del marketing Observaciones (n=244), educación (n=192), la gestión de servicios y la información (n= 260). Método y Se seleccionó el curso, y se seleccionaron diferentes criterios con los procedimiento que se pueden dar información sobre los alumnos y su transitar por el curso MOOC (datos demográficos, profesionales, intereses, accesos a la plataforma, mensajes etc.). Se analiza el MOOC Digital Marketing: Challenges and Insights ofrecido por la plataforma FutureLearn y se presentan los resultados de la aplicación de métricas analíticas dinámicas sobre el desempeño académico de los estudiantes. 301 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tratamiento de El análisis de cada uno de los criterios seleccionados a través de la los resultados estadística, permite establecer estrategias de mejoras en los cursos para lograr disminuir la deserción de los alumnos. Por lo tanto, al conocer la profesión de cada uno y los intereses en común, se pueden plantear lecturas y videos de interés que eviten la deserción y alimenten la motivación. País España Año Resultados El diseño del tablero para el filtrado de analíticas permite una observación diaria del desempeño de los estudiantes y un resumen final. El modelo que se propone es un modelo mixto entre los dos modelos que existen, por lo que las mejoras al desempeño académico se plantean a través del análisis de las interacciones que el estudiante establece durante el curso y sus intereses particulares. Conclusiones Se han presentado las principales funcionalidades del tablero dinámico denominado MOOC Dashboard creado por la Universidad de Southampton y la Universidad Autónoma de Madrid. Este tablero permite el análisis, mediante métricas dinámicas en tiempo real, del funcionamiento interno del curso, con grandes posibilidades de retroalimentación para los estudiantes y para la mejora del MOOC por parte de sus diseñadores. Las principales funcionalidades presentadas se han concentrado en la posibilidad de filtrar información descriptiva de los estudiantes matriculados, su desempeño académico conforme a las actividades superadas, comentarios realizados y las correlaciones entre el desempeño académico y la finalización de los estudios. Desde esta perspectiva, cobra especial relevancia el diseño de herramientas de analítica de aprendizaje en tiempo real, que ayudan a diseñadores y a estudiantes a rediseñar el curso a medida que se va desarrollando, y a modificar futuras ediciones sin esperar a realizar un profundo análisis estadístico de las variables o aspectos que resultan menos funcionales. Asimismo, además de analizar y evaluar de forma dinámica el progreso de los estudiantes en los MOOCs, permite avanzar en el proceso metodológico en entornos masivos, se consigue visibilizar las posibles causas de uno de los aspectos más controvertidos de estos cursos las altas tasas de deserción al permitir a sus diseñadores y a los estudiantes conocer en tiempo real su desempeño y posibles carencias en el diseño o en la propuesta de actividades. Asimismo, el análisis del desempeño de los estudiantes en tiempo real, favorece la labor de los tutores o curadores de contenido para ofrecer información y actividades más personalizables y escalables. 302 Se han analizado 3 ediciones: las correspondientes a los años 2014, 2015 y 2016. Anexo 2 Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX No se evidencia 303 Youtube Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 36. Artículo 6. Learning Analytics. Autor/es INFORMACIÓN GENERAL DEL ARTÍCULO Halawa, S., Greene, D., & Mitchell, J. Nombre del artículo Año Dropout Prediction in Año, Idioma original y país MOOCs using Learner Activity Features 2014 Revista Proceedings of the Second European MOOC Stakeholder Summit, 5865 Objetivos Diseñar un modelo de predicción integrador para predecir la deserción en los cursos en línea. Tipo de Descriptivo-experimental. estudio Hipótesis ¿Quién está en riesgo de abandono? ¿Cuándo la actividad de los estudiantes empieza a exhibir los patrones predictivos de la deserción? Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Entrevistas Instrumentos de medición Otros Ámbito HERRAMIENTAS UTILIZADAS Encuesta DATOS DE LAS EXPERIENCIAS Población Muestra Estudiantes de 12 cursos Observaciones que se han unido en los primeros 10 días del curso y han visto al menos un vídeo y a los que nunca se les ha hablado sobre la deserción del curso. Método y 1. Se realizó un estudio para conocer los patrones comunes en las procedimiento actividades de los estudiantes y su relación con el rendimiento. 2. Una vez conocidos, se construyó un conjunto de curso que abarcaban 12 de distintas áreas: matemáticas, física, agricultura, ciencias políticas y ciencias de la computación. Se crearon docenas 304 Anexo 2 de variantes de nuestras características con distintos umbrales, con el objetivo de encontrar aquellas que tenían éxito en predecir un número sustancial de deserciones. Se destacaron 4 características que fueron seleccionadas en el diseño de la versión actual del modelo de predicción. Tratamiento Para conocer la efectividad del modelo se consideraron cuatro de los clases de los estudiantes: resultados 1. Negativos verdaderos: estudiantes que nunca fueron marcados con una bandera roja y nunca abandonaron el curso. 2. Falsos negativos: estudiantes que nunca fueron marcados con una bandera roja, pero abandonaron el curso. 3. Falsos positivos: estudiantes que fueron marcados con una bandera roja, pero nunca abandonaron. 4. Verdaderos positivos: estudiantes que fueron marcados con una bandera roja y abandonaron el curso. País Año Al analizar los estudiantes marcados con bandera roja y que Resultados abandonaron el curso se obtuvieron los siguientes posibles casos: a) Estudiantes que visitaron el curso varios días y vieron cualquiera de los vídeos de la unidad o intentaron realizar alguna de sus evaluaciones cada uno de esos días. (b) Estudiantes que siguen una trayectoria suave, excepto que hay una o más ausencias prolongadas . Se definen en este grupo, ausencias de 10 o más días después de lo cual el estudiante continúa desde donde se detuvo anteriormente. (c) Estudiantes de una única clase, que visitan el curso de vez en cuando, y por lo general recopilan contenidos de diferentes unidades cada día que visitan el curso. (d) Estudiantes que comienzan como visitantes continuos o por ráfagas, pero desaparecen totalmente después de un cierto punto antes del final del curso. Conclusiones Las conclusiones en cuanto a la aplicación del modelo son las siguientes: El predictor de modo activo fue capaz de predecir entre el 40% y el 50% de los abandonos. La situación más difícil fueron los cursos que tenían una gran carga de trabajo, ya que en algún momento del curso los estudiantes mostraban señales de poco interés si la carga de trabajo es constantemente alta, incluso los que llegaron al final del curso. El predictor de modo ausente reflejó más del 90% de los abandonos en la mayoría de los cursos. Se evidenció menor especificidad en los cursos con cargas de trabajo más livianas, pues estos cursos facilitan 305 Machine Learning y predicciones para la mejora del rendimiento en MOOC que el estudiante se ponga al día y continúe en un curso después de una ausencia prolongada. El Predictor Integrado. Los valores constantemente altos de recuperación del predictor integrado son una consecuencia de la integración del predictor M2. La recuperación de un predictor combinado es al menos tan buena como la recuperación de lo mejor de sus componentes. Sin embargo, la mayor debilidad del predictor integrado sigue siendo la especificidad, que tiene que ser peor que su componente peor. La peor especificidad observada (0,3) fue para el curso de modelos gráficos probabilísticos que tiene un número relativamente alto de videos y tareas por semana, lo que lleva al predictor a señalar falsamente a muchos estudiantes que se saltaron algunos videos y tareas. En cuanto a la predicción aproximadamente en el 80% de los abandonos marcados, el estudiante persiste en el curso durante al menos 4 días después de que la bandera roja se levante por primera vez. Para más del 60% de los abandonos marcados, el estudiante comienza a mostrar patrones de actividad que incrementan la bandera roja más de 2 semanas antes de la última actividad. En cuanto a las razones por la que los estudiantes abandonan el curso, se concluye que son diversas y que en ella se encuentran involucrados factores internos y externos, los cuales deben ser contemplados en los modelos predictivos si se quiere obtener un modelo confiable. El factor interno más influyente en la persistencia y en el rendimiento era la capacidad; y el factor externo era la cantidad de tiempo que destinaban los alumnos a otras actividades. Además, se concluye que el tiempo de ausencia influye en la deserción pues hace que el estudiante pierda una parte de los contenidos del curso, y al regresar tienden a funcionar peor que los estudiantes que visitaron una que otra vez al curso, además disminuye su capacidad para completar vídeos y evaluaciones, así como su el rendimiento final. Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX 306 Youtube Anexo 2 Tabla 37. Artículo 7. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Li, W., Gao, M., Li, H., Área de Xiong, Q., Wen, J., & estudio Wu, Z. Nombre del Dropout prediction in Año, (2016), inglés. China artículo MOOCs using behavior Idioma features and multi-view original y semi-supervised learning. país Revista In Neural Networks (IJCNN), 2016 International Joint Conference on (pp. 3130-3137). Objetivos Predecir el abandono a través de la propuesta de un nuevo método de predicción de deserción basado en características de comportamiento y múltiples vistas del semi-aprendizaje supervisado. Tipo de Experimental estudio Hipótesis Las preguntas que se proponen responder son: 1) ¿Cuáles son las diferencias en el comportamiento de los alumnos que abandonan frente a los que lo finalizan?; 2) ¿En qué grado los algoritmos propuestos superan a los métodos existentes? 2) ¿Se puede predecir la deserción de los estudiantes en las primeras semanas de un curso? Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Predecir la deserción escolar basada en los registros del comportamiento. HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos Se plantea el análisis de la predicción en base a los siguientes de medición criterios: - Visualización de asignaciones: Trabajando en las tareas del curso. - Visualización de vídeos: Ver vídeos del curso. - Acceso a otros elementos: Acceder a otros objetos del curso, excepto vídeos y asignaciones. - Página de cierre: El cierre de la página web. - Wiki: Acceso a la wiki del curso. - Foro: Acceso al foro curso. Otros DATOS DE LAS EXPERIENCIAS Ámbito Técno-educativo Población Alumnos de cursos MOOCs 307 Machine Learning y predicciones para la mejora del rendimiento en MOOC Muestra 39 cursos Mooc Observaciones Se llevó a cabo experimentos de forma sincronizada, utilizando el esquema experimental anterior y tomando el valor medio de la exactitud de la predicción de 39 subconjuntos. Por otra parte, se consideran estudiantes que abandonan aquellos que no tienen registros de comportamiento en más de 10 días, por lo que los métodos de predicción que desobedecen estas configuraciones no son comparables. Método y El método de extracción de características se basa en el número de procedimiento registros de comportamiento del aprendizaje de los estudiantes. Para cada estudiante, el número de registros de comportamiento de un curso se cuenta semanal, y luego se obtiene el número de registros por semana. Debido a que el comportamiento de aprendizaje de un estudiante es diverso, se pudo derivar múltiples subconjuntos de características de cada tipo de registros de comportamiento. Después del proceso de extracción de características, se obtuvieron características de todos los usuarios en relación con cada tipo de registros de comportamiento. Tratamiento Se llevó a cabo en dos experimentos: de los El experimento a se realizó en los siguientes pasos: resultados 1) Conjunto de datos. 2) Métricas de evaluación: Con el fin de evaluar la exactitud del método propuesto, se utilizan como criterios de evaluación: Precision, Recall y F-medida. 3) Líneas de base: los datos básicos del usuario (por ejemplo, nombre, edad, sexo y etc.) y los datos del curso (por ejemplo, contenido del curso, dificultades, y etc.). 4) Esquema experimental. País El experimento b se realizó en los siguientes pasos: 1) Características de comportamiento: se derivan de cada tipo de registro del comportamiento del usuario. 2) Multiformación: A partir de la discusión anterior, se demuestra que se puede entrenar a un clasificador en cada vista característica de comportamiento. Por otra parte, en comparación con las cuatro líneas de base del experimento a , las características propuestas son capaces de hacer la misma precisión de la predicción. China Año 2016 308 Anexo 2 Resultados Los resultados del nuevo método y las líneas de base se reportaron en el conjunto de prueba común. Para los métodos de referencia, todo el conjunto de entrenamiento se utiliza para estimar el modelo de predicción. Sin embargo, para el método propuesto, el conjunto de entrenamiento se divide en dos partes: datos etiquetados y no etiquetados. El número de estudiantes con abandono disminuyó gradualmente a medida que pasaba el tiempo y el número de alumnos participantes mostró algunas fluctuaciones: en la segunda semana el número alcanza el máximo valor, y en la tercera semana y la cuarta semana del número tiende a ser FL, mientras que en la última semana el número se desplomó. Los 6 tipos de características del comportamiento son capaces de distinguir los dos tipos de estudiantes. Por último, la regresión logística es la mejor y la más eficaz para la predicción de deserción en este conjunto de datos. Conclusiones Los experimentos llevados a cabo en un conjunto de datos del mundo real muestran la eficacia del nuevo modelo de predicción que se ha propuesto. Este modelo se puede utilizar para predecir otro comportamiento que no sea necesariamente el abandono, por lo que se propone incluir aspectos de interacción y realizar otras propuestas de investigación experimental que midan otros comportamientos de los participantes en los MOOC Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX No se evidencia 309 Youtube Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 38. Artículo 8. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Kloft, M., Stiehler, F., Área de Educativo Zheng, Z., & Pinkwart, N. estudio Nombre del Predicting MOOC dropout Año, 2014, Inglés, Alemania artículo over weeks using machine Idioma learning methods. In original y país Revista Proceedings of the EMNLP 2014 Workshop on Analysis of Large Scale Social Interaction in MOOCs (pp. 60-65). Objetivos Diseñar un modelo de predicción a través de los clics como aprendizaje autónomo Tipo de Correlativo estudio Hipótesis A mayor interacción de navegación, menor deserción Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Predecir la deserción a partir del comportamiento de los alumnos utilizado como predictor principal la interacción de los clics que el alumno da en el curso. HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Instrumentos Los datos seleccionados para establecer la predicción fueron la de medición navegación de los alumnos midiendo la cantidad de clics. Otros DATOS DE LAS EXPERIENCIAS Ámbito Curso de psicología Población 11.607 participantes en MOOC la semana que comienza. Muestra 3.861 participantes que Observaciones El curso duró 12 se alojen hasta la última semanas 81,4% de semana del curso. deserción. Autor/es Método y Los datos de clics incluyen 3.475.485 registros que pueden ser procedimiento clasificados en general en dos tipos: el registro de visualización de la página y el registro de videoconferencia. El modelo plantea predecir la deserción de acuerdo al comportamiento de navegación de alumnos durante las semanas anteriores, por lo que el cálculo se realizó por cada alumno y cada atributo y cada semana, por lo que para cada semana se tendrán más datos que analizar y se establecerán las comparaciones necesarias. Lo primero que se realizó fue establecer los atributos de la navegación a analizar, los cuales fueron 22 en total (por ejemplo, el número de veces que inicia la sesión en la semana o el número de visualizaciones de un video) 310 Anexo 2 Tratamiento de los resultados País Resultados Conclusiones Los datos se analizan semana a semana para establecer comparaciones, medias y correlaciones de cada alumno. Alemania Año Marzo de 2013 Se evidencia la mayor probabilidad de deserción durante las dos primeras semanas y las dos últimas. Se obtuvieron datos significativos de predicción. Se logró un aumento en la precisión de predicción en las semanas finales, siendo de un 15% durante todo el curso. Las últimas semanas son las que permiten tener una mayor predicción, ya que se tienen datos suficientes del comportamiento durante todo el curso. Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX Cousera ID 311 Youtube Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 39. Artículo 9. Learning Analytics INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Ye, C., & Biswas, G. Área de estudio Nombre del Early prediction of student Año, 2014, Inglés, Estados artículo dropout and performance Idioma Unidos in MOOCs using higher original y granularity temporal país information. Revista Journal of Learning Analytics, 1(3), 169-172. Objetivos ¿Podemos derivar predictores precisos y confiables del abandono y el rendimiento de los estudiantes en entornos MOOC? Tipo de Análisis descriptivo. estudio Hipótesis 1) Se considera abandono cuando un estudiante ve menos del 10% de las conferencias o deja de presentar las tareas asignadas; 2) La calificación final (con certificado o no) al completar el curso. Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Entrevistas Instrumentos de medición HERRAMIENTAS UTILIZADAS No se evidencia Encuesta No se evidencia Se analizan datos de videoconferencias, pruebas semanales y evaluaciones del curso POSA de diez semanas. Se consideró para el análisis las características tradicionales para definir el comportamiento de los estudiantes, como: descargas de videoconferencias, exámenes semanales y evaluaciones, junto con las siguientes características adicionales: 1) número de vistas de vídeos por semana; y 2) información temporal, como cuando se ve una conferencia o se inicia una evaluación durante la semana Otros Ámbito Muestra DATOS DE LAS EXPERIENCIAS Universidad de Población 31.053 inscrito Vanderbilt Observaciones Método y Se realiza una correlación R de Pearson entre las características procedimiento individuales y el rendimiento final del alumno (finalización normal vs distinción). Tratamiento Se analiza la cantidad de pruebas de vídeo tomadas por semana y de los cuando una conferencia se accede por primera vez al video. resultados 312 Anexo 2 País Resultados Conclusiones El momento en que los estudiantes comienzan las evaluaciones fue un buen predictor temprano de su tasa de deserción y rendimiento. Una vez las puntuaciones de la evaluación estaban disponibles, se convirtieron en los mejores indicadores de desempeño. Estados Unidos Año 2013 Los resultados muestran que la información temporal aumenta la capacidad de predicción en las primeras fases del MOOC. El análisis inicial de los datos de la primera semana indica dos grupos dominantes: 1) estudiantes que vieron conferencias y realizaron las pruebas (1.699 estudiantes) y 2) estudiantes que solo vieron conferencias (6.953 estudiantes). Esta agrupación fue un fuerte indicador de abandonos: el 60% del grupo de solo lectura se retiró para la semana 4, mientras que solo el 20% de los participantes abandonaron el cuestionario. Se estudió la selección de funciones y los métodos de extracción de funciones para mejorar predicciones con grandes conjuntos de datos derivados de MOOCs. Otros EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX No se evidenció 313 Youtube Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 40. Artículo 10. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Fei & Yeung Área de Educativo- Tecnológico estudio Nombre del Temporal Models for Año, 2015, Inglés Estados artículo Predicting Student Idioma Unidos Dropout in Massive Open original y Online Courses país Revista In Data Mining Workshop (ICDMW), 2015 IEEE International Conference on (pp. 256-263) Objetivos Modelos de predicción temporal del estudiante en deserción Tipo de Descriptivo estudio Hipótesis - Se considera la predicción de abandono al aplicar modelos secuenciales que parten de la evaluación de la perspectiva para la resolución de problemas. - Utiliza un modelo de RNN de memoria a corto plazo (LSTM), al analizar los resultados del pre y post test y aplicando los métodos de deserción. Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Predecir la deserción a partir del comportamiento del alumno en el curso MOOC HERRAMIENTAS UTILIZADAS Entrevistas Encuesta Al comenzar y al terminar el curso Instrumentos Se evalúa el comportamiento del alumno en el MOOC según los de medición siguientes elementos: - Participación en conferencias. - Nº de descargas (videos y materiales). - Nº de veces que se vio el foro. - Nº de veces que se vieron los hilos del foro. - Nº de participaciones en el foro. - Nº de comentarios en respuesta a los comentarios de otros participantes. Otros DATOS DE LAS EXPERIENCIAS Ámbito Educativo- Tecnológico Población Curso Coursera: Este es un curso de 6 semanas con un total de 85.394 estudiantes matriculados Curso edx:: Abarca 10 semanas 314 Anexo 2 Muestra Curso Coursera: 39.877 Observaciones Los datos utilizados en con al menos un registro este documento son de de participación durante dos MOOCs: La el curso. Ciencia de la Curso edx: 27.629 Gastronomía estudiantes con al menos (Coursera) e un registro de Introducción a la participación durante el programación Java curso. (edx). Método y Se tomaron en cuenta los datos que se pueden obtener de la plataforma, procedimiento los cuales son comunes en la mayoría de las investigaciones que se realizan sobre lo predicción de la deserción en los cursos MOOCs. Las cuales se relacionan principalmente con: la visualización de vídeos, visualización de páginas, y la publicación de visualización de foros, página, wiki de visualización y edición, de click-stream de vídeo. Tratamiento Se aplica la regresión logística para predecir abandonos de los de los estudiantes de acuerdo con la última actividad del estudiante en el resultados curso. País Año Resultados Sobre la base de extensos experimentos llevados a cabo en 2 MOOCs ofrecidos en Coursera y EDX, un modelo recurrente de red neuronal (RNN) con memoria de largo a corto plazo, las células (LSTM) supera a los métodos de referencia. Conclusiones Por ejemplo, si un estudiante participa activamente en las primeras semanas de un curso, es razonable suponer que seguirá participando activamente en las siguientes semanas. Por el contrario, si un estudiante nunca aparece en las primeras semanas, es poco probable que participe de forma activa las siguientes semanas. En este sentido, la aplicación de técnicas de marcaje de secuencia con la tarea de predicción de deserción nos permite modelar la dependencia temporal dentro de la secuencia de entrada. Otros PLATAFORMA UTILIZADA EDx X SPOC Open EDX Youtube Otros Cousera 315 Machine Learning y predicciones para la mejora del rendimiento en MOOC Tabla 41. Artículo 11. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Sinha, T., Jermann, P., Li, Área de N., & Dillenbourg, P. estudio Nombre del Your click decides your Año, 2014 artículo fate: Inferring information Idioma processing and attrition original y behavior from MOOC país video clickstream interactions. Revista arXiv Objetivos El objetivo es desarrollar un modelo de predicción tecnológico cognitivo del comportamiento de los participantes. Tipo de Descriptivo, Explorativo estudio Hipótesis a) ¿durante cuánto tiempo los estudiantes interactúan con el material del curso y cómo ha sido la trayectoria en el curso? b) La cantidad de clics e interacciones que se realizan durante el curso determinan su trayectoria. c) Los estudiantes que llegan al final del curso son aquellos que más interacciones tienen durante el curso. Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Predecir el abandono partiendo de las interacciones durante el curso HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos Análisis estadístico de los datos de la plataforma relacionados con la de medición interacción del participante principalmente con los videos. Otros DATOS DE LAS EXPERIENCIAS Ámbito Tecnológico-educativo Población 65.969 inscritos. Sólo 36.536 interactuaron , de ellos se obtuvieron registro de 762.137 sesiones que contienen los tipos de eventos de clic. Muestra Sólo se incluyen las Observaciones El MOOC incluye un sesiones de vídeo. Esto total de 48 ha dado un conjunto de videoconferencias de datos de 222.021 (10 GB de datos JSON), sesiones de 21.952 que han sido analizadas estudiantes para el y procesadas en un análisis 316 Anexo 2 formato conveniente para la experimentación Método y Se llevó a cabo un análisis de clics en 3 niveles jerárquicos. procedimiento Con este fin, también se desarrolló un índice de procesamiento de la información cuantitativa y se supervisaron sus variaciones entre los diferentes grupos de estudiantes que se definieron en el MOOC. Esto puede ayudar a los instructores del curso a razonar sobre cómo el estilo de navegación de los estudiantes refleja la asignación de recursos de los alumnos a cada actividad y la retención de los conceptos enseñados en el MOOC. Se validó la metodología desarrollada mediante el establecimiento de ciertos experimentos de aprendizaje automático relacionados con la predicción del compromiso y del abandono. Tratamiento Se analizaron las diferentes acciones que cada participante realizó de los sobre las videoconferencias: pausas realizadas, visualizaciones, inicio resultados y fin entre otros datos de interés. País Año 2012 Resultados En este trabajo, se logró construir un índice de procesamiento de la información de los estudiantes, basado en el enfoque de la capacidad limitada, la cual afirma que las personas asignan de forma independiente cantidad limitada de recursos a las tareas de una actividad compartida. Hay dos aspectos positivos importantes aquí: a) Los vectores de acción del comportamiento son capaces de alcanzar valores casi similares de precisión en comparación con los clics. b) La métrica de interés utilizada, es decir, la tasa de falsos negativos 1 es menor para el caso 1.B y Caso 3.B, en comparación con el Caso 1.A y Caso 3.A, lo que demuestra la eficacia del enfoque de clics en pre-descifrar el destino de los estudiantes en cierta medida. En este esquema de modelación, la variable de deserción es 1 en la última semana de participación activa de los estudiantes (en términos de visualización de videoconferencias), y es 0 para el resto de semanas. Los resultados de la investigación indican que: a) La deserción en el MOOC es un 37% menos probable, si tienen una desviación estándar mayor que la media (razón de riesgo: 0,6367, p <0,001). Tales estudiantes lidian más con el material del curso para lograr sus resultados de aprendizaje deseados (como se refleja por su participación video conferencia). b) Los estudiantes con comportamiento rewatching , son un 33% menos propensos a la deserción (razón de riesgo: 0,6734, p <0,001). Conclusiones La investigación ha encontrado consistentemente que el nivel de compromiso cognitivo es un aspecto importante de la participación de los estudiantes. En este procesamiento cognitivo está relacionado con el enfoque aversivo y los sistemas motivacionales del estudiante, que se activan en respuesta a estímulos relevantes en el medio. Otros 317 Machine Learning y predicciones para la mejora del rendimiento en MOOC EDx Otros PLATAFORMA UTILIZADA SPOC Open EDX Cousera 318 Youtube Anexo 2 Tabla 42. Artículo 12. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Rosé, C. P., Carlson, R., Área de Académico Yang, D., Wen, M., estudio Resnick, L., Goldman, P., & Sherer, J. Nombre del Social factors that Año, 2014, Estados Unidos. artículo contribute to attrition in Idioma inglés MOOCs. original y país Revista In Proceedings of the firs ACM conference on Learning@ scale conference (pp. 197-198). ACM. Objetivos Medir el impacto de 3 factores sociales que hacen predicciones sobre el desgaste de los estudiantes a lo largo del curso. Tipo de Descriptivo, exploratorio estudio Hipótesis Hipótesis binarias y variables sociales. Otros Se explora el comportamiento de deserción de los estudiantes en un MOOC. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Identificar los papeles sociales que intervienen en la deserción HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos Se analizó la participación en el foro de medición Otros DATOS DE LAS EXPERIENCIAS Ámbito Universidad de Población 60.000 estudiantes Pittsburgh se inscribieron en el curso, sólo alrededor de 25.000 estudiantes accedieron a los materiales del curso al menos una vez Muestra 4.709 mensajes Observaciones Método y En primer lugar, con el fin de obtener una partición suave de la red procedimiento social de los foros de discusión, se utilizó una membresía mixta de modelos de bloques (MMSB). Con el fin de evaluar el impacto de los factores sociales en la participación continua se utilizó un modelo de supervivencia. Este análisis permite proporcionar estimaciones menos sesgadas que las técnicas más simples (por ejemplo, mínimos cuadrados de regresión 319 Machine Learning y predicciones para la mejora del rendimiento en MOOC lineal estándar) que no toman en cuenta la naturaleza potencialmente truncada de los datos. Tratamiento Se comenzó con el análisis de las variables binarias que indicaban si el de los alumno había comenzado su participación una semana en concreto. Del resultados curso duraba 7 semanas, por lo que había 7 variables binarias. Sólo en el caso en que un estudiante comienza su participación en la primera semana del curso, se hizo una predicción significativa. La variable social se obtuvo a partir de los resultados de trabajos anteriores y del comportamiento del participante en el foro. País Estados Unidos Año 2013 Resultados Se indica un riesgo relativo de 0,65, lo que significa que los estudiantes que comenzaron su participación en la primera semana del curso eran un 35% menos propensos a abandonar. En cada punto de tiempo el promedio de la relación de riesgo indica un valor de casi 0, lo que indica una probabilidad de casi el 100% de deserción. En particular, los estudiantes que participaron en el foro en una semana tuvieron casi diez veces más probabilidades de abandonar en la siguiente semana que el promedio de los estudiantes. Además, con análisis post-hoc se verifica que el patrón de desgaste se relaciona con la participación de los estudiantes involucrados entre sí. Conclusiones En este trabajo se exploraron 3 tipos de factores, todos los cuales predicen la deserción escolar a lo largo del curso. Lo novedoso de esta investigación es que se logra plantear un indicador que obtiene, a través de la partición suave sin supervisión de la red social, predicciones sobre la deserción; lo que indica que la participación en un foro particular en el MOOC predice que la deserción en la próxima semana es diez veces mayor que para los estudiantes que no participan en ese foro. Otros PLATAFORMA UTILIZADA EDx SPOC Open EDX Youtube Otros Cousera 320 Anexo 2 Tabla 43. Artículo 13. Learning Analytics. Autor/es Nombre del artículo Revista Objetivos Tipo estudio Hipótesis INFORMACIÓN GENERAL DEL ARTÍCULO Whitehill, J., Williams, Área de J., Lopez, G., Coleman, estudio C., & Reich, J. Beyond prediction: First Año, 2015, ingles. Estados steps toward automatic Idioma Unidos intervention in MOOC original y student stopout país Realizar encuestas dinámicas e intervenciones, la generalización de nuevos MOOCs de Descriptivo- exploratorio Algunas de las preguntas que están abordando actualmente incluyen ¿quién se inscribe en los cursos HarvardX? ¿por qué se están inscribiendo?, y ¿cómo podemos mejorar su experiencia educativa? Otros En particular, se pretende comprender si los participantes dejan los cursos HarvardX por razones exógenas a su experiencia del curso, por ejemplo, aumento de la tensión en el trabajo, o si dejan de participar porque no les gustaba algún aspecto del curso, especialmente los elementos que los desarrolladores del curso podrían ser capaces mejorar. ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Una comprensión más profunda de las razones por las que los estudiantes dejan un curso, podría ayudar a los desarrolladores a mejorar el contenido del curso. HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta No se evidencia Instrumentos Análisis de los datos de los siguientes elementos. de medición - Definición de stopout / deserción: última actividad del participante, durante el curso, sin que sea la actividad final. - Características utilizadas para la predicción: datos de navegación (intervención en foros, redes sociales, plataforma) Métodos de clasificación: aprendizaje supervisado estándar, tales como máquinas de vectores soporte y de regresión logística: - Clasificación de ajuste: Una cuestión fundamental es si un detector stopout que está altamente adaptado a un curso existente se podría generalizar a una futura oferta del mismo curso, o incluso si se podría generalizar a otros cursos. Otros DATOS DE LAS EXPERIENCIAS 321 Machine Learning y predicciones para la mejora del rendimiento en MOOC Ámbito Educativo Población Muestra 3.764 estudiantes Observaciones Hardvard EDX Método y Se diseñó un mecanismo de encuesta dinámica específicamente procedimiento dirigida a los estudiantes que recientemente cursaron un MOOC y lo dejaron para volver a entrar posteriormente. Tratamiento Se presenta un método basado en la optimización mediante de los simulación, para elegir un umbral de salida y clasificar por criterio de resultados desempeño. Se plantean intervenciones que permitan mejorar la situación que ha producido la salida anteriormente del estudiante. País EEUU Año 2014 Resultados Al pasarse la encuesta al finalizar el curso, se obtuvo un porcentaje de respuesta muy bajo alrededor de 2%, esto debido principalmente que, al concluir y recibir el certificado, el participante ya no accede más a la plataforma; además quedaban de lado aquellos que abandonaron el curso y aquellos que abandonaron para volver en la siguiente. Se plantean mecanismos de mejora durante el curso que eviten el abandono, como correos electrónicos semanales que avisen sobre las actividades y la participación. Adicionalmente se recuerda la evaluación del curso aunque no haya concluido. Conclusiones Una vez el alumno abandona o culmina el curso, deja de conectarse, es por eso que se hace necesario que la evaluación sea antes de que culmine el curso y se invite a participar a aquellos que abandonaron el mismo para conocer los motivos que los indujo a la deserción y así poder actuar ante esto para prevenirla en el futuro. Otros PLATAFORMA UTILIZADA EDx SPOC Open EDX Youtube Otros HarvardX 322 Anexo 2 Tabla 44. Artículo 14. Learning Analytics. INFORMACIÓN GENERAL DEL ARTÍCULO Autor/es Liang, J., Yang, J., Wu, Área de Tecnología de la Y., Li, C., & Zheng, L. estudio Información Nombre del Big data application in Año, 2016, China artículo education: dropout Idioma prediction in edx original y MOOCs. In 2016 país Revista Segunda Conferencia Internacional sobre Multimedia Big Data Objetivos Probar el modelo de predicción de deserción en los MOOCs de Edx a partir de los datos registrados sobre el comportamiento de los usuarios. Tipo de Descriptivo-exploratorio estudio Hipótesis Al analizar el comportamiento de aprendizaje en los estudiantes después de un mes, se podrá predecir en los próximos diez días si abandonará el curso. Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Entrevistas Instrumentos de medición HERRAMIENTAS UTILIZADAS No se evidencia Encuesta No se evidencia Base de datos de 4 modelos de clasificación: SVM, Regresión logística, Bosque aleatorio y Árbol de decisión de aumento de degradado (GBDT) Otros DATOS DE LAS EXPERIENCIAS Población Los cursos de la plataforma XuetangX, una de las plataformas de aprendizaje en línea más grandes de China. Muestra Se tomaron 39 cursos en Observaciones total, los cuales tienen casi 40 días (un mes más 10 días) y se registró el comportamiento de los usuarios. Método y Se extrajeron datos de la plataforma EDX tales como: información procedimiento sobre el curso, la inscripción en el curso de los estudiantes y el registro de comportamiento de los usuarios de Edx. Ámbito Se compararon algunos trabajos relacionados con el rendimiento del estudiante en los cursos en línea. Se describió el conjunto de datos extraídos de la plataforma Edx. 323 Machine Learning y predicciones para la mejora del rendimiento en MOOC Se describieron los métodos de preprocesamiento de datos y los detalles de ingeniería. Se describió el desempeño de los 4 tipos de modelos de clasificación. Se realizó la conclusión. Tratamiento Definimos 3 tipos de características de clasificación: de los - Característica de inscripción. resultados - Característica del usuario: En este se tomará el tiempo total de visitas y el tiempo total de los estudiantes comprometidos, reflejando la vida del curso. - Característica del curso: capítulo, combinados, información del curso, dictado, discusión, HTML, enlace externo, clasificación, problema, secuencial, tabulación estática, vertical y video. País China Año 2016 Resultados Los datos obtenidos de las diferentes plataformas sobre el curso y la inscripción en el curso son bastante claros, pero el registro de comportamiento de los usuarios de Edx, no se corresponde con el comportamiento de los usuarios. En cuanto a los cursos, se observó que el video es importante, sin embargo, no se obtienen datos claros al respecto. El estudiante abandona si no tiene ninguna actividad de aprendizaje en diez días continuos. El modelo GBDT obtuvo un resultado predictivo del 0,88 lo que demuestra que la extracción de datos de la plataforma Edx, el preprocesamiento de datos, las características de ingeniería y la capacitación en modelos de clasificación pueden ayudar a predecir la deserción. Conclusiones El modelo predictivo de deserción escolar puede ayudar a los maestros a comprender cómo de probable es que cada estudiante abandone en el curso. El método es extensible a otras plataformas MOOC que se basan en Open Edx o puede proporcionar datos de registro de comportamiento de usuarios similares. Otros PLATAFORMA UTILIZADA EDx SPOC Open EDX Youtube Otros XuetangX plataforma la cual se basa en Open EDX 324 Anexo 2 Tabla 45. Artículo 15. Learning Analytics. Autor/es INFORMACIÓN GENERAL DEL ARTÍCULO Henderikx, M. A., Kreijns, Área de K., & Kalz, M. estudio Nombre del artículo Refining success and Año, 2017 dropout in massive open Idioma online courses based on original y the intention behavior gap país Revista Distance Education, 38(3), 353-368 Objetivos Explorar la aplicabilidad de la tipología para evaluar el éxito MOOC y la deserción Tipo de Exploratorio estudio Hipótesis No se evidencia Otros ¿QUÉ SE PRETENDE MEDIR? (Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros) Conocer la intensión de éxito o abandono HERRAMIENTAS UTILIZADAS Entrevistas No se evidencia Encuesta Se utilizó un cuestionario igual para el comienzo y para el final del curso Instrumentos Navegación, participación parcial en los módulos, recepción de de medición certificados Otros DATOS DE LAS EXPERIENCIAS Ámbito Población 2 MOOCs de la universidad abierta de los Países Bajos (los cursos se diseñaron especialmente para la investigación). Mooc 1: 689 completaron el cuestionario previo y 163 el final. Mooc 2: 821 completaron el cuestionario previo , 126 el cuestionario final Muestra Mooc 1. 65 Observaciones 1. MOOC sobre Mooc 2. 101 basura marina que se desarrolló de octubre 325 Machine Learning y predicciones para la mejora del rendimiento en MOOC hasta diciembre de 2015, que abarca ocho módulos durante 8 semanas. 2. El segundo MOOC (MOOC-II), 'El cerebro del adolescente,' era en holandés, y estuvo desde abril hasta junio de 2016, que abarca siete módulos durante 7 semanas. Método y En primer lugar, se discute la base teórica y trabajos relacionados. A procedimiento través de la integración de varias perspectivas socio psicológicas sobre la conexión entre la intención y el comportamiento se logró introducir la propuesta. A continuación, se analizaron los datos de los dos MOOCs en línea con la teoría y la nueva tipología. Por último, se discuten los resultados y las implicaciones para el uso de la tipología en estudios empíricos, considerando las limitaciones del enfoque. Tratamiento Se analizan magnitudes, frecuencias, y formatos de respuesta en la de los medición del comportamiento. resultados País Países Bajos Año 2015-2016 Resultados Siguiendo el enfoque tradicional basado en la finalización del curso para identificar el éxito educativo, las tasas de culminación fueron del 6,5 y el 5,6%, las de deserción 93,5% y 94,4%. Para las tasas de éxito, se tomó como muestra cuando se realizaron los dos cuestionarios. Fueron del 59% de éxito frente al 41% de deserción en el primer Mooc y en el segundo Mooc se evidenció el 70% de éxito frente al 30% de abandono. Conclusiones Siguiendo el enfoque tradicional basado en la finalización del curso para identificar el éxito educativo, las tasas de éxito fueron del 6,5 y el 5,6%. Las tasas de éxito fueron del 59 y el 70%. Estos hallazgos demuestran que simplemente mirando a la finalización del curso como una medida del éxito no es suficiente en el contexto de MOOCs. Otros PLATAFORMA UTILIZADA EDx SPOC Open EDX Youtube Otros 326 Anexo 3 Ane o 3. I e aci n II. C digo f en e c ip . 327 Anexo 3 courseData.py # Python version 3.7 # Clase para manejar los datos de los cursos import csv, statistics from datetime import datetime from math import ceil class CourseDataManager: # Constructor -> Filen with user data structure per week def __init__(self, filename): courseFile = open(filename, 'r', encoding='utf-8') courseCSV = csv.reader(courseFile, doublequote=True, escapechar='\\') self.data = {} self.newId = {} self.dateFormat = '%Y-%m-%d %H:%M:%S' self.totalVideos = 0 self.totalProblems = 0 self.totalDiscussions = 0 self.totalEvaluations = 0 self.weekVideos = [] self.weekProblems = [] self.weekDiscussions = [] self.weekEvaluations = [] "course_id","week", # Load problems data -> self.data[course_id][week] next(courseCSV, None) # skip the headers for row in courseCSV: course_id = row[0] week = row[1] if (course_id not in self.data): self.data[course_id] = {} if (week not in self.data[course_id]): self.data[course_id][week] = { "course_percent": float(row[1]) / float(row[2]), "sections": int(row[3]), "videos": int(row[4]), "problems": int(row[5]), "discussions": int(row[6]), "evaluations": int(row[7]) } self.weekVideos.append(int(row[4])) self.weekProblems.append(int(row[5])) self.weekDiscussions.append(int(row[6])) self.weekEvaluations.append(int(row[7])) 329 Machine Learning y predicciones para la mejora del rendimiento en MOOC self.totalVideos = self.totalVideos + int(row[4]) self.totalProblems = self.totalProblems + int(row[5]) self.totalDiscussions = self.totalDiscussions + int(row[6]) self.totalEvaluations = self.totalEvaluations + int(row[7]) courseFile.close() def getCourseData(self, course_id): #if (course_id not in self.data): # return None return self.data #return self.data[course_id] def getCourseData2(self): #if (course_id not in self.data): # return None return self.data #return self.data[course_id] def getCourseId(self, course_id): # Simplify the course id if (course_id not in self.newId): course_num = len(self.newId) + 1 self.newId[course_id] = course_num return self.newId[course_id] def getTotalVideos(self): return self.totalVideos def getWeekVideos(self, week): return self.weekVideos[int(week)-1] def getWeekProblems(self,week): return self.weekProblems[int(week)-1] def getWeekDiscussions(self,week): return self.weekDiscussions[int(week)-1] def getWeekEvaluations(self,week): return self.weekEvaluations[int(week)-1] def getStats(self): weeks = [] sections = [] videos = [] problems = [] discussions = [] evaluations = [] for course_id in self.data: w = len(self.data[course_id]) weeks.append(w) for week in self.data[course_id]: sections.append(self.data[course_id][week]["sections"]) videos.append(self.data[course_id][week]["videos"]) problems.append(self.data[course_id][week]["problems"]) 330 Anexo 3 discussions.append(self.data[course_id][week]["discussions"]) evaluations.append(self.data[course_id][week]["evaluations"]) stats = { "courses": len(self.data), "weeksMean": statistics.mean(weeks), "weeksStdev": statistics.stdev(weeks), "sectionsMean": statistics.mean(sections), "sectionsStdev": statistics.stdev(sections), "videosMean": statistics.mean(videos), "videosStdev": statistics.stdev(videos), "problemsMean": statistics.mean(problems), "problemsStdev": statistics.stdev(problems), "discussionsMean": statistics.mean(discussions), "discussionsStdev": statistics.stdev(discussions), "evaluationsMean": statistics.mean(evaluations), "evaluationsStdev": statistics.stdev(evaluations), } return stats 331 Machine Learning y predicciones para la mejora del rendimiento en MOOC dataNormParser.py # Python version 3.7 # Clase para normalizar los datos def parseBoolean(value): if value == "False": return 0 else: return 1 def parseAge(value): try: if value == "": return 0 else: if (2019 - int(value)) < 16: return 0 if (2019 - int(value)) >90 : return 0 else: return 2019 - int(value) except ValueError: return 0 def parseGrade(value): if value == "PASS": return 1 else: return 0 def parsePercent(value): if (value == ""): return 0 else: return value def parseGender(value): if (value == "female"): return 1 else: return 0 def parseEducation(value): if (value == "none"): return 1 elif (value == "primary education"): return 2 elif (value == "elemental secondary education"): return 3 elif (value == "obligatory secondary education"): return 4 332 Anexo 3 elif (value == return 5 elif (value == return 6 elif (value == return 7 elif (value == return 8 elif (value == return 9 else: return 0 "bachelor degree"): "university degree"): "master"): "phd"): "other"): def parseDate(date): if (date == "NULL"): return 0 elif (date == ""): return 0 else: return date 333 Machine Learning y predicciones para la mejora del rendimiento en MOOC extract_course_data.py # Python version 3.7 # Lee el fichero student_courseenrollment, auth_user_prod_analytics, grades_persistentcourse y course_users y # genera un resumen con los datos necesarios de los usuarios. # Output: ID_USUARIO;FECHA;0,ENROLLMENT,LAST_ACCESS, PERCENT, LETTER_GRADE, PASSED TIME, FIRST_ACCESS import csv, sys # Removes NULL from CSV cell def removeNULL(value): if (value == "NULL"): return "" return value ifilename = './input_data/student_courseenrollment.csv' ifilename2 = './input_data/auth_user_prod_analytics.csv' ifilename3 = './input_data/grades_persistentcourse.csv' ifilename4 = './input_data/courseware_studentmodule.csv' ofilename = './output_data1/course_users.csv' fin = open(ifilename, 'r', encoding='utf-8') fin2 = open(ifilename2, 'r', encoding='utf-8') fin3 = open(ifilename3, 'r', encoding='utf-8') fin4 = open(ifilename4, 'r', encoding='utf-8') fout = open(ofilename, 'w', encoding='utf-8', newline='') inputCSV = csv.reader(fin, delimiter='\t', doublequote=True, escapechar='\\') #\t inputCSV2 = csv.reader(fin2, delimiter=',', doublequote=True, escapechar='\\') #\t inputCSV3 = csv.reader(fin3, delimiter='\t', doublequote=True, escapechar='\\') #\t inputCSV4 = csv.reader(fin4, delimiter='\t', doublequote=True, escapechar='\\') #\t outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL) header = ["user_id", "course_id", "mode", "enrollment", "last_access", "percent", "grade", "passed_time", "first_access"] outputCSV.writerow(header) lastAccess = [] idAccess = [] idAccess2 = [] percent2 = [] grade2 = [] passed_time2 = [] idAccess3 = [] first_access = [] next(inputCSV2, None) 334 Anexo 3 for row2 in inputCSV2: lastAccess.append(row2[4]) idAccess.append(row2[0]) next(inputCSV3, None) for row3 in inputCSV3: idAccess2.append(row3[1]) percent2.append(row3[3]) grade2.append(row3[4]) passed_time2.append(row3[5]) next(inputCSV4, None) for row4 in inputCSV4: if row4[3] in idAccess3: first_access[idAccess3.index(row4[3])] = min(first_access[idAccess3.index(row4[3])], row4[6]) else: idAccess3.append(row4[3]) first_access.append(row4[6]) l = 0 next(inputCSV, None) for row in inputCSV: try: if (row[1] in idAccess): lastAccess_aux = lastAccess[idAccess.index(row[1])][:19] else: lastAccess_aux = None if (row[1] in idAccess2): percent_aux = percent2[idAccess2.index(row[1])] grade_aux = grade2[idAccess2.index(row[1])] passed_aux = passed_time2[idAccess2.index(row[1])][:19] else: percent_aux = None grade_aux = None passed_aux = None if (row[1] in idAccess3): first_access_aux = first_access[idAccess3.index(row[1])] else: first_access_aux = None line = [row[1],row[2],'0',row[3],lastAccess_aux, percent_aux , grade_aux, passed_aux, first_access_aux] outputCSV.writerow(line) except Exception: print(row[1]) print("Unexpected error at line: ", sys.exc_info()[0]) pass 335 Machine Learning y predicciones para la mejora del rendimiento en MOOC extract_course_structure.py # Python version 3.7 # Lee el fichero .json con los datos de la estructura del curso y genera un resumen con lo necesario. # Output: "course_id","week","section","type","module_id","graded" import csv, json def parseWeeksChapter(course_id, chapters, data, csvWriter): week = 0 for c in chapters: week = week + 1 added = False sequentials = data[c]['children'] for s in sequentials: section = 0 verticals = data[s]['children'] for v in verticals: section = section + 1 elements = data[v]['children'] for e in elements: line = [course_id, week, section, data[e]['block_type'], data[e]['usage_key'], data[e]['graded']] added = True csvWriter.writerow(line) if(not added): line = [course_id, week, 0, "", "", False] csvWriter.writerow(line) ifilename = './input_data/course_structures.json' ofilename = './output_data1/course_structure.csv' fin = open(ifilename, 'r', encoding='utf-8') fout = open(ofilename, 'w', encoding='utf-8', newline='') inputJSON = json.load(fin) outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL) header = ["course_id", "week", "section", "type", "module_id", "graded"] outputCSV.writerow(header) for course in inputJSON: for c in course.items(): if ((c[1]['category']!='chapter')&(c[1]['category']!='sequential')&(c[1]['categor y']!='vertical')): if (c[0].find('Unidad')>= 0): graded = False course_id = c[0][:c[0].index('@') + 1] if c[0].find('Unidad') == -1: continue if c[0].find('Subsection') == -1: continue 336 Anexo 3 week = c[0][c[0].index('Unidad') + 6:c[0].index('Subsection')] section = c[0][c[0].index('Subsection') + 10:c[0].index('Vertical')] blocktype = c[0][c[0].index('+type@') + 6:c[0].index('+block')] if (c[1]['category']=='problem'): graded = True line = [course_id, week, section, blocktype,c[0], graded] outputCSV.writerow(line) 337 Machine Learning y predicciones para la mejora del rendimiento en MOOC extract_problems_data.py # Python version 3.7 # Lee el fichero .json con los datos de la estructura del curso y genera un resumen con lo necesario. # Output: "course_id","week","section","type","module_id","graded" import csv, json def parseWeeksChapter(course_id, chapters, data, csvWriter): week = 0 for c in chapters: week = week + 1 added = False sequentials = data[c]['children'] for s in sequentials: section = 0 verticals = data[s]['children'] for v in verticals: section = section + 1 elements = data[v]['children'] for e in elements: line = [course_id, week, section, data[e]['block_type'], data[e]['usage_key'], data[e]['graded']] added = True csvWriter.writerow(line) if(not added): line = [course_id, week, 0, "", "", False] csvWriter.writerow(line) ifilename = './input_data/course_structures.json' ofilename = './output_data1/course_structure.csv' fin = open(ifilename, 'r', encoding='utf-8') fout = open(ofilename, 'w', encoding='utf-8', newline='') inputJSON = json.load(fin) outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL) header = ["course_id", "week", "section", "type", "module_id", "graded"] outputCSV.writerow(header) for course in inputJSON: for c in course.items(): if ((c[1]['category']!='chapter')&(c[1]['category']!='sequential')&(c[1]['categor y']!='vertical')): if (c[0].find('Unidad')>= 0): graded = False course_id = c[0][:c[0].index('@') + 1] if c[0].find('Unidad') == -1: continue if c[0].find('Subsection') == -1: continue 338 Anexo 3 week = c[0][c[0].index('Unidad') + 6:c[0].index('Subsection')] section = c[0][c[0].index('Subsection') + 10:c[0].index('Vertical')] blocktype = c[0][c[0].index('+type@') + 6:c[0].index('+block')] if (c[1]['category']=='problem'): graded = True line = [course_id, week, section, blocktype,c[0], graded] outputCSV.writerow(line) 339 Machine Learning y predicciones para la mejora del rendimiento en MOOC extract_scores_data.py # Python version 3.7 # Lee el fichero student_courseenrollment y genera un resumen con los datos necesarios de los usuarios. # Output: "user_id", "module_id", "course_id", "score", "attempts", "timestamp" import csv, re, sys ifilename = './input_data/courseware_studentmodule.csv' ofilename = './output_data1/course_scores_users.csv' fin = open(ifilename, 'r', encoding='utf-8') fout = open(ofilename, 'w', encoding='utf-8', newline='') inputCSV = csv.reader(fin, delimiter='\t', doublequote=True, escapechar='\\') outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL) header = ["user_id", "module_id", "course_id", "score", "attempts", "timestamp"] outputCSV.writerow(header) l = 0 for row in inputCSV: l = l + 1 try: #if(row[1] == user_id = module_id course_id "drag-and-drop-v2"): row[3] = row[2] = row[10] # Guardan un registro del mal con todo el mundo haya hecho o no el problema # Si max score es null es que no ha hecho ni un itento if (row[5] != "NULL") and (row[8] != "NULL") and (row[8] != "max_grade"): max_score = float(row[8]) score = 0 if max_score > 0: score = float(row[5]) / max_score m = re.match(r"^.*\"attempts\":\s*(\d*).*$", row[4]) if m: attempts = m.group(1) timestamp = row[7] line = [user_id, module_id, course_id, score, attempts, timestamp] outputCSV.writerow(line) except Exception: print(row) print("Unexpected error at line ", l, ": ", sys.exc_info()[0]) pass 340 Anexo 3 extract_user_data.py # Python version 3.7 # Lee el fichero auth_userprofile y genera un resumen con los datos necesarios de los usuarios. # Output: "user_id, gender_year, level, allow, country import csv, sys # Cambia el NULL por nada "" def removeNULL(value): if (value == "NULL"): return "" return value # Normaliza el valor de nivel de sexo def setSexo(value): # Hombre if (value == "m"): return "male" # Mujer elif (value == "f"): return "female" else: return "" # Normaliza el valor de nivel de sexo def setEducationLevel(value): if (value == "none"): #Sin formación académica return "none" elif (value == "el"): #Educación primaria return "primary education" elif (value == "jhs"): #Educación secundaria elemental return "elemental secondary education" elif (value == "hs"): #Educación secundaria obligatoria return "obligatory secondary education" elif (value == "b"): #Título de bachillerato return "bachelor degree" elif (value == "a"): #Título universitario return "university degree" elif (value == "m"): #Título profesional o máster return "master" if (value == "p"): #Doctorado return "phd" elif (value == "other"): #Otras formaciones return "other" ifilename = './input_data/auth_userprofile.csv' ofilename = './output_data1/user_profile.csv' fin = open(ifilename, 'r',encoding='utf-8') fout = open(ofilename, 'w', encoding='utf-8', newline='') inputCSV = csv.reader(fin, delimiter=',', doublequote=True, escapechar='\\') 341 Machine Learning y predicciones para la mejora del rendimiento en MOOC outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL) l = 0 try: for row in inputCSV: l = l + 1 line = [] if (l == 1): line = [row[1], row[5], row[7], row[8], row[10], row[11]] outputCSV.writerow(line) else: line = [removeNULL(row[1]), setSexo(removeNULL(row[5])), removeNULL(row[7]), setEducationLevel(removeNULL(row[8])), removeNULL(row[10]), removeNULL(row[11])] outputCSV.writerow(line) except Exception: print("Unexpected error at line ", l, ": ", sys.exc_info()[0]) pass 342 Anexo 3 extract_videos_data.py # Python version 3.7 # Lee el fichero courseware_studentmodule y genera un resumen con los datos necesarios de los usuarios. # Output: ["user_id", "module_id", "course_id", "watched", "timestamp"] import csv, re, sys ifilename = './input_data/courseware_studentmodule.csv' ofilename = './output_data1/course_videos_users.csv' fin = open(ifilename, 'r', encoding='utf-8') fout = open(ofilename, 'w', encoding='utf-8', newline='') inputCSV = csv.reader(fin, delimiter='\t', doublequote=True, escapechar='\\') outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL) header = ["user_id", "module_id", "course_id", "watched", "timestamp"] outputCSV.writerow(header) l = 0 for row in inputCSV: l = l + 1 try: if(row[1] == "video"): user_id = row[3] module_id = row[2] course_id = row[10] videoData = row[4] timestamp = row[6] watched = 0 m = re.match(r"^.*\"saved_video_position\":\s*\"(\d\d):(\d\d):(\d\d)\".*$", videoData) if m: hours = int(m.group(1)) minutes = int(m.group(2)) seconds = int(m.group(3)) if (hours != 0) or (minutes != 0) or (seconds != 0): watched = (hours * 60 * 60) + (minutes * 60) + seconds line = [user_id, module_id, course_id, watched, timestamp] outputCSV.writerow(line) except Exception: print(row) print("Unexpected error at line ", l, ": ", sys.exc_info()[0]) pass 343 Machine Learning y predicciones para la mejora del rendimiento en MOOC generate_csv.py # Python version 3.7 # Este script carga los datos semanas obtenidos de generate_week_data y crea un csv normalizado con los datos # de todas las semanas import csv, sys, datetime from datetime import datetime from math import ceil from from from from courseData import CourseDataManager userData import UserDataManager userVideos import UserVideosManager userProblems import UserProblemsManager # Input files rCourseDataFilename = './output_data2/courses_data.csv' #'../../smalldataset/per-week-data/courses_data.csv' rUsersDataFilename = './output_data2/users_courses.csv' #'../../smalldataset/per-week-data/users_courses.csv' rUsersVideosFilename = './output_data2/videos_users.csv' #'../../smalldataset/per-week-data/videos_users.csv' rUsersProblemsFilename = './output_data2/problems_users.csv' #'../../smalldataset/per-week-data/problems_users.csv' # Output files outFilename = './output_data2/final_csv.csv' outFile = open(outFilename, 'w', encoding='utf-8', newline='') sampleCSV = csv.writer(outFile, quoting=csv.QUOTE_NONE) # Fecha en la que se sacaron los datos dump_date = datetime(2018, 4, 24) myFormat = '%Y-%m-%d %H:%M:%S' # Loads course data in the manager CourseData = CourseDataManager(rCourseDataFilename) # Loads user data in the manager UserData = UserDataManager(rUsersDataFilename) # Loads videos in the manager UserVideos = UserVideosManager(rUsersVideosFilename) # Loads problems in the manager UserProblems = UserProblemsManager(rUsersProblemsFilename) # Load users courses header = ["course_id", "course_weeks", "user_id", "user_age", "user_gender", "user_level_education", "enrollment", "last_aceess", 344 Anexo 3 "percent", "grade", "course_grade", "passed_time", "first_access", "duration", "first_10_days", '%'+ "course_watched_videos", "course_time_videos", "dropout", "absence_1_month" ] course = CourseData.getCourseData2() for w in course: for xx in course[w]: header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str('%'+ "week" header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx + + + + + + + + + + + + + "_problems")) "_videos")) "_discussions")) "_evaluation_blocks")) xx + "_watched_videos")) "_time_videos")) "_score")) "_score_attemps")) "_grade")) "_grade_attempts")) "_passed")) "_elapsed_time")) "%_problems")) sampleCSV.writerow(header) matriculas = UserData.getMatriculas() absence1 = [0]*30000000 for user_id in matriculas: absence1[int(user_id)] = 0 for course_id in matriculas[user_id]["courses"]: course = CourseData.getCourseData(course_id) # The course can not extist #if course is not None: course_watched_videos = 0 course_time_videos = 0 course_grade = 0 course_eval_weeks = 0 week_last_event = None onlyonecourse =0 for w in course: if onlyonecourse == 1: break 345 Machine Learning y predicciones para la mejora del rendimiento en MOOC ++onlyonecourse week_score = [0] * (len(course[w])+1) week_watched_videos = [0] * (len(course[w])+1) week_time_videos = [0] * (len(course[w])+1) week_score = [0] * (len(course[w])+1) week_score_attempts = [0] * (len(course[w])+1) week_grade = [0] * (len(course[w])+1) week_grade_attempts = [0] * (len(course[w])+1) week_passed = [0] * (len(course[w])+1) elapsed_time = [0] * (len(course[w])+1) absence = [0] * (len(course[w])+1) week_problems_per = [0] * (len(course[w])+1) for xx in course[w]: # Si no tiene videos ni problemas la semana se omite if course[w][xx]["videos"] == 0 and course[w][xx]["problems"] == 0: continue # stats de videos videos = UserVideos.getWeekData(user_id, course_id, xx) videos_end = datetime(1099, 9, 9) videos_begin = datetime(2099, 9, 9) if videos is not None: week_watched_videos[int(xx)] = videos["watched"] week_time_videos[int(xx)] = videos["seconds"] course_watched_videos += week_watched_videos[int(xx)] course_time_videos += week_time_videos[int(xx)] videos_end = videos['end'] videos_begin = videos['begin'] if ((week_last_event is None) or (videos["end"] > week_last_event)): week_last_event = videos["end"] week_score[int(xx)] = 0 week_score_attempts[int(xx)] = 0 week_grade[int(xx)] = 0 week_grade_attempts[int(xx)] = 0 week_passed[int(xx)] = 0 week_problems_per[int(xx)] = 0 # stats de problemas problems = UserProblems.getWeekData(user_id, course_id, xx) elapsed_time[int(xx)] = 0 problems_end = datetime(1099, 9, 9) problems_begin = datetime(2099, 9, 9) if problems is not None: week_score[int(xx)] = problems["score"] week_score_attempts[int(xx)] = problems["score_attempts"] week_grade[int(xx)] = problems["grade"] 346 Anexo 3 week_grade_attempts[int(xx)] = problems["grade_attempts"] week_passed[int(xx)] = problems["passed"] week_problems_per[int(xx)] = problems["%problems"] problems_end = problems['end'] problems_begin = problems['begin'] if ((week_last_event is None) or (problems["end"] > week_last_event)): week_last_event = problems["end"] if (problems is not None or videos is not None): if (str(problems_end) >= str(videos_end)): max_end = problems_end else: max_end = videos_end if (str(problems_begin) <= str(videos_begin)): min_begin = problems_begin else: min_begin = videos_begin elapsed_time[int(xx)] = ceil((max_end min_begin).total_seconds() / 60 / 60 / 24) # Si la semana no tiene problemas puntuables no se modifica el score if course[w][xx]["evaluations"] > 0: course_grade += week_grade[int(xx)] course_eval_weeks += 1 # Compute week grade course_tmp_grade = course_grade / course_eval_weeks # Compute Absence absence[int(xx)] = UserProblems.computeAbsence_1month(user_id, course_id, xx, len(course[w])) absence1[int(user_id)]= absence1[int(user_id)] + absence[int(xx)] print(absence1[int(user_id)]) if (user_id == '29464'): print("hola") first_10_days = 0 if ((matriculas[user_id]["first_access"] != "0") and (matriculas[user_id]["enrollment"] !="0")): if (((datetime.strptime(matriculas[user_id]["first_access"],'%Y-%m-%d %H:%M:%S')) - datetime.strptime(matriculas[user_id]["enrollment"],'%Y-%m-%d %H:%M:%S')).days < 11): first_10_days = 1 duration = 0 if ((matriculas[user_id]["passed_time"] != "0" ) and 347 Machine Learning y predicciones para la mejora del rendimiento en MOOC (matriculas[user_id]["first_access"] != "0" )): duration = (datetime.strptime(matriculas[user_id]["passed_time"],'%Y%m-%d %H:%M:%S') - datetime.strptime(matriculas[user_id]["first_access"],'%Y%m-%d %H:%M:%S')).days if (duration < 0): duration = 0 if (user_id == '29464'): print ("hola") line = [CourseData.getCourseId(course_id), len(course[w]), user_id, matriculas[user_id]["age"], matriculas[user_id]["gender"], matriculas[user_id]["education"], matriculas[user_id]["enrollment"], matriculas[user_id]["last_aceess"], matriculas[user_id]["percent"], matriculas[user_id]["grade"], round(course_tmp_grade, 4), matriculas[user_id]["passed_time"], matriculas[user_id]["first_access"], duration, first_10_days, round (100*(course_watched_videos/CourseData.getTotalVideos()),3) if CourseData.getTotalVideos() != 0 else 0 , course_time_videos, 0 if float(matriculas[user_id]["percent"]) >= 0.50 else 1, 0 if absence1[int(user_id)] <=3 else 1 ] for w in course: for wweek in course[w]: line.append(course[w][wweek]["problems"]) line.append(course[w][wweek]["videos"]) line.append(course[w][wweek]["discussions"]) line.append(course[w][wweek]["evaluations"]) line.append(round(week_watched_videos[int(wweek)]/CourseData.getWeekVideos(wwe ek),3) if CourseData.getWeekVideos(wweek)!=0 else 0 ) line.append(week_time_videos[int(wweek)]) line.append(week_score[int(wweek)]) line.append(week_score_attempts[int(wweek)]) line.append(week_grade[int(wweek)]) line.append(week_grade_attempts[int(wweek)]) line.append(week_passed[int(wweek)]) line.append(elapsed_time[int(wweek)]) line.append(week_problems_per[int(wweek)]) try: sampleCSV.writerow(line) except Exception: print("Unexpected error: ", sys.exc_info()[0]) 348 Anexo 3 generate_csv_summary.py # Python version 3.7 # Este script carga los datos semanas obtenidos de generate_week_data y crea un csv normalizado con los datos # de todas las semanas import csv, sys, datetime from datetime import datetime from math import ceil from from from from courseData import CourseDataManager userData import UserDataManager userVideos import UserVideosManager userProblems import UserProblemsManager # Input files rCourseDataFilename = './output_data2/courses_data.csv' #'../../smalldataset/per-week-data/courses_data.csv' rUsersDataFilename = './output_data2/users_courses.csv' #'../../smalldataset/per-week-data/users_courses.csv' rUsersVideosFilename = './output_data2/videos_users.csv' #'../../smalldataset/per-week-data/videos_users.csv' rUsersProblemsFilename = './output_data2/problems_users.csv' #'../../smalldataset/per-week-data/problems_users.csv' # Output files outFilename = './output_data2/final_csv.csv' outFile = open(outFilename, 'w', encoding='utf-8', newline='') sampleCSV = csv.writer(outFile, quoting=csv.QUOTE_NONE) # Fecha en la que se sacaron los datos dump_date = datetime(2018, 4, 24) myFormat = '%Y-%m-%d %H:%M:%S' # Loads course data in the manager CourseData = CourseDataManager(rCourseDataFilename) # Loads user data in the manager UserData = UserDataManager(rUsersDataFilename) # Loads videos in the manager UserVideos = UserVideosManager(rUsersVideosFilename) # Loads problems in the manager UserProblems = UserProblemsManager(rUsersProblemsFilename) # Load users courses header = ["course_id", "course_weeks", "user_id", "user_age", "user_gender", "user_level_education", "enrollment", "last_aceess", 349 Machine Learning y predicciones para la mejora del rendimiento en MOOC "percent", "grade", "course_grade", "passed_time", "first_access", "duration", "first_10_days", '%'+ "course_watched_videos", "course_time_videos", "dropout", "absence_1_month" ] course = CourseData.getCourseData2() for w in course: for xx in course[w]: header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str('%'+ "week" header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx header.append(str("week" + xx + + + + + + + + + + + + + "_problems")) "_videos")) "_discussions")) "_evaluation_blocks")) xx + "_watched_videos")) "_time_videos")) "_score")) "_score_attemps")) "_grade")) "_grade_attempts")) "_passed")) "_elapsed_time")) "%_problems")) sampleCSV.writerow(header) matriculas = UserData.getMatriculas() absence1 = [0]*30000000 for user_id in matriculas: absence1[int(user_id)] = 0 for course_id in matriculas[user_id]["courses"]: course = CourseData.getCourseData(course_id) # The course can not extist #if course is not None: course_watched_videos = 0 course_time_videos = 0 course_grade = 0 course_eval_weeks = 0 week_last_event = None onlyonecourse =0 for w in course: if onlyonecourse == 1: break 350 Anexo 3 ++onlyonecourse week_score = [0] * (len(course[w])+1) week_watched_videos = [0] * (len(course[w])+1) week_time_videos = [0] * (len(course[w])+1) week_score = [0] * (len(course[w])+1) week_score_attempts = [0] * (len(course[w])+1) week_grade = [0] * (len(course[w])+1) week_grade_attempts = [0] * (len(course[w])+1) week_passed = [0] * (len(course[w])+1) elapsed_time = [0] * (len(course[w])+1) absence = [0] * (len(course[w])+1) week_problems_per = [0] * (len(course[w])+1) for xx in course[w]: # Si no tiene videos ni problemas la semana se omite if course[w][xx]["videos"] == 0 and course[w][xx]["problems"] == 0: continue # stats de videos videos = UserVideos.getWeekData(user_id, course_id, xx) videos_end = datetime(1099, 9, 9) videos_begin = datetime(2099, 9, 9) if videos is not None: week_watched_videos[int(xx)] = videos["watched"] week_time_videos[int(xx)] = videos["seconds"] course_watched_videos += week_watched_videos[int(xx)] course_time_videos += week_time_videos[int(xx)] videos_end = videos['end'] videos_begin = videos['begin'] if ((week_last_event is None) or (videos["end"] > week_last_event)): week_last_event = videos["end"] week_score[int(xx)] = 0 week_score_attempts[int(xx)] = 0 week_grade[int(xx)] = 0 week_grade_attempts[int(xx)] = 0 week_passed[int(xx)] = 0 week_problems_per[int(xx)] = 0 # stats de problemas problems = UserProblems.getWeekData(user_id, course_id, xx) elapsed_time[int(xx)] = 0 problems_end = datetime(1099, 9, 9) problems_begin = datetime(2099, 9, 9) if problems is not None: week_score[int(xx)] = problems["score"] week_score_attempts[int(xx)] = problems["score_attempts"] week_grade[int(xx)] = problems["grade"] 351 Machine Learning y predicciones para la mejora del rendimiento en MOOC week_grade_attempts[int(xx)] = problems["grade_attempts"] week_passed[int(xx)] = problems["passed"] week_problems_per[int(xx)] = problems["%problems"] problems_end = problems['end'] problems_begin = problems['begin'] if ((week_last_event is None) or (problems["end"] > week_last_event)): week_last_event = problems["end"] if (problems is not None or videos is not None): if (str(problems_end) >= str(videos_end)): max_end = problems_end else: max_end = videos_end if (str(problems_begin) <= str(videos_begin)): min_begin = problems_begin else: min_begin = videos_begin elapsed_time[int(xx)] = ceil((max_end min_begin).total_seconds() / 60 / 60 / 24) # Si la semana no tiene problemas puntuables no se modifica el score if course[w][xx]["evaluations"] > 0: course_grade += week_grade[int(xx)] course_eval_weeks += 1 # Compute week grade course_tmp_grade = course_grade / course_eval_weeks # Compute Absence absence[int(xx)] = UserProblems.computeAbsence_1month(user_id, course_id, xx, len(course[w])) absence1[int(user_id)]= absence1[int(user_id)] + absence[int(xx)] print(absence1[int(user_id)]) if (user_id == '29464'): print("hola") first_10_days = 0 if ((matriculas[user_id]["first_access"] != "0") and (matriculas[user_id]["enrollment"] !="0")): if (((datetime.strptime(matriculas[user_id]["first_access"],'%Y-%m-%d %H:%M:%S')) - datetime.strptime(matriculas[user_id]["enrollment"],'%Y-%m-%d %H:%M:%S')).days < 11): first_10_days = 1 duration = 0 if ((matriculas[user_id]["passed_time"] != "0" ) and 352 Anexo 3 (matriculas[user_id]["first_access"] != "0" )): duration = (datetime.strptime(matriculas[user_id]["passed_time"],'%Y%m-%d %H:%M:%S') - datetime.strptime(matriculas[user_id]["first_access"],'%Y%m-%d %H:%M:%S')).days if (duration < 0): duration = 0 if (user_id == '29464'): print ("hola") line = [CourseData.getCourseId(course_id), len(course[w]), user_id, matriculas[user_id]["age"], matriculas[user_id]["gender"], matriculas[user_id]["education"], matriculas[user_id]["enrollment"], matriculas[user_id]["last_aceess"], matriculas[user_id]["percent"], matriculas[user_id]["grade"], round(course_tmp_grade, 4), matriculas[user_id]["passed_time"], matriculas[user_id]["first_access"], duration, first_10_days, round (100*(course_watched_videos/CourseData.getTotalVideos()),3) if CourseData.getTotalVideos() != 0 else 0 , course_time_videos, 0 if float(matriculas[user_id]["percent"]) >= 0.50 else 1, 0 if absence1[int(user_id)] <=3 else 1 ] for w in course: for wweek in course[w]: line.append(course[w][wweek]["problems"]) line.append(course[w][wweek]["videos"]) line.append(course[w][wweek]["discussions"]) line.append(course[w][wweek]["evaluations"]) line.append(round(week_watched_videos[int(wweek)]/CourseData.getWeekVideos(wwe ek),3) if CourseData.getWeekVideos(wweek)!=0 else 0 ) line.append(week_time_videos[int(wweek)]) line.append(week_score[int(wweek)]) line.append(week_score_attempts[int(wweek)]) line.append(week_grade[int(wweek)]) line.append(week_grade_attempts[int(wweek)]) line.append(week_passed[int(wweek)]) line.append(elapsed_time[int(wweek)]) line.append(week_problems_per[int(wweek)]) try: sampleCSV.writerow(line) except Exception: print("Unexpected error: ", sys.exc_info()[0]) 353 Machine Learning y predicciones para la mejora del rendimiento en MOOC generate_week_data.py # Python version 3.7 # Este script analiza los datos sin procesar en estadísticas semanales y los almacena en datos por semana para # construir el conjunto de datos final import csv, sys from datetime import datetime from dataNormParser import parseAge, parseBoolean, parseEducation, parseGender, parseDate, parseGrade, parsePercent # Input files courseDataFilename = './output_data1/course_structure.csv' problemsFilename = './output_data1/course_problem_users.csv' videosFilename = './output_data1/course_videos_users.csv' usersDataFilename = './output_data1/user_profile.csv' usersCoursesFilename = './output_data1/course_users.csv' fCourseDataFile = open(courseDataFilename, 'r', encoding='utf-8') fProblemsFile = open(problemsFilename, 'r', encoding='utf-8') fVideosFile = open(videosFilename, 'r', encoding='utf-8') fUsersDataFile = open(usersDataFilename, 'r', encoding='utf-8') fUsersCoursesFile = open(usersCoursesFilename, 'r', encoding='utf-8') # Output files wCourseDataFilename = './output_data2/courses_data.csv' wProblemsFilename = './output_data2/problems_users.csv' wVideosFilename = './output_data2/videos_users.csv' wUsersCoursesFilename = './output_data2/users_courses.csv' fwCourseDataFile = open(wCourseDataFilename, 'w', encoding='utf-8', newline='') fwProblemsFile = open(wProblemsFilename, 'w', encoding='utf-8', newline='') fwVideosFile = open(wVideosFilename, 'w', encoding='utf-8', newline='') fwUsersCoursesFile = open(wUsersCoursesFilename, 'w', encoding='utf-8', newline='') # CSV READERS rCourseDataCSV = csv.reader(fCourseDataFile, doublequote=True, escapechar='\\') rProblemsCSV = csv.reader(fProblemsFile, doublequote=True, escapechar='\\') rVideosCSV = csv.reader(fVideosFile, doublequote=True, escapechar='\\') rUsersDataCSV = csv.reader(fUsersDataFile, doublequote=True, escapechar='\\') rUsersCoursesCSV = csv.reader(fUsersCoursesFile, doublequote=True, escapechar='\\') # CSV WRITERS wCourseDataCSV = csv.writer(fwCourseDataFile, quoting=csv.QUOTE_ALL) wProblemsCSV = csv.writer(fwProblemsFile, quoting=csv.QUOTE_ALL) wVideosCSV = csv.writer(fwVideosFile, quoting=csv.QUOTE_ALL) wUsersCoursesCSV = csv.writer(fwUsersCoursesFile, quoting=csv.QUOTE_ALL) 354 Anexo 3 # Dictionaries Courses = {} Modules = {} ModulesGraded = {} UsersProblems = {} UsersVideos = {} UsersData = {} myFormat = '%Y-%m-%d %H:%M:%S' # Generate course data normalized per week next(rCourseDataCSV, None) # skip the headers for row in rCourseDataCSV: endCourse = row[0].find("+type@") course_id = "course-v1" + row[0][8:endCourse] if (course_id not in Courses): Courses[course_id] = {"weeks":{}} if (row[1] not in Courses[course_id]["weeks"]): Courses[course_id]["weeks"][row[1]] = {"sections": set(), "videos": 0, "discussions": 0, "problems": 0, "evaluation": 0} Courses[course_id]["weeks"][row[1]]["sections"].add(row[2]) if (row[3] == "video"): Courses[course_id]["weeks"][row[1]]["videos"] += 1 elif (row[3] == "discussion"): Courses[course_id]["weeks"][row[1]]["discussions"] += 1 elif (row[3] == "problem"): Courses[course_id]["weeks"][row[1]]["problems"] += 1 Modules[row[4]] = row[1] ModulesGraded[row[4]] = row[5] if (row[5] == "True") and (row[3] == "problem"): Courses[course_id]["weeks"][row[1]]["evaluation"] += 1 header = ["course_id", "week", "course_weeks", "weeks_sections", "videos", "problems", "discussions", "evaluation_blocks"] wCourseDataCSV.writerow(header) for c in Courses: for w in Courses[c]["weeks"]: line = [c, w, len(Courses[c]["weeks"]), len(Courses[c]["weeks"][w]["sections"]), Courses[c]["weeks"][w]["videos"], Courses[c]["weeks"][w]["problems"], Courses[c]["weeks"][w]["discussions"], Courses[c]["weeks"][w]["evaluation"]] wCourseDataCSV.writerow(line) fCourseDataFile.close() fwCourseDataFile.close() # Generate problems data normalized per week next(rProblemsCSV, None) # skip the headers for row in rProblemsCSV: if (row[0] not in UsersProblems): UsersProblems[row[0]] = {"courses": {}} if (row[2] not in UsersProblems[row[0]]["courses"]): UsersProblems[row[0]]["courses"][row[2]] = {"weeks": {}} if (row[1] in Modules): 355 Machine Learning y predicciones para la mejora del rendimiento en MOOC week = Modules[row[1]] if (week not in UsersProblems[row[0]]["courses"][row[2]]["weeks"]): UsersProblems[row[0]]["courses"][row[2]]["weeks"][week] = {"score": 0.0, "score_attempts": 0, "grade": 0.0, "grade_attempts": 0, "begin": 0, "end": 0,"num_problems":0 } UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["score"] += float(row[3]) if (UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["score"] > 1): hola =0 UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["score_attempts"] += int(row[4]) UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["num_problems"] += 1 if (ModulesGraded[row[1]] == 'True'): UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["grade"] += float(row[3]) UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["grade_attempts"] += int(row[4]) timestamp = datetime.strptime(row[5], myFormat) if ((UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["begin"] == 0) or (timestamp < UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["begin"])): UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["begin"] = timestamp if ((UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["end"] == 0) or (timestamp > UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["end"])): UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["end"] = timestamp header = ["users", "course_id", "week", "score", "score_attemps", "grade", "grade_attempts", "begin", "end", "elapsed_time","num_problems","%problems" ] wProblemsCSV.writerow(header) for u in UsersProblems: for c in UsersProblems[u]["courses"]: for w in UsersProblems[u]["courses"][c]["weeks"]: week_stats = UsersProblems[u]["courses"][c]["weeks"][w] week_score = 0 week_grade = 0 if (Courses[c]["weeks"][w]["problems"] > 0): week_score = week_stats["score"] / Courses[c]["weeks"][w]["problems"] if (Courses[c]["weeks"][w]["evaluation"] > 0): week_grade = week_stats["grade"] / Courses[c]["weeks"][w]["evaluation"] line = [u, c, w, '{:.3f}'.format(week_score), week_stats["score_attempts"], '{:.3f}'.format(week_grade), 356 Anexo 3 week_stats["grade_attempts"], datetime.strftime(week_stats["begin"],myFormat), datetime.strftime(week_stats["end"],myFormat),(week_stats["end"]week_stats["begin"]).total_seconds(), UsersProblems[u]["courses"][c]["weeks"][w]["num_problems"], round( UsersProblems[u]["courses"][c]["weeks"][w]["num_problems"] / Courses[c]["weeks"][w]["problems"],2) ] wProblemsCSV.writerow(line) fProblemsFile.close() fwProblemsFile.close() # Generate videos data normalized per week next(rVideosCSV, None) # skip the headers for row in rVideosCSV: if (row[0] not in UsersVideos): UsersVideos[row[0]] = {"courses": {}} if (row[2] not in UsersVideos[row[0]]["courses"]): UsersVideos[row[0]]["courses"][row[2]] = {"weeks": {}} if (row[1] in Modules): week = Modules[row[1]] if (week not in UsersVideos[row[0]]["courses"][row[2]]["weeks"]): UsersVideos[row[0]]["courses"][row[2]]["weeks"][week] = {"watched": 0, "seconds": 0, "begin": 0, "end": 0} UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["watched"] += 1 UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["seconds"] += int(row[3]) timestamp = datetime.strptime(row[4], myFormat) if ((UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["begin"] == 0) or (timestamp < UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["begin"])): UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["begin"] = timestamp if ((UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["end"] == 0) or (timestamp > UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["end"])): UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["end"] = timestamp header = ["users", "course_id", "week", "watched", "seconds", "begin", "end", "elapsed-time"] wVideosCSV.writerow(header) for u in UsersVideos: for c in UsersVideos[u]["courses"]: for w in UsersVideos[u]["courses"][c]["weeks"]: week_stats = UsersVideos[u]["courses"][c]["weeks"][w] line = [u, c, w, week_stats["watched"], week_stats["seconds"], week_stats["begin"].strftime(myFormat), week_stats["end"].strftime(myFormat), (week_stats["end"] - week_stats["begin"]).total_seconds()] wVideosCSV.writerow(line) fVideosFile.close() fwVideosFile.close() # Load users profiles 357 Machine Learning y predicciones para la mejora del rendimiento en MOOC next(rUsersDataCSV, None) # skip the headers for row in rUsersDataCSV: UsersData[row[0]] = row fUsersDataFile.close() # Header file header = ["user_id", "course_id", "year_of_birth", "gender", "level_of_education", "enrollment", "last_aceess", "percent", "grade", "passed_time", "first_access"] wUsersCoursesCSV.writerow(header) # Copy course - user_id data next(rUsersCoursesCSV, None) # skip the headers for row in rUsersCoursesCSV: try: # Ignoramos las matriculas anuladas porque pueden ser datos anomalos if (row[2] == "0" and row[0] in UsersData): profile = UsersData[row[0]] line = [row[0], # user_id row[1], # course_id parseAge(profile[2]), # age parseGender(profile[1]), # gender parseEducation(profile[3]), # education row[3], #enrollment parseDate(row[4]), #last_access parsePercent(row[5]), #percent parseGrade(row[6]), #grade parseDate(row[7]), #passed_time parseDate(row[8]) #first_access ] wUsersCoursesCSV.writerow(line) except Exception: print("Unexpected error: ", sys.exc_info()[0]) break fwUsersCoursesFile.close() fUsersCoursesFile.close() 358 Anexo 3 userData.py # Python version 3.7 # Clase para manejar los datos de los usuarios import csv, statistics from datetime import datetime from math import ceil class UserDataManager: # Constructor -> Filen with user data structure per week def __init__(self, filename): userFile = open(filename, 'r', encoding='utf-8') userCSV = csv.reader(userFile, doublequote=True, escapechar='\\') self.data = {} self.dateFormat = '%Y-%m-%d %H:%M:%S' #'%Y-%m-%d %H:%M:%S.%f' # Load problems data -> self.data[user_id][course_id] next(userCSV, None) # skip the headers for row in userCSV: user_id = row[0] course_id = row[1] age = int(row[2]) gender = int(row[3]) education = int(row[4]) enrollment = row[5] last_access = row[6] percent = row[7] grade = row[8] passed_time = row[9] first_access = row[10] # Register user if (user_id not in self.data): self.data[user_id] = { "age": age, "gender": gender, "education": education, "courses": set(), "enrollment": enrollment, "last_aceess": last_access, "percent": percent, "grade": grade, "passed_time": passed_time, "first_access": first_access } # Register course self.data[user_id]["courses"].add(course_id) userFile.close() def getMatriculas(self): return self.data 359 Machine Learning y predicciones para la mejora del rendimiento en MOOC def getStats(self): courses = set() hombres = 0 mujeres = 0 ages = [] education = [] matriculas = 0 for user_id in self.data: gender = self.data[user_id]["gender"] if (gender == 1): mujeres += 1 else: hombres += 1 ages.append(self.data[user_id]["age"]) education.append(self.data[user_id]["education"]) for course_id in self.data[user_id]["courses"]: courses.add(course_id) matriculas += 1 stats = { "users": len(self.data), "courses": len(courses), "hombres": hombres, "mujeres": mujeres, "agesMean": statistics.mean(ages), "agesStdev": statistics.stdev(ages), "educationMean": statistics.mean(education), "educationStdev": statistics.stdev(education), "samples": matriculas } return stats 360 Anexo 3 userProblems.py # Python version 3.7 # Clase para manejar los datos de los problemas de los usuarios import csv, statistics from datetime import datetime from math import ceil class UserProblemsManager: # Constructor -> Filen with user data structure per week def __init__(self, filename): problemsFile = open(filename, 'r', encoding='utf-8') problemsCSV = csv.reader(problemsFile, doublequote=True, escapechar='\\') self.data = {} self.dateFormat = '%Y-%m-%d %H:%M:%S' #'%Y-%m-%d %H:%M:%S.%f' # Fecha en la que se sacaron los datos dump_date = datetime(2018, 4, 24) # Load problems data -> self.data[user_id][course_id][week] next(problemsCSV, None) # skip the headers for row in problemsCSV: user_id = row[0] # EL PROBLEMA ESTA EN QUE AQUI SOLO LLEGA UnA SEMANA DE PROBLEMAS if (user_id == "29464"): hola = 1 course_id = row[1] week = row[2] # Register user if (user_id not in self.data): self.data[user_id] = {} # Register course if (course_id not in self.data[user_id]): self.data[user_id][course_id] = {} # Register week if (week not in self.data[user_id][course_id]): # Fields conversion score = float(row[3]) score_attempts = int(row[4]) grade = float(row[5]) grade_attempts = int(row[6]) begin = datetime.strptime(row[7], self.dateFormat) end = datetime.strptime(row[8], self.dateFormat) # elapsed_time = float(row[12]) problems_per = float(row[11]) passed = 1 if (grade < 0.5): passed = 0 # Compute elapsed time since the last problem and today (dump 361 Machine Learning y predicciones para la mejora del rendimiento en MOOC data) #elapsed_days = ceil((end - dump_date).total_seconds() / 60 / 60 / 24) elapsed_days = ceil((end - begin).total_seconds() / 60 / 60 / 24) self.data[user_id][course_id][week] = { "score": score, "score_attempts": score_attempts, "grade": grade, "grade_attempts": grade_attempts, "passed": passed, "begin": begin, "end": end, "elapsed_days": elapsed_days, "%problems": problems_per } problemsFile.close() def getWeekData(self, user_id, course_id, week): if (user_id in self.data): if (course_id in self.data[user_id]): if (week in self.data[user_id][course_id]): weekData = self.data[user_id][course_id][week] return weekData return None def computeDropout(self, user_id, course_id, currentWeek, totalWeeks): # Estoy en la última semana if (currentWeek == totalWeeks): currentWeekData = self.getWeekData(user_id, course_id, currentWeek) # No hay registros de problemas if currentWeekData is None: return 1 # Ha terminado el curso if currentWeekData["passed"]: return 0 # No ha termiando pero aun podria terminar (hace menos de 1 mes) if currentWeekData["elapsed_days"] <= 30: return 0 return 1 # Si hay semanas despues else: nextWeek = str(int(currentWeek) + 1) nextWeekData = self.getWeekData(user_id, course_id, nextWeek) # No hay registros de problemas if nextWeekData is None: return 1 # Ha terminado el curso if nextWeekData["passed"]: return 0 # No ha termiando pero aun podria terminar (hace menos de 1 mes) if nextWeekData["elapsed_days"] <= 30: 362 Anexo 3 return 0 return 1 def computeAbsence_1month(self, user_id, course_id, currentWeek, totalWeeks): # Estoy en la última semana if (currentWeek == totalWeeks): currentWeekData = self.getWeekData(user_id, course_id, currentWeek) # No hay registros de problemas if currentWeekData is None: return 1 # Ha terminado el curso if currentWeekData["passed"]: return 0 # No ha termiando pero aun podria terminar (hace menos de 1 mes) if currentWeekData["elapsed_days"] <= 30: return 0 return 1 # Si hay semanas despues else: nextWeek = str(int(currentWeek) + 1) nextWeekData = self.getWeekData(user_id, course_id, nextWeek) # No hay registros de problemas if nextWeekData is None: return 1 # Ha terminado el curso if nextWeekData["passed"]: return 0 # No ha termiando pero aun podria terminar (hace menos de 1 mes) if nextWeekData["elapsed_days"] <= 30: return 0 return 1 def computeAbsence_10days(self, user_id, course_id, currentWeek, totalWeeks): # Estoy en la última semana if (currentWeek == totalWeeks): currentWeekData = self.getWeekData(user_id, course_id, currentWeek) # No hay registros de problemas if currentWeekData is None: return 1 # Ha terminado el curso if currentWeekData["passed"]: return 0 # No ha termiando pero aun podria terminar (hace menos de 10 dias) if currentWeekData["elapsed_days"] <= 10: return 0 return 1 # Si hay semanas despues else: nextWeek = str(int(currentWeek) + 1) nextWeekData = self.getWeekData(user_id, course_id, nextWeek) 363 Machine Learning y predicciones para la mejora del rendimiento en MOOC # No hay registros de problemas if nextWeekData is None: return 1 # Ha terminado el curso if nextWeekData["passed"]: return 0 # No ha termiando pero aun podria terminar (hace menos de 10 dias) if nextWeekData["elapsed_days"] <= 10: return 0 return 1 def getNextWeekGrade(self, user_id, course_id, currentWeek, totalWeeks): # Estoy en la última semana devuelvo el actual if (currentWeek == totalWeeks): currentWeekData = self.getWeekData(user_id, course_id, currentWeek) # No hay registros de problemas if currentWeekData is None: return 0 return currentWeekData["grade"] # Si hay semanas despues else: nextWeek = str(int(currentWeek) + 1) nextWeekData = self.getWeekData(user_id, course_id, nextWeek) # No hay registros de problemas if nextWeekData is None: return 0 return nextWeekData["grade"] def getStats(self): courses = set() weeks = set() scores = [] scoresAttempts = [] grades = [] gradesAttempts = [] passed = 0 for user_id in self.data: for course_id in self.data[user_id]: courses.add(course_id) for week in self.data[user_id][course_id]: weeks.add(course_id + "###" + week) weekData = self.getWeekData(user_id, course_id, week) scores.append(weekData["score"]) scoresAttempts.append(weekData["score_attempts"]) grades.append(weekData["grade"]) gradesAttempts.append(weekData["grade_attempts"]) passed += weekData["passed"] 364 Anexo 3 stats = { "users": len(self.data), "courses": len(courses), "weeks": len(weeks), "scoreMean": statistics.mean(scores), "scoreStdev": statistics.stdev(scores), "scoreAttemptsMean": statistics.mean(scoresAttempts), "scoreAttemptsStdev": statistics.stdev(scoresAttempts), "gradeMean": statistics.mean(grades), "gradeStdev": statistics.stdev(grades), "gradeAttemptsMean": statistics.mean(gradesAttempts), "gradeAttemptsStdev": statistics.stdev(gradesAttempts), "passed": passed, "samples": len(scores) } return stats 365 Machine Learning y predicciones para la mejora del rendimiento en MOOC userVideos.py # Python version 3.7 # Clase para manejar los datos de los vídeos de los usuarios import csv, statistics from datetime import datetime from math import ceil class UserVideosManager: # Constructor -> Filen with user data structure per week def __init__(self, filename): videosFile = open(filename, 'r', encoding='utf-8') videosCSV = csv.reader(videosFile, doublequote=True, escapechar='\\') self.data = {} self.dateFormat = '%Y-%m-%d %H:%M:%S'#'%Y-%m-%d %H:%M:%S.%f' # Fecha en la que se sacaron los datos dump_date = datetime(2018, 4, 24) # Load problems data -> self.data[user_id][course_id][week] next(videosCSV, None) # skip the headers for row in videosCSV: user_id = row[0] course_id = row[1] week = row[2] # Register user if (user_id not in self.data): self.data[user_id] = {} # Register course if (course_id not in self.data[user_id]): self.data[user_id][course_id] = {} # Register week if (week not in self.data[user_id][course_id]): # Fields conversion watched = int(row[3]) seconds = int(row[4]) begin = datetime.strptime(row[5], self.dateFormat) end = datetime.strptime(row[6], self.dateFormat) # elapsed_time = float(row[7]) # Compute elapsed time since the last video and today (dump data) #elapsed_days = ceil((end - dump_date).total_seconds() / 60 / 60 / 24) elapsed_days = ceil((end - begin).total_seconds() / 60 / 60 / 24) self.data[user_id][course_id][week] = { "watched": watched, "seconds": seconds, "begin": begin, "end": end, "elapsed_days": elapsed_days 366 Anexo 3 } videosFile.close() def getWeekData(self, user_id, course_id, week): if (user_id in self.data): if (course_id in self.data[user_id]): if (week in self.data[user_id][course_id]): weekData = self.data[user_id][str(course_id)][str(week)] return weekData return None def getStats(self): courses = set() weeks = set() watched = [] seconds = [] for user_id in self.data: for course_id in self.data[user_id]: courses.add(course_id) for week in self.data[user_id][course_id]: weeks.add(course_id + "###" + week) weekData = self.getWeekData(user_id, course_id, week) watched.append(weekData["watched"]) seconds.append(weekData["seconds"]) stats = { "users": len(self.data), "courses": len(courses), "weeks": len(weeks), "watchedMean": statistics.mean(watched), "watchedStdev": statistics.stdev(watched), "secondsMean": statistics.mean(seconds), "secondsStdev": statistics.stdev(seconds), "samples": len(watched) } return stats 367 Machine Learning y predicciones para la mejora del rendimiento en MOOC MachineLearning_MOOCs.ipynb # Importar librerías import pandas as pd import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D import matplotlib as mpl import numpy as np import seaborn as sns %matplotlib inline # Subiendo datos de Drive a Colaboratory !pip install -U -q PyDrive from pydrive.auth import GoogleAuth from pydrive.drive import GoogleDrive from google.colab import auth from oauth2client.client import GoogleCredentials # Autenticación auth.authenticate_user() gauth = GoogleAuth() gauth.credentials = GoogleCredentials.get_application_default() drive = GoogleDrive(gauth) link = 'https://drive.google.com/open?id=1Vtn8V_RTm25RPE_bPci7I6mjPyuWTG1a' fluff, id = link.split('=') downloaded = drive.CreateFile({'id':id}) downloaded.GetContentFile('final_csv_summary.csv') #samples_upvx_weekly df = pd.read_csv('final_csv_summary.csv') #samples_upvx_weekly # Los datos quedan almacenados en un Pandas Dataframe df.info() df.head() Index(['course_id', 'course_weeks', 'user_id', 'dropout', 'user_age', 'user_gender', 'user_level_education', 'percent', 'grade', 'duration', 'first_10_days', '50%course_watched_videos', 'course_time_videos', 'absence_1_month', 'absence_10_days', 'low_scores', '1week_attemps', 'week2%_problems', 'week2%_watched_videos', 'week3%_problems', 'week3%_watched_videos', 'week4%_problems', 'week4%_watched_videos', 'week5%_problems', 'week5%_watched_videos', 'week6%_problems', 'week6%_watched_videos', 'week7%_problems', 'week7%_watched_videos', 'week8%_problems', 'week8%_watched_videos', 'week9%_problems', 'week9%_watched_videos', 'week1%_problems', 'week1%_watched_videos', 'week10%_problems', 'week10%_watched_videos'], dtype='object') df.isnull().any() # Usuarios Unicos; Aprobados y suspensos; Distribución por género; # Distribución por nivel de educación; Distribución por edades; abandono print('1) Usuarios Unicos: %d' % len(df['user_id'].unique())) print("\n") print('2) Aprobados y suspensos:') print(df['grade'].value_counts()) 368 Anexo 3 print("\n") print('3) Distribución por género:') print(df['user_gender'].value_counts()) print('Valores Nulos: %d' % df['user_gender'].isnull().values.sum()) print("\n") print('4) Distribución por nivel de educación:') print(df['user_level_education'].value_counts()) print('Valores Nulos: %d' % df['user_level_education'].isnull().sum()) print("\n") print ('5) Distribución por edades') print(df['user_age'].value_counts()) print('Valores Nulos: %d' % df['user_age'].isnull().sum()) print("\n") print('6) Abandonos:') print(df['dropout'].value_counts()) print('Valores Nulos: %d' % df['dropout'].isnull().sum()) # Selección de Features para analizar su distribución estadística: subset_attributes = ['course_id', 'course_weeks', 'user_id', 'dropout', 'user_age', 'user_gender', 'user_level_education', 'percent', 'grade', 'duration', 'first_10_days', '50%course_watched_videos', 'course_time_videos', 'absence_1_month','absence_10_days' ,'low_scores', '1week_attemps', 'week1%_problems', 'week1%_watched_videos', 'week2%_problems', 'week2%_watched_videos', 'week3%_problems', 'week3%_watched_videos', 'week4%_problems', 'week4%_watched_videos', 'week5%_problems', 'week5%_watched_videos', 'week6%_problems', 'week6%_watched_videos', 'week7%_problems', 'week7%_watched_videos', 'week8%_problems', 'week8%_watched_videos'] for i in range(len(subset_attributes)): distribution = round(df[subset_attributes[i:i+3]].describe(), 2) print(distribution) i = i+3 # Para la visualización de las variables se eliminan los ceros. df[df['user_age'] > 0 ].hist('user_age') df.hist('user_gender') df.hist('user_level_education') df[df['percent'] > 0 ].hist('percent') df.hist('grade') df[df['duration'] > 0 ].hist('duration') df.hist('first_10_days') df.hist('50%course_watched_videos') df[df['course_time_videos'] > 0 ].hist('course_time_videos') df.hist('absence_1_month') df.hist('absence_10_days') df.hist('low_scores') df.hist('1week_attemps') df[df['week1%_problems'] > 0 ].hist('week1%_problems') df[df['week2%_problems'] > 0 ].hist('week2%_problems') 369 Machine Learning y predicciones para la mejora del rendimiento en MOOC df[df['week3%_problems'] df[df['week4%_problems'] df[df['week5%_problems'] df[df['week6%_problems'] df[df['week7%_problems'] df[df['week8%_problems'] > > > > > > 0 0 0 0 0 0 ].hist('week3%_problems') ].hist('week4%_problems') ].hist('week5%_problems') ].hist('week6%_problems') ].hist('week7%_problems') ].hist('week8%_problems') df[df['week1%_watched_videos'] df[df['week2%_watched_videos'] df[df['week3%_watched_videos'] df[df['week4%_watched_videos'] df[df['week5%_watched_videos'] df[df['week6%_watched_videos'] df[df['week7%_watched_videos'] df[df['week8%_watched_videos'] > > > > > > > > 0 0 0 0 0 0 0 0 ].hist('week1%_watched_videos') ].hist('week2%_watched_videos') ].hist('week3%_watched_videos') ].hist('week4%_watched_videos') ].hist('week5%_watched_videos') ].hist('week6%_watched_videos') ].hist('week7%_watched_videos') ].hist('week8%_watched_videos') # Correlación entre biodatos, indicadores de abandono y variables de uso subset04 = ['user_age', 'user_gender', 'user_level_education', 'percent', 'grade', 'duration', 'first_10_days', '50%course_watched_videos', 'course_time_videos', 'absence_1_month','absence_10_days', 'low_scores', '1week_attemps','week1%_problems', 'week2%_problems', 'week3%_problems', 'week1%_watched_videos', 'week2%_watched_videos', 'week3%_watched_videos'] f, ax = plt.subplots(figsize=(20, 12)) corr = df[subset04].corr() hm = sns.heatmap(round(corr,2), annot=True, ax=ax, cmap="coolwarm",fmt='.2f', linewidths=.05) f.subplots_adjust(top=0.93) t= f.suptitle('Correlation Heatmap', fontsize=14) #Importando las columnas con las que vamos a trabajar cols= ['dropout', 'user_age', 'user_gender', 'user_level_education', 'percent', 'grade', 'duration', 'first_10_days', '50%course_watched_videos', 'course_time_videos', 'absence_1_month', 'absence_10_days', 'low_scores', '1week_attemps', 'week1%_problems', 'week1%_watched_videos', 'week2%_problems', 'week2%_watched_videos', 'week3%_problems', 'week3%_watched_videos', 'week4%_problems', 'week4%_watched_videos', 'week5%_problems', 'week5%_watched_videos', 'week6%_problems', 'week6%_watched_videos', 'week7%_problems', 'week7%_watched_videos', 'week8%_problems', 'week8%_watched_videos', 'course_time_videos', 'absence_1_month','absence_10_days', 'course_time_videos', 'first_10_days', 'low_scores', '1week_attemps'] # Indicamos la variable de salida (dropout) y=df[cols].iloc[:, 0].values # Indicamos las variables (features) con las que queremos trabajar en cada una de las hipótesis 370 Anexo 3 # Hipotesis 1: Lee, & Choi (2011): edad y sexo X1=df[cols].iloc[:, [1,2]].values # Hipotesis 2: Urrutia et al (2017): edad, sexo y nivel educativo X2=df[cols].iloc[:, [1,2,3]].values # Hipotesis 3: García et al (2015): Interacciones en las tareas. # Halawa, Greene y Mitchell (2014): omisión de las asignaciones X3=df[cols].iloc[:, [14,16,18,20,22,24,26,28]].values # Hipotesis 4: Kizilcec et al (2018): Participación activa --> tiempo viendo videos X4=df[cols].iloc[:, [9,30]].values # Hipotesis 5: Halawa, Greene y Mitchell (2014): El estudiante ha estado ausente del curso en un periodo superior a 1 mes X5=df[cols].iloc[:, [10,31]].values # Hipotesis 6: Liang, Yang, Wu, Li & Zheng (2016): los estudiantes suelen abandonar los cursos si no tienen ninguna actividad de aprendizaje en diez días continuos X6=df[cols].iloc[:, [11,32]].values # Hipotesis 7: Halawa, Greene y Mitchell (2014): El estudiante ha visto menos de 50% de los videos en el curso X7=df[cols].iloc[:, [8,33]].values # Hipotesis 8: Halawa, Greene y Mitchell (2014): Iniciar el curso después de dos semanas X8=df[cols].iloc[:, [7,34]].values # Hipotesis 9: Halawa, Greene y Mitchell (2014): Omisión de videos en la unidad anterior X9=df[cols].iloc[:, [15,17,19,21,23,25,27,29]].values # Hipotesis 10: Halawa, Greene y Mitchell (2014): puntuaciones bajas en las pruebas de las primeras semanas X10=df[cols].iloc[:, [12,35]].values # Hipotesis 11: Halawa, Greene y Mitchell (2014): cuántos intentos hace el estudiante para volver a realizar una prueba X11=df[cols].iloc[:, [13,36]].values #DUPLICANDO LAS HIPÓTESIS E INCLUYENDO LAS VARIABLES ETNOGRAFICAS # Hipotesis 3bis: García et al (2015): Interacciones en las tareas. # Halawa, Greene y Mitchell (2014): omisión de las asignaciones X3bis=df[cols].iloc[:, [1,2,3,14,16,18,20,22,24,26,28]].values # Hipotesis 4bis: Kizilcec et al (2018): Participación activa --> tiempo viendo videos X4bis=df[cols].iloc[:, [1,2,3,9,30]].values 371 Machine Learning y predicciones para la mejora del rendimiento en MOOC # Hipotesis 5bis: Halawa, Greene y Mitchell (2014): El estudiante ha estado ausente del curso en un periodo superior a 1 mes X5bis=df[cols].iloc[:, [1,2,3,10,31]].values # Hipotesis 6bis: Liang, Yang, Wu, Li & Zheng (2016): los estudiantes suelen abandonar los cursos si no tienen ninguna actividad de aprendizaje en diez días continuos X6bis=df[cols].iloc[:, [1,2,3,11,32]].values # Hipotesis 7bis: Halawa, Greene y Mitchell (2014): El estudiante ha visto menos de 50% de los videos en el curso X7bis=df[cols].iloc[:, [1,2,3,8,33]].values # Hipotesis 8bis: Halawa, Greene y Mitchell (2014): Iniciar el curso después de dos semanas X8bis=df[cols].iloc[:, [1,2,3,7,34]].values # Hipotesis 9bis: Halawa, Greene y Mitchell (2014): Omisión de videos en la unidad anterior X9bis=df[cols].iloc[:, [1,2,3,15,17,19,21,23,25,27,29]].values # Hipotesis 10bis: Halawa, Greene y Mitchell (2014): puntuaciones bajas en las pruebas X10bis=df[cols].iloc[:, [1,2,3,12,35]].values # Hipotesis 11bis: Halawa, Greene y Mitchell (2014): cuántos intentos hace el estudiante para volver a realizar una prueba X11bis=df[cols].iloc[:, [1,2,3,13,36]].values # Se divide el conjunto de datos entre entrenamiento y testeo from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X11bis, y, test_size = 0.20, random_state = 0) # Escalando los datos from sklearn.preprocessing import StandardScaler sc = StandardScaler() X_train = sc.fit_transform(X_train) X_test = sc.transform(X_test) #Aplicando Random Forest al conjunto de datos from sklearn.ensemble import RandomForestClassifier classifier=RandomForestClassifier(n_estimators=10,criterion='entropy',random_s tate=0) classifier.fit(X_train,y_train) # Predicting the Test set results y_pred = classifier.predict(X_test) y_pred # Matriz de confusión 372 Anexo 3 from sklearn.metrics import confusion_matrix, accuracy_score, classification_report cm = confusion_matrix(y_test, y_pred) #print('Accuracy Score: ', accuracy_score(y_test, y_pred)) print(classification_report(y_test, y_pred)) # TP , FP # FN , TN # ------Cm import seaborn as sns import matplotlib.pyplot as plt ax= plt.subplot() sns.heatmap(cm, annot=True, ax = ax); #annot=True to annotate cells # labels, title and ticks ax.set_xlabel('Predicción');ax.set_ylabel('Realidad'); ax.set_title('Matriz confusión'); ax.xaxis.set_ticklabels(['No Abandono', 'Abandono']); ax.yaxis.set_ticklabels(['No Abandono', 'Abandono']); #Automatizando hipótesis cols= ['dropout', 'user_age', 'user_gender', 'user_level_education', 'percent', 'grade', 'duration', 'first_10_days', '50%course_watched_videos', 'course_time_videos', 'absence_1_month', 'absence_10_days', 'low_scores', '1week_attemps', 'week1%_problems', 'week1%_watched_videos', 'week2%_problems', 'week2%_watched_videos', 'week3%_problems', 'week3%_watched_videos', 'week4%_problems', 'week4%_watched_videos', 'week5%_problems', 'week5%_watched_videos', 'week6%_problems', 'week6%_watched_videos', 'week7%_problems', 'week7%_watched_videos', 'week8%_problems', 'week8%_watched_videos', 'course_time_videos', 'absence_1_month','absence_10_days', 'course_time_videos', 'first_10_days', 'low_scores', '1week_attemps'] X1=df[cols].iloc[:, [1,2]].values X2=df[cols].iloc[:, [1,2,3]].values X3=df[cols].iloc[:, [14,16,18,20,22,24,26,28]].values X4=df[cols].iloc[:, [9,30]].values X5=df[cols].iloc[:, [10,31]].values X6=df[cols].iloc[:, [11,32]].values X7=df[cols].iloc[:, [8,33]].values X8=df[cols].iloc[:, [7,34]].values X9=df[cols].iloc[:, [15,17,19,21,23,25,27,29]].values X10=df[cols].iloc[:, [12,35]].values X11=df[cols].iloc[:, [13,36]].values X3bis=df[cols].iloc[:, [1,2,3,14,16,18,20,22,24,26,28]].values X4bis=df[cols].iloc[:, [1,2,3,9,30]].values X5bis=df[cols].iloc[:, [1,2,3,10,31]].values 373 Machine Learning y predicciones para la mejora del rendimiento en MOOC X6bis=df[cols].iloc[:, [1,2,3,11,32]].values X7bis=df[cols].iloc[:, [1,2,3,8,33]].values X8bis=df[cols].iloc[:, [1,2,3,7,34]].values X9bis=df[cols].iloc[:, [1,2,3,15,17,19,21,23,25,27,29]].values X10bis=df[cols].iloc[:, [1,2,3,12,35]].values X11bis=df[cols].iloc[:, [1,2,3,13,36]].values X = [] X.append(X1) X.append(X2) X.append(X3) X.append(X4) X.append(X5) X.append(X6) X.append(X7) X.append(X8) X.append(X9) X.append(X10) X.append(X11) X.append(X3bis) X.append(X4bis) X.append(X5bis) X.append(X6bis) X.append(X7bis) X.append(X8bis) X.append(X9bis) X.append(X10bis) X.append(X11bis) counter = 1 for i in X: # Se divide el conjunto de datos entre entrenamiento y testeo from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(i, y, test_size = 0.20, random_state = 0) from sklearn.preprocessing import StandardScaler sc = StandardScaler() X_train = sc.fit_transform(X_train) X_test = sc.transform(X_test) from sklearn.ensemble import RandomForestClassifier classifier=RandomForestClassifier(n_estimators=10,criterion='entropy',random_s tate=0) classifier.fit(X_train,y_train) y_pred = classifier.predict(X_test) print ('Hipotesis' + str(counter)) 374 Anexo 3 from sklearn.metrics import confusion_matrix, accuracy_score, classification_report cm = confusion_matrix(y_test, y_pred) print(classification_report(y_test, y_pred)) # TP , FP # FN , TN # ------cm counter = counter + 1 375 Anexo 4 Ane o 4. I e aci n II. Li ado de c 377 o anali ado . Machine Learning y predicciones para la mejora del rendimiento en MOOC fecha inicio 2016-06-28T12:00:00Z 2015-10-06T08:00:00Z 2017-04-25T14:00:00Z 2018-04-24T12:00:00Z 2015-03-31T00:00:00Z 2016-04-05T14:30:00Z 2019-05-07T12:00:00Z 2017-03-28T12:00:00Z 2018-03-27T12:00:00Z 2019-03-26T13:30:00Z 2015-04-21T00:00:00Z 2016-04-19T14:00:00Z 2017-04-25T12:00:00Z 2019-04-22T23:00:00Z 2019-04-23T12:00:00Z 2015-02-17T06:00:00Z 2016-05-23T04:00:00Z 2016-03-22T12:00:00Z 2015-04-14T00:00:00Z 2017-05-23T12:00:00Z 2018-05-22T12:00:00Z 2019-05-21T13:00:00Z 2016-05-03T04:00:00Z 2015-05-19T00:00:00Z 2017-06-27T12:00:00Z Tabla 46. Listado de cursos analizados Titulo curso Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos Android: Introducci\u00f3n a la programaci\u00f3n Android: Introducci\u00f3n a la Programaci\u00f3n Android: Introducci\u00f3n a la Programaci\u00f3n Android: Introducci\u00f3n a la Programaci\u00f3n Android: Introducci\u00f3n a la Programaci\u00f3n Buscar en Internet Buscar en Internet Buscar en Internet Buscar en Internet Buscar en Internet Bases matem\u00e1ticas: \u00c1lgebra Bases matem\u00e1ticas: \u00c1lgebra Bases matem\u00e1ticas: \u00c1lgebra Bases matem\u00e1ticas: \u00c1lgebra Bases matem\u00e1ticas: \u00c1lgebra Bases matem\u00e1ticas: \u00c1lgebra Bases Matem\u00e1ticas: Derivadas Bases Matem\u00e1ticas: Derivadas Bases Matem\u00e1ticas: Derivadas Bases Matem\u00e1ticas: Derivadas Bases Matem\u00e1ticas: Derivadas Bases matem\u00e1ticas: Integrales Bases matem\u00e1ticas: Integrales 378 Nº alumnos 492 589 8559 7757 8325 6126 1740 2338 2180 615 2000 2105 1606 1109 306 1146 1018 721 1677 1750 1173 295 339 1155 1023 % abandonos 68,9% 57,6% 97,0% 96,5% 87,2% 91,9% 100,0% 73,7% 71,9% 96,1% 71,8% 79,4% 81,6% 86,0% 91,2% 74,7% 78,6% 70,3% 71,6% 78,8% 77,2% 77,6% 77,9% 68,8% 80,4% Bases matem\u00e1ticas: Integrales Bases matem\u00e1ticas: Integrales Bases matem\u00e1ticas: Integrales Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda Introducci\u00f3n a la inversi\u00f3n burs\u00e1til Introducci\u00f3n a la inversi\u00f3n burs\u00e1til Introducci\u00f3n a la inversi\u00f3n burs\u00e1til Introducci\u00f3n a la inversi\u00f3n burs\u00e1til Introducci\u00f3n a la inversi\u00f3n burs\u00e1til Basic Spanish 1: Getting Started Basic Spanish 1: Getting Started Basic Spanish 1: Getting Started Basic Spanish 1: Getting Started Basic Spanish 2: One Step Further Basic Spanish 2: One Step Further Basic Spanish 2: One Step Further Dise\u00f1o de diques rompeolas con cub\u00edpodos Dise\u00f1o de diques rompeolas con cub\u00edpodos Dynamics and Control Dynamics and Control Dynamics and Control Dynamics and Control Dynamics and Control 379 2018-06-26T10:30:00Z 2019-06-25T13:00:00Z 2016-06-07T04:00:00Z 2015-01-20T07:00:00Z 2017-03-21T00:00:00Z 2018-03-20T12:00:00Z 2019-03-26T13:00:00Z 2016-05-23T00:00:00Z 2016-02-09T11:00:00Z 2017-03-21T00:00:00Z 2018-03-20T12:00:00Z 2019-03-26T13:00:00Z 2016-05-23T00:00:00Z 2016-05-11T00:00:00Z 2017-04-04T13:00:00Z 2018-04-03T12:00:00Z 2019-04-02T12:00:00Z 2015-09-15T00:00:00Z 2017-06-20T13:00:00Z 2017-09-19T00:00:00Z 2018-10-02T12:00:00Z 2018-05-15T12:00:00Z 2018-10-16T12:00:00Z 2017-02-28T12:00:00Z 2018-03-06T12:00:00Z 2019-03-12T13:00:00Z 2015-04-14T00:00:00Z 2016-05-23T00:00:00Z 745 120 810 1257 2022 1511 390 1136 1225 6631 5047 1237 1801 2183 19553 34135 3695 36371 1550 9342 6934 69 63 741 879 262 1074 554 Anexo 4 79,9% 78,3% 79,9% 70,6% 72,8% 76,6% 84,1% 69,8% 60,5% 68,2% 72,8% 97,8% 64,3% 47,5% 85,0% 95,5% 97,8% 92,1% 82,0% 86,0% 94,8% 84,1% 77,8% 78,8% 73,3% 96,2% 69,2% 80,3% 2018-09-11T12:00:00Z 2015-04-21T00:00:00Z 2015-05-05T00:00:00Z 2016-04-05T10:00:00Z 2017-06-06T12:00:00Z 2018-06-05T12:00:00Z 2019-06-04T13:00:00Z 2017-06-20T12:00:00Z 2017-09-26T13:00:00Z 2018-09-24T12:00:00Z 2015-06-02T00:00:00Z 2016-04-26T12:30:00Z 2017-06-06T12:00:00Z 2018-06-05T12:00:00Z 2019-06-04T13:00:00Z 2018-10-30T12:00:00Z 2016-02-23T14:15:00Z 2015-03-24T01:00:00Z 2016-04-26T13:30:00Z 2017-06-06T14:30:00Z 2018-06-05T12:00:00Z 2019-06-04T12:00:00Z 2018-10-29T15:00:00Z 2017-06-20T12:00:00Z 2017-09-19T00:00:00Z 2018-09-18T12:00:00Z 1047 6023 957 549 399 336 65 551 5526 3092 1137 1096 1057 882 167 482 427 979 1049 754 453 88 4161 1297 6911 1902 93,2% 74,7% 79,9% 80,7% 91,7% 90,8% 100,0% 79,9% 81,8% 88,2% 75,3% 84,7% 88,2% 81,2% 94,0% 87,8% 67,2% 59,9% 74,3% 85,4% 89,2% 98,9% 89,5% 98,3% 99,9% 99,6% Machine Learning y predicciones para la mejora del rendimiento en MOOC Dynamics and Control Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio Aprendizaje autom\u00e1tico y ciencia de datos Dise\u00f1a, fabrica y programa tu propio robot Dise\u00f1a, fabrica y programa tu propio robot Dise\u00f1a, fabrica y programa tu propio robot Introducci\u00f3n a los encofrados y las cimbras en obra civil y edificaci\u00f3n Introducci\u00f3n a los encofrados y las cimbras en obra civil y edificaci\u00f3n Excel Fundamentos de Comunicaciones \u00d3pticas Fundamentos de Comunicaciones \u00d3pticas Fundamentos de Comunicaciones \u00d3pticas Fundamentos de Comunicaciones \u00d3pticas Fundamentos de Comunicaciones \u00d3pticas FlashDiet: Aprende a comer sano FlashDiet: Aprende a comer sano FlashDiet: Aprende a comer sano Fundamentos de Mec\u00e1nica Fundamentos de Mec\u00e1nica Fundamentos de Mec\u00e1nica Fundamentos de Mec\u00e1nica Fundamentos de Mec\u00e1nica 380 Fundamentos de electromagnetismo Fundamentos de electromagnetismo Fundamentos de electromagnetismo Fundamentos de electromagnetismo Fundamentos de electromagnetismo C\u00f3mo implantar grupos de mejora de procesos C\u00f3mo implantar grupos de mejora de procesos C\u00f3mo implantar grupos de mejora de procesos C\u00f3mo implantar grupos de mejora de procesos C\u00f3mo implantar grupos de mejora de procesos C\u00f3mo implantar grupos de mejora de procesos Gesti\u00f3n participativa (High Involvement Work Practices) Gesti\u00f3n participativa (High Involvement Work Practices) Gesti\u00f3n participativa (High Involvement Work Practices) Gesti\u00f3n participativa (High Involvement Work Practices) Gesti\u00f3n participativa (High Involvement Work Practices) Gesti\u00f3n participativa (High Involvement Work Practices) Upper-Intermediate English: Business Upper-Intermediate English: Business Upper-Intermediate English: Modern Life Upper-Intermediate English: Modern Life Upper-Intermediate English: Globalization Upper-Intermediate English: Globalization Upper-Intermediate English: Technology Today Upper-Intermediate English: Technology Today Introducci\u00f3n a la Gesti\u00f3n de Proyectos Introducci\u00f3n a la Gesti\u00f3n de Proyectos Introducci\u00f3n a la Gesti\u00f3n de Proyectos 381 2015-09-08T00:00:00Z 2016-06-07T12:00:00Z 2017-07-18T10:00:00Z 2018-07-17T12:00:00Z 2019-07-16T12:00:00Z 2017-04-04T04:00:00Z 2015-03-25T08:00:00Z 2016-04-12T12:00:00Z 2017-05-29T21:00:00Z 2019-05-28T12:00:00Z 2018-05-28T00:00:00Z 2017-01-31T10:00:00Z 2017-03-28T12:00:00Z 2019-03-26T12:00:00Z 2018-03-27T00:00:00Z 2015-09-15T08:30:00Z 2016-09-20T10:00:00Z 2018-09-11T00:00:00Z 2018-12-04T12:00:00Z 2018-10-16T14:30:00Z 2018-12-04T12:00:00Z 2019-01-08T13:00:00Z 2018-11-13T00:00:00Z 2019-01-29T14:30:00Z 2018-12-11T14:00:00Z 2016-06-14T12:00:00Z 2017-06-13T12:00:00Z 2018-06-12T12:00:00Z 1145 656 1217 743 42 986 2151 1456 1810 606 1915 553 680 1206 1359 2125 236 11450 10576 10325 11483 3980 5208 3860 5351 4341 6097 4472 Anexo 4 77,7% 84,1% 82,8% 79,1% 95,2% 92,4% 81,6% 81,7% 95,9% 100,0% 95,8% 86,1% 87,9% 99,9% 96,8% 78,0% 89,4% 99,5% 99,1% 99,6% 99,6% 97,5% 99,5% 98,4% 99,7% 62,1% 69,2% 64,8% 2019-06-11T12:00:00Z 2015-11-10T13:00:00Z 2017-03-21T12:00:00Z 2018-03-20T12:00:00Z 2019-03-26T13:00:00Z 2016-03-15T11:00:00Z 2015-06-09T00:00:00Z 2016-05-23T00:00:00Z 2016-04-12T12:00:00Z 2017-04-25T12:00:00Z 2019-04-22T23:00:00Z 2019-04-23T12:00:00Z 2015-07-07T00:00:00Z 2016-05-17T12:00:00Z 2017-05-23T12:00:00Z 2018-05-22T12:00:00Z 2019-05-21T12:00:00Z 2015-09-08T00:00:00Z 2017-06-27T00:00:00Z 2018-06-26T10:30:00Z 2019-06-25T12:00:00Z 2018-10-30T12:00:00Z 2018-10-30T12:00:00Z 2018-10-16T12:00:00Z 2018-12-11T14:00:00Z 2017-07-25T12:00:00Z 2018-07-10T12:00:00Z 2019-07-09T12:00:00Z Machine Learning y predicciones para la mejora del rendimiento en MOOC Introducci\u00f3n a la Gesti\u00f3n de Proyectos Introducci\u00f3n a la Gesti\u00f3n de Proyectos Introducci\u00f3n a la estructura de la materia Introducci\u00f3n a la estructura de la materia Introducci\u00f3n a la estructura de la materia Introducci\u00f3n a la estructura de la materia Introducci\u00f3n a la estructura de la materia Introducci\u00f3n a la estructura de la materia El enlace qu\u00edmico y las interacciones moleculares El enlace qu\u00edmico y las interacciones moleculares El enlace qu\u00edmico y las interacciones moleculares El enlace qu\u00edmico y las interacciones moleculares El enlace qu\u00edmico y las interacciones moleculares Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos \u00c1cidos y bases: reacciones qu\u00edmicas y aplicaciones \u00c1cidos y bases: reacciones qu\u00edmicas y aplicaciones Sales: reacciones qu\u00edmicas y aplicaciones Sales: reacciones qu\u00edmicas y aplicaciones Sustainability in Architecture: An Interdisciplinary Introduction Sustainability in Architecture: An Interdisciplinary Introduction Sustainability in Architecture: An Interdisciplinary Introduction 382 509 3935 708 853 181 191 658 555 484 563 917 168 714 567 801 882 147 890 954 883 43 108 367 192 141 337 2073 347 94,7% 62,3% 45,1% 36,1% 52,5% 53,4% 43,8% 40,7% 62,8% 55,4% 42,1% 50,6% 49,9% 82,7% 67,7% 79,9% 93,9% 73,9% 65,7% 52,0% 86,0% 94,4% 65,4% 98,4% 63,1% 77,7% 85,1% 97,1% Information Systems and Computer Applications, Part 1: IT IT Fundamentals for Business Professionals: Enterprise Systems IT Fundamentals for Business Professionals: Enterprise Systems Information Systems and Computer Applications, Part 1: IT Information Systems and Computer Applications, Part 2: Hardware IT Fundamentals for Business Professionals: Hardware IT Fundamentals for Business Professionals: Hardware Information Systems and Computer Applications, Part 2: Hardware Information Systems and Computer Applications, Part 3: Software Development IT Fundamentals for Business Professionals: Software development IT Fundamentals for Business Professionals: Software development Information Systems and Computer Applications, Part 3: Software Development Information Systems and Computer Applications, Part 4: Programming IT Fundamentals for Business Professionals: Programming IT Fundamentals for Business Professionals: Programming Information Systems and Computer Applications, Part 4: Programming Information Systems and Computer Applications, Part 5: Social Implications IT Fundamentals for Business Professionals: Cybersecurity and social implications IT Fundamentals for Business Professionals: Cybersecurity and social implications Information Systems and Computer Applications, Part 5: Social Implications Measure and Improve Innovation at the Workplace Measure and Improve Innovation at the Workplace Liderazgo para mandos intermedios 383 2018-07-10T00:00:00Z 2019-01-01T00:00:00Z 2017-01-31T12:00:00Z 2015-11-10T14:00:00Z 2017-01-31T12:00:00Z 2019-01-01T00:00:00Z 2018-06-12T00:00:00Z 2015-12-01T10:00:00Z 2017-01-31T12:00:00Z 2019-01-01T00:00:00Z 2018-05-15T00:00:00Z 2017-01-31T12:00:00Z 2018-02-13T00:00:00Z 2019-01-01T00:00:00Z 2015-09-15T00:00:00Z 2017-01-31T12:00:00Z 2018-04-10T00:00:00Z 2019-01-01T00:00:00Z 2015-10-13T11:00:00Z 548 132 94 550 409 147 197 917 301 1037 4079 724 456 416 788 2275 5867 942 4027 682 1199 267 1580 34,9% 100,0% 97,9% 77,8% 87,8% 85,7% 66,5% 33,6% 62,1% 97,7% 96,3% 34,9% 62,3% 92,3% 76,3% 78,5% 95,2% 97,1% 64,3% 72,0% 82,4% 93,3% 44,6% Anexo 4 2015-12-29T23:30:00Z 2018-09-04T12:00:00Z 2018-11-06T12:00:00Z 2017-05-30T12:00:00Z 2018-11-20T12:00:00Z 2019-06-18T15:00:00Z 2017-03-28T12:00:00Z 2018-09-18T14:00:00Z 2017-12-12T12:00:00Z 2017-07-11T14:00:00Z 2017-09-26T00:00:00Z 2018-09-24T12:00:00Z 2015-04-05T07:00:00Z 2016-04-05T10:30:00Z 2019-03-12T13:00:00Z 2018-03-13T12:00:00Z 2019-06-25T21:00:00Z 2018-06-26T00:00:00Z 2017-07-27T12:00:00Z 2017-06-27T14:00:00Z 2017-09-19T00:00:00Z 2018-09-04T00:00:00Z 2017-09-26T14:00:00Z 2017-11-28T12:00:00Z 2018-11-27T12:00:00Z 2017-06-27T14:00:00Z 2017-09-26T00:00:00Z 2018-10-02T12:00:00Z 547 264 76 192 2374 1594 4102 2246 1060 1171 878 1862 310 9831 16138 323 703 501 289 193 159 86 438 204 90,9% 100,0% 76,3% 82,3% 87,4% 66,0% 74,1% 84,6% 63,5% 77,2% 91,0% 70,0% 99,7% 96,7% 95,7% 85,8% 81,7% 82,0% 93,1% 72,5% 90,6% 76,7% 83,3% 87,7% Machine Learning y predicciones para la mejora del rendimiento en MOOC Liderazgo para mandos intermedios Liderazgo para mandos intermedios Liderazgo para mandos intermedios C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3 Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3 Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3 ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los Objetivos de Desarrollo Sostenible ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los Objetivos de Desarrollo Sostenible ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los Objetivos de Desarrollo Sostenible Dise\u00f1a presentaciones eficaces con Powerpoint Dise\u00f1a presentaciones eficaces con Powerpoint Dise\u00f1a presentaciones eficaces con Powerpoint Retos agricultura y alimentaci\u00f3n en el s.XXI Retos agricultura y alimentaci\u00f3n en el s.XXI Radio para internet con Podcast: creaci\u00f3n y conceptos b\u00e1sicos Radio para internet con Podcast: creaci\u00f3n y conceptos b\u00e1sicos Introducci\u00f3n a las radiocomunicaciones Redes de difracci\u00f3n en comunicaciones \u00f3pticas 384 Redes de difracci\u00f3n en comunicaciones \u00f3pticas Redes de difracci\u00f3n en comunicaciones \u00f3pticas Redes de difracci\u00f3n en comunicaciones \u00f3pticas Redes de difracci\u00f3n en comunicaciones \u00f3pticas Sonido Espacial y 3D Sonido Espacial y 3D Sonido Espacial y 3D Sonido Espacial y 3D Fundamentos TIC para profesionales de negocios: Aplicaciones empresariales Fundamentos TIC para profesionales de negocios: Aplicaciones empresariales Fundamentos TIC para profesionales de negocios: Aplicaciones empresariales Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware Fundamentos TIC para profesionales de negocios: Desarrollo de Software Fundamentos TIC para profesionales de negocios: Desarrollo de Software Fundamentos TIC para profesionales de negocios: Desarrollo de Software Fundamentos TIC para profesionales de negocios: programaci\u00f3n Fundamentos TIC para profesionales de negocios: programaci\u00f3n Fundamentos TIC para profesionales de negocios: programaci\u00f3n Fundamentos TIC para profesionales de negocios: Ciberseguridad e implicaciones sociales Fundamentos TIC para profesionales de negocios: Ciberseguridad e implicaciones sociales 385 2019-01-01T00:00:00Z 2018-05-15T00:00:00Z 2019-01-01T00:00:00Z 2018-06-12T00:00:00Z 2017-09-19T12:00:00Z 2017-05-23T13:00:00Z 2019-01-01T00:00:00Z 2016-12-13T11:00:00Z 2017-03-21T12:00:00Z 2018-04-10T00:00:00Z 2019-01-01T00:00:00Z 2019-01-01T00:00:00Z 2018-02-13T00:00:00Z 2018-03-27T12:00:00Z 2019-03-26T13:00:00Z 2016-03-29T13:00:00Z 2016-05-23T00:00:00Z 2017-03-21T11:00:00Z 2017-06-13T12:00:00Z 2018-06-12T12:00:00Z 2019-06-11T12:00:00Z 345 110 1264 1676 2780 375 204 1232 1378 541 1423 1251 806 4385 60 13 117 74 153 241 322 55 82,0% 93,6% 18,6% 38,5% 63,9% 82,9% 55,9% 12,4% 67,3% 51,2% 26,8% 14,9% 99,3% 93,4% 78,3% 92,3% 57,3% 77,0% 73,2% 72,2% 83,5% 100,0% Anexo 4 2018-07-10T00:00:00Z 2018-11-06T12:00:00Z 2019-04-16T12:00:00Z 2018-11-06T12:00:00Z 2019-05-14T12:00:00Z 2019-07-02T14:00:00Z 2016-09-06T11:00:00Z 2017-09-19T00:00:00Z 2018-10-02T12:00:00Z 2015-04-28T00:00:00Z 2016-05-03T12:00:00Z 2017-06-20T13:00:00Z 2018-06-19T13:00:00Z 2019-06-18T15:00:00Z 2019-04-30T12:00:00Z 2016-05-10T12:00:00Z 2017-05-02T12:00:00Z 2018-05-01T12:00:00Z 2015-10-06T00:00:00Z 2016-06-28T12:00:00Z 2017-06-13T12:00:00Z 2018-06-12T12:00:00Z 2019-06-11T12:00:00Z 2015-11-03T12:00:00Z 2016-05-23T00:00:00Z 2018-09-18T12:00:00Z 2017-11-28T12:00:00Z 589 230 225 143 8 3476 10084 1551 2801 1399 1646 1798 240 207 126 319 106 253 126 319 106 19 253 847 1944 44 84,4% 98,7% 92,9% 100,0% 100,0% 68,5% 90,7% 82,5% 58,6% 72,6% 78,9% 88,2% 100,0% 98,1% 66,7% 38,2% 83,0% 49,4% 67,5% 38,2% 83,0% 94,7% 49,4% 54,2% 93,1% 88,6% Machine Learning y predicciones para la mejora del rendimiento en MOOC Fundamentos TIC para profesionales de negocios: Ciberseguridad e implicaciones sociales Introducci\u00f3n a la energ\u00eda solar fotovoltaica: El m\u00f3dulo fotovoltaico Introducci\u00f3n a la energ\u00eda solar fotovoltaica: El m\u00f3dulo fotovoltaico Creaci\u00f3n musical con Soundcool: Introducci\u00f3n Creaci\u00f3n musical con Soundcool: Introducci\u00f3n Soundcool: M\u00f3dulos de v\u00eddeo y propuestas creativas Soundcool: M\u00f3dulos de v\u00eddeo y propuestas creativas T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n Tecnolog\u00edas Educativas Tecnolog\u00edas Educativas Tecnolog\u00edas Educativas Introducci\u00f3n a las tecnolog\u00edas para la Educaci\u00f3n Introducci\u00f3n a las tecnolog\u00edas para la Educaci\u00f3n Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I Aplicaciones de la Teor\u00eda de Grafos a la vida real II Aplicaciones de la Teor\u00eda de Grafos a la vida real II Aplicaciones de la Teor\u00eda de Grafos a la vida real II Aplicaciones de la Teor\u00eda de Grafos a la vida real II Aplicaciones de la Teor\u00eda de Grafos a la vida real II Introducci\u00f3n al desarrollo de videojuegos con Unity 386 Introducci\u00f3n al desarrollo de videojuegos con Unity Introducci\u00f3n al desarrollo de videojuegos con Unity Introducci\u00f3n al desarrollo de videojuegos con Unity Introducci\u00f3n al desarrollo de videojuegos con Unity Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP Introducci\u00f3n a Excel Introducci\u00f3n a Excel Excel: Fundamentos y herramientas Introducci\u00f3n a Excel Excel 2: Gesti\u00f3n de datos Excel: gesti\u00f3n de datos Excel 2: Gesti\u00f3n de datos Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos 387 2017-06-06T12:00:00Z 2018-06-05T12:00:00Z 2019-06-04T13:00:00Z 2016-02-16T11:30:00Z 2017-04-25T14:00:00Z 2018-04-24T13:00:00Z 2019-04-23T12:00:00Z 2016-04-26T11:00:00Z 2015-02-24T00:30:00Z 2016-05-10T12:00:00Z 2018-02-06T00:00:00Z 2019-01-01T00:00:00Z 2017-06-13T12:00:00Z 2018-02-06T00:00:00Z 2019-01-01T00:00:00Z 2016-12-13T10:00:00Z 2018-05-15T00:00:00Z 2018-07-24T14:00:00Z 2019-07-23T14:00:00Z 1184 643 144 1422 776 738 131 723 1402 13129 28763 13953 15078 10041 5550 7770 6109 4684 514 Anexo 4 57,2% 59,6% 97,2% 45,5% 76,8% 79,7% 97,7% 56,8% 58,2% 84,8% 93,7% 98,9% 91,4% 82,5% 98,6% 82,4% 98,3% 96,7% 100,0% Anexo 5 Ane o 5. I e aci n II. Tabla de m po c o anali ado. 389 ica hip e i Anexo 5 390 Tabla 47. Resultados de las hipótesis para cada curso 1 0,48 2 0,93 3 0,85 0,80 4 0,90 0,83 5 0,97 0,90 6 0,83 0,90 7 0,45 0,45 8 0,84 0,94 9 0,92 0,96 10 0,95 0,91 11 0,90 0,92 3bis 0,77 0,89 4bis 0,99 0,83 5bis 0,95 0,94 6bis 0,86 0,78 7bis 0,50 0,46 8bis 0,81 0,85 9bis 0,94 0,90 10bis 0,94 0,91 11bis Anexo 5 0,45 0,98 Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos Hipotesis 0,46 UPV-IQ101.4x-2T2016 precision 0,45 11bis recall 0,94 0,94 10bis 0,92 0,88 0,91 0,96 0,83 9bis 0,87 0,45 0,97 0,91 0,84 8bis 0,79 0,94 7bis 0,46 0,96 0,94 6bis 0,87 0,55 0,82 5bis 0,88 0,44 0,94 4bis 0,86 0,78 0,96 3bis 0,89 0,76 0,87 11 0,94 0,89 0,96 10 0,96 0,87 0,51 9 0,90 0,95 0,84 8 0,84 0,95 0,89 7 0,48 0,75 0,94 6 0,79 0,77 0,77 5 0,94 0,94 0,90 4 0,96 0,94 0,48 3 0,88 0,94 0,49 2 0,91 0,94 f1-score 1 0,45 0,87 Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos Hipotesis 0,51 0,92 UPV-IQ101.4x-3T2015 precision 0,80 11bis 0,89 10bis 0,88 0,47 9bis 0,96 0,50 8bis 0,87 0,88 7bis 0,48 0,78 6bis 0,81 0,90 5bis 0,94 0,94 4bis 0,83 0,94 3bis 0,94 0,91 11 0,96 0,86 10 0,94 0,81 9 0,92 0,89 8 0,88 0,92 7 0,48 0,48 6 0,83 0,48 5 0,87 0,50 4 0,87 0,51 3 0,93 recall 2 0,92 f1-score 1 0,48 Android: Introducci\u00f3n a la programaci\u00f3n Hipotesis 0,42 0,96 UPValenciaX-AIP201x-1T2017 precision 0,94 11bis 0,79 0,93 0,48 10bis 0,94 0,81 0,89 0,94 9bis 0,95 0,90 0,91 0,83 8bis 0,79 0,97 0,49 0,94 7bis 0,49 0,99 0,95 0,93 6bis 0,84 0,55 0,89 0,78 5bis 0,95 0,94 0,81 0,94 4bis 0,93 0,81 0,90 0,91 3bis 0,87 0,50 0,90 0,51 11 0,94 recall 0,91 0,94 10 0,89 0,94 0,92 0,82 9 0,87 0,49 0,88 0,90 8 0,93 0,89 0,46 0,85 7 0,54 0,75 0,76 0,99 6 0,77 0,99 0,94 0,99 5 0,96 0,81 0,93 0,52 4 0,94 0,88 0,89 0,89 3 0,84 0,96 0,96 0,84 2 0,96 0,90 0,42 0,51 1 0,53 0,44 0,45 f1-score Hipotesis 0,52 Android: Introducci\u00f3n a la Programaci\u00f3n precision UPValenciaX-AIP201x-1T2018 recall 391 0,87 10 0,94 0,98 11 0,97 0,95 3bis 0,98 0,90 4bis 0,85 0,82 5bis 0,98 0,89 6bis 0,94 0,90 7bis 0,85 0,49 8bis 0,52 0,86 9bis 0,89 0,91 10bis 0,91 0,92 11bis 0,88 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,48 9 0,88 0,84 8 0,88 0,90 7 0,51 0,92 6 0,77 0,79 5 0,95 0,96 4 0,82 0,48 3 0,88 0,50 2 0,93 f1-score 1 0,45 Android: Introducci\u00f3n a la Programaci\u00f3n Hipotesis 0,44 0,95 UPValenciaX-AIP201x-2T2015 precision 0,94 11bis 0,94 0,92 0,50 10bis 0,90 0,83 0,96 0,95 9bis 0,86 0,94 0,89 0,84 8bis 0,95 0,90 0,44 0,99 7bis 0,48 0,90 0,82 0,85 6bis 0,79 0,45 0,96 0,79 5bis 0,97 0,95 0,95 0,92 4bis 0,94 0,79 0,81 0,91 3bis 0,77 0,49 0,96 0,52 11 0,94 recall 0,96 0,93 10 0,93 0,96 0,89 0,96 9 0,96 0,48 0,98 0,91 8 0,82 0,94 0,49 0,97 7 0,50 0,78 0,86 0,94 6 0,73 0,92 0,94 0,94 5 0,94 0,86 0,94 0,52 4 0,90 0,84 0,90 0,90 3 0,81 0,85 0,95 0,87 2 0,97 0,90 0,43 0,48 1 0,46 0,46 0,43 f1-score Hipotesis 0,50 Android: Introducci\u00f3n a la Programaci\u00f3n precision UPValenciaX-AIP201x-2T2016 recall 0,94 11bis 0,94 10bis 0,89 0,95 9bis 0,94 0,94 0,46 8bis 0,97 0,94 0,80 7bis 0,41 0,93 0,96 6bis 0,84 0,48 0,98 5bis 0,88 0,74 0,92 4bis 0,81 0,87 0,98 3bis 0,93 0,85 0,91 11 0,95 0,75 0,93 0,94 10 0,94 0,94 0,94 0,89 9 0,89 0,91 0,88 0,52 8 0,94 0,92 0,48 0,74 7 0,44 0,93 0,89 0,87 6 0,76 0,45 0,92 0,88 5 0,87 0,84 0,94 0,74 4 0,96 0,93 0,93 0,90 3 0,79 0,93 0,94 0,53 2 0,95 0,87 0,97 0,51 1 0,47 0,95 0,93 f1-score Hipotesis 0,42 0,45 0,85 Android: Introducci\u00f3n a la Programaci\u00f3n precision 0,55 0,53 UPValenciaX-AIP201x-2T2019 recall 0,88 3bis 0,94 0,93 0,93 11 0,81 0,94 0,94 10 0,44 0,90 0,45 9 f1-score 0,94 Buscar en Internet 8 UPValenciaX-BI101x-1T2017 0,49 0,91 7 11bis 0,90 0,89 6 10bis 0,92 9bis 5 0,92 0,89 0,95 8bis 4 0,94 0,51 0,80 0,87 7bis 3 0,94 0,90 0,97 0,94 6bis 2 0,92 0,94 0,50 0,90 0,93 1 0,55 5bis 0,48 0,86 4bis Hipotesis 0,89 0,82 precision 0,90 0,91 0,83 0,46 0,97 0,82 0,53 0,87 0,49 0,88 recall 392 0,80 5 0,90 0,95 6 0,89 0,81 7 0,84 0,43 8 0,51 0,88 9 0,88 0,94 10 0,95 0,89 11 0,95 0,94 3bis 0,97 0,79 4bis 0,91 0,90 5bis 0,94 0,96 6bis 0,91 0,83 7bis 0,76 0,41 8bis 0,47 0,86 9bis 0,89 0,94 10bis 0,98 0,94 11bis 0,94 Anexo 5 0,91 4 0,97 0,49 3 0,83 0,48 2 0,90 f1-score 1 0,48 Buscar en Internet Hipotesis 0,41 0,88 UPValenciaX-BI101x-1T2018 precision 0,91 11bis 0,97 0,94 0,47 10bis 0,90 0,84 0,93 0,98 9bis 0,95 0,92 0,94 0,89 8bis 0,96 0,90 0,44 0,88 7bis 0,46 0,88 0,86 0,85 6bis 0,87 0,50 0,92 0,83 5bis 0,98 0,91 0,87 0,95 4bis 0,91 0,86 0,79 0,95 3bis 0,79 0,53 0,96 0,47 11 0,97 recall 0,88 0,88 10 0,89 0,87 0,90 0,96 9 0,91 0,48 0,94 0,87 8 0,83 0,92 0,44 0,90 7 0,48 0,77 0,91 0,96 6 0,77 0,95 0,94 0,96 5 0,89 0,82 0,83 0,47 4 0,94 0,85 0,93 0,88 3 0,73 0,86 0,94 0,90 2 0,98 0,99 0,45 0,48 1 0,47 0,45 0,48 f1-score Hipotesis 0,55 Buscar en Internet precision UPValenciaX-BI101x-1T2019 recall 0,94 11bis 0,90 10bis 0,93 0,83 9bis 0,92 0,94 0,50 8bis 0,90 0,92 0,77 7bis 0,47 0,93 0,90 6bis 0,91 0,50 0,83 5bis 0,88 0,82 0,77 4bis 0,80 0,94 0,94 3bis 0,86 0,94 0,94 11 0,90 0,73 0,93 0,96 10 0,96 0,88 0,94 0,81 9 0,93 0,94 0,97 0,49 8 0,87 0,88 0,53 0,86 7 0,43 0,86 0,79 0,91 6 0,83 0,45 0,93 0,87 5 0,86 0,83 0,87 0,75 4 0,85 0,94 0,85 0,96 3 0,84 0,91 0,94 0,53 2 0,94 0,78 0,92 0,46 1 0,46 0,94 0,93 f1-score Hipotesis 0,49 0,45 0,94 Buscar en Internet precision 0,55 0,43 UPValenciaX-BI101x-2T2015 recall 0,87 3bis 0,97 0,93 0,98 11 0,86 0,88 0,97 10 0,44 0,90 0,47 9 f1-score 0,86 Buscar en Internet 8 UPValenciaX-BI101x-2T2016 0,45 0,96 7 11bis 0,86 0,94 6 10bis 0,94 9bis 5 0,99 0,88 0,92 8bis 4 0,95 0,46 0,89 0,89 7bis 3 0,94 0,88 0,94 0,94 6bis 2 0,94 0,94 0,45 0,83 0,93 1 0,48 5bis 0,43 0,75 4bis Hipotesis 0,92 0,95 precision 0,95 0,96 0,72 0,52 0,92 0,82 0,52 0,94 0,51 0,85 recall 393 0,87 8 0,49 0,94 9 0,84 0,93 10 0,95 0,97 11 0,98 0,91 3bis 0,94 0,84 4bis 0,75 0,81 5bis 0,88 0,87 6bis 0,92 0,95 7bis 0,85 0,47 8bis 0,52 0,94 9bis 0,90 0,94 10bis 0,94 0,89 11bis 0,95 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,90 7 0,46 0,90 6 0,92 0,88 5 0,94 0,90 4 0,97 0,43 3 0,88 0,46 2 0,97 f1-score 1 0,44 Bases matem\u00e1ticas: \u00c1lgebra Hipotesis 0,45 0,94 UPValenciaX-BMA101x-1T2017 precision 0,93 11bis 0,95 0,94 0,49 10bis 0,89 0,80 0,94 0,89 9bis 0,87 0,88 0,92 0,76 8bis 0,87 0,91 0,45 0,97 7bis 0,47 0,94 0,95 0,86 6bis 0,83 0,46 0,90 0,80 5bis 0,94 0,94 0,92 0,90 4bis 0,88 0,76 0,92 0,95 3bis 0,83 0,48 0,96 0,49 11 0,94 recall 0,95 0,94 10 0,94 0,87 0,94 0,93 9 0,97 0,52 0,88 0,89 8 0,94 0,94 0,43 0,97 7 0,51 0,85 0,79 0,90 6 0,76 0,94 0,94 0,90 5 0,89 0,85 0,97 0,50 4 0,90 0,89 0,84 0,94 3 0,79 0,95 0,95 0,86 2 0,97 0,99 0,47 0,44 1 0,52 0,49 0,41 f1-score Hipotesis 0,52 Bases matem\u00e1ticas: \u00c1lgebra precision UPValenciaX-BMA101x-1T2018 recall 0,96 11bis 0,87 10bis 0,88 0,89 9bis 0,94 0,94 0,46 8bis 0,94 0,94 0,79 7bis 0,45 0,95 0,93 6bis 0,94 0,54 0,85 5bis 0,89 0,89 0,81 4bis 0,86 0,92 0,95 3bis 0,92 0,90 0,94 11 0,96 0,82 0,94 0,94 10 0,93 0,91 0,94 0,90 9 0,94 0,95 0,98 0,45 8 0,89 0,94 0,50 0,91 7 0,42 0,91 0,75 0,92 6 0,76 0,48 0,95 0,91 5 0,96 0,81 0,95 0,76 4 0,91 0,96 0,81 0,93 3 0,87 0,97 0,92 0,51 2 0,93 0,86 0,92 0,45 1 0,45 0,94 0,91 f1-score Hipotesis 0,43 0,48 0,98 Bases matem\u00e1ticas: \u00c1lgebra precision 0,52 0,51 UPValenciaX-BMA101x-1T2019 recall 0,86 3bis 0,96 0,98 0,86 11 0,78 0,92 0,95 10 0,49 0,94 0,43 9 f1-score 0,87 Bases matem\u00e1ticas: \u00c1lgebra 8 UPValenciaX-BMA101x-2T2015 0,45 0,95 7 11bis 0,88 0,94 6 10bis 0,95 9bis 5 0,93 0,86 0,94 8bis 4 0,92 0,42 0,85 0,89 7bis 3 0,89 0,78 0,96 0,97 6bis 2 0,90 0,91 0,48 0,95 0,91 1 0,46 5bis 0,44 0,84 4bis Hipotesis 0,94 0,97 precision 0,92 0,87 0,86 0,53 0,90 0,90 0,49 0,93 0,54 0,94 recall 394 0,89 8 0,45 0,85 9 0,94 0,95 10 0,94 0,88 11 0,94 0,94 3bis 0,98 0,91 4bis 0,90 0,86 5bis 0,91 0,90 6bis 0,91 0,82 7bis 0,87 0,48 8bis 0,43 0,90 9bis 0,86 0,92 10bis 0,95 0,89 11bis 0,94 Anexo 5 0,93 7 0,49 0,94 6 0,92 0,89 5 0,96 0,98 4 0,94 0,44 3 0,78 0,53 2 0,96 f1-score 1 0,41 Bases matem\u00e1ticas: \u00c1lgebra Hipotesis 0,50 0,94 UPValenciaX-BMA101x-2T2016 precision 0,87 11bis 0,93 0,94 0,47 10bis 0,94 0,75 0,89 0,94 9bis 0,94 0,90 0,92 0,78 8bis 0,90 0,98 0,49 0,94 7bis 0,48 0,93 0,83 0,91 6bis 0,82 0,49 0,89 0,86 5bis 0,87 0,98 0,86 0,88 4bis 0,94 0,72 0,96 0,91 3bis 0,82 0,46 0,97 0,51 11 0,94 recall 0,88 0,89 10 0,87 0,89 0,90 0,85 9 0,86 0,47 0,88 0,90 8 0,84 0,94 0,48 0,88 7 0,51 0,79 0,87 0,93 6 0,88 0,97 0,94 0,94 5 0,89 0,92 0,84 0,51 4 0,89 0,79 0,78 0,93 3 0,83 0,95 0,92 0,79 2 0,93 0,93 0,44 0,51 1 0,53 0,44 0,43 f1-score Hipotesis 0,48 Bases matem\u00e1ticas: \u00c1lgebra precision UPValenciaX-BMA101x-T1_2016 recall 0,95 11bis 0,94 10bis 0,95 0,84 9bis 0,89 0,94 0,49 8bis 0,90 0,88 0,81 7bis 0,45 0,85 0,89 6bis 0,91 0,54 0,95 5bis 0,96 0,81 0,82 4bis 0,96 0,96 0,92 3bis 0,85 0,91 0,94 11 0,89 0,89 0,90 0,90 10 0,89 0,90 0,89 0,91 9 0,91 0,88 0,83 0,50 8 0,90 0,94 0,50 0,86 7 0,47 0,95 0,78 0,94 6 0,86 0,50 0,94 0,83 5 0,86 0,77 0,99 0,88 4 0,83 0,95 0,78 0,92 3 0,81 0,94 0,96 0,43 2 0,94 0,80 0,94 0,44 1 0,41 0,92 0,90 f1-score Hipotesis 0,46 0,51 0,87 Bases Matem\u00e1ticas: Derivadas precision 0,48 0,51 UPValenciaX-BMD101x-2016_T2 recall 0,85 3bis 0,94 0,91 0,98 11 0,75 0,97 0,90 10 0,46 0,88 0,47 9 f1-score 0,94 Bases Matem\u00e1ticas: Derivadas 8 UPValenciaX-BMD101x-2T2015 0,46 0,97 7 11bis 0,80 0,94 6 10bis 0,93 9bis 5 0,85 0,95 0,91 8bis 4 0,94 0,41 0,89 0,78 7bis 3 0,96 0,87 0,96 0,95 6bis 2 0,95 0,91 0,47 0,85 0,93 1 0,48 5bis 0,45 0,80 4bis Hipotesis 0,91 0,97 precision 0,88 0,84 0,78 0,48 0,93 0,89 0,53 0,90 0,54 0,94 recall 395 0,80 8 0,49 0,83 9 0,96 0,93 10 0,87 0,98 11 0,88 0,98 3bis 0,97 0,93 4bis 0,81 0,91 5bis 0,86 0,88 6bis 0,88 0,77 7bis 0,91 0,47 8bis 0,46 0,86 9bis 0,93 0,98 10bis 0,94 0,94 11bis 0,90 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,94 7 0,47 0,94 6 0,84 0,83 5 0,94 0,91 4 0,91 0,46 3 0,91 0,49 2 0,90 f1-score 1 0,50 Bases Matem\u00e1ticas: Derivadas Hipotesis 0,44 0,94 UPValenciaX-BMD101x-2T2017 precision 0,94 11bis 0,95 0,95 0,54 10bis 0,93 0,89 0,90 0,94 9bis 0,96 0,94 0,93 0,72 8bis 0,87 0,89 0,49 0,94 7bis 0,46 0,97 0,77 0,80 6bis 0,88 0,46 0,94 0,71 5bis 0,94 0,96 0,90 0,96 4bis 0,93 0,83 0,85 0,89 3bis 0,82 0,55 0,94 0,53 11 0,90 recall 0,94 0,91 10 0,95 0,95 0,90 0,90 9 0,95 0,46 0,83 0,81 8 0,86 0,88 0,45 0,87 7 0,47 0,91 0,89 0,99 6 0,74 0,90 0,94 0,92 5 0,89 0,83 0,83 0,44 4 0,94 0,86 0,77 0,94 3 0,85 0,83 0,90 0,77 2 0,92 0,91 0,46 0,52 1 0,51 0,48 0,48 f1-score Hipotesis 0,55 Bases Matem\u00e1ticas: Derivadas precision UPValenciaX-BMD101x-2T2018 recall 0,99 11bis 0,93 10bis 0,94 0,91 9bis 0,91 0,90 0,48 8bis 0,86 0,94 0,74 7bis 0,43 0,96 0,94 6bis 0,77 0,50 0,88 5bis 0,92 0,83 0,84 4bis 0,81 0,94 0,98 3bis 0,84 0,95 0,92 11 0,94 0,84 0,88 0,97 10 0,95 0,92 0,94 0,89 9 0,94 0,98 0,96 0,43 8 0,94 0,89 0,49 0,79 7 0,43 0,83 0,86 0,93 6 0,92 0,52 0,96 0,90 5 0,88 0,88 0,85 0,74 4 0,82 0,94 0,84 0,95 3 0,92 0,98 0,98 0,47 2 0,98 0,75 0,91 0,44 1 0,49 0,91 0,87 f1-score Hipotesis 0,49 0,53 0,81 Bases Matem\u00e1ticas: Derivadas precision 0,46 0,49 UPValenciaX-BMD101x-2T2019 recall 0,76 3bis 0,93 0,95 0,94 11 0,89 0,94 0,95 10 0,52 0,95 0,51 9 f1-score 0,94 Bases matem\u00e1ticas: Integrales 8 UPValenciaX-BMI101x-2T2015 0,50 0,91 7 11bis 0,81 0,94 6 10bis 0,89 9bis 5 0,94 0,89 0,94 8bis 4 0,94 0,44 0,78 0,83 7bis 3 0,97 0,89 0,89 0,95 6bis 2 0,95 0,98 0,42 0,85 0,95 1 0,55 5bis 0,45 0,72 4bis Hipotesis 0,95 0,81 precision 0,88 0,94 0,86 0,52 0,96 0,79 0,53 0,88 0,52 0,94 recall 396 0,90 8 0,52 0,85 9 0,83 0,89 10 0,97 0,90 11 0,94 0,92 3bis 0,89 0,92 4bis 0,78 0,92 5bis 0,85 0,88 6bis 0,91 0,77 7bis 0,81 0,48 8bis 0,47 0,87 9bis 0,94 0,93 10bis 0,94 0,89 11bis 0,94 Anexo 5 0,97 7 0,44 0,93 6 0,80 0,77 5 0,93 0,90 4 0,86 0,51 3 0,77 0,47 2 0,95 f1-score 1 0,49 Bases matem\u00e1ticas: Integrales Hipotesis 0,49 0,94 UPValenciaX-BMI101x-2T2017 precision 0,93 11bis 0,83 0,88 0,55 10bis 0,99 0,85 0,98 0,98 9bis 0,98 0,88 0,92 0,80 8bis 0,82 0,92 0,46 0,94 7bis 0,48 0,90 0,78 0,79 6bis 0,76 0,48 0,91 0,82 5bis 0,96 0,98 0,95 0,94 4bis 0,85 0,83 0,95 0,95 3bis 0,83 0,54 0,94 0,53 11 0,95 recall 0,91 0,94 10 0,94 0,89 0,95 0,94 9 0,94 0,52 0,94 0,89 8 0,82 0,94 0,50 0,85 7 0,46 0,78 0,87 0,94 6 0,81 0,96 0,94 0,95 5 0,91 0,96 0,96 0,46 4 0,94 0,76 0,92 0,88 3 0,85 0,89 0,89 0,82 2 0,97 0,95 0,44 0,51 1 0,53 0,50 0,46 f1-score Hipotesis 0,48 Bases matem\u00e1ticas: Integrales precision UPValenciaX-BMI101x-2T2018 recall 0,94 11bis 0,98 10bis 0,91 0,95 9bis 0,94 0,88 0,53 8bis 0,94 0,94 0,89 7bis 0,48 0,84 0,91 6bis 0,88 0,49 0,86 5bis 0,91 0,88 0,78 4bis 0,98 0,89 0,94 3bis 0,96 0,93 0,97 11 0,94 0,75 0,89 0,94 10 0,89 0,93 0,92 0,80 9 0,94 0,87 0,84 0,50 8 0,91 0,86 0,50 0,78 7 0,47 0,88 0,77 0,96 6 0,77 0,54 0,91 0,94 5 0,98 0,83 0,98 0,77 4 0,96 0,93 0,91 0,92 3 0,92 0,89 0,96 0,46 2 0,93 0,81 0,98 0,51 1 0,47 0,98 0,94 f1-score Hipotesis 0,46 0,46 0,95 Bases matem\u00e1ticas: Integrales precision 0,45 0,51 UPValenciaX-BMI101x-2T2019 recall 0,76 3bis 0,96 0,94 0,88 11 0,80 0,94 0,96 10 0,48 0,92 0,45 9 f1-score 0,93 Bases matem\u00e1ticas: Integrales 8 UPValenciaX-BMI101x-T3_2016 0,43 0,89 7 11bis 0,84 0,90 6 10bis 0,94 9bis 5 0,99 0,84 0,94 8bis 4 0,87 0,44 0,86 0,78 7bis 3 0,94 0,85 0,92 0,92 6bis 2 0,93 0,94 0,41 0,89 0,87 1 0,55 5bis 0,46 0,78 4bis Hipotesis 0,93 0,90 precision 0,94 0,80 0,83 0,47 0,95 0,89 0,50 0,94 0,55 0,95 recall 397 0,93 11 0,89 0,96 3bis 0,92 0,94 4bis 0,92 0,90 5bis 0,98 0,94 6bis 0,93 0,79 7bis 0,91 0,45 8bis 0,47 0,90 9bis 0,96 0,99 10bis 0,94 0,94 11bis 0,94 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,82 10 0,88 0,50 9 0,91 0,90 8 0,90 0,94 7 0,43 0,93 6 0,90 0,76 5 0,94 0,92 4 0,92 0,52 3 0,80 0,43 2 0,95 f1-score 1 0,51 Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda Hipotesis 0,46 0,89 UPValenciaX-BMN101x-1T2015 precision 0,88 11bis 0,86 0,97 0,49 10bis 0,94 0,87 0,94 0,94 9bis 0,88 0,94 0,91 0,87 8bis 0,90 0,90 0,47 0,94 7bis 0,46 0,88 0,87 0,87 6bis 0,73 0,54 0,91 0,83 5bis 0,90 0,89 0,86 0,96 4bis 0,92 0,72 0,88 0,91 3bis 0,74 0,46 0,93 0,51 11 0,94 recall 0,89 0,97 10 0,99 0,94 0,89 0,98 9 0,96 0,44 0,90 0,76 8 0,91 0,90 0,49 0,94 7 0,53 0,87 0,87 0,89 6 0,73 0,92 0,86 0,87 5 0,89 0,81 0,95 0,52 4 0,93 0,74 0,92 0,88 3 0,76 0,94 0,92 0,76 2 0,92 0,99 0,49 0,50 1 0,53 0,46 0,50 f1-score Hipotesis 0,54 Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda precision UPValenciaX-BMN101x-1T2017 recall 0,93 11bis 0,93 10bis 0,96 0,97 9bis 0,95 0,89 0,51 8bis 0,94 0,90 0,86 7bis 0,43 0,81 0,87 6bis 0,94 0,54 0,98 5bis 0,96 0,76 0,81 4bis 0,84 0,94 0,91 3bis 0,81 0,85 0,93 11 0,98 0,76 0,91 0,94 10 0,92 0,91 0,93 0,95 9 0,93 0,91 0,82 0,52 8 0,84 0,94 0,45 0,77 7 0,50 0,85 0,79 0,93 6 0,81 0,54 0,93 0,89 5 0,90 0,73 0,94 0,84 4 0,81 0,92 0,77 0,91 3 0,91 0,94 0,94 0,48 2 0,89 0,85 0,94 0,48 1 0,50 0,95 0,94 f1-score Hipotesis 0,50 0,53 0,96 Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda precision 0,51 0,48 UPValenciaX-BMN101x-1T2018 recall 0,88 3bis 0,99 0,94 0,91 11 0,89 0,95 0,97 10 0,45 0,91 0,53 9 f1-score 0,97 Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda 8 UPValenciaX-BMN101x-1T2019 0,45 0,94 7 11bis 0,77 0,89 6 10bis 0,91 9bis 5 0,99 0,90 0,94 8bis 4 0,94 0,49 0,80 0,75 7bis 3 0,94 0,85 0,91 0,94 6bis 2 0,91 0,98 0,45 0,95 0,97 1 0,45 5bis 0,44 0,78 4bis Hipotesis 0,92 0,83 precision 0,88 0,88 0,77 0,45 0,95 0,81 0,55 0,89 0,50 0,86 recall 398 0,94 11 0,99 0,92 3bis 0,94 0,89 4bis 0,78 0,91 5bis 0,84 0,95 6bis 0,94 0,84 7bis 0,82 0,47 8bis 0,45 0,90 9bis 0,94 0,97 10bis 0,91 0,88 11bis 0,94 Anexo 5 0,98 10 0,88 0,46 9 0,94 0,75 8 0,86 0,94 7 0,42 0,89 6 0,87 0,82 5 0,94 0,98 4 0,87 0,53 3 0,91 0,45 2 0,89 f1-score 1 0,50 Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda Hipotesis 0,49 0,92 UPValenciaX-BMN101x-2T2016 precision 0,94 11bis 0,83 0,97 0,55 10bis 0,96 0,81 0,93 0,98 9bis 0,94 0,93 0,93 0,75 8bis 0,88 0,90 0,48 0,96 7bis 0,45 0,93 0,79 0,89 6bis 0,73 0,46 0,94 0,81 5bis 0,94 0,89 0,85 0,96 4bis 0,93 0,86 0,95 0,98 3bis 0,76 0,45 0,96 0,50 11 0,89 recall 0,95 0,94 10 0,94 0,94 0,94 0,98 9 0,90 0,47 0,98 0,90 8 0,81 0,94 0,43 0,89 7 0,53 0,76 0,75 0,94 6 0,80 0,95 0,90 0,96 5 0,90 0,85 0,86 0,45 4 0,96 0,85 0,89 0,94 3 0,83 0,98 0,91 0,88 2 0,91 0,95 0,42 0,49 1 0,52 0,44 0,50 f1-score Hipotesis 0,46 Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda precision UPValenciaX-BMN101x-T1_2016 recall 0,94 11bis 0,94 10bis 0,94 0,89 9bis 0,94 0,94 0,45 8bis 0,90 0,93 0,92 7bis 0,42 0,96 0,89 6bis 0,84 0,55 0,87 5bis 0,87 0,85 0,83 4bis 0,85 0,96 0,97 3bis 0,88 0,90 0,88 11 0,94 0,83 0,94 0,95 10 0,94 0,94 0,95 0,84 9 0,95 0,91 0,98 0,50 8 0,83 0,87 0,47 0,80 7 0,51 0,90 0,78 0,87 6 0,91 0,47 0,94 0,86 5 0,87 0,84 0,83 0,90 4 0,97 0,97 0,77 0,91 3 0,82 0,94 0,94 0,47 2 0,92 0,81 0,94 0,49 1 0,47 0,91 0,97 f1-score Hipotesis 0,49 0,46 0,82 Introducci\u00f3n a la inversi\u00f3n burs\u00e1til precision 0,55 0,43 UPValenciaX-BOL1201.x-1T2017 recall 0,83 3bis 0,94 0,94 0,90 11 0,77 0,99 0,91 10 0,49 0,90 0,45 9 f1-score 0,88 Introducci\u00f3n a la inversi\u00f3n burs\u00e1til 8 UPValenciaX-BOL1201.x-1T2018 0,50 0,94 7 11bis 0,90 0,94 6 10bis 0,89 9bis 5 0,94 0,82 0,92 8bis 4 0,86 0,44 0,91 0,83 7bis 3 0,97 0,91 0,95 0,94 6bis 2 0,98 0,94 0,47 0,81 0,97 1 0,47 5bis 0,41 0,72 4bis Hipotesis 0,92 0,82 precision 0,94 0,94 0,83 0,46 0,94 0,83 0,46 0,97 0,51 0,89 recall 399 0,97 10 0,92 0,98 11 0,94 0,96 3bis 0,94 0,93 4bis 0,92 0,93 5bis 0,86 0,92 6bis 0,95 0,81 7bis 0,80 0,43 8bis 0,52 0,88 9bis 0,84 0,89 10bis 0,94 0,93 11bis 0,89 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,51 9 0,93 0,84 8 0,94 0,94 7 0,50 0,89 6 0,81 0,86 5 0,87 0,94 4 0,94 0,51 3 0,76 0,49 2 0,92 f1-score 1 0,44 Introducci\u00f3n a la inversi\u00f3n burs\u00e1til Hipotesis 0,50 0,89 UPValenciaX-BOL1201.x-1T2019 precision 0,93 11bis 0,97 0,94 0,45 10bis 0,97 0,84 0,94 0,96 9bis 0,92 0,90 0,94 0,81 8bis 0,95 0,94 0,46 0,91 7bis 0,50 0,91 0,81 0,90 6bis 0,85 0,50 0,92 0,83 5bis 0,87 0,96 0,82 0,98 4bis 0,91 0,83 0,80 0,94 3bis 0,78 0,53 0,97 0,50 11 0,94 recall 0,93 0,97 10 0,91 0,93 0,93 0,98 9 0,88 0,44 0,87 0,78 8 0,87 0,87 0,45 0,86 7 0,54 0,90 0,78 0,98 6 0,85 0,94 0,88 0,92 5 0,89 0,93 0,98 0,45 4 0,94 0,87 0,85 0,94 3 0,79 0,97 0,95 0,83 2 0,96 0,94 0,42 0,44 1 0,55 0,51 0,42 f1-score Hipotesis 0,49 Introducci\u00f3n a la inversi\u00f3n burs\u00e1til precision UPValenciaX-BOL1201.x-2T2016 recall 0,94 11bis 0,94 10bis 0,95 0,94 9bis 0,92 0,89 0,44 8bis 0,86 0,94 0,85 7bis 0,50 0,92 0,94 6bis 0,82 0,55 0,82 5bis 0,91 0,78 0,87 4bis 0,98 0,92 0,95 3bis 0,79 0,95 0,93 11 0,97 0,83 0,94 0,94 10 0,94 0,97 0,93 0,95 9 0,94 0,88 0,98 0,47 8 0,94 0,93 0,46 0,90 7 0,49 0,92 0,91 0,94 6 0,76 0,48 0,89 0,94 5 0,94 0,78 0,85 0,86 4 0,95 0,96 0,91 0,94 3 0,86 0,98 0,95 0,50 2 0,97 0,74 0,98 0,47 1 0,47 0,94 0,95 f1-score Hipotesis 0,44 0,49 0,84 Introducci\u00f3n a la inversi\u00f3n burs\u00e1til precision 0,47 0,48 UPValenciaX-BOL1201.x-T12016 recall 0,77 3bis 0,96 0,95 0,85 11 0,89 0,94 0,93 10 0,50 0,94 0,50 9 f1-score 0,95 Basic Spanish 1: Getting Started 8 UPValenciaX-BSP101x-1T2017 0,47 0,94 7 11bis 0,86 0,91 6 10bis 0,89 9bis 5 0,89 0,92 0,92 8bis 4 0,94 0,51 0,76 0,87 7bis 3 0,94 0,79 0,91 0,90 6bis 2 0,94 0,86 0,42 0,84 0,84 1 0,51 5bis 0,47 0,87 4bis Hipotesis 0,89 0,95 precision 0,94 0,96 0,85 0,52 0,94 0,87 0,47 0,93 0,48 0,92 recall 400 0,94 7 0,88 0,43 8 0,48 0,86 9 0,88 0,94 10 0,89 0,97 11 0,98 0,98 3bis 0,99 0,92 4bis 0,79 0,80 5bis 0,82 0,94 6bis 0,92 0,77 7bis 0,89 0,45 8bis 0,50 0,97 9bis 0,95 0,95 10bis 0,96 0,90 11bis 0,92 Anexo 5 0,88 6 0,75 0,90 5 0,90 0,99 4 0,83 0,49 3 0,92 0,51 2 0,94 f1-score 1 0,47 Basic Spanish 1: Getting Started Hipotesis 0,44 0,95 UPValenciaX-BSP101x-1T2018 precision 0,95 11bis 0,86 0,93 0,47 10bis 0,97 0,86 0,95 0,87 9bis 0,96 0,94 0,90 0,76 8bis 0,83 0,96 0,45 0,95 7bis 0,55 0,91 0,94 0,84 6bis 0,74 0,55 0,96 0,79 5bis 0,90 0,95 0,92 0,99 4bis 0,92 0,82 0,96 0,95 3bis 0,85 0,51 0,94 0,46 11 0,89 recall 0,98 0,91 10 0,94 0,95 0,93 0,94 9 0,93 0,46 0,88 0,79 8 0,79 0,95 0,51 0,84 7 0,46 0,90 0,77 0,96 6 0,78 0,96 0,89 0,91 5 0,89 0,83 0,91 0,46 4 0,91 0,86 0,83 0,92 3 0,74 0,94 0,91 0,89 2 0,89 0,98 0,51 0,49 1 0,47 0,44 0,45 f1-score Hipotesis 0,45 Basic Spanish 1: Getting Started precision UPValenciaX-BSP101x-1T2019 recall 0,90 11bis 0,94 10bis 0,94 0,94 9bis 0,94 0,87 0,49 8bis 0,88 0,87 0,78 7bis 0,44 0,95 0,95 6bis 0,77 0,46 0,87 5bis 0,90 0,85 0,84 4bis 0,88 0,94 0,93 3bis 0,89 0,93 0,98 11 0,96 0,78 0,89 0,96 10 0,94 0,95 0,90 0,85 9 0,94 0,94 0,87 0,51 8 0,85 0,95 0,46 0,78 7 0,47 0,96 0,85 0,94 6 0,85 0,51 0,94 0,97 5 0,95 0,78 0,94 0,81 4 0,87 0,94 0,80 0,93 3 0,88 0,94 0,96 0,43 2 0,94 0,85 0,94 0,48 1 0,43 0,97 0,98 f1-score Hipotesis 0,51 0,49 0,97 Basic Spanish 1: Getting Started precision 0,54 0,44 UPValenciaX-BSP101x-2T2017 recall 0,83 3bis 0,99 0,95 0,86 11 0,84 0,94 0,94 10 0,49 0,94 0,43 9 f1-score 0,84 Basic Spanish 1: Getting Started 8 UPValenciaX-BSP101x-3T2015 0,48 0,94 7 11bis 0,83 0,97 6 10bis 0,91 9bis 5 0,90 0,92 0,89 8bis 4 0,96 0,51 0,80 0,84 7bis 3 0,94 0,87 0,94 0,94 6bis 2 0,94 0,94 0,44 0,87 0,95 1 0,55 5bis 0,46 0,86 4bis Hipotesis 0,99 0,93 precision 0,94 0,94 0,86 0,47 0,94 0,79 0,53 0,94 0,54 0,86 recall 401 0,98 7 0,85 0,47 8 0,51 0,83 9 0,87 0,96 10 0,98 0,94 11 0,94 0,89 3bis 0,92 0,88 4bis 0,83 0,87 5bis 0,97 0,96 6bis 0,96 0,91 7bis 0,76 0,51 8bis 0,49 0,90 9bis 0,95 0,94 10bis 0,91 0,94 11bis 0,90 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,91 6 0,83 0,91 5 0,94 0,95 4 0,92 0,51 3 0,78 0,45 2 0,95 f1-score 1 0,49 Basic Spanish 2: One Step Further Hipotesis 0,46 0,96 UPValenciaX-BSP102x-2T2017 precision 0,87 11bis 0,88 0,96 0,54 10bis 0,92 0,85 0,99 0,95 9bis 0,91 0,98 0,96 0,77 8bis 0,86 0,99 0,44 0,88 7bis 0,52 0,94 0,91 0,95 6bis 0,78 0,55 0,94 0,84 5bis 0,89 0,95 0,94 0,94 4bis 0,98 0,77 0,81 0,97 3bis 0,83 0,54 0,94 0,52 11 0,98 recall 0,99 0,97 10 0,96 0,94 0,94 0,88 9 0,86 0,44 0,84 0,92 8 0,88 0,91 0,48 0,85 7 0,47 0,79 0,75 0,88 6 0,87 0,88 0,86 0,89 5 0,94 0,96 0,94 0,48 4 0,94 0,78 0,87 0,94 3 0,85 0,85 0,94 0,88 2 0,98 0,96 0,42 0,43 1 0,54 0,45 0,49 f1-score Hipotesis 0,55 Basic Spanish 2: One Step Further precision UPValenciaX-BSP102x-3T2017 recall 0,93 11bis 0,94 10bis 0,92 0,94 9bis 0,92 0,91 0,43 8bis 0,84 0,94 0,86 7bis 0,46 0,93 0,92 6bis 0,89 0,48 0,94 5bis 0,93 0,85 0,78 4bis 0,98 0,95 0,91 3bis 0,87 0,94 0,91 11 0,94 0,77 0,94 0,95 10 0,89 0,96 0,93 0,97 9 0,94 0,90 0,86 0,47 8 0,94 0,94 0,47 0,87 7 0,47 0,91 0,83 0,99 6 0,90 0,45 0,94 0,91 5 0,91 0,82 0,98 0,84 4 0,95 0,92 0,88 0,95 3 0,84 0,97 0,92 0,44 2 0,89 0,73 0,94 0,45 1 0,42 0,99 0,87 f1-score Hipotesis 0,45 0,53 0,96 Basic Spanish 2: One Step Further precision 0,50 0,50 UPValenciaX-BSP102x-3T2018 recall 0,74 3bis 0,94 0,94 0,86 11 0,85 0,88 0,99 10 0,53 0,94 0,49 9 f1-score 0,90 Dise\u00f1o de diques rompeolas con cub\u00edpodos 8 UPValenciaX-CUB301x-2T2018 0,48 0,91 7 11bis 0,76 0,94 6 10bis 0,93 9bis 5 0,94 0,88 0,94 8bis 4 0,90 0,43 0,93 0,85 7bis 3 0,95 0,86 0,91 0,94 6bis 2 0,96 0,92 0,47 0,79 0,82 1 0,48 5bis 0,48 0,82 4bis Hipotesis 0,94 0,90 precision 0,94 0,94 0,76 0,51 0,89 0,77 0,55 0,93 0,50 0,98 recall 402 0,86 10 0,88 0,95 11 0,89 0,93 3bis 0,94 0,89 4bis 0,90 0,95 5bis 0,95 0,91 6bis 0,97 0,90 7bis 0,89 0,45 8bis 0,52 0,93 9bis 0,85 0,94 10bis 0,95 0,94 11bis 0,94 Anexo 5 0,45 9 0,97 0,78 8 0,88 0,96 7 0,45 0,91 6 0,80 0,83 5 0,98 0,94 4 0,95 0,44 3 0,84 0,44 2 0,89 f1-score 1 0,43 Dise\u00f1o de diques rompeolas con cub\u00edpodos Hipotesis 0,51 0,89 UPValenciaX-CUB301x-3T2018 precision 0,94 11bis 0,82 0,91 0,47 10bis 0,93 0,85 0,97 0,96 9bis 0,94 0,85 0,88 0,78 8bis 0,94 0,89 0,42 0,87 7bis 0,46 0,94 0,81 0,80 6bis 0,82 0,55 0,91 0,71 5bis 0,94 0,94 0,87 0,90 4bis 0,94 0,88 0,90 0,94 3bis 0,76 0,51 0,88 0,50 11 0,92 recall 0,92 0,94 10 0,95 0,92 0,94 0,85 9 0,93 0,50 0,94 0,75 8 0,94 0,94 0,44 0,93 7 0,48 0,77 0,82 0,98 6 0,87 0,94 0,92 0,92 5 0,96 0,92 0,94 0,51 4 0,92 0,87 0,87 0,95 3 0,78 0,84 0,90 0,76 2 0,89 0,90 0,43 0,49 1 0,47 0,47 0,41 f1-score Hipotesis 0,47 Dynamics and Control precision UPValenciaX-DC201x-1T2017 recall 0,88 11bis 0,89 10bis 0,89 0,82 9bis 0,91 0,87 0,53 8bis 0,85 0,91 0,83 7bis 0,49 0,86 0,96 6bis 0,91 0,48 0,89 5bis 0,94 0,87 0,84 4bis 0,86 0,91 0,95 3bis 0,96 0,98 0,90 11 0,97 0,77 0,98 0,88 10 0,98 0,91 0,92 0,95 9 0,94 0,92 0,94 0,46 8 0,88 0,89 0,51 0,76 7 0,45 0,91 0,87 0,88 6 0,90 0,49 0,90 0,90 5 0,99 0,72 0,92 0,80 4 0,99 0,98 0,87 0,97 3 0,76 0,97 0,94 0,53 2 0,92 0,77 0,97 0,51 1 0,43 0,94 0,94 f1-score Hipotesis 0,44 0,45 0,95 Dynamics and Control precision 0,54 0,44 UPValenciaX-DC201x-1T2018 recall 0,87 3bis 0,94 0,94 0,94 11 0,78 0,97 0,94 10 0,49 0,90 0,46 9 f1-score 0,93 Dynamics and Control 8 UPValenciaX-DC201x-1T2019 0,50 0,94 7 11bis 0,79 0,92 6 10bis 0,88 9bis 5 0,86 0,94 0,91 8bis 4 0,93 0,42 0,77 0,74 7bis 3 0,98 0,94 0,90 0,97 6bis 2 0,94 0,96 0,45 0,88 0,88 1 0,46 5bis 0,47 0,86 4bis Hipotesis 0,95 0,81 precision 0,94 0,87 0,87 0,46 0,94 0,79 0,53 0,94 0,55 0,94 recall 403 0,94 6 0,87 0,81 7 0,76 0,44 8 0,44 0,92 9 0,95 0,99 10 0,94 0,97 11 0,94 0,89 3bis 0,98 0,96 4bis 0,82 0,98 5bis 0,88 0,92 6bis 0,90 0,85 7bis 0,75 0,41 8bis 0,44 0,87 9bis 0,85 0,95 10bis 0,96 0,97 11bis 0,89 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,88 5 0,94 0,94 4 0,87 0,43 3 0,82 0,49 2 0,90 f1-score 1 0,47 Dynamics and Control Hipotesis 0,50 0,94 UPValenciaX-DC201x-2T2015 precision 0,94 11bis 0,96 0,93 0,51 10bis 0,91 0,89 0,94 0,88 9bis 0,86 0,91 0,85 0,81 8bis 0,83 0,93 0,46 0,94 7bis 0,47 0,87 0,89 0,96 6bis 0,76 0,48 0,97 0,86 5bis 0,90 0,94 0,96 0,94 4bis 0,87 0,78 0,95 0,92 3bis 0,78 0,46 0,94 0,47 11 0,96 recall 0,96 0,96 10 0,94 0,90 0,97 0,95 9 0,94 0,48 0,86 0,81 8 0,82 0,89 0,45 0,87 7 0,47 0,83 0,87 0,98 6 0,88 0,98 0,94 0,88 5 0,97 0,87 0,87 0,46 4 0,94 0,80 0,90 0,97 3 0,77 0,90 0,99 0,77 2 0,90 0,95 0,43 0,49 1 0,52 0,45 0,45 f1-score Hipotesis 0,45 Dynamics and Control precision UPValenciaX-DC201x-2T2016 recall 0,94 11bis 0,91 10bis 0,97 0,85 9bis 0,94 0,87 0,53 8bis 0,94 0,92 0,84 7bis 0,41 0,84 0,90 6bis 0,93 0,54 0,97 5bis 0,94 0,81 0,91 4bis 0,83 0,93 0,94 3bis 0,80 0,96 0,97 11 0,92 0,87 0,98 0,97 10 0,88 0,92 0,94 0,95 9 0,90 0,90 0,97 0,50 8 0,91 0,93 0,46 0,84 7 0,49 0,81 0,76 0,94 6 0,91 0,53 0,94 0,93 5 0,94 0,78 0,95 0,89 4 0,83 0,96 0,87 0,95 3 0,82 0,94 0,94 0,49 2 0,94 0,82 0,94 0,46 1 0,42 0,93 0,87 f1-score Hipotesis 0,48 0,54 0,80 Dynamics and Control precision 0,48 0,43 UPValenciaX-DC201x-T1_2016 recall 0,87 3bis 0,88 0,90 0,89 11 0,86 0,90 0,89 10 0,47 0,92 0,44 9 f1-score 0,91 Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio 8 UPValenciaX-DMT201x-2T2015 0,42 0,96 7 11bis 0,83 0,89 6 10bis 0,94 9bis 5 0,98 0,92 0,90 8bis 4 0,94 0,47 0,75 0,82 7bis 3 0,93 0,77 0,94 0,95 6bis 2 0,93 0,94 0,44 0,85 0,92 1 0,47 5bis 0,43 0,81 4bis Hipotesis 0,99 0,82 precision 0,94 0,91 0,87 0,47 0,94 0,87 0,47 0,91 0,52 0,90 recall 404 0,94 11 0,95 0,98 3bis 0,95 0,82 4bis 0,80 0,80 5bis 0,96 0,89 6bis 0,94 0,90 7bis 0,78 0,48 8bis 0,51 0,90 9bis 0,94 0,94 10bis 0,90 0,94 11bis 0,92 Anexo 5 0,95 10 0,93 0,50 9 0,91 0,90 8 0,87 0,93 7 0,42 0,85 6 0,90 0,74 5 0,94 0,91 4 0,96 0,44 3 0,83 0,51 2 0,94 f1-score 1 0,47 Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio Hipotesis 0,45 0,87 UPValenciaX-DMT201x-2T2016 precision 0,98 11bis 0,92 0,93 0,48 10bis 0,89 0,87 0,99 0,89 9bis 0,91 0,99 0,90 0,85 8bis 0,92 0,94 0,48 0,92 7bis 0,45 0,97 0,78 0,82 6bis 0,87 0,49 0,95 0,84 5bis 0,98 0,93 0,84 0,94 4bis 0,90 0,81 0,95 0,94 3bis 0,90 0,50 0,93 0,54 11 0,98 recall 0,99 0,94 10 0,94 0,91 0,93 0,89 9 0,94 0,49 0,94 0,92 8 0,94 0,89 0,51 0,83 7 0,50 0,91 0,86 0,98 6 0,85 0,97 0,94 0,93 5 0,90 0,82 0,84 0,52 4 0,88 0,83 0,88 0,90 3 0,74 0,98 0,93 0,83 2 0,96 0,94 0,50 0,51 1 0,53 0,48 0,46 f1-score Hipotesis 0,46 Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio precision UPValenciaX-DMT201x-2T2017 recall 0,94 11bis 0,94 10bis 0,94 0,93 9bis 0,94 0,91 0,44 8bis 0,94 0,90 0,86 7bis 0,47 0,95 0,94 6bis 0,92 0,52 0,87 5bis 0,94 0,81 0,89 4bis 0,85 0,94 0,97 3bis 0,81 0,95 0,94 11 0,96 0,74 0,91 0,93 10 0,91 0,94 0,94 0,94 9 0,94 0,87 0,94 0,49 8 0,86 0,86 0,47 0,80 7 0,46 0,87 0,76 0,97 6 0,79 0,52 0,94 0,94 5 0,88 0,85 0,83 0,84 4 0,95 0,91 0,83 0,94 3 0,92 0,94 0,92 0,44 2 0,94 0,84 0,94 0,46 1 0,49 0,90 0,94 f1-score Hipotesis 0,50 0,54 0,92 Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio precision 0,49 0,51 UPValenciaX-DMT201x-2T2018 recall 0,90 3bis 0,93 0,91 0,90 11 0,90 0,94 0,93 10 0,49 0,94 0,49 9 f1-score 0,85 Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio 8 UPValenciaX-DMT201x-2T2019 0,42 0,92 7 11bis 0,80 0,97 6 10bis 0,88 9bis 5 0,85 0,99 0,94 8bis 4 0,88 0,49 0,84 0,79 7bis 3 0,96 0,89 0,94 0,94 6bis 2 0,90 0,89 0,47 0,92 0,92 1 0,55 5bis 0,50 0,80 4bis Hipotesis 0,97 0,92 precision 0,93 0,86 0,74 0,47 0,95 0,75 0,46 0,94 0,47 0,94 recall 405 0,52 9 0,93 0,90 10 0,93 0,88 11 0,94 0,97 3bis 0,89 0,91 4bis 0,81 0,88 5bis 0,87 0,87 6bis 0,94 0,90 7bis 0,77 0,44 8bis 0,52 0,85 9bis 0,86 0,90 10bis 0,96 0,94 11bis 0,89 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,90 8 0,83 0,94 7 0,48 0,84 6 0,90 0,87 5 0,89 0,96 4 0,80 0,46 3 0,83 0,47 2 0,94 f1-score 1 0,44 Aprendizaje autom\u00e1tico y ciencia de datos Hipotesis 0,47 0,87 UPValenciaX-DSC201x-3T2018 precision 0,94 11bis 0,96 0,93 0,53 10bis 0,98 0,76 0,91 0,91 9bis 0,94 0,93 0,89 0,81 8bis 0,93 0,95 0,50 0,88 7bis 0,50 0,94 0,87 0,93 6bis 0,80 0,46 0,91 0,76 5bis 0,94 0,93 0,81 0,94 4bis 0,94 0,72 0,88 0,94 3bis 0,80 0,45 0,94 0,46 11 0,94 recall 0,94 0,95 10 0,93 0,94 0,91 0,90 9 0,87 0,47 0,83 0,82 8 0,88 0,87 0,41 0,88 7 0,48 0,83 0,92 0,94 6 0,76 0,94 0,94 0,91 5 0,90 0,99 0,94 0,48 4 0,94 0,74 0,82 0,94 3 0,88 0,88 0,94 0,84 2 0,90 0,90 0,42 0,50 1 0,47 0,48 0,43 f1-score Hipotesis 0,50 Dise\u00f1a, fabrica y programa tu propio robot precision UPValenciaX-DYOR101x-2T2017 recall 0,94 11bis 0,99 10bis 0,88 0,84 9bis 0,98 0,93 0,44 8bis 0,99 0,97 0,76 7bis 0,43 0,94 0,94 6bis 0,80 0,49 0,88 5bis 0,94 0,79 0,87 4bis 0,89 0,94 0,88 3bis 0,80 0,94 0,92 11 0,97 0,73 0,94 0,96 10 0,97 0,94 0,91 0,98 9 0,97 0,94 0,94 0,45 8 0,85 0,88 0,45 0,78 7 0,48 0,97 0,87 0,94 6 0,82 0,49 0,94 0,89 5 0,93 0,79 0,84 0,90 4 0,85 0,90 0,82 0,96 3 0,88 0,93 0,96 0,45 2 0,96 0,79 0,89 0,53 1 0,43 0,93 0,94 f1-score Hipotesis 0,43 0,52 0,82 Dise\u00f1a, fabrica y programa tu propio robot precision 0,46 0,52 UPValenciaX-DYOR101x-3T2017 recall 0,84 3bis 0,91 0,92 0,94 11 0,90 0,95 0,94 10 0,51 0,94 0,43 9 f1-score 0,91 Dise\u00f1a, fabrica y programa tu propio robot 8 UPValenciaX-DYOR101x-3T2018 0,43 0,96 7 11bis 0,83 0,97 6 10bis 0,99 9bis 5 0,92 0,94 0,91 8bis 4 0,91 0,41 0,91 0,88 7bis 3 0,94 0,91 0,94 0,94 6bis 2 0,92 0,96 0,44 0,92 0,96 1 0,49 5bis 0,42 0,73 4bis Hipotesis 0,89 0,97 precision 0,98 0,96 0,85 0,54 0,94 0,89 0,45 0,94 0,51 0,86 recall 406 0,85 5bis 0,84 0,92 6bis 0,90 0,90 7bis 0,90 0,43 8bis 0,46 0,93 9bis 0,97 0,94 10bis 0,88 0,89 11bis 0,89 Anexo 5 0,94 4bis 0,81 0,89 3bis 0,87 0,96 11 0,91 0,83 10 0,94 0,43 9 0,95 0,90 8 0,94 0,94 7 0,41 0,94 6 0,84 0,79 5 0,94 0,94 4 0,88 0,53 3 0,86 0,47 2 0,94 f1-score 1 0,47 Introducci\u00f3n a los encofrados y las cimbras en obra civil y edificaci\u00f3n Hipotesis 0,42 0,88 UPValenciaX-ENC101x-3T2018a precision 0,91 11bis 0,91 0,89 0,48 10bis 0,89 0,74 0,93 0,87 9bis 0,89 0,92 0,90 0,85 8bis 0,87 0,92 0,48 0,94 7bis 0,50 0,93 0,90 0,87 6bis 0,89 0,50 0,90 0,72 5bis 0,97 0,98 0,89 0,93 4bis 0,85 0,82 0,96 0,94 3bis 0,81 0,52 0,96 0,51 11 0,98 recall 0,94 0,96 10 0,93 0,91 0,89 0,86 9 0,94 0,47 0,91 0,87 8 0,92 0,87 0,48 0,94 7 0,50 0,89 0,86 0,93 6 0,88 0,94 0,93 0,97 5 0,93 0,96 0,90 0,51 4 0,94 0,75 0,77 0,98 3 0,85 0,94 0,94 0,85 2 0,89 0,94 0,44 0,48 1 0,52 0,50 0,44 f1-score Hipotesis 0,50 Introducci\u00f3n a los encofrados y las cimbras en obra civil y edificaci\u00f3n precision UPValenciaX-ENC101x-3T2018b recall 0,89 11bis 0,90 10bis 0,92 0,82 9bis 0,94 0,95 0,44 8bis 0,87 0,89 0,90 7bis 0,48 0,82 0,94 6bis 0,86 0,49 0,94 5bis 0,94 0,83 0,80 4bis 0,98 0,95 0,93 3bis 0,90 0,89 0,93 11 0,94 0,80 0,95 0,94 10 0,94 0,94 0,94 0,84 9 0,94 0,94 0,89 0,51 8 0,93 0,96 0,50 0,90 7 0,42 0,86 0,85 0,89 6 0,88 0,54 0,93 0,93 5 0,87 0,81 0,86 0,86 4 0,89 0,99 0,90 0,97 3 0,88 0,91 0,92 0,51 2 0,94 0,79 0,94 0,48 1 0,50 0,92 0,98 f1-score Hipotesis 0,48 0,46 0,91 Excel precision 0,45 0,45 UPValenciaX-EX101x-2T2015 recall 0,80 3bis 0,94 0,99 0,88 11 0,84 0,94 0,98 10 0,51 0,92 0,48 9 f1-score 0,96 Fundamentos de Comunicaciones \u00d3pticas 8 UPValenciaX-FCO201x-2T2015 0,45 0,93 7 11bis 0,81 0,96 6 10bis 0,89 9bis 5 0,92 0,91 0,90 8bis 4 0,95 0,45 0,80 0,88 7bis 3 0,89 0,84 0,94 0,90 6bis 2 0,89 0,96 0,44 0,96 0,82 1 0,54 5bis 0,42 0,83 4bis Hipotesis 0,90 0,84 precision 0,95 0,93 0,73 0,52 0,98 0,88 0,49 0,97 0,50 0,94 recall 407 0,50 9 0,99 0,98 10 0,95 0,94 11 0,97 0,94 3bis 0,89 0,88 4bis 0,89 0,94 5bis 0,96 0,87 6bis 0,92 0,84 7bis 0,88 0,51 8bis 0,46 0,94 9bis 0,94 0,94 10bis 0,87 0,97 11bis 0,89 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,86 8 0,92 0,99 7 0,44 0,94 6 0,82 0,82 5 0,96 0,93 4 0,85 0,51 3 0,90 0,51 2 0,94 f1-score 1 0,45 Fundamentos de Comunicaciones \u00d3pticas Hipotesis 0,44 0,91 UPValenciaX-FCO201x-2T2016 precision 0,91 11bis 0,95 0,94 0,51 10bis 0,96 0,72 0,89 0,97 9bis 0,88 0,94 0,89 0,82 8bis 0,83 0,91 0,43 0,90 7bis 0,53 0,92 0,93 0,88 6bis 0,72 0,53 0,94 0,86 5bis 0,87 0,93 0,82 0,99 4bis 0,94 0,84 0,97 0,96 3bis 0,73 0,47 0,94 0,53 11 0,96 recall 0,90 0,97 10 0,96 0,94 0,97 0,81 9 0,98 0,46 0,86 0,79 8 0,79 0,91 0,45 0,98 7 0,53 0,92 0,79 0,94 6 0,83 0,94 0,89 0,98 5 0,93 0,92 0,83 0,44 4 0,94 0,86 0,83 0,94 3 0,81 0,94 0,96 0,86 2 0,97 0,94 0,49 0,43 1 0,45 0,50 0,47 f1-score Hipotesis 0,55 Fundamentos de Comunicaciones \u00d3pticas precision UPValenciaX-FCO201x-2T2017 recall 0,94 11bis 0,92 10bis 0,94 0,87 9bis 0,90 0,89 0,48 8bis 0,94 0,88 0,79 7bis 0,51 0,91 0,96 6bis 0,87 0,53 0,89 5bis 0,94 0,75 0,76 4bis 0,85 0,96 0,98 3bis 0,89 0,85 0,91 11 0,97 0,82 0,89 0,96 10 0,94 0,91 0,94 0,81 9 0,94 0,93 0,85 0,47 8 0,85 0,94 0,46 0,89 7 0,47 0,87 0,91 0,94 6 0,91 0,51 0,94 0,97 5 0,89 0,78 0,94 0,83 4 0,92 0,89 0,78 0,95 3 0,76 0,88 0,94 0,52 2 0,90 0,85 0,94 0,46 1 0,44 0,94 0,93 f1-score Hipotesis 0,43 0,51 0,88 Fundamentos de Comunicaciones \u00d3pticas precision 0,53 0,48 UPValenciaX-FCO201x-2T2018 recall 0,81 3bis 0,94 0,89 0,92 11 0,79 0,97 0,96 10 0,47 0,90 0,49 9 f1-score 0,89 Fundamentos de Comunicaciones \u00d3pticas 8 UPValenciaX-FCO201x-2T2019 0,43 0,92 7 11bis 0,77 0,91 6 10bis 0,92 9bis 5 0,85 0,82 0,92 8bis 4 0,93 0,50 0,89 0,80 7bis 3 0,95 0,78 0,98 0,93 6bis 2 0,93 0,94 0,46 0,94 0,91 1 0,49 5bis 0,41 0,73 4bis Hipotesis 0,96 0,84 precision 0,95 0,82 0,88 0,50 0,90 0,81 0,50 0,91 0,50 0,92 recall 408 0,95 7 0,86 0,50 8 0,49 0,85 9 0,85 0,99 10 0,91 0,90 11 0,94 0,91 3bis 0,94 0,97 4bis 0,85 0,81 5bis 0,94 0,97 6bis 0,94 0,89 7bis 0,87 0,51 8bis 0,49 0,93 9bis 0,96 0,96 10bis 0,94 0,97 11bis 0,93 Anexo 5 0,84 6 0,86 0,89 5 0,92 0,94 4 0,92 0,44 3 0,81 0,46 2 0,96 f1-score 1 0,42 FlashDiet: Aprende a comer sano Hipotesis 0,49 0,94 UPValenciaX-FDIET101x-2T2017 precision 0,97 11bis 0,92 0,95 0,54 10bis 0,88 0,87 0,94 0,89 9bis 0,90 0,92 0,89 0,85 8bis 0,87 0,95 0,49 0,95 7bis 0,55 0,87 0,92 0,87 6bis 0,77 0,52 0,94 0,80 5bis 0,94 0,95 0,93 0,92 4bis 0,86 0,78 0,86 0,93 3bis 0,88 0,49 0,93 0,49 11 0,94 recall 0,89 0,91 10 0,94 0,90 0,96 0,84 9 0,94 0,52 0,84 0,81 8 0,92 0,89 0,46 0,98 7 0,49 0,89 0,83 0,93 6 0,74 0,98 0,96 0,89 5 0,93 0,95 0,85 0,50 4 0,94 0,88 0,92 0,94 3 0,77 0,96 0,94 0,80 2 0,94 0,91 0,46 0,44 1 0,46 0,43 0,47 f1-score Hipotesis 0,51 FlashDiet: Aprende a comer sano precision UPValenciaX-FDIET101x-3T2017 recall 0,96 11bis 0,89 10bis 0,95 0,83 9bis 0,92 0,89 0,51 8bis 0,94 0,94 0,78 7bis 0,42 0,82 0,94 6bis 0,81 0,48 0,90 5bis 0,94 0,84 0,81 4bis 0,81 0,91 0,97 3bis 0,82 0,90 0,94 11 0,94 0,75 0,91 0,95 10 0,94 0,94 0,89 0,90 9 0,94 0,95 0,92 0,48 8 0,93 0,94 0,50 0,84 7 0,46 0,89 0,78 0,97 6 0,82 0,50 0,92 0,87 5 0,87 0,85 0,92 0,75 4 0,95 0,98 0,90 0,94 3 0,84 0,94 0,98 0,47 2 0,94 0,81 0,93 0,51 1 0,49 0,93 0,94 f1-score Hipotesis 0,47 0,48 0,90 FlashDiet: Aprende a comer sano precision 0,50 0,45 UPValenciaX-FDIET101x-3T2018 recall 0,75 3bis 0,94 0,96 0,89 11 0,84 0,88 0,92 10 0,52 0,91 0,53 9 f1-score 0,94 Fundamentos de Mec\u00e1nica 8 UPValenciaX-FFI101.1x-1T2015 0,43 0,89 7 11bis 0,84 0,92 6 10bis 0,89 9bis 5 0,94 0,84 0,94 8bis 4 0,98 0,43 0,90 0,76 7bis 3 0,94 0,86 0,99 0,92 6bis 2 0,93 0,93 0,44 0,80 0,85 1 0,47 5bis 0,45 0,72 4bis Hipotesis 0,92 0,79 precision 0,96 0,95 0,86 0,55 0,92 0,76 0,50 0,94 0,45 0,92 recall 409 0,94 7 0,82 0,42 8 0,45 0,88 9 0,88 0,90 10 0,94 0,98 11 0,94 0,91 3bis 0,94 0,86 4bis 0,85 0,80 5bis 0,86 0,96 6bis 0,97 0,92 7bis 0,80 0,47 8bis 0,45 0,91 9bis 0,88 0,89 10bis 0,95 0,96 11bis 0,91 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,98 6 0,90 0,75 5 0,88 0,94 4 0,87 0,50 3 0,87 0,47 2 0,94 f1-score 1 0,42 Fundamentos de Mec\u00e1nica Hipotesis 0,41 0,95 UPValenciaX-FFI101.1x-2T2016 precision 0,93 11bis 0,96 0,97 0,45 10bis 0,94 0,75 0,94 0,93 9bis 0,89 0,94 0,96 0,78 8bis 0,93 0,98 0,49 0,91 7bis 0,47 0,93 0,82 0,89 6bis 0,74 0,47 0,94 0,78 5bis 0,93 0,96 0,86 0,94 4bis 0,97 0,75 0,91 0,92 3bis 0,79 0,51 0,98 0,51 11 0,92 recall 0,94 0,91 10 0,97 0,98 0,93 0,98 9 0,90 0,51 0,95 0,79 8 0,87 0,96 0,48 0,94 7 0,50 0,79 0,81 0,93 6 0,74 0,94 0,98 0,93 5 0,90 0,83 0,83 0,53 4 0,94 0,80 0,83 0,87 3 0,86 0,97 0,93 0,83 2 0,96 0,94 0,42 0,49 1 0,53 0,52 0,41 f1-score Hipotesis 0,49 Fundamentos de Mec\u00e1nica precision UPValenciaX-FFI101.1x-2T2017 recall 0,94 11bis 0,98 10bis 0,90 0,90 9bis 0,96 0,94 0,48 8bis 0,85 0,96 0,76 7bis 0,45 0,86 0,93 6bis 0,80 0,50 0,90 5bis 0,90 0,79 0,86 4bis 0,85 0,94 0,93 3bis 0,83 0,91 0,92 11 0,92 0,74 0,94 0,94 10 0,97 0,94 0,93 0,95 9 0,98 0,96 0,94 0,43 8 0,86 0,89 0,50 0,90 7 0,51 0,83 0,84 0,91 6 0,85 0,52 0,88 0,94 5 0,87 0,86 0,87 0,81 4 0,88 0,90 0,92 0,93 3 0,78 0,94 0,96 0,48 2 0,92 0,82 0,94 0,44 1 0,47 0,94 0,91 f1-score Hipotesis 0,43 0,55 0,90 Fundamentos de Mec\u00e1nica precision 0,51 0,51 UPValenciaX-FFI101.1x-2T2018 recall 0,88 3bis 0,94 0,99 0,94 11 0,86 0,93 0,90 10 0,47 0,94 0,53 9 f1-score 0,98 Fundamentos de Mec\u00e1nica 8 UPValenciaX-FFI101.1x-2T2019 0,42 0,99 7 11bis 0,77 0,94 6 10bis 0,89 9bis 5 0,88 0,99 0,88 8bis 4 0,98 0,48 0,92 0,86 7bis 3 0,96 0,90 0,94 0,92 6bis 2 0,91 0,96 0,47 0,84 0,87 1 0,47 5bis 0,44 0,77 4bis Hipotesis 0,94 0,90 precision 0,92 0,79 0,84 0,52 0,94 0,84 0,45 0,97 0,47 0,94 recall 410 0,87 8 0,49 0,88 9 0,90 0,90 10 0,94 0,91 11 0,94 0,95 3bis 0,94 0,96 4bis 0,78 0,95 5bis 0,95 0,90 6bis 0,88 0,84 7bis 0,81 0,44 8bis 0,53 0,96 9bis 0,92 0,92 10bis 0,87 0,96 11bis 0,94 Anexo 5 0,90 7 0,42 0,89 6 0,83 0,90 5 0,95 0,99 4 0,87 0,52 3 0,85 0,51 2 0,94 f1-score 1 0,45 Fundamentos de electromagnetismo Hipotesis 0,49 0,92 UPValenciaX-FFI101.2x-1T2015 precision 0,88 11bis 0,88 0,94 0,54 10bis 0,97 0,79 0,93 0,90 9bis 0,91 0,91 0,86 0,89 8bis 0,87 0,91 0,46 0,88 7bis 0,53 0,95 0,84 0,94 6bis 0,77 0,50 0,87 0,82 5bis 0,97 0,93 0,97 0,94 4bis 0,97 0,72 0,93 0,92 3bis 0,80 0,51 0,94 0,55 11 0,94 recall 0,94 0,96 10 0,94 0,95 0,94 0,96 9 0,99 0,43 0,84 0,86 8 0,80 0,99 0,50 0,85 7 0,49 0,77 0,80 0,97 6 0,88 0,89 0,96 0,88 5 0,94 0,98 0,94 0,50 4 0,94 0,79 0,79 0,94 3 0,73 0,94 0,98 0,83 2 0,97 0,90 0,49 0,52 1 0,47 0,47 0,44 f1-score Hipotesis 0,53 Fundamentos de electromagnetismo precision UPValenciaX-FFI101.2x-2T2016 recall 0,95 11bis 0,89 10bis 0,94 0,84 9bis 0,93 0,94 0,52 8bis 0,92 0,88 0,88 7bis 0,51 0,86 0,90 6bis 0,88 0,46 0,94 5bis 0,99 0,82 0,91 4bis 0,83 0,95 0,94 3bis 0,92 0,91 0,95 11 0,96 0,76 0,95 0,99 10 0,97 0,90 0,90 0,96 9 0,91 0,98 0,90 0,51 8 0,94 0,97 0,43 0,83 7 0,48 0,89 0,88 0,94 6 0,78 0,50 0,89 0,92 5 0,91 0,89 0,97 0,73 4 0,89 0,97 0,76 0,94 3 0,77 0,94 0,91 0,48 2 0,95 0,72 0,94 0,49 1 0,43 0,90 0,98 f1-score Hipotesis 0,48 0,51 0,86 Fundamentos de electromagnetismo precision 0,52 0,46 UPValenciaX-FFI101.2x-2T2017 recall 0,83 3bis 0,92 0,98 0,99 11 0,78 0,94 0,94 10 0,51 0,89 0,43 9 f1-score 0,83 Fundamentos de electromagnetismo 8 UPValenciaX-FFI101.2x-2T2018 0,44 0,94 7 11bis 0,91 0,97 6 10bis 0,94 9bis 5 0,86 0,87 0,88 8bis 4 0,90 0,47 0,86 0,89 7bis 3 0,92 0,82 0,94 0,90 6bis 2 0,91 0,94 0,48 0,92 0,95 1 0,54 5bis 0,44 0,77 4bis Hipotesis 0,94 0,82 precision 0,90 0,93 0,85 0,47 0,90 0,83 0,53 0,95 0,51 0,93 recall 411 0,85 8 0,47 0,87 9 0,88 0,99 10 0,89 0,94 11 0,94 0,94 3bis 0,94 0,93 4bis 0,80 0,91 5bis 0,93 0,92 6bis 0,91 0,86 7bis 0,75 0,44 8bis 0,48 0,95 9bis 0,87 0,98 10bis 0,92 0,92 11bis 0,96 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,96 7 0,48 0,88 6 0,79 0,86 5 0,93 0,95 4 0,98 0,52 3 0,86 0,51 2 0,99 f1-score 1 0,50 Fundamentos de electromagnetismo Hipotesis 0,50 0,94 UPValenciaX-FFI101.2x-2T2019 precision 0,91 11bis 0,82 0,98 0,48 10bis 0,96 0,73 0,97 0,88 9bis 0,90 0,94 0,99 0,78 8bis 0,88 0,92 0,45 0,97 7bis 0,48 0,94 0,89 0,90 6bis 0,81 0,53 0,90 0,82 5bis 0,88 0,94 0,89 0,88 4bis 0,94 0,83 0,92 0,97 3bis 0,73 0,46 0,98 0,46 11 0,94 recall 0,98 0,89 10 0,94 0,88 0,89 0,86 9 0,94 0,47 0,96 0,89 8 0,89 0,99 0,44 0,99 7 0,47 0,76 0,79 0,91 6 0,78 0,98 0,94 0,93 5 0,90 0,96 0,95 0,53 4 0,96 0,86 0,91 0,94 3 0,84 0,88 0,94 0,83 2 0,90 0,92 0,43 0,52 1 0,55 0,49 0,45 f1-score Hipotesis 0,54 C\u00f3mo implantar grupos de mejora de procesos precision UPValenciaX-GM201x-1T2017 recall 0,94 11bis 0,89 10bis 0,94 0,92 9bis 0,94 0,97 0,47 8bis 0,86 0,89 0,91 7bis 0,46 0,96 0,98 6bis 0,94 0,47 0,93 5bis 0,94 0,75 0,77 4bis 0,88 0,94 0,92 3bis 0,87 0,87 0,91 11 0,94 0,73 0,96 0,92 10 0,94 0,90 0,92 0,86 9 0,89 0,94 0,94 0,53 8 0,84 0,91 0,43 0,87 7 0,46 0,83 0,84 0,93 6 0,79 0,50 0,92 0,96 5 0,92 0,78 0,94 0,89 4 0,90 0,89 0,81 0,97 3 0,87 0,94 0,90 0,44 2 0,91 0,88 0,94 0,52 1 0,47 0,97 0,92 f1-score Hipotesis 0,45 0,45 0,95 C\u00f3mo implantar grupos de mejora de procesos precision 0,51 0,44 UPValenciaX-GM201x-2T2015 recall 0,83 3bis 0,93 0,95 0,95 11 0,78 0,91 0,94 10 0,48 0,92 0,52 9 f1-score 0,90 C\u00f3mo implantar grupos de mejora de procesos 8 UPValenciaX-GM201x-2T2016 0,50 0,94 7 11bis 0,75 0,94 6 10bis 0,87 9bis 5 0,94 0,95 0,96 8bis 4 0,89 0,47 0,85 0,89 7bis 3 0,90 0,80 0,94 0,94 6bis 2 0,93 0,93 0,51 0,91 0,89 1 0,55 5bis 0,42 0,73 4bis Hipotesis 0,97 0,90 precision 0,89 0,97 0,74 0,53 0,94 0,89 0,47 0,92 0,49 0,93 recall 412 0,99 10 0,97 0,93 11 0,89 0,90 3bis 0,95 0,83 4bis 0,91 0,89 5bis 0,83 0,95 6bis 0,93 0,79 7bis 0,86 0,48 8bis 0,50 0,86 9bis 0,99 0,94 10bis 0,95 0,95 11bis 0,89 Anexo 5 0,47 9 0,94 0,84 8 0,90 0,88 7 0,49 0,85 6 0,81 0,74 5 0,91 0,89 4 0,93 0,50 3 0,76 0,46 2 0,94 f1-score 1 0,47 C\u00f3mo implantar grupos de mejora de procesos Hipotesis 0,45 0,87 UPValenciaX-GM201x-2T2017 precision 0,94 11bis 0,95 0,89 0,50 10bis 0,92 0,79 0,94 0,94 9bis 0,87 0,94 0,85 0,79 8bis 0,95 0,96 0,47 0,96 7bis 0,49 0,94 0,91 0,96 6bis 0,84 0,46 0,88 0,75 5bis 0,94 0,93 0,91 0,93 4bis 0,87 0,78 0,97 0,94 3bis 0,88 0,55 0,95 0,55 11 0,96 recall 0,98 0,99 10 0,89 0,94 0,92 0,93 9 0,91 0,51 0,92 0,85 8 0,88 0,90 0,47 0,86 7 0,54 0,87 0,77 0,94 6 0,87 0,90 0,86 0,90 5 0,94 0,89 0,99 0,47 4 0,92 0,74 0,92 0,88 3 0,73 0,87 0,99 0,89 2 0,89 0,96 0,43 0,46 1 0,48 0,43 0,49 f1-score Hipotesis 0,47 C\u00f3mo implantar grupos de mejora de procesos precision UPValenciaX-GM201x-2T2019 recall 0,94 11bis 0,92 10bis 0,91 0,96 9bis 0,97 0,94 0,48 8bis 0,94 0,88 0,86 7bis 0,48 0,91 0,90 6bis 0,81 0,50 0,94 5bis 0,96 0,83 0,93 4bis 0,97 0,91 0,97 3bis 0,83 0,98 0,98 11 0,94 0,79 0,93 0,95 10 0,98 0,92 0,95 0,82 9 0,89 0,91 0,88 0,45 8 0,94 0,98 0,48 0,88 7 0,51 0,84 0,88 0,94 6 0,79 0,55 0,87 0,92 5 0,90 0,78 0,98 0,79 4 0,92 0,94 0,84 0,96 3 0,84 0,94 0,94 0,48 2 0,97 0,78 0,96 0,45 1 0,46 0,89 0,94 f1-score Hipotesis 0,48 0,45 0,81 C\u00f3mo implantar grupos de mejora de procesos precision 0,46 0,45 UPValenciaX-GM201x-2T_2018 recall 0,73 3bis 0,90 0,97 0,94 11 0,90 0,96 0,92 10 0,46 0,93 0,46 9 f1-score 0,94 Gesti\u00f3n participativa (High Involvement Work Practices) 8 UPValenciaX-GP201x-1T2017 0,42 0,94 7 11bis 0,86 0,94 6 10bis 0,94 9bis 5 0,89 0,94 0,94 8bis 4 0,89 0,48 0,85 0,81 7bis 3 0,92 0,94 0,94 0,94 6bis 2 0,95 0,91 0,46 0,91 0,81 1 0,52 5bis 0,42 0,74 4bis Hipotesis 0,91 0,95 precision 0,97 0,95 0,86 0,47 0,94 0,82 0,51 0,96 0,51 0,87 recall 413 0,94 11 0,99 0,94 3bis 0,92 0,96 4bis 0,88 0,97 5bis 0,93 0,87 6bis 0,88 0,81 7bis 0,90 0,48 8bis 0,45 0,88 9bis 0,91 0,95 10bis 0,94 0,90 11bis 0,93 Machine Learning y predicciones para la mejora del rendimiento en MOOC 0,82 10 0,89 0,53 9 0,93 0,76 8 0,89 0,95 7 0,43 0,91 6 0,87 0,82 5 0,86 0,89 4 0,81 0,46 3 0,83 0,51 2 0,89 f1-score 1 0,43 Gesti\u00f3n participativa (High Involvement Work Practices) Hipotesis 0,47 0,91 UPValenciaX-GP201x-1T2017_2 precision 0,91 11bis 0,96 0,99 0,48 10bis 0,88 0,89 0,90 0,94 9bis 0,93 0,86 0,94 0,89 8bis 0,81 0,94 0,46 0,94 7bis 0,45 0,94 0,86 0,82 6bis 0,84 0,51 0,89 0,76 5bis 0,94 0,94 0,88 0,94 4bis 0,96 0,81 0,92 0,97 3bis 0,77 0,53 0,96 0,53 11 0,94 recall 0,94 0,98 10 0,94 0,91 0,92 0,91 9 0,87 0,46 0,87 0,86 8 0,84 0,94 0,48 0,88 7 0,55 0,77 0,84 0,91 6 0,78 0,90 0,97 0,95 5 0,94 0,93 0,95 0,47 4 0,88 0,78 0,93 0,93 3 0,76 0,97 0,92 0,83 2 0,89 0,91 0,50 0,51 1 0,52 0,49 0,47 f1-score Hipotesis 0,54 Gesti\u00f3n participativa (High Involvement Work Practices) precision UPValenciaX-GP201x-1T2019 recall 0,94 11bis 0,90 10bis 0,94 0,97 9bis 0,94 0,90 0,45 8bis 0,94 0,90 0,82 7bis 0,49 0,85 0,94 6bis 0,84 0,54 0,89 5bis 0,94 0,75 0,87 4bis 0,92 0,91 0,96 3bis 0,88 0,89 0,96 11 0,97 0,79 0,92 0,94 10 0,94 0,97 0,92 0,86 9 0,94 0,91 0,93 0,48 8 0,87 0,91 0,47 0,79 7 0,42 0,91 0,76 0,99 6 0,93 0,54 0,90 0,91 5 0,94 0,86 0,91 0,76 4 0,91 0,95 0,88 0,97 3 0,81 0,91 0,94 0,51 2 0,94 0,87 0,95 0,52 1 0,48 0,99 0,94 f1-score Hipotesis 0,47 0,48 0,95 Gesti\u00f3n participativa (High Involvement Work Practices) precision 0,46 0,48 UPValenciaX-GP201x-1T_2018 recall 0,79 3bis 0,94 0,94 0,97 11 0,79 0,93 0,94 10 0,47 0,97 0,48 9 f1-score 0,84 Gesti\u00f3n participativa (High Involvement Work Practices) 8 UPValenciaX-GP201x-3T2015 0,50 0,94 7 11bis 0,82 0,94 6 10bis 0,88 9bis 5 0,99 0,98 0,90 8bis 4 0,88 0,48 0,92 0,87 7bis 3 0,93 0,83 0,93 0,87 6bis 2 0,94 0,94 0,43 0,87 0,84 1 0,49 5bis 0,46 0,81 4bis Hipotesis 0,97 0,80 precision 0,88 0,85 0,76 0,46 0,89 0,84 0,50 0,94 0,47 0,94 recall 414 0,89 11 0,94 0,93 3bis 0,94 0,82 4bis 0,82 0,95 5bis 0,94 0,92 6bis 0,98 0,82 7bis 0,75 0,44 8bis 0,46 0,86 9bis 0,83 0,93 10bis 0,94 0,94 11bis 0,92 Anexo 5 0,81 10 0,88 0,50 9 0,96 0,80 8 0,90 0,95 7 0,44 0,90 6 0,76 0,78 5 0,88 0,94 4 0,81 0,44 3 0,78 0,44 2 0,94 f1-score 1 0,51 Gesti\u00f3n participativa (High Involvement Work Practices) Hipotesis 0,48 0,95 UPValenciaX-GP201x-3T2016 precision 0,92 11bis 0,97 0,94 0,53 10bis 0,97 0,86 0,95 0,94 9bis 0,91 0,91 0,94 0,77 8bis 0,94 0,94 0,48 0,90 7bis 0,45 0,89 0,89 0,90 6bis 0,81 0,46 0,90 0,83 5bis 0,95 0,95 0,93 0,94 4bis 0,97 0,80 0,86 0,97 3bis 0,82 0,51 0,97 0,54 11 0,97 recall 0,96 0,91 10 0,89 0,88 0,98 0,96 9 0,94 0,52 0,94 0,90 8 0,91 0,94 0,41 0,93 7 0,51 0,75 0,79 0,94 6 0,83 0,95 0,96 0,91 5 0,96 0,95 0,89 0,51 4 0,94 0,87 0,82 0,90 3 0,76 0,85 0,97 0,77 2 0,93 0,91 0,41 0,49 1 0,53 0,47 0,50 f1-score Hipotesis 0,50 Upper-Intermediate English: Business precision UPValenciaX-HIENGLISH201.1x3T2018 recall 0,93 11bis 0,94 10bis 0,94 0,84 9bis 0,94 0,89 0,47 8bis 0,94 0,94 0,87 7bis 0,50 0,89 0,94 6bis 0,82 0,49 0,97 5bis 0,94 0,83 0,85 4bis 0,94 0,94 0,96 3bis 0,90 0,86 0,93 11 0,90 0,75 0,94 10 0,94 0,96 0,97 9 0,93 0,92 0,44 8 0,94 0,94 0,88 7 0,44 0,84 0,94 6 0,92 0,45 0,92 5 0,93 0,73 0,87 4 0,95 0,93 0,94 3 0,80 0,91 0,48 2 0,89 0,88 0,53 1 0,50 0,98 f1-score Hipotesis 0,46 0,48 Upper-Intermediate English: Business precision 0,54 0,94 UPValenciaX-HIENGLISH201.1x3T2018a recall 0,90 11bis 0,98 10bis 0,94 0,47 9bis 0,91 0,83 8bis 0,88 0,94 7bis 0,51 0,94 6bis 0,86 0,80 5bis 0,91 0,94 4bis 0,87 0,93 3bis 0,90 0,95 11 0,90 0,86 10 0,89 0,45 9 0,95 0,78 8 0,94 0,89 7 0,50 0,98 6 0,88 0,86 5 0,94 0,94 4 0,83 0,48 3 0,81 0,45 2 0,93 f1-score 1 0,44 Upper-Intermediate English: Modern Life Hipotesis 0,43 UPValenciaX-HIENGLISH201.2x3T2018 precision 415 0,53 0,47 0,94 0,85 0,92 0,98 0,88 0,50 0,92 0,94 0,96 0,94 0,74 0,91 0,92 0,74 0,47 0,95 0,94 0,93 0,94 Machine Learning y predicciones para la mejora del rendimiento en MOOC recall 0,96 11bis 0,95 10bis 0,89 0,47 9bis 0,94 0,82 8bis 0,94 0,94 7bis 0,49 0,89 6bis 0,82 0,92 5bis 0,91 0,99 4bis 0,88 0,94 3bis 0,86 0,88 11 0,96 0,96 10 0,98 0,51 9 0,90 0,83 8 0,91 0,94 7 0,50 0,92 6 0,86 0,78 5 0,95 0,98 4 0,89 0,49 3 0,88 0,46 2 0,97 f1-score 1 0,41 Upper-Intermediate English: Modern Life Hipotesis 0,46 0,94 UPValenciaX-HIENGLISH201.2x3T2018a precision 0,94 11bis 0,83 0,91 0,49 10bis 0,94 0,83 0,94 0,92 9bis 0,87 0,86 0,86 0,73 8bis 0,82 0,98 0,48 0,96 7bis 0,48 0,94 0,95 0,79 6bis 0,86 0,50 0,86 0,86 5bis 0,92 0,90 0,96 0,89 4bis 0,86 0,82 0,80 0,95 3bis 0,74 0,46 0,98 0,45 11 0,94 recall 0,93 0,94 10 0,92 0,94 0,94 0,94 9 0,96 0,44 0,94 0,84 8 0,97 0,98 0,44 0,94 7 0,55 0,82 0,77 0,94 6 0,80 0,94 0,94 0,94 5 0,89 0,98 0,96 0,46 4 0,94 0,76 0,92 0,94 3 0,77 0,89 0,92 0,78 2 0,89 0,99 0,42 0,52 1 0,52 0,51 0,42 f1-score Hipotesis 0,49 Upper-Intermediate English: Globalization precision UPValenciaX-HIENGLISH201.3x1T2019 recall 0,94 11bis 0,93 10bis 0,97 0,95 9bis 0,94 0,94 0,50 8bis 0,91 0,93 0,77 7bis 0,48 0,97 0,97 6bis 0,82 0,47 0,91 5bis 0,96 0,83 0,79 4bis 0,85 0,94 0,93 3bis 0,80 0,94 0,96 11 0,94 0,90 0,94 10 0,94 0,94 0,84 9 0,98 0,95 0,44 8 0,89 0,88 0,82 7 0,50 0,85 0,94 6 0,89 0,49 0,91 5 0,96 0,85 0,83 4 0,90 0,94 0,94 3 0,85 0,92 0,52 2 0,98 0,82 0,51 1 0,43 0,93 f1-score Hipotesis 0,44 0,50 0,93 Upper-Intermediate English: Globalization precision 0,46 0,89 UPValenciaX-HIENGLISH201.3x3T2018 recall 0,93 11bis 0,45 10bis 0,89 9bis 0,92 8bis 0,92 7bis 0,78 6bis 0,93 5bis 0,90 4bis 0,91 3bis 0,98 11 0,44 10 0,83 9 0,97 8 0,94 7 0,74 6 0,97 5 0,49 4 0,45 3 f1-score 2 Upper-Intermediate English: Technology Today 1 UPValenciaX-HIENGLISH201.4x1T2019 Hipotesis 416 0,51 0,46 0,46 0,91 0,89 0,84 0,87 0,94 0,91 0,98 0,89 0,80 0,77 0,47 0,48 0,84 0,88 0,94 0,94 0,94 0,94 0,98 0,96 0,74 0,79 0,93 0,94 0,87 0,87 0,83 0,86 0,50 0,47 0,86 0,88 0,93 0,95 0,88 0,92 Anexo 5 precision 0,52 11bis recall 0,97 0,92 10bis 0,97 0,87 0,94 0,96 0,92 9bis 0,94 0,43 0,94 0,93 0,86 8bis 0,95 0,94 7bis 0,44 0,83 0,98 6bis 0,83 0,50 0,87 5bis 0,94 0,48 0,89 4bis 0,92 0,88 0,94 3bis 0,97 0,88 0,93 11 0,97 0,91 0,93 10 0,96 0,99 0,46 9 0,96 0,89 0,85 8 0,94 0,91 0,91 7 0,48 0,74 0,95 6 0,91 0,90 0,75 5 0,94 0,91 0,96 4 0,97 0,90 0,50 3 0,89 0,91 0,50 2 0,94 0,96 f1-score 1 0,44 0,89 Upper-Intermediate English: Technology Today Hipotesis 0,43 0,94 UPValenciaX-HIENGLISH201.4x3T2018 precision 0,81 11bis 0,84 10bis 0,94 0,46 9bis 0,90 0,50 8bis 0,86 0,77 7bis 0,48 0,80 6bis 0,91 0,95 5bis 0,92 0,95 4bis 0,84 0,93 3bis 0,97 0,99 11 0,89 0,80 10 0,94 0,82 9 0,94 0,97 8 0,85 0,92 7 0,50 0,50 6 0,86 0,46 5 0,94 0,45 4 0,88 0,49 3 0,84 recall 2 0,90 f1-score 1 0,47 Introducci\u00f3n a la Gesti\u00f3n de Proyectos Hipotesis 0,43 0,97 UPValenciax-IGP101.x-2T2016 precision 0,88 11bis 0,82 0,93 0,55 10bis 0,94 0,86 0,98 0,94 9bis 0,94 0,86 0,91 0,83 8bis 0,86 0,91 0,45 0,87 7bis 0,55 0,90 0,78 0,87 6bis 0,84 0,46 0,94 0,84 5bis 0,95 0,97 0,98 0,95 4bis 0,91 0,80 0,80 0,97 3bis 0,73 0,54 0,99 0,51 11 0,99 recall 0,94 0,88 10 0,90 0,91 0,94 0,81 9 0,91 0,48 0,88 0,78 8 0,81 0,98 0,46 0,90 7 0,48 0,80 0,82 0,94 6 0,79 0,92 0,94 0,89 5 0,94 0,89 0,82 0,48 4 0,98 0,84 0,90 0,94 3 0,87 0,97 0,94 0,88 2 0,95 0,94 0,51 0,51 1 0,53 0,48 0,45 f1-score Hipotesis 0,46 0,96 Introducci\u00f3n a la Gesti\u00f3n de Proyectos precision 0,94 UPValenciax-IGP101.x-2T2017 recall 0,84 11bis 0,48 10bis 0,85 9bis 0,95 8bis 0,97 7bis 0,82 6bis 0,96 5bis 0,96 4bis 0,94 3bis 0,88 11 0,52 10 0,85 9 0,87 8 0,87 7 0,77 6 0,91 5 0,45 4 0,50 3 f1-score 2 Introducci\u00f3n a la Gesti\u00f3n de Proyectos 1 UPValenciax-IGP101.x-2T2018 Hipotesis 417 0,46 0,55 0,46 0,98 0,93 0,81 0,78 0,91 0,94 0,93 0,93 0,85 0,93 0,48 0,48 0,83 0,92 0,88 0,94 0,94 0,91 0,89 0,89 0,73 0,88 0,99 0,82 0,94 0,89 0,75 0,88 0,52 0,48 0,97 0,97 0,95 0,97 0,94 0,92 Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,48 11bis recall 0,89 0,91 10bis 0,94 0,87 0,96 0,93 0,88 9bis 0,98 0,48 0,94 0,97 0,88 8bis 0,83 0,92 7bis 0,43 0,94 0,91 6bis 0,84 0,55 0,89 5bis 0,98 0,49 0,98 4bis 0,85 0,81 0,94 3bis 0,91 0,84 0,94 11 0,94 0,87 0,95 10 0,90 0,87 0,45 9 0,95 0,86 0,78 8 0,95 0,92 0,98 7 0,45 0,90 0,89 6 0,80 0,86 0,85 5 0,93 0,94 0,88 4 0,96 0,96 0,51 3 0,86 0,93 0,51 2 0,93 0,91 f1-score 1 0,51 0,86 Introducci\u00f3n a la Gesti\u00f3n de Proyectos Hipotesis 0,46 0,87 UPValenciax-IGP101.x-2T2019 precision 0,96 11bis 0,86 10bis 0,90 0,47 9bis 0,94 0,45 8bis 0,99 0,85 7bis 0,44 0,78 6bis 0,89 0,89 5bis 0,92 0,92 4bis 0,84 0,94 3bis 0,93 0,89 11 0,96 0,73 10 0,92 0,75 9 0,92 0,94 8 0,85 0,93 7 0,48 0,49 6 0,80 0,44 5 0,95 0,48 4 0,88 0,44 3 0,79 recall 2 0,89 f1-score 1 0,45 Introducci\u00f3n a la Gesti\u00f3n de Proyectos Hipotesis 0,50 0,92 UPValenciax-IGP101.x-T32015 precision 0,94 11bis 0,95 0,96 0,50 10bis 0,93 0,87 0,95 0,94 9bis 0,91 0,95 0,86 0,76 8bis 0,88 0,89 0,45 0,94 7bis 0,51 0,98 0,77 0,84 6bis 0,82 0,47 0,88 0,77 5bis 0,94 0,94 0,87 0,97 4bis 0,99 0,82 0,88 0,94 3bis 0,80 0,54 0,97 0,47 11 0,92 recall 0,94 0,94 10 0,94 0,94 0,95 0,96 9 0,87 0,46 0,88 0,76 8 0,93 0,93 0,44 0,98 7 0,49 0,90 0,80 0,91 6 0,82 0,94 0,99 0,94 5 0,94 0,95 0,94 0,46 4 0,98 0,89 0,86 0,94 3 0,76 0,92 0,99 0,74 2 0,94 0,95 0,44 0,51 1 0,54 0,51 0,49 f1-score Hipotesis 0,54 0,94 Introducci\u00f3n a la estructura de la materia precision 0,94 UPValenciaX-IQ101.1x-1T2017 recall 0,94 11bis 0,52 10bis 0,82 9bis 0,97 8bis 0,86 7bis 0,77 6bis 0,89 5bis 0,89 4bis 0,87 3bis 0,89 11 0,48 10 0,75 9 0,95 8 0,96 7 0,85 6 0,95 5 0,51 4 0,44 3 f1-score 2 Introducci\u00f3n a la estructura de la materia 1 UPValenciaX-IQ101.1x-1T2018 Hipotesis 418 0,46 0,55 0,43 0,96 0,94 0,76 0,90 0,94 0,91 0,90 0,94 0,82 0,78 0,50 0,50 0,90 0,85 0,94 0,95 0,94 0,94 0,90 0,94 0,84 0,97 0,94 0,87 0,94 0,96 0,79 0,95 0,46 0,43 0,80 0,94 0,94 0,98 0,93 0,91 Anexo 5 precision 0,50 11bis recall 0,92 0,94 10bis 0,94 0,93 0,94 0,99 0,96 9bis 0,95 0,49 0,94 0,93 0,77 8bis 0,86 0,94 7bis 0,44 0,89 0,95 6bis 0,87 0,50 0,78 5bis 0,91 0,49 0,90 4bis 0,91 0,74 0,90 3bis 0,94 0,92 0,91 11 0,90 0,90 0,88 10 0,89 0,94 0,47 9 0,93 0,90 0,89 8 0,85 0,93 0,96 7 0,46 0,77 0,98 6 0,79 0,75 0,77 5 0,86 0,98 0,94 4 0,98 0,92 0,44 3 0,85 0,94 0,50 2 0,92 0,97 f1-score 1 0,46 0,94 Introducci\u00f3n a la estructura de la materia Hipotesis 0,47 0,94 UPValenciaX-IQ101.1x-1T2019 precision 0,93 11bis 0,91 10bis 0,94 0,51 9bis 0,91 0,50 8bis 0,92 0,75 7bis 0,47 0,91 6bis 0,85 0,94 5bis 0,87 0,94 4bis 0,87 0,93 3bis 0,87 0,97 11 0,92 0,81 10 0,92 0,79 9 0,90 0,97 8 0,94 0,93 7 0,43 0,45 6 0,79 0,53 5 0,87 0,53 4 0,93 0,53 3 0,89 recall 2 0,94 f1-score 1 0,42 Introducci\u00f3n a la estructura de la materia Hipotesis 0,48 0,96 UPValenciaX-IQ101.1x-2016_T1 precision 0,91 11bis 0,83 0,89 0,51 10bis 0,94 0,78 0,98 0,94 9bis 0,97 0,94 0,93 0,88 8bis 0,89 0,94 0,50 0,87 7bis 0,48 0,94 0,89 0,93 6bis 0,73 0,46 0,91 0,82 5bis 0,94 0,89 0,82 0,94 4bis 0,95 0,79 0,97 0,91 3bis 0,79 0,49 0,98 0,45 11 0,90 recall 0,92 0,89 10 0,94 0,87 0,94 0,83 9 0,95 0,47 0,84 0,84 8 0,89 0,87 0,46 0,94 7 0,47 0,80 0,84 0,93 6 0,85 0,98 0,94 0,94 5 0,92 0,88 0,84 0,53 4 0,89 0,81 0,78 0,96 3 0,87 0,90 0,97 0,82 2 0,94 0,94 0,44 0,45 1 0,52 0,48 0,48 f1-score Hipotesis 0,55 0,94 Introducci\u00f3n a la estructura de la materia precision 0,88 UPValenciaX-IQ101.1x-2T2015 recall 0,86 11bis 0,52 10bis 0,79 9bis 0,90 8bis 0,83 7bis 0,86 6bis 0,91 5bis 0,98 4bis 0,89 3bis 0,91 11 0,45 10 0,77 9 0,95 8 0,89 7 0,89 6 0,90 5 0,53 4 0,46 3 f1-score 2 Introducci\u00f3n a la estructura de la materia 1 UPValenciaX-IQ101.1x-2T2016 Hipotesis 419 0,45 0,52 0,49 0,90 0,98 0,72 0,82 0,94 0,91 0,94 0,94 0,87 0,76 0,49 0,50 0,84 0,93 0,91 0,94 0,95 0,88 0,90 0,94 0,81 0,84 0,94 0,90 0,92 0,97 0,72 0,84 0,52 0,50 0,81 0,93 0,93 0,94 0,95 0,91 Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,54 11bis recall 0,97 0,98 10bis 0,96 0,94 0,92 0,96 0,87 9bis 0,86 0,45 0,94 0,93 0,87 8bis 0,92 0,87 7bis 0,44 0,96 0,93 6bis 0,92 0,49 0,79 5bis 0,94 0,44 0,98 4bis 0,96 0,89 0,94 3bis 0,91 0,79 0,94 11 0,90 0,94 0,81 10 0,98 0,95 0,45 9 0,91 0,94 0,78 8 0,97 0,83 0,91 7 0,49 0,86 0,85 6 0,91 0,80 0,88 5 0,94 0,99 0,98 4 0,98 0,98 0,43 3 0,90 0,96 0,49 2 0,93 0,94 f1-score 1 0,43 0,90 El enlace qu\u00edmico y las interacciones moleculares Hipotesis 0,44 0,92 UPValenciaX-IQ101.2x-1T2016 precision 0,94 11bis 0,94 10bis 0,92 0,48 9bis 0,92 0,44 8bis 0,97 0,76 7bis 0,50 0,74 6bis 0,83 0,91 5bis 0,94 0,93 4bis 0,84 0,94 3bis 0,86 0,88 11 0,95 0,76 10 0,94 0,79 9 0,89 0,97 8 0,91 0,91 7 0,47 0,45 6 0,84 0,53 5 0,94 0,51 4 0,82 0,45 3 0,89 recall 2 0,94 f1-score 1 0,44 El enlace qu\u00edmico y las interacciones moleculares Hipotesis 0,50 0,92 UPValenciaX-IQ101.2x-1T2017 precision 0,87 11bis 0,90 0,94 0,46 10bis 0,98 0,87 0,99 0,89 9bis 0,94 0,95 0,87 0,81 8bis 0,84 0,99 0,45 0,97 7bis 0,46 0,92 0,95 0,87 6bis 0,81 0,51 0,96 0,88 5bis 0,94 0,94 0,92 0,91 4bis 0,96 0,78 0,94 0,90 3bis 0,78 0,47 0,94 0,54 11 0,92 recall 0,93 0,92 10 0,93 0,94 0,98 0,96 9 0,96 0,50 0,89 0,85 8 0,84 0,94 0,43 0,93 7 0,47 0,91 0,81 0,97 6 0,81 0,94 0,93 0,94 5 0,94 0,85 0,90 0,45 4 0,94 0,79 0,87 0,94 3 0,82 0,94 0,91 0,78 2 0,90 0,93 0,49 0,52 1 0,48 0,46 0,49 f1-score Hipotesis 0,55 0,94 El enlace qu\u00edmico y las interacciones moleculares precision 0,94 UPValenciaX-IQ101.2x-1T2018 recall 0,88 11bis 0,53 10bis 0,92 9bis 0,94 8bis 0,94 7bis 0,82 6bis 0,91 5bis 0,94 4bis 0,94 3bis 0,97 11 0,43 10 0,78 9 0,94 8 0,88 7 0,84 6 0,96 5 0,44 4 0,48 3 f1-score 2 El enlace qu\u00edmico y las interacciones moleculares 1 UPValenciaX-IQ101.2x-1T2019 Hipotesis 420 0,47 0,55 0,47 0,93 0,98 0,84 0,86 0,98 0,88 0,94 0,95 0,77 0,78 0,49 0,46 0,81 0,99 0,90 0,96 0,94 0,90 0,93 0,94 0,84 0,91 0,95 0,87 0,93 0,95 0,87 0,86 0,46 0,43 0,90 0,91 0,87 0,91 0,89 0,94 Anexo 5 precision 0,53 11bis recall 0,94 0,94 10bis 0,95 0,94 0,94 0,88 0,88 9bis 0,93 0,45 0,94 0,94 0,83 8bis 0,97 0,89 7bis 0,45 0,89 0,93 6bis 0,84 0,49 0,92 5bis 0,87 0,50 0,94 4bis 0,80 0,81 0,94 3bis 0,89 0,80 0,89 11 0,91 0,94 0,83 10 0,96 0,94 0,47 9 0,97 0,85 0,77 8 0,94 0,95 0,97 7 0,51 0,78 0,97 6 0,79 0,81 0,81 5 0,90 0,96 0,93 4 0,96 0,94 0,47 3 0,87 0,87 0,52 2 0,89 0,90 f1-score 1 0,47 0,91 El enlace qu\u00edmico y las interacciones moleculares Hipotesis 0,48 0,94 UPValenciaX-IQ101.2x-2T2015 precision 0,94 11bis 0,95 10bis 0,94 0,45 9bis 0,89 0,50 8bis 0,94 0,76 7bis 0,48 0,79 6bis 0,81 0,91 5bis 0,90 0,96 4bis 0,96 0,89 3bis 0,92 0,92 11 0,89 0,88 10 0,94 0,75 9 0,94 0,94 8 0,98 0,92 7 0,46 0,52 6 0,78 0,47 5 0,93 0,49 4 0,81 0,46 3 0,93 recall 2 0,95 f1-score 1 0,48 Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos Hipotesis 0,42 0,97 UPValenciaX-IQ101.3x-2T2016 precision 0,89 11bis 0,86 0,94 0,55 10bis 0,93 0,76 0,94 0,92 9bis 0,90 0,90 0,94 0,74 8bis 0,83 0,94 0,47 0,93 7bis 0,54 0,88 0,91 0,82 6bis 0,89 0,48 0,92 0,81 5bis 0,94 0,88 0,91 0,93 4bis 0,94 0,86 0,84 0,94 3bis 0,79 0,53 0,90 0,48 11 0,94 recall 0,94 0,93 10 0,94 0,94 0,94 0,95 9 0,98 0,47 0,93 0,78 8 0,82 0,89 0,45 0,84 7 0,52 0,76 0,78 0,89 6 0,85 0,94 0,86 0,94 5 0,94 0,90 0,85 0,50 4 0,90 0,75 0,90 0,92 3 0,74 0,89 0,91 0,79 2 0,93 0,89 0,45 0,49 1 0,48 0,45 0,44 f1-score Hipotesis 0,48 0,95 Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos precision 0,94 UPValenciaX-IQ101.3x-2T2017 recall 0,87 11bis 0,44 10bis 0,83 9bis 0,91 8bis 0,92 7bis 0,86 6bis 0,93 5bis 0,89 4bis 0,87 3bis 0,96 11 0,48 10 0,77 9 0,88 8 0,89 7 0,74 6 0,95 5 0,45 4 0,45 3 f1-score 2 Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos 1 UPValenciaX-IQ101.3x-2T2018 Hipotesis 421 0,43 0,45 0,42 0,94 0,95 0,77 0,89 0,91 0,97 0,94 0,88 0,81 0,87 0,50 0,48 0,79 0,94 0,94 0,91 0,94 0,90 0,94 0,88 0,82 0,88 0,86 0,98 0,89 0,91 0,88 0,81 0,45 0,50 0,83 0,94 0,91 0,89 0,90 0,98 Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,46 11bis recall 0,97 0,94 10bis 0,94 0,94 0,94 0,93 0,98 9bis 0,92 0,49 0,89 0,94 0,86 8bis 0,90 0,94 7bis 0,46 0,86 0,94 6bis 0,84 0,46 0,80 5bis 0,92 0,49 0,99 4bis 0,95 0,76 0,90 3bis 0,94 0,80 0,88 11 0,94 0,91 0,87 10 0,96 0,94 0,51 9 0,94 0,94 0,80 8 0,88 0,94 0,90 7 0,44 0,75 0,89 6 0,78 0,89 0,82 5 0,99 0,89 0,91 4 0,91 0,91 0,50 3 0,84 0,96 0,52 2 0,96 0,94 f1-score 1 0,48 0,94 Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos Hipotesis 0,50 0,96 UPValenciaX-IQ101.3x-2T2019 precision 0,84 11bis 0,95 10bis 0,90 0,49 9bis 0,91 0,44 8bis 0,92 0,71 7bis 0,45 0,79 6bis 0,89 0,97 5bis 0,95 0,94 4bis 0,98 0,89 3bis 0,87 0,97 11 0,92 0,84 10 0,93 0,88 9 0,88 0,91 8 0,95 0,94 7 0,48 0,54 6 0,76 0,48 5 0,89 0,54 4 0,88 0,44 3 0,88 recall 2 0,94 f1-score 1 0,45 Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos Hipotesis 0,45 0,88 UPValenciaX-IQ101.3x-3T2015 precision 0,89 11bis 0,96 0,89 0,54 10bis 0,94 0,74 0,92 0,89 9bis 0,94 0,94 0,94 0,79 8bis 0,87 0,98 0,51 0,92 7bis 0,47 0,94 0,83 0,85 6bis 0,75 0,51 0,94 0,79 5bis 0,94 0,94 0,84 0,93 4bis 0,86 0,73 0,90 0,94 3bis 0,85 0,50 0,98 0,55 11 0,94 recall 0,93 0,94 10 0,94 0,87 0,93 0,89 9 0,90 0,47 0,91 0,89 8 0,91 0,89 0,42 0,92 7 0,46 0,83 0,91 0,98 6 0,76 0,94 0,94 0,94 5 0,94 0,94 0,87 0,49 4 0,90 0,88 0,78 0,94 3 0,81 0,98 0,97 0,76 2 0,89 0,91 0,41 0,50 1 0,55 0,46 0,49 f1-score Hipotesis 0,48 0,89 Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos precision 0,96 UPValenciaX-IQ101.4x-2T2017 recall 0,94 11bis 0,53 10bis 0,78 9bis 0,87 8bis 0,91 7bis 0,83 6bis 0,91 5bis 0,91 4bis 0,87 3bis 0,96 11 0,48 10 0,87 9 0,94 8 0,94 7 0,75 6 0,98 5 0,46 4 0,45 3 f1-score 2 Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos 1 UPValenciaX-IQ101.4x-2T2018 Hipotesis 422 0,44 0,46 0,50 0,96 0,94 0,76 0,76 0,96 0,87 0,99 0,90 0,78 0,86 0,53 0,51 0,88 0,89 0,88 0,94 0,94 0,91 0,94 0,98 0,81 0,84 0,95 0,90 0,97 0,89 0,73 0,83 0,53 0,49 0,85 0,93 0,93 0,94 0,92 0,94 Anexo 5 precision 0,51 11bis recall 0,93 0,94 10bis 0,95 0,90 0,95 0,94 0,84 9bis 0,91 0,44 0,98 0,94 0,74 8bis 0,85 0,94 7bis 0,45 0,96 0,86 6bis 0,91 0,51 0,89 5bis 0,91 0,49 0,94 4bis 0,88 0,81 0,95 3bis 0,94 0,76 0,95 11 0,89 0,88 0,87 10 0,89 0,94 0,48 9 0,98 0,93 0,88 8 0,83 0,91 0,93 7 0,43 0,89 0,92 6 0,78 0,86 0,78 5 0,94 0,93 0,93 4 0,82 0,94 0,48 3 0,86 0,91 0,48 2 0,91 0,98 f1-score 1 0,46 0,94 Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos Hipotesis 0,48 0,94 UPValenciaX-IQ101.4x-2T2019 precision 0,79 11bis 0,88 10bis 0,99 0,47 9bis 0,96 0,52 8bis 0,94 0,78 7bis 0,50 0,80 6bis 0,94 0,94 5bis 0,87 0,94 4bis 0,92 0,94 3bis 0,86 0,93 11 0,91 0,78 10 0,90 0,83 9 0,94 0,91 8 0,90 0,91 7 0,46 0,46 6 0,78 0,44 5 0,92 0,47 4 0,94 0,47 3 0,86 recall 2 0,94 f1-score 1 0,42 \u00c1cidos y bases: reacciones qu\u00edmicas y aplicaciones Hipotesis 0,41 0,95 UPValenciaX-IQ101.5x-3T2018 precision 0,94 11bis 0,88 0,91 0,55 10bis 0,91 0,77 0,96 0,87 9bis 0,90 0,86 0,88 0,75 8bis 0,82 0,89 0,45 0,97 7bis 0,49 0,86 0,90 0,92 6bis 0,77 0,47 0,93 0,74 5bis 0,94 0,99 0,84 0,92 4bis 0,92 0,75 0,83 0,95 3bis 0,79 0,52 0,95 0,50 11 0,90 recall 0,95 0,96 10 0,89 0,90 0,97 0,91 9 0,99 0,51 0,99 0,83 8 0,89 0,95 0,47 0,98 7 0,46 0,81 0,81 0,99 6 0,81 0,94 0,91 0,91 5 0,94 0,88 0,86 0,51 4 0,90 0,89 0,81 0,93 3 0,83 0,93 0,94 0,90 2 0,94 0,91 0,50 0,47 1 0,54 0,47 0,42 f1-score Hipotesis 0,47 0,97 \u00c1cidos y bases: reacciones qu\u00edmicas y aplicaciones precision 0,94 UPValenciaX-IQ101.5x-3T2018a recall 0,95 11bis 0,47 10bis 0,90 9bis 0,91 8bis 0,88 7bis 0,86 6bis 0,94 5bis 0,92 4bis 0,96 3bis 0,88 11 0,53 10 0,78 9 0,87 8 0,99 7 0,82 6 0,94 5 0,51 4 0,45 3 f1-score 2 Sales: reacciones qu\u00edmicas y aplicaciones 1 UPValenciaX-IQ101.6x-3T2018 Hipotesis 423 0,42 0,46 0,48 0,97 0,94 0,86 0,79 0,97 0,92 0,98 0,90 0,84 0,83 0,45 0,47 0,97 0,93 0,90 0,89 0,96 0,93 0,94 0,96 0,85 0,92 0,87 0,82 0,91 0,92 0,80 0,77 0,52 0,51 0,86 0,89 0,91 0,99 0,94 0,95 Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,48 11bis recall 0,99 0,97 10bis 0,94 0,87 0,94 0,91 0,96 9bis 0,89 0,51 0,96 0,98 0,90 8bis 0,83 0,93 7bis 0,42 0,99 0,98 6bis 0,85 0,52 0,89 5bis 0,97 0,48 0,94 4bis 0,80 0,79 0,97 3bis 0,81 0,90 0,89 11 0,94 0,94 0,85 10 0,94 0,94 0,44 9 0,91 0,91 0,74 8 0,83 0,83 0,94 7 0,46 0,78 0,86 6 0,78 0,79 0,75 5 0,94 0,91 0,97 4 0,85 0,95 0,45 3 0,79 0,90 0,51 2 0,94 0,97 f1-score 1 0,45 0,88 Sales: reacciones qu\u00edmicas y aplicaciones Hipotesis 0,48 0,92 UPValenciaX-IQ101.6x-3T2018a precision 0,88 11bis 0,85 10bis 0,89 0,47 9bis 0,94 0,43 8bis 0,86 0,72 7bis 0,43 0,86 6bis 0,82 0,94 5bis 0,86 0,89 4bis 0,96 0,94 3bis 0,97 0,87 11 0,94 0,74 10 0,90 0,76 9 0,94 0,95 8 0,97 0,97 7 0,43 0,52 6 0,91 0,43 5 0,94 0,54 4 0,83 0,43 3 0,84 recall 2 0,99 f1-score 1 0,46 Sustainability in Architecture: An Interdisciplinary Introduction Hipotesis 0,50 0,94 UPValenciaX-ISA201x-1T2018 precision 0,94 11bis 0,79 0,94 0,50 10bis 0,94 0,81 0,94 0,92 9bis 0,87 0,95 0,87 0,77 8bis 0,89 0,94 0,45 0,89 7bis 0,47 0,95 0,95 0,86 6bis 0,72 0,49 0,86 0,74 5bis 0,94 0,96 0,96 0,94 4bis 0,86 0,75 0,91 0,98 3bis 0,86 0,49 0,90 0,55 11 0,92 recall 0,94 0,92 10 0,94 0,95 0,97 0,97 9 0,94 0,53 0,95 0,82 8 0,81 0,94 0,49 0,94 7 0,52 0,89 0,85 0,96 6 0,87 0,94 0,93 0,94 5 0,98 0,95 0,89 0,45 4 0,94 0,83 0,83 0,94 3 0,80 0,94 0,98 0,85 2 0,98 0,94 0,42 0,51 1 0,46 0,50 0,49 f1-score Hipotesis 0,45 0,88 Sustainability in Architecture: An Interdisciplinary Introduction precision 0,93 UPValenciaX-ISA201x-2T2018 recall 0,82 11bis 0,53 10bis 0,76 9bis 0,96 8bis 0,84 7bis 0,88 6bis 0,98 5bis 0,93 4bis 0,93 3bis 0,97 11 0,46 10 0,76 9 0,97 8 0,84 7 0,89 6 0,93 5 0,46 4 0,51 3 f1-score 2 Sustainability in Architecture: An Interdisciplinary Introduction 1 UPValenciaX-ISA201x-2T2019 Hipotesis 424 0,43 0,51 0,43 0,98 0,91 0,79 0,85 0,92 0,97 0,94 0,86 0,85 0,84 0,47 0,46 0,97 0,88 0,96 0,93 0,93 0,89 0,96 0,93 0,82 0,82 0,90 0,85 0,89 0,96 0,73 0,79 0,53 0,48 0,80 0,94 0,97 0,99 0,95 0,95 Anexo 5 precision 0,46 11bis recall 0,91 0,96 10bis 0,94 0,93 0,89 0,89 0,85 9bis 0,95 0,43 0,86 0,89 0,83 8bis 0,89 0,96 7bis 0,43 0,83 0,91 6bis 0,88 0,50 0,83 5bis 0,89 0,48 0,92 4bis 0,92 0,79 0,94 3bis 0,87 0,90 0,94 11 0,93 0,94 0,83 10 0,93 0,90 0,43 9 0,94 0,95 0,75 8 0,94 0,85 0,94 7 0,44 0,87 0,85 6 0,83 0,75 0,87 5 0,95 0,90 0,98 4 0,87 0,94 0,50 3 0,85 0,94 0,46 2 0,90 0,96 f1-score 1 0,50 0,88 Information Systems and Computer Applications, Part 1: IT Hipotesis 0,51 0,90 UPValenciaX-ISC101.1x-1T2017 precision 0,88 11bis 0,94 10bis 0,93 0,46 9bis 0,94 0,46 8bis 0,97 0,86 7bis 0,44 0,79 6bis 0,79 0,91 5bis 0,93 0,91 4bis 0,85 0,98 3bis 0,83 0,92 11 0,90 0,76 10 0,92 0,81 9 0,91 0,98 8 0,92 0,89 7 0,42 0,55 6 0,78 0,43 5 0,91 0,48 4 0,99 0,46 3 0,76 recall 2 0,93 f1-score 1 0,49 IT Fundamentals for Business Professionals: Enterprise Systems Hipotesis 0,49 0,94 UPValenciaX-ISC101.1x-1T2018 precision 0,92 11bis 0,80 0,94 0,50 10bis 0,89 0,89 0,91 0,87 9bis 0,94 0,94 0,95 0,76 8bis 0,81 0,97 0,44 0,94 7bis 0,47 0,87 0,92 0,94 6bis 0,87 0,52 0,97 0,74 5bis 0,93 0,94 0,80 0,96 4bis 0,95 0,77 0,87 0,94 3bis 0,73 0,50 0,90 0,55 11 0,97 recall 0,91 0,88 10 0,94 0,96 0,94 0,96 9 0,92 0,53 0,94 0,77 8 0,88 0,90 0,43 0,82 7 0,52 0,93 0,78 0,97 6 0,77 0,92 0,89 0,90 5 0,94 0,98 0,84 0,53 4 0,89 0,78 0,83 0,94 3 0,87 0,90 0,97 0,89 2 0,89 0,89 0,46 0,47 1 0,53 0,43 0,50 f1-score Hipotesis 0,54 0,89 IT Fundamentals for Business Professionals: Enterprise Systems precision 0,92 UPValenciaX-ISC101.1x-1T2019 recall 0,98 11bis 0,50 10bis 0,89 9bis 0,89 8bis 0,90 7bis 0,76 6bis 0,99 5bis 0,98 4bis 0,90 3bis 0,84 11 0,44 10 0,87 9 0,89 8 0,94 7 0,77 6 0,98 5 0,47 4 0,46 3 f1-score 2 Information Systems and Computer Applications, Part 1: IT 1 UPValenciaX-ISC101.1x-3T2015 Hipotesis 425 0,43 0,47 0,46 0,90 0,94 0,77 0,85 0,89 0,99 0,97 0,94 0,78 0,82 0,46 0,46 0,97 0,98 0,98 0,92 0,98 0,93 0,91 0,95 0,79 0,81 0,94 0,95 0,96 0,98 0,79 0,86 0,47 0,43 0,79 0,89 0,96 0,96 0,96 0,94 Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,54 11bis recall 0,94 0,93 10bis 0,94 0,94 0,94 0,89 0,85 9bis 0,86 0,50 0,96 0,99 0,82 8bis 0,84 0,93 7bis 0,47 0,87 0,87 6bis 0,87 0,52 0,78 5bis 0,94 0,49 0,93 4bis 0,97 0,80 0,91 3bis 0,85 0,91 0,89 11 0,91 0,94 0,82 10 0,89 0,92 0,45 9 0,90 0,94 0,77 8 0,98 0,87 0,94 7 0,46 0,87 0,87 6 0,87 0,82 0,78 5 0,94 0,98 0,91 4 0,98 0,94 0,52 3 0,76 0,92 0,46 2 0,94 0,96 f1-score 1 0,46 0,97 Information Systems and Computer Applications, Part 2: Hardware Hipotesis 0,44 0,88 UPValenciaX-ISC101.2x-1T2017 precision 0,83 11bis 0,92 10bis 0,96 0,55 9bis 0,92 0,49 8bis 0,88 0,86 7bis 0,51 0,75 6bis 0,86 0,92 5bis 0,94 0,87 4bis 0,94 0,97 3bis 0,89 0,94 11 0,98 0,83 10 0,90 0,82 9 0,94 0,95 8 0,90 0,95 7 0,49 0,46 6 0,77 0,50 5 0,88 0,52 4 0,90 0,48 3 0,76 recall 2 0,89 f1-score 1 0,43 IT Fundamentals for Business Professionals: Hardware Hipotesis 0,44 0,98 UPValenciaX-ISC101.2x-1T2018 precision 0,91 11bis 0,87 0,97 0,53 10bis 0,93 0,85 0,96 0,94 9bis 0,97 0,99 0,91 0,75 8bis 0,79 0,89 0,47 0,96 7bis 0,49 0,88 0,85 0,80 6bis 0,87 0,47 0,94 0,72 5bis 0,89 0,90 0,82 0,92 4bis 0,90 0,77 0,82 0,95 3bis 0,73 0,54 0,94 0,54 11 0,97 recall 0,96 0,94 10 0,87 0,95 0,96 0,93 9 0,94 0,51 0,91 0,85 8 0,93 0,94 0,49 0,83 7 0,55 0,79 0,77 0,92 6 0,78 0,92 0,90 0,91 5 0,93 0,97 0,96 0,50 4 0,96 0,77 0,80 0,91 3 0,84 0,92 0,94 0,88 2 0,96 0,95 0,47 0,52 1 0,46 0,48 0,46 f1-score Hipotesis 0,48 0,94 IT Fundamentals for Business Professionals: Hardware precision 0,96 UPValenciaX-ISC101.2x-1T2019 recall 0,91 11bis 0,53 10bis 0,88 9bis 0,94 8bis 0,83 7bis 0,81 6bis 0,88 5bis 0,93 4bis 0,94 3bis 0,90 11 0,46 10 0,83 9 0,94 8 0,89 7 0,74 6 0,92 5 0,52 4 0,43 3 f1-score 2 Information Systems and Computer Applications, Part 2: Hardware 1 UPValenciaX-ISC101.2x-3T2015 Hipotesis 426 0,45 0,51 0,48 0,98 0,91 0,88 0,83 0,94 0,82 0,94 0,94 0,74 0,86 0,51 0,47 0,89 0,87 0,94 0,99 0,94 0,90 0,96 0,89 0,88 0,94 0,94 0,87 0,93 0,89 0,75 0,86 0,51 0,49 0,90 0,98 0,94 0,94 0,97 0,92 Anexo 5 precision 0,51 11bis recall 0,89 0,88 10bis 0,91 0,97 0,93 0,89 0,96 9bis 0,98 0,46 0,89 0,96 0,74 8bis 0,91 0,89 7bis 0,48 0,89 0,94 6bis 0,87 0,53 0,85 5bis 0,94 0,45 0,94 4bis 0,92 0,87 0,99 3bis 0,83 0,80 0,91 11 0,94 0,94 0,89 10 0,94 0,87 0,51 9 0,89 0,95 0,80 8 0,83 0,94 0,92 7 0,51 0,82 0,89 6 0,83 0,88 0,88 5 0,94 0,90 0,93 4 0,96 0,99 0,49 3 0,78 0,90 0,51 2 0,89 0,94 f1-score 1 0,50 0,94 Information Systems and Computer Applications, Part 3: Software Development Hipotesis 0,46 0,93 UPValenciaX-ISC101.3x-1T2017 precision 0,82 11bis 0,94 10bis 0,90 0,49 9bis 0,93 0,45 8bis 0,92 0,78 7bis 0,43 0,79 6bis 0,93 0,96 5bis 0,99 0,94 4bis 0,89 0,92 3bis 0,92 0,90 11 0,97 0,80 10 0,88 0,75 9 0,90 0,94 8 0,94 0,99 7 0,45 0,49 6 0,89 0,46 5 0,89 0,48 4 0,98 0,47 3 0,78 recall 2 0,94 f1-score 1 0,43 IT Fundamentals for Business Professionals: Software development Hipotesis 0,46 0,88 UPValenciaX-ISC101.3x-1T2019 precision 0,94 11bis 0,91 0,94 0,54 10bis 0,87 0,75 0,93 0,93 9bis 0,92 0,90 0,98 0,84 8bis 0,94 0,94 0,44 0,94 7bis 0,48 0,98 0,87 0,89 6bis 0,84 0,47 0,94 0,77 5bis 0,87 0,94 0,94 0,94 4bis 0,87 0,84 0,80 0,97 3bis 0,87 0,51 0,98 0,49 11 0,94 recall 0,94 0,94 10 0,94 0,97 0,90 0,94 9 0,94 0,44 0,89 0,79 8 0,89 0,90 0,47 0,96 7 0,54 0,88 0,77 0,94 6 0,77 0,92 0,89 0,97 5 0,94 0,90 0,89 0,49 4 0,92 0,84 0,92 0,91 3 0,77 0,89 0,90 0,84 2 0,94 0,99 0,44 0,44 1 0,50 0,49 0,48 f1-score Hipotesis 0,50 0,91 IT Fundamentals for Business Professionals: Software development precision 0,94 UPValenciaX-ISC101.3x-2T2018 recall 0,94 11bis 0,46 10bis 0,83 9bis 0,96 8bis 0,94 7bis 0,80 6bis 0,92 5bis 0,96 4bis 0,93 3bis 0,83 11 0,51 10 0,86 9 0,89 8 0,94 7 0,82 6 0,91 5 0,44 4 0,49 3 f1-score 2 Information Systems and Computer Applications, Part 3: Software Development 1 UPValenciaX-ISC101.3x-3T2015 Hipotesis 427 0,41 0,54 0,49 0,93 0,98 0,73 0,92 0,97 0,93 0,92 0,94 0,83 0,77 0,54 0,44 0,96 0,94 0,94 0,89 0,94 0,95 0,94 0,97 0,73 0,95 0,94 0,91 0,94 0,93 0,88 0,79 0,45 0,43 0,89 0,88 0,95 0,96 0,94 0,94 Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,52 11bis recall 0,97 0,93 10bis 0,94 0,88 0,91 0,92 0,94 9bis 0,91 0,43 0,89 0,94 0,82 8bis 0,79 0,87 7bis 0,42 0,86 0,84 6bis 0,90 0,49 0,90 5bis 0,94 0,45 0,97 4bis 0,98 0,84 0,94 3bis 0,81 0,88 0,92 11 0,95 0,92 0,94 10 0,93 0,96 0,47 9 0,98 0,94 0,74 8 0,89 0,87 0,97 7 0,48 0,74 0,99 6 0,92 0,91 0,80 5 0,92 0,95 0,91 4 0,94 0,96 0,44 3 0,89 0,94 0,48 2 0,97 0,94 f1-score 1 0,50 0,94 Information Systems and Computer Applications, Part 4: Programming Hipotesis 0,50 0,94 UPValenciaX-ISC101.4x-1T2017 precision 0,84 11bis 0,97 10bis 0,89 0,55 9bis 0,98 0,45 8bis 0,94 0,72 7bis 0,47 0,87 6bis 0,94 0,94 5bis 0,92 0,87 4bis 0,89 0,89 3bis 0,82 0,85 11 0,94 0,83 10 0,93 0,75 9 0,97 0,94 8 0,93 0,90 7 0,50 0,52 6 0,92 0,43 5 0,93 0,54 4 0,83 0,46 3 0,85 recall 2 0,91 f1-score 1 0,45 IT Fundamentals for Business Professionals: Programming Hipotesis 0,47 0,91 UPValenciaX-ISC101.4x-1T2019 precision 0,93 11bis 0,89 0,94 0,55 10bis 0,94 0,81 0,97 0,94 9bis 0,94 0,95 0,88 0,76 8bis 0,85 0,99 0,48 0,96 7bis 0,50 0,88 0,91 0,91 6bis 0,73 0,48 0,94 0,73 5bis 0,92 0,93 0,82 0,98 4bis 0,93 0,80 0,95 0,97 3bis 0,78 0,52 0,94 0,54 11 0,98 recall 0,98 0,92 10 0,91 0,94 0,95 0,88 9 0,98 0,48 0,94 0,77 8 0,93 0,94 0,48 0,98 7 0,47 0,77 0,80 0,94 6 0,84 0,99 0,94 0,89 5 0,91 0,99 0,94 0,48 4 0,94 0,89 0,75 0,91 3 0,86 0,92 0,91 0,74 2 0,94 0,94 0,51 0,49 1 0,48 0,50 0,44 f1-score Hipotesis 0,48 0,94 IT Fundamentals for Business Professionals: Programming precision 0,96 UPValenciaX-ISC101.4x-2T2018 recall 0,91 11bis 0,47 10bis 0,77 9bis 0,90 8bis 0,96 7bis 0,79 6bis 0,93 5bis 0,99 4bis 0,95 3bis 0,83 11 0,49 10 0,80 9 0,91 8 0,94 7 0,87 6 0,89 5 0,48 4 0,51 3 f1-score 2 Information Systems and Computer Applications, Part 4: Programming 1 UPValenciaX-ISC101.4x-3T2015 Hipotesis 428 0,48 0,54 0,43 0,93 0,94 0,88 0,76 0,89 0,81 0,98 0,87 0,79 0,78 0,49 0,46 0,81 0,89 0,94 0,93 0,94 0,94 0,89 0,93 0,76 0,96 0,94 0,88 0,97 0,88 0,84 0,81 0,45 0,50 0,87 0,93 0,91 0,93 0,94 0,91 Anexo 5 precision 0,48 11bis recall 0,91 0,94 10bis 0,88 0,94 0,96 0,94 0,94 9bis 0,96 0,48 0,94 0,96 0,87 8bis 0,95 0,94 7bis 0,50 0,89 0,87 6bis 0,90 0,45 0,86 5bis 0,96 0,51 0,96 4bis 0,83 0,82 0,90 3bis 0,81 0,74 0,93 11 0,93 0,94 0,91 10 0,94 0,94 0,49 9 0,90 0,88 0,74 8 0,93 0,92 0,94 7 0,44 0,84 0,88 6 0,90 0,81 0,90 5 0,89 0,97 0,94 4 0,89 0,95 0,49 3 0,81 0,96 0,44 2 0,89 0,97 f1-score 1 0,42 0,89 Information Systems and Computer Applications, Part 5: Social Implications Hipotesis 0,49 0,94 UPValenciaX-ISC101.5x-1T2017 precision 0,84 11bis 0,88 10bis 0,98 0,53 9bis 0,98 0,50 8bis 0,84 0,73 7bis 0,43 0,76 6bis 0,90 0,90 5bis 0,94 0,94 4bis 0,89 0,94 3bis 0,91 0,94 11 0,93 0,72 10 0,98 0,78 9 0,94 0,95 8 0,86 0,94 7 0,43 0,48 6 0,80 0,47 5 0,95 0,45 4 0,88 0,48 3 0,84 recall 2 0,91 f1-score 1 0,42 IT Fundamentals for Business Professionals: Cybersecurity and social implications Hipotesis 0,45 0,94 UPValenciaX-ISC101.5x-1T2019 precision 0,94 11bis 0,96 0,94 0,47 10bis 0,94 0,76 0,94 0,93 9bis 0,94 0,85 0,92 0,79 8bis 0,85 0,94 0,44 0,94 7bis 0,52 0,87 0,92 0,79 6bis 0,83 0,53 0,88 0,72 5bis 0,94 0,94 0,98 0,98 4bis 0,96 0,85 0,93 0,91 3bis 0,74 0,53 0,95 0,50 11 0,94 recall 0,91 0,97 10 0,90 0,88 0,90 0,94 9 0,96 0,50 0,96 0,78 8 0,89 0,91 0,50 0,83 7 0,53 0,86 0,85 0,94 6 0,78 0,94 0,91 0,94 5 0,94 0,86 0,84 0,44 4 0,96 0,89 0,84 0,94 3 0,76 0,93 0,94 0,76 2 0,94 0,91 0,46 0,47 1 0,54 0,45 0,43 f1-score Hipotesis 0,49 0,88 IT Fundamentals for Business Professionals: Cybersecurity and social implications precision 0,96 UPValenciaX-ISC101.5x-2T2018 recall 0,90 11bis 0,48 10bis 0,92 9bis 0,89 8bis 0,94 7bis 0,79 6bis 0,96 5bis 0,94 4bis 0,88 3bis 0,95 11 0,47 10 0,81 9 0,91 8 0,97 7 0,86 6 0,96 5 0,53 4 0,53 3 f1-score 2 Information Systems and Computer Applications, Part 5: Social Implications 1 UPValenciaX-ISC101.5x-3T2015 Hipotesis 429 0,50 0,55 0,41 0,90 0,94 0,75 0,89 0,89 0,93 0,91 0,98 0,79 0,87 0,55 0,49 0,88 0,91 0,90 0,94 0,95 0,94 0,90 0,94 0,82 0,95 0,94 0,90 0,94 0,96 0,86 0,88 0,55 0,46 0,79 0,91 0,86 0,94 0,94 0,94 Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,50 11bis recall 0,91 0,94 10bis 0,93 0,89 0,99 0,89 0,90 9bis 0,92 0,48 0,89 0,90 0,81 8bis 0,81 0,94 7bis 0,50 0,95 0,90 6bis 0,86 0,53 0,84 5bis 0,94 0,47 0,98 4bis 0,94 0,89 0,98 3bis 0,88 0,86 0,94 11 0,91 0,95 0,91 10 0,97 0,94 0,52 9 0,96 0,96 0,77 8 0,97 0,94 0,94 7 0,42 0,86 0,88 6 0,77 0,86 0,90 5 0,87 0,89 0,98 4 0,92 0,94 0,44 3 0,83 0,87 0,46 2 0,98 0,97 f1-score 1 0,46 0,89 Measure and Improve Innovation at the Workplace Hipotesis 0,48 0,99 UPValenciaX-LEADER201.4x-3T2018 precision 0,88 11bis 0,94 10bis 0,94 0,52 9bis 0,96 0,46 8bis 0,94 0,81 7bis 0,49 0,90 6bis 0,85 0,95 5bis 0,94 0,88 4bis 0,95 0,91 3bis 0,79 0,94 11 0,92 0,75 10 0,97 0,74 9 0,94 0,98 8 0,85 0,97 7 0,50 0,52 6 0,80 0,47 5 0,89 0,49 4 0,98 0,46 3 0,90 recall 2 0,94 f1-score 1 0,50 Measure and Improve Innovation at the Workplace Hipotesis 0,44 0,87 UPValenciaX-LEADER201.4x3T2018a precision 0,93 11bis 0,92 0,97 0,51 10bis 0,88 0,78 0,89 0,94 9bis 0,94 0,90 0,92 0,87 8bis 0,91 0,94 0,47 0,92 7bis 0,45 0,94 0,87 0,96 6bis 0,84 0,53 0,99 0,82 5bis 0,96 0,96 0,81 0,91 4bis 0,90 0,85 0,84 0,96 3bis 0,85 0,49 0,94 0,54 11 0,89 recall 0,91 0,94 10 0,88 0,89 0,94 0,94 9 0,86 0,51 0,94 0,76 8 0,91 0,89 0,43 0,97 7 0,45 0,92 0,76 0,94 6 0,82 0,90 0,95 0,95 5 0,93 0,86 0,86 0,47 4 0,96 0,78 0,81 0,94 3 0,82 0,92 0,97 0,77 2 0,94 0,97 0,51 0,52 1 0,46 0,45 0,47 f1-score Hipotesis 0,54 0,98 Measure and Improve Innovation at the Workplace precision 0,90 UPValenciaX-LEADER201.4x-3T2019 recall 0,83 11bis 0,52 10bis 0,89 9bis 0,90 8bis 0,86 7bis 0,79 6bis 0,96 5bis 0,98 4bis 0,90 3bis 0,87 11 0,44 10 0,86 9 0,93 8 0,94 7 0,86 6 0,92 5 0,44 4 0,51 3 f1-score 2 Liderazgo para mandos intermedios 1 UPValenciaX-LIDER201.3x-2T2017 Hipotesis 430 0,43 0,51 0,46 0,90 0,95 0,76 0,83 0,91 0,89 0,94 0,90 0,79 0,88 0,45 0,45 0,96 0,84 0,94 0,92 0,94 0,94 0,92 0,89 0,74 0,79 0,94 0,95 0,92 0,88 0,82 0,87 0,46 0,45 0,97 0,96 0,98 0,96 0,87 0,90 Anexo 5 precision 0,47 11bis recall 0,88 0,92 10bis 0,90 0,94 0,94 0,90 0,97 9bis 0,96 0,53 0,95 0,88 0,91 8bis 0,93 0,92 7bis 0,47 0,84 0,97 6bis 0,85 0,53 0,93 5bis 0,94 0,44 0,94 4bis 0,88 0,80 0,94 3bis 0,93 0,84 0,95 11 0,91 0,88 0,93 10 0,94 0,92 0,45 9 0,94 0,94 0,86 8 0,90 0,93 0,91 7 0,42 0,81 0,94 6 0,87 0,76 0,83 5 0,94 0,94 0,94 4 0,91 0,91 0,48 3 0,83 0,95 0,52 2 0,96 0,97 f1-score 1 0,49 0,94 Liderazgo para mandos intermedios Hipotesis 0,43 0,97 UPValenciaX-LIDER201.3x-2T2019 precision 0,92 11bis 0,99 10bis 0,89 0,55 9bis 0,91 0,47 8bis 0,94 0,75 7bis 0,50 0,86 6bis 0,84 0,94 5bis 0,93 0,94 4bis 0,94 0,95 3bis 0,95 0,94 11 0,96 0,72 10 0,88 0,91 9 0,94 0,95 8 0,94 0,95 7 0,50 0,50 6 0,89 0,46 5 0,93 0,55 4 0,98 0,51 3 0,82 recall 2 0,93 f1-score 1 0,50 Liderazgo para mandos intermedios Hipotesis 0,44 0,88 UPValenciaX-LIDER201.3x-2T_2018 precision 0,88 11bis 0,87 0,94 0,50 10bis 0,95 0,84 0,97 0,88 9bis 0,89 0,93 0,89 0,89 8bis 0,95 0,99 0,50 0,93 7bis 0,54 0,88 0,95 0,81 6bis 0,78 0,48 0,93 0,79 5bis 0,94 0,94 0,83 0,89 4bis 0,92 0,74 0,90 0,95 3bis 0,73 0,48 0,95 0,48 11 0,94 recall 0,97 0,90 10 0,95 0,91 0,91 0,96 9 0,94 0,45 0,92 0,91 8 0,97 0,98 0,44 0,84 7 0,52 0,89 0,79 0,97 6 0,86 0,91 0,86 0,96 5 0,95 0,93 0,83 0,51 4 0,92 0,75 0,81 0,95 3 0,81 0,91 0,95 0,89 2 0,89 0,90 0,45 0,44 1 0,47 0,45 0,46 f1-score Hipotesis 0,48 0,91 Liderazgo para mandos intermedios precision 0,90 UPValenciaX-LIDER201.3x-3T2017 recall 0,83 11bis 0,48 10bis 0,79 9bis 0,95 8bis 0,89 7bis 0,84 6bis 0,94 5bis 0,92 4bis 0,93 3bis 0,90 11 0,50 10 0,84 9 0,91 8 0,94 7 0,76 6 0,89 5 0,51 4 0,44 3 f1-score 2 C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n 1 UPValenciaX-LIDER201.4x-2T2017 Hipotesis 431 0,51 0,51 0,43 0,94 0,94 0,75 0,84 0,88 0,95 0,94 0,93 0,80 0,79 0,49 0,47 0,93 0,92 0,93 0,88 0,90 0,94 0,94 0,94 0,73 0,80 0,86 0,95 0,94 0,92 0,77 0,92 0,46 0,43 0,94 0,88 0,96 0,93 0,94 0,94 Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,46 11bis recall 0,95 0,91 10bis 0,91 0,94 0,95 0,92 0,95 9bis 0,98 0,43 0,90 0,94 0,83 8bis 0,95 0,94 7bis 0,49 0,93 0,87 6bis 0,90 0,45 0,87 5bis 0,99 0,52 0,94 4bis 0,93 0,81 0,93 3bis 0,90 0,82 0,96 11 0,96 0,94 0,99 10 0,94 0,90 0,46 9 0,91 0,95 0,73 8 0,94 0,92 0,88 7 0,49 0,74 0,86 6 0,85 0,78 0,81 5 0,87 0,94 0,92 4 0,94 0,89 0,44 3 0,89 0,94 0,49 2 0,89 0,93 f1-score 1 0,45 0,94 C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n Hipotesis 0,48 0,87 UPValenciaX-LIDER201.4x-3T2017 precision 0,86 11bis 0,91 10bis 0,94 0,47 9bis 0,96 0,48 8bis 0,85 0,76 7bis 0,44 0,78 6bis 0,79 0,96 5bis 0,87 0,95 4bis 0,85 0,97 3bis 0,96 0,91 11 0,97 0,87 10 0,96 0,86 9 0,94 0,90 8 0,91 0,93 7 0,45 0,50 6 0,79 0,49 5 0,94 0,47 4 0,84 0,43 3 0,89 recall 2 0,90 f1-score 1 0,44 C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n Hipotesis 0,44 0,92 UPValenciaX-LIDER201.4x-3T2019 precision 0,94 11bis 0,95 0,95 0,53 10bis 0,94 0,74 0,99 0,90 9bis 0,87 0,91 0,94 0,85 8bis 0,91 0,89 0,51 0,91 7bis 0,50 0,90 0,94 0,92 6bis 0,77 0,51 0,87 0,86 5bis 0,95 0,92 0,83 0,89 4bis 0,95 0,77 0,83 0,95 3bis 0,77 0,45 0,89 0,48 11 0,89 recall 0,92 0,95 10 0,93 0,94 0,97 0,97 9 0,89 0,53 0,93 0,84 8 0,93 0,87 0,51 0,89 7 0,48 0,90 0,85 0,98 6 0,85 0,89 0,87 0,93 5 0,91 0,98 0,84 0,46 4 0,94 0,82 0,79 0,87 3 0,80 0,91 0,94 0,74 2 0,94 0,96 0,49 0,46 1 0,49 0,47 0,50 f1-score Hipotesis 0,49 0,94 C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n precision 0,94 UPValenciaX-LIDER201.4x-3T_2018 recall 0,85 11bis 0,44 10bis 0,90 9bis 0,87 8bis 0,92 7bis 0,83 6bis 0,90 5bis 0,94 4bis 0,94 3bis 0,85 11 0,49 10 0,74 9 0,90 8 0,86 7 0,87 6 0,94 5 0,45 4 0,46 3 f1-score 2 Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n 1 UPValenciaX-MCAP101x-3T2017 Hipotesis 432 0,47 0,49 0,45 0,94 0,94 0,87 0,78 0,97 0,98 0,91 0,89 0,79 0,88 0,48 0,49 0,94 0,90 0,90 0,95 0,96 0,89 0,90 0,91 0,83 0,84 0,88 0,94 0,94 0,86 0,79 0,81 0,45 0,47 0,91 0,95 0,94 0,93 0,88 0,89 Anexo 5 precision 0,55 11bis recall 0,88 0,91 10bis 0,94 0,98 0,98 0,94 0,86 9bis 0,86 0,49 0,93 0,90 0,84 8bis 0,79 0,89 7bis 0,46 0,93 0,95 6bis 0,82 0,50 0,92 5bis 0,91 0,49 0,97 4bis 0,97 0,81 0,97 3bis 0,94 0,89 0,96 11 0,94 0,99 0,93 10 0,90 0,87 0,48 9 0,91 0,87 0,89 8 0,83 0,85 0,93 7 0,48 0,72 0,86 6 0,88 0,92 0,74 5 0,94 0,99 0,89 4 0,85 0,89 0,47 3 0,78 0,92 0,47 2 0,96 0,88 f1-score 1 0,47 0,86 Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n Hipotesis 0,42 0,94 UPValenciaX-MCAP101x-3T2017a precision 0,93 11bis 0,99 10bis 0,92 0,49 9bis 0,93 0,46 8bis 0,91 0,77 7bis 0,49 0,78 6bis 0,93 0,99 5bis 0,94 0,94 4bis 0,96 0,94 3bis 0,86 0,90 11 0,89 0,84 10 0,88 0,82 9 0,99 0,90 8 0,92 0,94 7 0,45 0,47 6 0,92 0,46 5 0,96 0,54 4 0,86 0,50 3 0,86 recall 2 0,94 f1-score 1 0,46 Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n Hipotesis 0,49 0,94 UPValenciaX-MCAP101x-3T2018 precision 0,88 11bis 0,82 0,94 0,50 10bis 0,94 0,87 0,91 0,94 9bis 0,95 0,88 0,86 0,75 8bis 0,80 0,90 0,48 0,95 7bis 0,47 0,86 0,88 0,95 6bis 0,78 0,50 0,93 0,76 5bis 0,95 0,90 0,94 0,89 4bis 0,91 0,81 0,92 0,94 3bis 0,82 0,48 0,96 0,51 11 0,94 recall 0,94 0,88 10 0,89 0,95 0,99 0,98 9 0,94 0,52 0,84 0,87 8 0,91 0,96 0,43 0,96 7 0,49 0,92 0,78 0,97 6 0,77 0,94 0,89 0,94 5 0,98 0,81 0,90 0,51 4 0,88 0,83 0,77 0,90 3 0,74 0,88 0,94 0,78 2 0,98 0,99 0,43 0,44 1 0,52 0,44 0,46 f1-score Hipotesis 0,45 0,94 M\u00e9todos num\u00e9ricos para matem\u00e1ticas con Octave precision 0,88 UPValenciaX-MMO201x-3T2019 recall 0,85 11bis 0,48 10bis 0,80 9bis 0,94 8bis 0,94 7bis 0,89 6bis 0,94 5bis 0,92 4bis 0,89 3bis 0,87 11 0,49 10 0,91 9 0,90 8 0,90 7 0,73 6 0,89 5 0,44 4 0,52 3 f1-score 2 Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3 1 UPValenciaX-MP3201x-2T2017 Hipotesis 433 0,46 0,54 0,49 0,91 0,90 0,73 0,86 0,88 0,92 0,93 0,89 0,78 0,90 0,55 0,51 0,82 0,94 0,88 0,96 0,97 0,94 0,89 0,96 0,77 0,83 0,91 0,90 0,92 0,91 0,83 0,88 0,45 0,41 0,90 0,97 0,90 0,94 0,92 0,89 Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,50 11bis recall 0,92 0,94 10bis 0,87 0,96 0,92 0,94 0,96 9bis 0,92 0,52 0,87 0,91 0,86 8bis 0,80 0,94 7bis 0,50 0,91 0,84 6bis 0,82 0,49 0,81 5bis 0,99 0,52 0,89 4bis 0,87 0,86 0,97 3bis 0,82 0,75 0,94 11 0,97 0,89 0,90 10 0,89 0,91 0,51 9 0,94 0,89 0,77 8 0,97 0,86 0,94 7 0,50 0,73 0,89 6 0,83 0,88 0,76 5 0,94 0,94 0,94 4 0,99 0,91 0,46 3 0,75 0,92 0,44 2 0,89 0,96 f1-score 1 0,43 0,94 Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3 Hipotesis 0,43 0,95 UPValenciaX-MP3201x-3T2017 precision 0,83 11bis 0,93 10bis 0,90 0,52 9bis 0,94 0,50 8bis 0,93 0,76 7bis 0,48 0,79 6bis 0,91 0,89 5bis 0,92 0,95 4bis 0,85 0,91 3bis 0,93 0,89 11 0,94 0,87 10 0,97 0,87 9 0,93 0,94 8 0,98 0,90 7 0,50 0,49 6 0,88 0,45 5 0,94 0,53 4 0,93 0,53 3 0,81 recall 2 0,94 f1-score 1 0,46 Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3 Hipotesis 0,47 0,94 UPValenciaX-MP3201x-3T2018 precision 0,91 11bis 0,79 0,91 0,55 10bis 0,98 0,72 0,92 0,87 9bis 0,94 0,86 0,94 0,73 8bis 0,88 0,94 0,49 0,93 7bis 0,49 0,94 0,94 0,84 6bis 0,79 0,53 0,94 0,79 5bis 0,94 0,92 0,94 0,94 4bis 0,91 0,88 0,86 0,99 3bis 0,76 0,45 0,94 0,47 11 0,97 recall 0,99 0,88 10 0,94 0,94 0,97 0,94 9 0,99 0,46 0,95 0,82 8 0,87 0,94 0,46 0,94 7 0,50 0,82 0,81 0,93 6 0,72 0,94 0,91 0,97 5 0,98 0,81 0,85 0,49 4 0,90 0,75 0,87 0,94 3 0,80 0,90 0,94 0,80 2 0,97 0,93 0,47 0,48 1 0,46 0,49 0,45 f1-score Hipotesis 0,50 0,90 ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los Objetivos de Desarrollo Sostenible precision 0,94 UPValenciaX-ODS101x-1T2018 recall 0,97 11bis 0,46 10bis 0,88 9bis 0,95 8bis 0,93 7bis 0,81 6bis 0,93 5bis 0,96 4bis 0,89 3bis 0,94 11 0,49 10 0,85 9 0,95 8 0,96 7 0,77 6 0,91 5 0,44 4 0,52 3 f1-score 2 ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los Objetivos de Desarrollo Sostenible 1 UPValenciaX-ODS101x-1T2019 Hipotesis 434 0,45 0,45 0,50 0,94 0,99 0,80 0,88 0,96 0,92 0,89 0,93 0,76 0,79 0,53 0,47 0,83 0,96 0,94 0,90 0,96 0,89 0,92 0,89 0,87 0,79 0,94 0,89 0,87 0,94 0,72 0,95 0,52 0,44 0,79 0,97 0,90 0,94 0,94 0,94 Anexo 5 precision 0,55 11bis recall 0,94 0,91 10bis 0,96 0,94 0,93 0,90 0,89 9bis 0,90 0,45 0,89 0,89 0,85 8bis 0,97 0,91 7bis 0,47 0,91 0,97 6bis 0,93 0,51 0,89 5bis 0,96 0,44 0,94 4bis 0,96 0,81 0,94 3bis 0,83 0,84 0,99 11 0,97 0,97 0,86 10 0,89 0,88 0,45 9 0,89 0,91 0,74 8 0,89 0,94 0,94 7 0,42 0,85 0,83 6 0,90 0,91 0,80 5 0,87 0,94 0,94 4 0,89 0,89 0,43 3 0,76 0,94 0,43 2 0,90 0,94 f1-score 1 0,49 0,94 ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los Objetivos de Desarrollo Sostenible Hipotesis 0,50 0,93 UPValenciaX-ODS101x-3T2017 precision 0,81 11bis 0,84 10bis 0,94 0,48 9bis 0,94 0,48 8bis 0,98 0,87 7bis 0,49 0,78 6bis 0,92 0,94 5bis 0,86 0,90 4bis 0,87 0,88 3bis 0,94 0,89 11 0,90 0,83 10 0,88 0,80 9 0,89 0,93 8 0,94 0,97 7 0,46 0,47 6 0,85 0,44 5 0,94 0,49 4 0,98 0,46 3 0,93 recall 2 0,95 f1-score 1 0,42 Dise\u00f1a presentaciones eficaces con Powerpoint Hipotesis 0,42 0,95 UPValenciaX-PPT101x-2T2017 precision 0,94 11bis 0,96 0,92 0,46 10bis 0,88 0,73 0,98 0,94 9bis 0,86 0,89 0,84 0,76 8bis 0,93 0,92 0,43 0,92 7bis 0,47 0,97 0,81 0,89 6bis 0,85 0,55 0,94 0,78 5bis 0,91 0,93 0,83 0,94 4bis 0,94 0,75 0,92 0,94 3bis 0,75 0,48 0,93 0,53 11 0,94 recall 0,94 0,94 10 0,89 0,88 0,92 0,94 9 0,86 0,45 0,99 0,80 8 0,89 0,88 0,48 0,90 7 0,45 0,87 0,86 0,96 6 0,76 0,91 0,87 0,94 5 0,90 0,81 0,88 0,45 4 0,93 0,80 0,89 0,94 3 0,71 0,85 0,94 0,76 2 0,91 0,93 0,46 0,44 1 0,45 0,51 0,46 f1-score Hipotesis 0,52 0,88 Dise\u00f1a presentaciones eficaces con Powerpoint precision 0,96 UPValenciaX-PPT101x-3T2017 recall 0,89 11bis 0,50 10bis 0,88 9bis 0,90 8bis 0,84 7bis 0,81 6bis 0,95 5bis 0,94 4bis 0,88 3bis 0,88 11 0,49 10 0,87 9 0,89 8 0,90 7 0,79 6 0,97 5 0,50 4 0,46 3 f1-score 2 Dise\u00f1a presentaciones eficaces con Powerpoint 1 UPValenciaX-PPT101x-3T2018 Hipotesis 435 0,44 0,54 0,44 0,94 0,98 0,78 0,77 0,88 0,96 0,90 0,93 0,79 0,80 0,51 0,47 0,95 0,94 0,89 0,94 0,94 0,94 0,95 0,94 0,85 0,87 0,91 0,84 0,94 0,92 0,78 0,93 0,54 0,51 0,79 0,94 0,94 0,92 0,98 0,88 Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,51 11bis recall 0,91 0,88 10bis 0,93 0,91 0,89 0,96 0,96 9bis 0,88 0,47 0,93 0,94 0,81 8bis 0,95 0,94 7bis 0,43 0,95 0,99 6bis 0,82 0,54 0,88 5bis 0,94 0,49 0,97 4bis 0,85 0,79 0,94 3bis 0,89 0,87 0,88 11 0,94 0,94 0,84 10 0,96 0,94 0,50 9 0,98 0,93 0,90 8 0,96 0,88 0,91 7 0,43 0,78 0,97 6 0,90 0,93 0,83 5 0,88 0,89 0,93 4 0,94 0,89 0,43 3 0,82 0,94 0,51 2 0,97 0,89 f1-score 1 0,42 0,90 Retos agricultura y alimentaci\u00f3n en el s.XXI Hipotesis 0,43 0,99 UPValenciaX-RA201x-1T2015 precision 0,88 11bis 0,98 10bis 0,88 0,52 9bis 0,95 0,51 8bis 0,94 0,80 7bis 0,48 0,75 6bis 0,91 0,94 5bis 0,86 0,90 4bis 0,93 0,96 3bis 0,92 0,94 11 0,90 0,88 10 0,89 0,86 9 0,94 0,97 8 0,84 0,94 7 0,44 0,50 6 0,83 0,44 5 0,95 0,50 4 0,82 0,49 3 0,92 recall 2 0,94 f1-score 1 0,50 Retos agricultura y alimentaci\u00f3n en el s.XXI Hipotesis 0,44 0,97 UPValenciaX-RA201x-2T2016 precision 0,93 11bis 0,82 0,94 0,45 10bis 0,94 0,75 0,91 0,89 9bis 0,89 0,89 0,86 0,77 8bis 0,80 0,94 0,49 0,94 7bis 0,50 0,89 0,93 0,80 6bis 0,79 0,54 0,91 0,80 5bis 0,91 0,96 0,98 0,94 4bis 0,87 0,88 0,91 0,92 3bis 0,88 0,48 0,96 0,54 11 0,93 recall 0,94 0,94 10 0,92 0,96 0,93 0,82 9 0,87 0,49 0,94 0,89 8 0,82 0,93 0,46 0,83 7 0,49 0,89 0,92 0,97 6 0,76 0,94 0,95 0,91 5 0,97 0,83 0,93 0,48 4 0,88 0,74 0,85 0,88 3 0,81 0,94 0,93 0,78 2 0,89 0,97 0,50 0,48 1 0,49 0,46 0,44 f1-score Hipotesis 0,48 0,95 Radio para internet con Podcast: creaci\u00f3n y conceptos b\u00e1sicos precision 0,94 UPValenciaX-RADIO101x-3T2018 recall 0,90 11bis 0,50 10bis 0,77 9bis 0,94 8bis 0,88 7bis 0,85 6bis 0,98 5bis 0,91 4bis 0,88 3bis 0,85 11 0,50 10 0,87 9 0,93 8 0,98 7 0,82 6 0,90 5 0,44 4 0,52 3 f1-score 2 Radio para internet con Podcast: creaci\u00f3n y conceptos b\u00e1sicos 1 UPValenciaX-RADIO101x-3T2018a Hipotesis 436 precision 0,45 0,45 0,48 0,49 0,92 0,94 0,87 0,81 0,96 0,95 0,91 0,94 0,80 0,85 0,46 0,46 0,96 0,86 0,94 0,99 0,94 0,94 0,90 0,97 0,72 0,81 0,94 0,91 0,94 0,90 0,78 0,88 0,53 0,50 0,94 0,94 0,88 0,98 0,96 0,98 0,94 Anexo 5 recall 0,94 11bis 0,83 10bis 0,95 0,45 9bis 0,94 0,89 8bis 0,94 0,90 7bis 0,43 0,86 6bis 0,90 0,85 5bis 0,96 0,99 4bis 0,94 0,91 3bis 0,85 0,94 11 0,94 0,88 10 0,92 0,44 9 0,97 0,86 8 0,99 0,91 7 0,45 0,94 6 0,85 0,81 5 0,87 0,94 4 0,92 0,90 0,51 3 0,89 0,89 0,51 2 0,92 0,97 f1-score 1 0,45 0,94 Introducci\u00f3n a las radiocomunicaciones Hipotesis 0,43 0,92 UPValenciaX-RADIOCOM101x2T2019 precision 0,90 0,98 11bis 0,45 0,96 10bis 0,48 9bis 0,77 0,97 0,91 8bis 0,91 0,46 0,87 7bis 0,94 0,89 0,98 6bis 0,75 0,95 0,76 0,89 5bis 0,89 4bis 0,94 0,91 0,94 3bis 0,99 0,94 0,94 11 0,91 0,88 0,92 10 0,85 0,89 0,54 9 0,45 0,94 0,83 8 0,80 0,50 0,98 7 0,92 0,85 0,93 6 0,94 0,87 0,72 5 0,90 0,83 0,94 4 0,96 0,79 0,47 3 0,43 0,94 0,48 2 0,45 0,47 recall 1 f1-score 0,50 Introducci\u00f3n a las radiocomunicaciones Hipotesis UPValenciaX-RADIOCOM101x3T2019 precision 11bis 0,90 0,94 0,94 10bis 0,96 0,92 0,94 0,52 9bis 0,94 0,79 0,94 0,94 8bis 0,89 0,91 0,45 0,86 7bis 0,55 0,94 0,90 0,99 6bis 0,84 0,97 0,93 0,95 5bis 0,92 0,47 0,80 0,81 4bis 0,85 0,89 0,84 0,93 3bis 0,87 0,81 0,92 0,97 11 0,96 0,51 0,92 0,54 10 0,94 recall 0,98 0,91 9 0,94 0,88 0,91 0,94 0,93 8 0,86 0,92 0,53 0,46 0,96 0,80 7 0,49 0,47 0,95 0,92 0,76 0,94 6 0,85 0,92 0,81 0,95 0,94 0,97 5 0,94 0,86 0,94 0,99 0,94 0,87 4 0,94 0,96 0,83 0,93 0,89 0,45 3 0,75 0,97 0,81 0,89 0,51 0,94 2 0,93 0,78 0,87 0,48 0,94 0,83 1 0,53 0,88 0,90 0,50 0,77 0,43 Hipotesis 0,48 0,93 0,47 precision 0,43 f1-score recall 0,49 Redes de difracci\u00f3n en comunicaciones \u00f3pticas f1-score Redes de difracci\u00f3n en comunicaciones \u00f3pticas UPValenciaX-RDO301x-1T2017 UPValenciaX-RDO301x-1T2018 437 Hipotesis 0,45 1 0,45 2 0,95 3 0,90 4 0,95 5 0,90 6 0,76 7 0,47 8 0,84 9 0,94 10 0,94 11 0,96 3bis 0,85 4bis 0,99 5bis 0,86 6bis 0,88 7bis 0,50 8bis 0,93 9bis 0,94 10bis 0,94 0,93 11bis Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,89 11bis 0,90 0,94 0,55 10bis 0,95 0,81 0,98 0,92 9bis 0,90 0,89 0,87 0,80 8bis 0,95 0,89 0,49 0,94 7bis 0,47 0,96 0,87 0,97 6bis 0,87 0,50 0,94 0,81 5bis 0,94 0,97 0,84 0,90 4bis 0,94 0,87 0,81 0,92 3bis 0,73 0,48 0,94 0,49 11 0,94 recall 0,94 0,94 10 0,97 0,89 0,94 0,82 9 0,95 0,50 0,99 0,78 8 0,96 0,94 0,46 0,89 7 0,50 0,78 0,85 0,93 6 0,87 0,94 0,94 0,94 5 0,93 0,84 0,89 0,50 4 0,92 0,85 0,90 0,94 3 0,80 0,85 0,98 0,81 2 0,94 0,96 0,44 0,44 1 0,51 0,50 0,45 f1-score Hipotesis 0,55 Redes de difracci\u00f3n en comunicaciones \u00f3pticas precision 0,93 UPValenciaX-RDO301x-1T2019 recall 0,91 11bis 0,94 10bis 0,95 0,45 9bis 0,90 0,80 8bis 0,92 0,88 7bis 0,46 0,98 6bis 0,78 0,93 5bis 0,92 0,89 4bis 0,93 0,92 3bis 0,81 0,90 11 0,89 0,95 10 0,94 0,48 9 0,94 0,82 8 0,86 0,98 7 0,42 0,94 6 0,90 0,78 5 0,96 0,94 4 0,95 0,52 3 0,90 0,53 2 0,96 f1-score 1 0,45 0,93 Redes de difracci\u00f3n en comunicaciones \u00f3pticas Hipotesis 0,47 0,92 UPValenciaX-RDO301x-2016_T2 precision 0,87 0,89 11bis 0,90 0,89 10bis 0,84 9bis 0,88 0,91 0,52 8bis 0,49 0,49 0,86 7bis 0,75 0,94 0,94 6bis 0,91 0,95 0,91 0,93 5bis 0,97 4bis 0,82 0,81 0,80 3bis 0,91 0,98 0,99 11 0,96 0,92 0,94 10 0,97 0,91 0,94 9 0,95 0,97 0,90 0,87 0,99 0,99 8 0,89 0,97 0,51 0,41 0,48 0,90 0,46 7 0,78 0,49 0,77 0,84 0,93 0,80 0,89 6 0,95 0,94 0,94 0,87 0,72 0,83 0,95 5 0,94 0,78 0,90 0,93 0,94 0,94 0,94 4 0,89 0,90 0,87 0,79 0,90 0,91 0,89 3 0,50 0,82 0,95 0,97 0,88 0,45 0,94 2 0,93 0,75 0,47 0,49 0,96 0,94 0,45 1 0,76 0,94 0,49 0,43 0,94 0,84 0,46 Hipotesis 0,51 0,95 recall precision 0,45 0,48 f1-score recall 0,50 Redes de difracci\u00f3n en comunicaciones \u00f3pticas f1-score Sonido Espacial y 3D UPValenciaX-RDO301x-3T2016 UPValenciaX-S3D201x-1T2017 438 Hipotesis 0,47 1 0,48 2 0,89 3 0,86 4 0,95 5 0,92 6 0,77 7 0,42 8 0,94 9 0,93 10 0,94 11 0,90 3bis 0,83 4bis 0,82 5bis 0,94 6bis 0,81 7bis 0,49 8bis 0,90 9bis 0,98 10bis 0,88 0,94 11bis Anexo 5 precision 0,94 11bis 0,82 0,89 0,54 10bis 0,93 0,73 0,94 0,88 9bis 0,89 0,85 0,88 0,80 8bis 0,91 0,93 0,43 0,93 7bis 0,46 0,94 0,95 0,88 6bis 0,85 0,51 0,95 0,78 5bis 0,94 0,92 0,81 0,89 4bis 0,97 0,88 0,80 0,93 3bis 0,85 0,50 0,93 0,54 11 0,95 recall 0,89 0,90 10 0,94 0,93 0,89 0,95 9 0,89 0,50 0,87 0,87 8 0,82 0,97 0,41 0,93 7 0,50 0,76 0,88 0,94 6 0,88 0,94 0,99 0,97 5 0,94 0,82 0,92 0,45 4 0,94 0,86 0,78 0,94 3 0,77 0,89 0,96 0,89 2 0,89 0,93 0,46 0,48 1 0,48 0,47 0,47 f1-score Hipotesis 0,49 Sonido Espacial y 3D precision 0,94 UPValenciaX-S3D201x-2T2017 recall 0,94 11bis 0,84 10bis 0,92 0,50 9bis 0,96 0,75 8bis 0,95 0,97 7bis 0,41 0,87 6bis 0,81 0,80 5bis 0,94 0,91 4bis 0,88 0,94 3bis 0,92 0,93 11 0,89 0,83 10 0,94 0,52 9 0,89 0,83 8 0,87 0,96 7 0,46 0,91 6 0,90 0,75 5 0,86 0,92 4 0,94 0,48 3 0,93 0,46 2 0,94 f1-score 1 0,49 0,94 Sonido Espacial y 3D Hipotesis 0,45 0,88 UPValenciaX-S3D201x-2T2018 precision 0,90 0,92 11bis 0,94 0,98 10bis 0,80 9bis 0,89 0,97 0,47 8bis 0,51 0,42 0,89 7bis 0,78 0,92 0,91 6bis 0,93 0,94 0,98 0,85 5bis 0,97 4bis 0,87 0,97 0,85 3bis 0,97 0,95 0,94 11 0,88 0,90 0,89 10 0,88 0,96 0,99 9 0,94 0,88 0,98 0,98 0,96 0,97 8 0,81 0,87 0,54 0,46 0,48 0,88 0,46 7 0,89 0,51 0,72 0,87 0,89 0,74 0,83 6 0,96 0,94 0,95 0,91 0,78 0,83 0,95 5 0,91 0,76 0,94 0,99 0,89 0,90 0,88 4 0,87 0,94 0,74 0,87 0,90 0,90 0,85 3 0,54 0,89 0,94 0,94 0,77 0,45 0,94 2 0,96 0,80 0,49 0,47 0,93 0,94 0,45 1 0,78 0,84 0,51 0,50 0,91 0,74 0,49 Hipotesis 0,45 0,89 recall precision 0,50 0,50 f1-score recall 0,43 Sonido Espacial y 3D f1-score Fundamentos TIC para profesionales de negocios: Aplicaciones empresariales UPValenciaX-S3D201x-2T2019 UPValenciaX-SIC101.1x-1T2018 439 Hipotesis 0,42 1 0,47 2 0,94 3 0,76 4 0,93 5 0,92 6 0,88 7 0,41 8 0,83 9 0,93 10 0,94 11 0,92 3bis 0,95 4bis 0,86 5bis 0,94 6bis 0,82 7bis 0,47 8bis 0,85 9bis 0,94 10bis 0,96 0,89 11bis Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,92 11bis 0,81 0,90 0,49 10bis 0,94 0,86 0,93 0,98 9bis 0,95 0,99 0,88 0,78 8bis 0,84 0,94 0,42 0,90 7bis 0,52 0,94 0,80 0,89 6bis 0,83 0,51 0,93 0,78 5bis 0,95 0,98 0,98 0,88 4bis 0,99 0,79 0,81 0,95 3bis 0,83 0,50 0,91 0,47 11 0,94 recall 0,93 0,99 10 0,93 0,91 0,92 0,94 9 0,94 0,52 0,90 0,78 8 0,95 0,87 0,47 0,98 7 0,51 0,89 0,80 0,93 6 0,88 0,97 0,98 0,94 5 0,88 0,90 0,84 0,51 4 0,94 0,78 0,75 0,98 3 0,74 0,83 0,97 0,85 2 0,96 0,94 0,46 0,49 1 0,45 0,46 0,48 f1-score Hipotesis 0,47 Fundamentos TIC para profesionales de negocios: Aplicaciones empresariales precision 0,91 UPValenciaX-SIC101.1x-1T2019 recall 0,94 11bis 0,82 10bis 0,88 0,46 9bis 0,93 0,87 8bis 0,90 0,91 7bis 0,45 0,94 6bis 0,77 0,89 5bis 0,96 0,95 4bis 0,95 0,91 3bis 0,90 0,97 11 0,95 0,84 10 0,91 0,43 9 0,97 0,88 8 0,92 0,94 7 0,45 0,98 6 0,86 0,87 5 0,90 0,94 4 0,98 0,47 3 0,76 0,44 2 0,92 f1-score 1 0,45 0,94 Fundamentos TIC para profesionales de negocios: Aplicaciones empresariales Hipotesis 0,41 0,96 UPValenciaX-SIC101.1x-3T2016 precision 0,91 0,90 11bis 0,88 0,92 10bis 0,91 9bis 0,85 0,94 0,54 8bis 0,50 0,50 0,80 7bis 0,92 0,89 0,94 6bis 0,94 0,91 0,88 0,82 5bis 0,94 4bis 0,82 0,85 0,78 3bis 0,91 0,94 0,94 11 0,94 0,95 0,98 10 0,89 0,89 0,89 9 0,94 0,79 0,92 0,92 0,94 0,97 8 0,89 0,94 0,54 0,51 0,55 0,95 0,44 7 0,87 0,48 0,81 0,87 0,93 0,77 0,79 6 0,94 0,96 0,95 0,91 0,76 0,95 0,94 5 0,89 0,83 0,94 0,82 0,93 0,92 0,94 4 0,94 0,97 0,74 0,85 0,82 0,87 0,91 3 0,53 0,87 0,94 0,95 0,85 0,52 0,91 2 0,94 0,84 0,49 0,45 0,94 0,94 0,46 1 0,73 0,91 0,46 0,44 0,92 0,86 0,48 Hipotesis 0,48 0,94 recall precision 0,51 0,49 f1-score recall 0,50 Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware f1-score Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware UPValenciaX-SIC101.2x-1T2017 UPValenciaX-SIC101.2x-1T2018 440 Hipotesis 0,44 1 0,47 2 0,92 3 0,84 4 0,95 5 0,94 6 0,75 7 0,46 8 0,88 9 0,95 10 0,94 11 0,94 3bis 0,85 4bis 0,90 5bis 0,93 6bis 0,81 7bis 0,47 8bis 0,85 9bis 0,89 10bis 0,90 0,91 11bis Anexo 5 precision 0,90 11bis 0,82 0,88 0,45 10bis 0,97 0,89 0,98 0,97 9bis 0,95 0,86 0,94 0,82 8bis 0,83 0,96 0,47 0,89 7bis 0,49 0,94 0,95 0,94 6bis 0,82 0,46 0,86 0,80 5bis 0,92 0,94 0,82 0,95 4bis 0,98 0,75 0,84 0,91 3bis 0,78 0,48 0,94 0,46 11 0,94 recall 0,94 0,94 10 0,93 0,96 0,92 0,91 9 0,92 0,50 0,88 0,83 8 0,88 0,95 0,43 0,89 7 0,51 0,87 0,87 0,96 6 0,79 0,98 0,86 0,91 5 0,94 0,85 0,83 0,47 4 0,95 0,80 0,82 0,94 3 0,84 0,86 0,93 0,81 2 0,97 0,94 0,43 0,52 1 0,54 0,46 0,49 f1-score Hipotesis 0,45 Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware precision 0,94 UPValenciaX-SIC101.2x-1T2019 recall 0,87 11bis 0,93 10bis 0,98 0,45 9bis 0,94 0,88 8bis 0,88 0,94 7bis 0,50 0,91 6bis 0,77 0,79 5bis 0,94 0,92 4bis 0,89 0,93 3bis 0,85 0,97 11 0,97 0,87 10 0,88 0,46 9 0,91 0,87 8 0,94 0,94 7 0,47 0,94 6 0,88 0,74 5 0,94 0,92 4 0,81 0,50 3 0,85 0,46 2 0,96 f1-score 1 0,50 0,92 Fundamentos TIC para profesionales de negocios: Desarrollo de Software Hipotesis 0,44 0,94 UPValenciaX-SIC101.3x-1T2019 precision 0,94 0,94 11bis 0,94 0,94 10bis 0,89 9bis 0,86 0,98 0,55 8bis 0,43 0,51 0,84 7bis 0,75 0,91 0,89 6bis 0,93 0,93 0,96 0,92 5bis 0,94 4bis 0,83 0,87 0,84 3bis 0,92 0,93 0,92 11 0,94 0,94 0,94 10 0,94 0,94 0,88 9 0,89 0,82 0,90 0,94 0,94 0,98 8 0,85 0,94 0,53 0,49 0,50 0,94 0,52 7 0,81 0,49 0,76 0,89 0,96 0,86 0,80 6 0,94 0,94 0,94 0,94 0,81 0,84 0,87 5 0,94 0,78 0,89 0,92 0,94 0,97 0,95 4 0,94 0,97 0,72 0,83 0,87 0,92 0,75 3 0,49 0,83 0,96 0,94 0,74 0,46 0,92 2 0,94 0,75 0,54 0,43 0,89 0,96 0,46 1 0,81 0,91 0,49 0,43 0,95 0,81 0,49 Hipotesis 0,49 0,94 recall precision 0,47 0,49 f1-score recall 0,53 Fundamentos TIC para profesionales de negocios: Desarrollo de Software f1-score Fundamentos TIC para profesionales de negocios: Desarrollo de Software UPValenciaX-SIC101.3x-2T2017 UPValenciaX-SIC101.3x-2T2018 441 Hipotesis 0,42 1 0,51 2 0,98 3 0,83 4 0,95 5 0,86 6 0,86 7 0,45 8 0,87 9 0,99 10 0,94 11 0,98 3bis 0,85 4bis 0,85 5bis 0,94 6bis 0,95 7bis 0,47 8bis 0,89 9bis 0,95 10bis 0,95 0,98 11bis Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,94 11bis 0,92 0,94 0,54 10bis 0,93 0,74 0,92 0,88 9bis 0,90 0,87 0,95 0,84 8bis 0,83 0,94 0,50 0,91 7bis 0,49 0,94 0,84 0,90 6bis 0,78 0,54 0,94 0,84 5bis 0,97 0,90 0,92 0,93 4bis 0,98 0,79 0,95 0,93 3bis 0,74 0,49 0,99 0,52 11 0,94 recall 0,91 0,98 10 0,97 0,89 0,94 0,89 9 0,94 0,51 0,96 0,81 8 0,85 0,91 0,46 0,89 7 0,54 0,90 0,76 0,94 6 0,86 0,94 0,94 0,93 5 0,98 0,98 0,86 0,51 4 0,98 0,78 0,87 0,95 3 0,75 0,84 0,98 0,81 2 0,97 0,91 0,42 0,49 1 0,47 0,46 0,45 f1-score Hipotesis 0,48 Fundamentos TIC para profesionales de negocios: programaci\u00f3n precision 0,94 UPValenciaX-SIC101.4x-1T2019 recall 0,94 11bis 0,82 10bis 0,99 0,45 9bis 0,94 0,88 8bis 0,94 0,88 7bis 0,45 0,94 6bis 0,87 0,80 5bis 0,94 0,88 4bis 0,83 0,95 3bis 0,89 0,98 11 0,93 0,98 10 0,97 0,48 9 0,94 0,84 8 0,89 0,93 7 0,50 0,87 6 0,93 0,88 5 0,94 0,98 4 0,95 0,46 3 0,88 0,43 2 0,95 f1-score 1 0,42 0,92 Fundamentos TIC para profesionales de negocios: programaci\u00f3n Hipotesis 0,49 0,94 UPValenciaX-SIC101.4x-2T2018 precision 0,89 0,94 11bis 0,97 0,91 10bis 0,91 9bis 0,84 0,92 0,55 8bis 0,50 0,46 0,75 7bis 0,87 0,78 0,91 6bis 0,94 0,94 0,88 0,95 5bis 0,94 4bis 0,74 0,88 0,88 3bis 0,96 0,92 0,96 11 0,88 0,95 0,91 10 0,95 0,94 0,97 9 0,94 0,94 0,86 0,90 0,98 0,91 8 0,82 0,89 0,52 0,48 0,48 0,91 0,49 7 0,87 0,47 0,83 0,88 0,92 0,75 0,90 6 0,94 0,94 0,94 0,94 0,88 0,87 0,98 5 0,90 0,85 0,88 0,97 0,96 0,90 0,88 4 0,89 0,95 0,83 0,92 0,80 0,88 0,88 3 0,54 0,85 0,94 0,91 0,78 0,48 0,92 2 0,97 0,88 0,46 0,45 0,94 0,94 0,46 1 0,84 0,94 0,50 0,51 0,94 0,82 0,48 Hipotesis 0,46 0,89 recall precision 0,53 0,48 f1-score recall 0,50 Fundamentos TIC para profesionales de negocios: programaci\u00f3n f1-score Fundamentos TIC para profesionales de negocios: Ciberseguridad e implicaciones sociales UPValenciaX-SIC101.4x-3T2017 UPValenciaX-sic101.5x-1T2019 442 Hipotesis 0,45 1 0,42 2 0,94 3 0,77 4 0,93 5 0,94 6 0,91 7 0,48 8 0,94 9 0,92 10 0,89 11 0,92 3bis 0,87 4bis 0,83 5bis 0,90 6bis 0,87 7bis 0,44 8bis 0,86 9bis 0,94 10bis 0,96 0,96 11bis Anexo 5 precision 0,94 11bis 0,97 0,88 0,48 10bis 0,96 0,86 0,94 0,94 9bis 0,94 0,86 0,86 0,88 8bis 0,81 0,90 0,46 0,98 7bis 0,55 0,88 0,88 0,86 6bis 0,74 0,51 0,94 0,75 5bis 0,94 0,93 0,95 0,93 4bis 0,89 0,75 0,92 0,90 3bis 0,84 0,55 0,94 0,47 11 0,93 recall 0,94 0,97 10 0,92 0,93 0,92 0,93 9 0,95 0,48 0,90 0,81 8 0,84 0,94 0,45 0,84 7 0,53 0,84 0,93 0,89 6 0,84 0,94 0,97 0,99 5 0,94 0,86 0,87 0,52 4 0,93 0,81 0,83 0,94 3 0,84 0,94 0,91 0,84 2 0,94 0,94 0,45 0,44 1 0,53 0,53 0,49 f1-score Hipotesis 0,48 Fundamentos TIC para profesionales de negocios: Ciberseguridad e implicaciones sociales precision 0,94 UPValenciaX-sic101.5x-2T2018 recall 0,98 11bis 0,92 10bis 0,90 0,50 9bis 0,94 0,75 8bis 0,98 0,89 7bis 0,51 0,94 6bis 0,88 0,90 5bis 0,90 0,94 4bis 0,95 0,88 3bis 0,88 0,91 11 0,94 0,82 10 0,94 0,49 9 0,98 0,83 8 0,86 0,94 7 0,48 0,86 6 0,82 0,81 5 0,92 0,92 4 0,88 0,49 3 0,80 0,49 2 0,94 f1-score 1 0,46 0,92 Fundamentos TIC para profesionales de negocios: Ciberseguridad e implicaciones sociales Hipotesis 0,48 0,94 UPValenciaX-sic101.5x-3T2017 precision 0,90 0,88 11bis 0,94 0,90 10bis 0,83 9bis 0,81 0,95 0,55 8bis 0,50 0,41 0,89 7bis 0,76 0,90 0,89 6bis 0,92 0,86 0,93 0,97 5bis 0,94 4bis 0,73 0,82 0,79 3bis 0,90 0,97 0,96 11 0,93 0,98 0,94 10 0,88 0,91 0,95 9 0,94 0,89 0,94 0,98 0,97 0,96 8 0,89 0,94 0,49 0,48 0,47 0,94 0,45 7 0,83 0,53 0,86 0,79 0,88 0,80 0,88 6 0,99 0,91 0,96 0,90 0,89 0,98 0,95 5 0,96 0,83 0,94 0,94 0,94 0,99 0,92 4 0,91 0,90 0,80 0,89 0,91 0,94 0,86 3 0,55 0,90 0,89 0,96 0,84 0,45 0,90 2 0,88 0,87 0,51 0,44 0,96 0,94 0,43 1 0,84 0,87 0,55 0,46 0,94 0,90 0,51 Hipotesis 0,48 0,98 recall precision 0,45 0,46 f1-score recall 0,48 Introducci\u00f3n a la energ\u00eda solar fotovoltaica: El m\u00f3dulo fotovoltaico f1-score Introducci\u00f3n a la energ\u00eda solar fotovoltaica: El m\u00f3dulo fotovoltaico UPValenciaX-SOLAR201x-3T2018 UPValenciaX-SOLAR201x-3T2018a 443 Hipotesis 0,46 1 0,50 2 0,94 3 0,92 4 0,90 5 0,89 6 0,81 7 0,49 8 0,94 9 0,95 10 0,94 11 0,92 3bis 0,88 4bis 0,92 5bis 0,90 6bis 0,92 7bis 0,49 8bis 0,99 9bis 0,93 10bis 0,94 0,88 11bis Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,94 11bis 0,79 0,91 0,47 10bis 0,96 0,82 0,89 0,95 9bis 0,87 0,85 0,94 0,87 8bis 0,84 0,97 0,41 0,92 7bis 0,49 0,87 0,81 0,79 6bis 0,78 0,50 0,94 0,81 5bis 0,94 0,89 0,84 0,95 4bis 0,94 0,84 0,92 0,93 3bis 0,80 0,54 0,92 0,47 11 0,92 recall 0,91 0,90 10 0,91 0,94 0,92 0,93 9 0,91 0,52 0,95 0,84 8 0,96 0,96 0,44 0,94 7 0,49 0,83 0,87 0,92 6 0,81 0,88 0,87 0,97 5 0,90 0,91 0,99 0,47 4 0,94 0,75 0,75 0,87 3 0,73 0,88 0,89 0,84 2 0,97 0,89 0,44 0,53 1 0,51 0,45 0,43 f1-score Hipotesis 0,47 Creaci\u00f3n musical con Soundcool: Introducci\u00f3n precision 0,94 UPValenciaX-SOUND101X-1T2019 recall 0,94 11bis 0,86 10bis 0,91 0,48 9bis 0,95 0,75 8bis 0,88 0,94 7bis 0,43 0,86 6bis 0,83 0,83 5bis 0,88 0,95 4bis 0,92 0,88 3bis 0,97 0,94 11 0,99 0,85 10 0,91 0,50 9 0,98 0,81 8 0,95 0,94 7 0,48 0,87 6 0,91 0,84 5 0,97 0,94 4 0,83 0,49 3 0,82 0,48 2 0,89 f1-score 1 0,48 0,93 Creaci\u00f3n musical con Soundcool: Introducci\u00f3n Hipotesis 0,49 0,98 UPValenciaX-SOUND101X-3T2018 precision 0,93 0,94 11bis 0,91 0,95 10bis 0,84 9bis 0,92 0,84 0,52 8bis 0,46 0,46 0,87 7bis 0,92 0,94 0,89 6bis 0,92 0,95 0,94 0,84 5bis 0,98 4bis 0,80 0,95 0,84 3bis 0,94 0,96 0,91 11 0,91 0,94 0,88 10 0,90 0,90 0,94 9 0,87 0,83 0,93 0,95 0,91 0,96 8 0,87 0,97 0,54 0,46 0,52 0,88 0,50 7 0,80 0,44 0,74 0,81 0,95 0,81 0,73 6 0,94 0,92 0,94 0,94 0,76 0,94 0,91 5 0,93 0,76 0,93 0,95 0,94 0,98 0,91 4 0,96 0,89 0,72 0,77 0,90 0,98 0,87 3 0,52 0,81 0,94 0,89 0,78 0,51 0,94 2 0,98 0,81 0,53 0,47 0,88 0,94 0,48 1 0,79 0,86 0,49 0,46 0,91 0,82 0,52 Hipotesis 0,55 0,90 recall precision 0,54 0,46 f1-score recall 0,51 Soundcool: M\u00f3dulos de v\u00eddeo y propuestas creativas f1-score Soundcool: M\u00f3dulos de v\u00eddeo y propuestas creativas UPValenciaX-SOUND102X-2T2019 UPValenciaX-SOUND102X-2T2019a 444 Hipotesis 0,47 1 0,44 2 0,95 3 0,82 4 0,93 5 0,94 6 0,89 7 0,43 8 0,94 9 0,91 10 0,94 11 0,89 3bis 0,95 4bis 0,80 5bis 0,94 6bis 0,95 7bis 0,42 8bis 0,85 9bis 0,94 10bis 0,89 0,92 11bis Anexo 5 precision 0,95 11bis 0,81 0,95 0,50 10bis 0,94 0,73 0,94 0,94 9bis 0,94 0,91 0,94 0,89 8bis 0,94 0,98 0,44 0,92 7bis 0,46 0,93 0,92 0,90 6bis 0,89 0,49 0,94 0,85 5bis 0,96 0,89 0,92 0,93 4bis 0,90 0,86 0,85 0,94 3bis 0,77 0,51 0,95 0,52 11 0,93 recall 0,88 0,89 10 0,94 0,94 0,99 0,95 9 0,90 0,53 0,94 0,85 8 0,89 0,91 0,51 0,98 7 0,50 0,91 0,87 0,92 6 0,73 0,89 0,96 0,93 5 0,96 0,89 0,90 0,49 4 0,91 0,77 0,92 0,91 3 0,77 0,90 0,95 0,78 2 0,97 0,91 0,46 0,43 1 0,55 0,50 0,48 f1-score Hipotesis 0,51 T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n precision 0,97 UPValenciaX-TCCI201.x-2016_T3 recall 0,91 11bis 0,97 10bis 0,89 0,49 9bis 0,96 0,90 8bis 0,97 0,94 7bis 0,46 0,86 6bis 0,92 0,76 5bis 0,90 0,97 4bis 0,89 0,94 3bis 0,87 0,94 11 0,94 0,89 10 0,94 0,49 9 0,89 0,81 8 0,94 0,94 7 0,50 0,94 6 0,91 0,81 5 0,90 0,96 4 0,90 0,45 3 0,76 0,53 2 0,94 f1-score 1 0,50 0,94 T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n Hipotesis 0,43 0,90 UPValenciaX-TCCI201.x-3T2017 precision 0,94 0,94 11bis 0,96 0,92 10bis 0,87 9bis 0,97 0,94 0,51 8bis 0,46 0,48 0,79 7bis 0,90 0,81 0,94 6bis 0,90 0,94 0,98 0,81 5bis 0,87 4bis 0,78 0,89 0,82 3bis 0,91 0,94 0,90 11 0,98 0,90 0,95 10 0,95 0,94 0,94 9 0,89 0,90 0,86 0,90 0,94 0,96 8 0,85 0,99 0,50 0,43 0,48 0,85 0,47 7 0,89 0,51 0,83 0,87 0,89 0,90 0,74 6 0,91 0,96 0,98 0,87 0,79 0,92 0,90 5 0,94 0,85 0,88 0,90 0,94 0,97 0,84 4 0,95 0,98 0,76 0,79 0,80 0,95 0,81 3 0,49 0,85 0,91 0,94 0,88 0,52 0,93 2 0,94 0,74 0,49 0,51 0,98 0,88 0,48 1 0,79 0,96 0,53 0,47 0,89 0,83 0,51 Hipotesis 0,53 0,93 recall precision 0,47 0,48 f1-score recall 0,51 T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n f1-score Tecnolog\u00edas Educativas UPValenciaX-TCCI201.x-3T2018 UPValenciaX-TE201x-2T2015 445 Hipotesis 0,44 1 0,50 2 0,94 3 0,92 4 0,97 5 0,86 6 0,80 7 0,44 8 0,94 9 0,93 10 0,97 11 0,97 3bis 0,95 4bis 0,88 5bis 0,87 6bis 0,79 7bis 0,47 8bis 0,93 9bis 0,94 10bis 0,94 0,94 11bis Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,98 11bis 0,92 0,97 0,50 10bis 0,87 0,85 0,94 0,92 9bis 0,92 0,95 0,84 0,73 8bis 0,86 0,90 0,45 0,93 7bis 0,48 0,90 0,87 0,95 6bis 0,81 0,46 0,91 0,87 5bis 0,95 0,91 0,95 0,97 4bis 0,94 0,86 0,93 0,94 3bis 0,78 0,46 0,94 0,49 11 0,89 recall 0,97 0,92 10 0,94 0,94 0,94 0,96 9 0,95 0,45 0,93 0,92 8 0,97 0,94 0,48 0,85 7 0,52 0,82 0,76 0,99 6 0,82 0,94 0,91 0,90 5 0,94 0,86 0,97 0,47 4 0,94 0,90 0,83 0,94 3 0,79 0,85 0,91 0,82 2 0,94 0,94 0,47 0,52 1 0,53 0,46 0,47 f1-score Hipotesis 0,45 Tecnolog\u00edas Educativas precision 0,94 UPValenciaX-TE201x-2T2016 recall 0,94 11bis 0,87 10bis 0,94 0,52 9bis 0,94 0,78 8bis 0,89 0,90 7bis 0,48 0,93 6bis 0,89 0,88 5bis 0,95 0,88 4bis 0,95 0,90 3bis 0,84 0,94 11 0,91 0,88 10 0,97 0,52 9 0,96 0,75 8 0,97 0,93 7 0,49 0,94 6 0,82 0,85 5 0,87 0,97 4 0,94 0,50 3 0,77 0,51 2 0,99 f1-score 1 0,49 0,95 Tecnolog\u00edas Educativas Hipotesis 0,48 0,95 UPValenciaX-TE201x-2T2017 precision 0,87 0,92 11bis 0,97 0,93 10bis 0,81 9bis 0,90 0,96 0,45 8bis 0,49 0,44 0,83 7bis 0,88 0,91 0,91 6bis 0,97 0,87 0,87 0,83 5bis 0,86 4bis 0,83 0,88 0,91 3bis 0,91 0,91 0,97 11 0,94 0,94 0,90 10 0,96 0,95 0,93 9 0,88 0,85 0,93 0,94 0,94 0,92 8 0,91 0,88 0,47 0,41 0,52 0,89 0,48 7 0,82 0,49 0,74 0,80 0,94 0,77 0,90 6 0,90 0,96 0,89 0,98 0,73 0,84 0,87 5 0,95 0,75 0,89 0,92 0,98 0,99 0,94 4 0,94 0,94 0,83 0,79 0,86 0,96 0,78 3 0,54 0,83 0,95 0,93 0,82 0,43 0,97 2 0,96 0,76 0,54 0,48 0,92 0,96 0,45 1 0,79 0,94 0,55 0,44 0,94 0,91 0,51 Hipotesis 0,52 0,97 recall precision 0,55 0,45 f1-score recall 0,49 Introducci\u00f3n a las tecnolog\u00edas para la Educaci\u00f3n f1-score Introducci\u00f3n a las tecnolog\u00edas para la Educaci\u00f3n UPValenciaX-TE201x-2T2018 UPValenciaX-TE201x-2T2019 446 Hipotesis 0,44 1 0,48 2 0,93 3 0,76 4 0,94 5 0,86 6 0,85 7 0,50 8 0,98 9 0,90 10 0,90 11 0,89 3bis 0,81 4bis 0,81 5bis 0,87 6bis 0,94 7bis 0,43 8bis 0,89 9bis 0,94 10bis 0,91 0,90 11bis Anexo 5 precision 0,91 11bis 0,81 0,88 0,54 10bis 0,87 0,89 0,96 0,95 9bis 0,89 0,88 0,87 0,81 8bis 0,82 0,94 0,49 0,98 7bis 0,49 0,86 0,89 0,81 6bis 0,89 0,50 0,86 0,74 5bis 0,92 0,98 0,86 0,93 4bis 0,85 0,88 0,82 0,98 3bis 0,84 0,48 0,89 0,45 11 0,90 recall 0,91 0,96 10 0,90 0,96 0,88 0,97 9 0,92 0,46 0,96 0,77 8 0,82 0,98 0,43 0,90 7 0,52 0,87 0,77 0,94 6 0,72 0,94 0,98 0,90 5 0,95 0,92 0,95 0,46 4 0,94 0,91 0,91 0,92 3 0,79 0,93 0,94 0,85 2 0,96 0,94 0,49 0,49 1 0,49 0,48 0,46 f1-score Hipotesis 0,51 Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I precision 0,93 UPValenciaX-TGV201x.1-1T2019 recall 0,94 11bis 0,83 10bis 0,94 0,51 9bis 0,97 0,84 8bis 0,86 0,94 7bis 0,51 0,88 6bis 0,86 0,85 5bis 0,95 0,95 4bis 0,80 0,89 3bis 0,93 0,94 11 0,99 0,87 10 0,91 0,50 9 0,96 0,90 8 0,91 0,93 7 0,43 0,86 6 0,91 0,77 5 0,94 0,99 4 0,91 0,51 3 0,87 0,45 2 0,94 f1-score 1 0,47 0,94 Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I Hipotesis 0,43 0,88 UPValenciaX-TGV201x.1-2T2016 precision 0,91 0,94 11bis 0,93 0,94 10bis 0,79 9bis 0,88 0,99 0,47 8bis 0,49 0,48 0,78 7bis 0,88 0,81 0,93 6bis 0,96 0,98 0,93 0,97 5bis 0,91 4bis 0,83 0,95 0,82 3bis 0,95 0,94 0,95 11 0,94 0,92 0,94 10 0,94 0,94 0,87 9 0,90 0,83 0,96 0,91 0,91 0,86 8 0,80 0,94 0,47 0,43 0,48 0,88 0,52 7 0,88 0,47 0,84 0,78 0,97 0,86 0,81 6 0,90 0,89 0,91 0,95 0,84 0,87 0,90 5 0,92 0,91 0,95 0,91 0,93 0,94 0,94 4 0,90 0,96 0,80 0,92 0,93 0,94 0,89 3 0,49 0,94 0,97 0,89 0,87 0,52 0,89 2 0,94 0,89 0,49 0,47 0,95 0,92 0,50 1 0,84 0,83 0,52 0,43 0,94 0,74 0,45 Hipotesis 0,46 0,94 recall precision 0,46 0,49 f1-score recall 0,43 Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I f1-score Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I UPValenciaX-TGV201x.1-2T2017 UPValenciaX-TGV201x.1-2T2018 447 Hipotesis 0,49 1 0,47 2 0,94 3 0,92 4 0,86 5 0,94 6 0,75 7 0,42 8 0,87 9 0,94 10 0,98 11 0,91 3bis 0,89 4bis 0,89 5bis 0,95 6bis 0,82 7bis 0,48 8bis 0,94 9bis 0,94 10bis 0,95 0,94 11bis Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,86 11bis 0,79 0,88 0,54 10bis 0,90 0,73 0,92 0,95 9bis 0,88 0,96 0,98 0,76 8bis 0,85 0,99 0,45 0,89 7bis 0,48 0,86 0,90 0,82 6bis 0,80 0,53 0,91 0,87 5bis 0,94 0,96 0,93 0,91 4bis 0,91 0,77 0,81 0,94 3bis 0,90 0,48 0,89 0,51 11 0,93 recall 0,90 0,89 10 0,97 0,93 0,99 0,95 9 0,94 0,44 0,94 0,82 8 0,90 0,91 0,46 0,98 7 0,54 0,82 0,90 0,94 6 0,78 0,88 0,92 0,92 5 0,97 0,90 0,90 0,45 4 0,96 0,90 0,82 0,99 3 0,86 0,94 0,94 0,79 2 0,94 0,92 0,49 0,45 1 0,47 0,51 0,47 f1-score Hipotesis 0,50 Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I precision 0,96 UPValenciaX-TGV201x.1-3T2015 recall 0,96 11bis 0,97 10bis 0,94 0,51 9bis 0,94 0,88 8bis 0,86 0,95 7bis 0,42 0,89 6bis 0,95 0,85 5bis 0,88 0,94 4bis 0,97 0,94 3bis 0,84 0,93 11 0,89 0,95 10 0,97 0,53 9 0,94 0,87 8 0,93 0,97 7 0,44 0,94 6 0,78 0,89 5 0,90 0,95 4 0,97 0,53 3 0,87 0,46 2 0,94 f1-score 1 0,48 0,88 Aplicaciones de la Teor\u00eda de Grafos a la vida real II Hipotesis 0,45 0,89 UPValenciaX-TGV201x.2-2T2016 precision 0,91 0,94 11bis 0,93 0,96 10bis 0,93 9bis 0,98 0,93 0,50 8bis 0,50 0,43 0,89 7bis 0,75 0,86 0,94 6bis 0,91 0,92 0,96 0,80 5bis 0,98 4bis 0,75 0,88 0,88 3bis 0,95 0,89 0,93 11 0,94 0,96 0,88 10 0,87 0,98 0,97 9 0,94 0,85 0,90 0,90 0,94 0,92 8 0,85 0,87 0,55 0,45 0,50 0,83 0,43 7 0,85 0,53 0,75 0,76 0,94 0,82 0,79 6 0,91 0,95 0,94 0,95 0,80 0,97 0,94 5 0,97 0,78 0,93 0,86 0,94 0,90 0,94 4 0,90 0,97 0,71 0,90 0,83 0,91 0,79 3 0,53 0,96 0,94 0,93 0,76 0,44 0,91 2 0,94 0,88 0,46 0,48 0,96 0,94 0,48 1 0,81 0,89 0,51 0,44 0,94 0,87 0,45 Hipotesis 0,47 0,92 recall precision 0,48 0,48 f1-score recall 0,46 Aplicaciones de la Teor\u00eda de Grafos a la vida real II f1-score Aplicaciones de la Teor\u00eda de Grafos a la vida real II UPValenciaX-TGV201x.2-2T2017 UPValenciaX-TGV201x.2-2T2018 448 Hipotesis 0,42 1 0,43 2 0,90 3 0,91 4 0,87 5 0,94 6 0,87 7 0,48 8 0,86 9 0,93 10 0,94 11 0,96 3bis 0,82 4bis 0,80 5bis 0,94 6bis 0,90 7bis 0,48 8bis 0,94 9bis 0,90 10bis 0,94 0,88 11bis Anexo 5 precision 0,95 11bis 0,79 0,92 0,52 10bis 0,96 0,84 0,91 0,97 9bis 0,86 0,91 0,94 0,90 8bis 0,88 0,94 0,51 0,96 7bis 0,49 0,94 0,90 0,85 6bis 0,86 0,45 0,95 0,81 5bis 0,98 0,94 0,81 0,97 4bis 0,93 0,88 0,88 0,95 3bis 0,85 0,47 0,94 0,47 11 0,92 recall 0,97 0,88 10 0,94 0,87 0,94 0,86 9 0,97 0,51 0,86 0,91 8 0,96 0,91 0,44 0,98 7 0,49 0,75 0,79 0,89 6 0,72 0,93 0,95 0,94 5 0,93 0,96 0,83 0,43 4 0,96 0,84 0,76 0,94 3 0,78 0,89 0,94 0,84 2 0,94 0,90 0,49 0,50 1 0,54 0,48 0,42 f1-score Hipotesis 0,52 Aplicaciones de la Teor\u00eda de Grafos a la vida real II precision 0,94 UPValenciaX-TGV201x.2-2T2019 recall 0,97 11bis 0,87 10bis 0,94 0,43 9bis 0,90 0,83 8bis 0,87 0,94 7bis 0,44 0,94 6bis 0,85 0,83 5bis 0,91 0,93 4bis 0,81 0,94 3bis 0,84 0,95 11 0,90 0,83 10 0,90 0,47 9 0,95 0,91 8 0,89 0,89 7 0,42 0,87 6 0,78 0,83 5 0,91 0,95 4 0,96 0,52 3 0,86 0,48 2 0,97 f1-score 1 0,44 0,94 Aplicaciones de la Teor\u00eda de Grafos a la vida real II Hipotesis 0,45 0,91 UPValenciaX-TGV201x.2-3T2015 precision 0,95 0,94 11bis 0,94 0,90 10bis 0,82 9bis 0,94 0,87 0,50 8bis 0,45 0,44 0,84 7bis 0,75 0,85 0,89 6bis 0,91 0,91 0,92 0,81 5bis 0,88 4bis 0,89 0,84 0,87 3bis 0,98 0,90 0,89 11 0,90 0,90 0,88 10 0,94 0,95 0,92 9 0,94 0,94 0,89 0,95 0,91 0,96 8 0,82 0,94 0,49 0,42 0,50 0,94 0,45 7 0,84 0,45 0,87 0,78 0,89 0,75 0,85 6 0,92 0,91 0,97 0,91 0,89 0,88 0,91 5 0,98 0,87 0,94 0,96 0,90 0,89 0,92 4 0,94 0,88 0,85 0,86 0,94 0,92 0,86 3 0,49 0,96 0,93 0,97 0,87 0,45 0,96 2 0,97 0,85 0,51 0,44 0,94 0,91 0,47 1 0,85 0,92 0,54 0,45 0,93 0,86 0,53 Hipotesis 0,51 0,96 recall precision 0,54 0,47 f1-score recall 0,53 Diagramas UML Estructurales para la Ingenier\u00eda del Software f1-score Introducci\u00f3n al desarrollo de videojuegos con Unity UPValenciaX-UML101x-2T2019 UPValenciaX-UNY201.x-2T2016 449 Hipotesis 0,45 1 0,48 2 0,94 3 0,87 4 0,97 5 0,89 6 0,82 7 0,47 8 0,84 9 0,96 10 0,91 11 0,94 3bis 0,96 4bis 0,81 5bis 0,89 6bis 0,87 7bis 0,48 8bis 0,84 9bis 0,93 10bis 0,97 0,94 11bis Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,90 11bis 0,83 0,94 0,46 10bis 0,89 0,82 0,91 0,97 9bis 0,87 0,91 0,85 0,80 8bis 0,83 0,98 0,43 0,88 7bis 0,48 0,94 0,82 0,81 6bis 0,78 0,54 0,86 0,77 5bis 0,89 0,96 0,96 0,92 4bis 0,91 0,79 0,87 0,94 3bis 0,76 0,55 0,92 0,48 11 0,94 recall 0,96 0,94 10 0,90 0,94 0,89 0,94 9 0,96 0,46 0,83 0,90 8 0,90 0,97 0,47 0,94 7 0,55 0,87 0,81 0,88 6 0,78 0,89 0,94 0,97 5 0,94 0,99 0,82 0,46 4 0,91 0,89 0,85 0,95 3 0,72 0,99 0,93 0,78 2 0,96 0,94 0,44 0,45 1 0,53 0,46 0,49 f1-score Hipotesis 0,49 Introducci\u00f3n al desarrollo de videojuegos con Unity precision 0,92 UPValenciaX-UNY201.x-2T2017 recall 0,94 11bis 0,96 10bis 0,94 0,52 9bis 0,96 0,89 8bis 0,92 0,95 7bis 0,46 0,86 6bis 0,82 0,76 5bis 0,94 0,97 4bis 0,84 0,89 3bis 0,97 0,87 11 0,92 0,89 10 0,95 0,53 9 0,92 0,79 8 0,83 0,96 7 0,46 0,89 6 0,85 0,80 5 0,94 0,90 4 0,82 0,52 3 0,82 0,44 2 0,94 f1-score 1 0,49 0,89 Introducci\u00f3n al desarrollo de videojuegos con Unity Hipotesis 0,46 0,94 UPValenciaX-UNY201.x-2T2018 precision 0,89 0,89 11bis 0,96 0,94 10bis 0,79 9bis 0,95 0,96 0,46 8bis 0,45 0,50 0,83 7bis 0,78 0,88 0,95 6bis 0,87 0,90 0,91 0,90 5bis 0,85 4bis 0,84 0,92 0,79 3bis 0,94 0,92 0,97 11 0,94 0,95 0,88 10 0,94 0,96 0,96 9 0,94 0,82 0,93 0,94 0,98 0,89 8 0,97 0,94 0,45 0,46 0,48 0,83 0,44 7 0,74 0,50 0,88 0,76 0,91 0,76 0,81 6 0,94 0,97 0,97 0,94 0,89 0,98 0,94 5 0,94 0,90 0,89 0,84 0,95 0,98 0,89 4 0,95 0,89 0,81 0,91 0,89 0,95 0,87 3 0,52 0,87 0,94 0,94 0,76 0,52 0,94 2 0,94 0,80 0,49 0,50 0,89 0,94 0,44 1 0,85 0,97 0,50 0,47 0,98 0,74 0,43 Hipotesis 0,47 0,94 recall precision 0,45 0,44 f1-score recall 0,50 Introducci\u00f3n al desarrollo de videojuegos con Unity f1-score Introducci\u00f3n al desarrollo de videojuegos con Unity UPValenciaX-UNY201.x-2T2019 UPValenciaX-UNY201.x-T12016 450 Hipotesis 0,42 1 0,43 2 0,94 3 0,79 4 0,88 5 0,94 6 0,80 7 0,50 8 0,98 9 0,94 10 0,91 11 0,93 3bis 0,85 4bis 0,98 5bis 0,94 6bis 0,81 7bis 0,50 8bis 0,92 9bis 0,94 10bis 0,96 0,94 11bis Anexo 5 precision 0,94 11bis 0,89 0,95 0,45 10bis 0,88 0,79 0,97 0,92 9bis 0,95 0,92 0,88 0,79 8bis 0,91 0,94 0,47 0,93 7bis 0,52 0,90 0,83 0,79 6bis 0,79 0,50 0,89 0,79 5bis 0,95 0,93 0,94 0,94 4bis 0,89 0,82 0,96 0,94 3bis 0,83 0,54 0,94 0,47 11 0,91 recall 0,93 0,93 10 0,91 0,89 0,91 0,90 9 0,94 0,50 0,86 0,90 8 0,84 0,87 0,45 0,94 7 0,52 0,76 0,90 0,93 6 0,74 0,95 0,91 0,92 5 0,96 0,88 0,85 0,48 4 0,88 0,86 0,76 0,90 3 0,85 0,93 0,91 0,76 2 0,90 0,96 0,42 0,43 1 0,53 0,45 0,48 f1-score Hipotesis 0,46 Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP precision 0,90 UPValenciaX-VF201x-1T2017 recall 0,91 11bis 0,91 10bis 0,92 0,46 9bis 0,97 0,75 8bis 0,94 0,94 7bis 0,42 0,88 6bis 0,92 0,92 5bis 0,95 0,90 4bis 0,84 0,97 3bis 0,93 0,89 11 0,95 0,91 10 0,95 0,46 9 0,94 0,83 8 0,88 0,89 7 0,43 0,93 6 0,88 0,80 5 0,94 0,89 4 0,94 0,47 3 0,82 0,52 2 0,95 f1-score 1 0,44 0,87 Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP Hipotesis 0,48 0,94 UPValenciaX-VF201x-1T2018 precision 0,91 0,94 11bis 0,94 0,90 10bis 0,81 9bis 0,85 0,94 0,46 8bis 0,44 0,43 0,87 7bis 0,80 0,93 0,92 6bis 0,94 0,94 0,95 0,95 5bis 0,82 4bis 0,76 0,83 0,81 3bis 0,93 0,94 0,96 11 0,87 0,94 0,89 10 0,86 0,95 0,92 9 0,94 0,92 0,95 0,94 0,93 0,88 8 0,88 0,89 0,49 0,41 0,50 0,86 0,51 7 0,87 0,46 0,72 0,88 0,94 0,77 0,81 6 0,94 0,91 0,94 0,90 0,81 0,85 0,96 5 0,91 0,93 0,94 0,84 0,92 0,94 0,94 4 0,93 0,95 0,75 0,77 0,91 0,92 0,77 3 0,48 0,83 0,94 0,98 0,85 0,47 0,98 2 0,98 0,85 0,50 0,46 0,96 0,90 0,45 1 0,80 0,96 0,51 0,49 0,89 0,75 0,49 Hipotesis 0,54 0,91 recall precision 0,51 0,51 f1-score recall 0,45 Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP f1-score Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP UPValenciaX-VF201x-1T2019 UPValenciaX-VF201x-2016_T2 451 Hipotesis 0,49 1 0,46 2 0,94 3 0,91 4 0,98 5 0,89 6 0,87 7 0,45 8 0,92 9 0,91 10 0,94 11 0,94 3bis 0,91 4bis 0,94 5bis 0,91 6bis 0,94 7bis 0,42 8bis 0,95 9bis 0,94 10bis 0,94 0,93 11bis Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,93 11bis 0,90 0,98 0,47 10bis 0,94 0,81 0,91 0,92 9bis 0,94 0,92 0,94 0,75 8bis 0,82 0,99 0,44 0,94 7bis 0,49 0,94 0,95 0,97 6bis 0,77 0,47 0,89 0,77 5bis 0,94 0,99 0,87 0,88 4bis 0,93 0,80 0,87 0,94 3bis 0,74 0,48 0,90 0,46 11 0,96 recall 0,92 0,90 10 0,93 0,94 0,92 0,94 9 0,95 0,51 0,85 0,88 8 0,81 0,90 0,45 0,88 7 0,53 0,92 0,88 0,89 6 0,80 0,88 0,89 0,90 5 0,99 0,94 0,97 0,48 4 0,94 0,78 0,79 0,97 3 0,82 0,94 0,95 0,83 2 0,96 0,93 0,44 0,48 1 0,55 0,51 0,43 f1-score Hipotesis 0,51 Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP precision 0,94 UPValenciaX-VF201x-2T2015 recall 0,94 11bis 0,94 10bis 0,96 0,49 9bis 0,96 0,81 8bis 0,96 0,89 7bis 0,47 0,85 6bis 0,79 0,82 5bis 0,94 0,98 4bis 0,91 0,93 3bis 0,83 0,94 11 0,91 0,95 10 0,98 0,51 9 0,93 0,80 8 0,89 0,94 7 0,42 0,85 6 0,82 0,89 5 0,89 0,93 4 0,81 0,53 3 0,89 0,51 2 0,97 f1-score 1 0,48 0,95 Introducci\u00f3n a Excel Hipotesis 0,51 0,95 UPValenciaX-xls101x-1T2016 precision 0,94 0,89 11bis 0,94 0,98 10bis 0,97 9bis 0,88 0,86 0,49 8bis 0,44 0,48 0,77 7bis 0,84 0,93 0,94 6bis 0,88 0,98 0,89 0,88 5bis 0,88 4bis 0,82 0,95 0,89 3bis 0,94 0,92 0,92 11 0,89 0,93 0,91 10 0,88 0,92 0,94 9 0,88 0,79 0,97 0,95 0,89 0,81 8 0,89 0,99 0,48 0,50 0,46 0,86 0,47 7 0,79 0,44 0,85 0,92 0,94 0,80 0,76 6 0,94 0,94 0,95 0,94 0,81 0,92 0,97 5 0,94 0,79 0,91 0,83 0,92 0,90 0,85 4 0,94 0,92 0,76 0,93 0,81 0,95 0,77 3 0,49 0,94 0,91 0,94 0,74 0,50 0,96 2 0,91 0,89 0,47 0,45 0,93 0,94 0,45 1 0,74 0,83 0,46 0,46 0,93 0,75 0,50 Hipotesis 0,46 0,91 recall precision 0,50 0,43 f1-score recall 0,49 Introducci\u00f3n a Excel f1-score Excel: Fundamentos y herramientas UPValenciaX-xls101x-1T2018 UPValenciaX-xls101x-1T2019 452 Hipotesis 0,43 1 0,45 2 0,96 3 0,89 4 0,89 5 0,87 6 0,85 7 0,43 8 0,92 9 0,93 10 0,96 11 0,94 3bis 0,87 4bis 0,82 5bis 0,94 6bis 0,87 7bis 0,43 8bis 0,94 9bis 0,91 10bis 0,89 0,89 11bis Anexo 5 precision 0,94 11bis 0,82 0,94 0,51 10bis 0,87 0,75 0,94 0,94 9bis 0,94 0,98 0,98 0,79 8bis 0,85 0,90 0,50 0,88 7bis 0,50 0,91 0,87 0,94 6bis 0,88 0,46 0,88 0,84 5bis 0,91 0,96 0,93 0,94 4bis 0,90 0,73 0,81 0,90 3bis 0,72 0,46 0,94 0,53 11 0,90 recall 0,94 0,95 10 0,94 0,94 0,90 0,84 9 0,95 0,52 0,94 0,83 8 0,95 0,87 0,48 0,83 7 0,49 0,89 0,90 0,89 6 0,78 0,94 0,86 0,96 5 0,98 0,98 0,89 0,49 4 0,93 0,75 0,86 0,87 3 0,77 0,87 0,97 0,73 2 0,90 0,88 0,42 0,48 1 0,54 0,51 0,51 f1-score Hipotesis 0,54 Introducci\u00f3n a Excel precision 0,94 UPValenciaX-xls101x-2T2017 recall 0,89 11bis 0,98 10bis 0,98 0,47 9bis 0,99 0,87 8bis 0,94 0,92 7bis 0,46 0,90 6bis 0,86 0,83 5bis 0,96 0,96 4bis 0,89 0,94 3bis 0,88 0,94 11 0,99 0,90 10 0,98 0,45 9 0,99 0,86 8 0,93 0,91 7 0,46 0,85 6 0,84 0,82 5 0,96 0,96 4 0,90 0,53 3 0,84 0,48 2 0,99 f1-score 1 0,46 0,97 Excel 2: Gesti\u00f3n de datos Hipotesis 0,46 0,98 UPValenciaX-XLS201x-1T2018 precision 0,96 0,89 11bis 0,97 0,90 10bis 0,88 9bis 0,91 0,99 0,50 8bis 0,48 0,42 0,81 7bis 0,83 0,93 0,97 6bis 0,97 0,98 0,95 0,92 5bis 0,92 4bis 0,81 0,96 0,84 3bis 0,99 0,94 0,99 11 0,97 0,94 0,98 10 0,96 0,94 0,97 9 0,87 0,88 0,90 0,92 0,95 0,90 8 0,83 0,94 0,50 0,47 0,54 0,89 0,48 7 0,78 0,52 0,80 0,79 0,90 0,84 0,82 6 0,94 0,92 0,99 0,94 0,72 0,82 0,97 5 0,91 0,82 0,98 0,98 0,92 0,94 0,93 4 0,95 0,94 0,80 0,88 0,85 0,94 0,82 3 0,50 0,92 0,99 0,94 0,78 0,52 0,99 2 0,91 0,77 0,50 0,48 0,91 0,95 0,48 1 0,75 0,94 0,50 0,47 0,94 0,87 0,48 Hipotesis 0,51 0,94 recall precision 0,46 0,50 f1-score recall 0,49 Excel: gesti\u00f3n de datos f1-score Excel 2: Gesti\u00f3n de datos UPValenciaX-XLS201x-1T2019 UPValenciaX-XLS201x-3T2016 453 Hipotesis 0,46 1 0,50 2 0,99 3 0,91 4 0,82 5 0,94 6 0,89 7 0,46 8 0,87 9 0,95 10 0,94 11 0,89 3bis 0,95 4bis 0,86 5bis 0,87 6bis 0,93 7bis 0,49 8bis 0,89 9bis 0,99 10bis 0,91 0,94 11bis Machine Learning y predicciones para la mejora del rendimiento en MOOC precision 0,94 11bis 0,86 0,90 0,52 10bis 0,94 0,81 0,94 0,94 9bis 0,93 0,96 0,86 0,73 8bis 0,95 0,95 0,51 0,88 7bis 0,47 0,88 0,92 0,84 6bis 0,88 0,53 0,90 0,75 5bis 0,94 0,96 0,83 0,98 4bis 0,89 0,88 0,88 0,96 3bis 0,87 0,49 0,89 0,48 11 0,93 recall 0,93 0,97 10 0,95 0,94 0,95 0,87 9 0,96 0,44 0,90 0,79 8 0,96 0,87 0,49 0,92 7 0,53 0,81 0,87 0,96 6 0,74 0,97 0,94 0,96 5 0,94 0,88 0,92 0,43 4 0,97 0,80 0,86 0,87 3 0,82 0,87 0,98 0,76 2 0,94 0,94 0,49 0,43 1 0,53 0,48 0,47 f1-score Hipotesis 0,48 Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos precision 0,91 UPValenciaX-XlS202x-2T2018 recall 0,92 11bis 0,97 10bis 0,90 0,44 9bis 0,94 0,88 8bis 0,94 0,94 7bis 0,44 0,94 6bis 0,84 0,90 5bis 0,97 0,99 4bis 0,89 0,99 3bis 0,80 0,87 11 0,94 0,90 10 0,94 0,47 9 0,94 0,85 8 0,94 0,96 7 0,44 0,98 6 0,76 0,84 5 0,86 0,96 4 0,84 0,51 3 0,81 0,51 2 0,94 0,94 f1-score 1 0,46 0,94 Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos Hipotesis 0,50 0,94 UPValenciaX-XlS202x-2T2018a precision 0,91 0,93 11bis 0,97 0,92 10bis 0,84 9bis 0,46 0,99 0,48 8bis 0,82 0,46 0,89 7bis 0,95 0,95 0,91 6bis 0,94 0,86 0,85 0,81 5bis 0,86 4bis 0,76 0,96 0,89 3bis 0,94 0,98 0,96 11 0,99 0,89 0,98 10 0,94 0,98 0,82 9 0,91 0,99 0,85 0,90 0,88 0,51 8 0,94 0,94 0,50 0,45 0,53 0,90 0,87 7 0,90 0,51 0,80 0,90 0,94 0,89 0,97 6 0,88 0,94 0,94 0,94 0,82 0,93 0,98 5 0,93 0,78 0,91 0,86 0,88 0,90 0,74 4 0,90 0,92 0,75 0,89 0,79 0,94 0,95 3 0,53 0,89 0,98 0,95 0,83 0,49 0,53 2 0,93 0,77 0,48 0,43 0,94 0,90 0,48 1 0,86 0,96 0,46 0,46 0,89 0,89 recall Hipotesis 0,45 0,94 f1-score precision 0,55 0,50 Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos recall 0,43 UPValenciaX-XlS202x-2T2019 f1-score 454 Anexo 6 Ane o 6. I e aci n III. Info me ejec i o de p e en aci n de e l ado . 455 Anexo 6 457 Machine Learning y predicciones para la mejora del rendimiento en MOOC 458 Anexo 6 459 Machine Learning y predicciones para la mejora del rendimiento en MOOC 460 Anexo 6 461 Machine Learning y predicciones para la mejora del rendimiento en MOOC 462 Anexo 6 463 Machine Learning y predicciones para la mejora del rendimiento en MOOC 464 Anexo 6 465 Machine Learning y predicciones para la mejora del rendimiento en MOOC 466 Anexo 6 467 Machine Learning y predicciones para la mejora del rendimiento en MOOC 468 Anexo 7 Ane o 7. I e aci n III. P e en aci n pa a e po ici n de e l ado . 469 Anexo 7 471 Machine Learning y predicciones para la mejora del rendimiento en MOOC 472 Anexo 7 473 Machine Learning y predicciones para la mejora del rendimiento en MOOC 474 Anexo 7 475 Machine Learning y predicciones para la mejora del rendimiento en MOOC 476 Anexo 7 477 Machine Learning y predicciones para la mejora del rendimiento en MOOC 478 Anexo 7 479 Machine Learning y predicciones para la mejora del rendimiento en MOOC 480