Plan de Pruebas

Anexo 6. Plan de Pruebas
Tabla de contenido
Introducción .................................................................................................................................. 2
1.
Validación de los Modelos generados con la variable objetivo Ozono................................. 2
1.1 Modelo RAO3 ...................................................................................................................... 2
1.1.1 Algoritmo PredictiveApriori .......................................................................................... 2
1.1.2 Algoritmo Apriori .......................................................................................................... 3
1.2 Modelo CO3 ........................................................................................................................ 4
1.2.1 Gráfico de Elevación ..................................................................................................... 4
1.2.2 Validación Cruzada ....................................................................................................... 5
1.3 Modelo CAO3 ...................................................................................................................... 6
1.3.1 Grafico de Elevación ..................................................................................................... 6
1.3.2 Matriz de Clasificación ................................................................................................. 7
2. Validación de los Modelos generados con la variable objetivo Material Particulado (PM10) . 9
2.1 Modelo RAPM10 ................................................................................................................. 9
2.2 Modelo de CPM10 ............................................................................................................. 10
2.2.1 Gráfico de Elevación ................................................................................................... 10
2.3 Modelo CAPM10 ............................................................................................................... 11
2.3.1 Grafico de Elevación ................................................................................................... 11
2.3.2 Matriz de Clasificación ............................................................................................... 12
3. Resultados de las validaciones por expertos.......................................................................... 14
4. Pruebas funcionales – Prototipo Alertas Tempranas .............................................................. 14
4.1 Funcionalidad: Hacer Pronóstico ...................................................................................... 14
4.2 Funcionalidad: Ver red de dependencias .......................................................................... 15
4.3 Pruebas generales ............................................................................................................. 15
Introducción
Este documento pretende evaluar los modelos de minería de datos generados para comprobar
su eficacia y precisión de acuerdo al conjunto de pruebas separado en la creación de los
modelos. También se encuentra un resumen de las pruebas funcionales aplicadas al prototipo
de alertas tempranas. Cabe recalcar que al generar los modelos se probaron varias
configuraciones con el fin de ofrecer resultados mejores para resolver el problema con sus
respectivos datos.
Analysis Services y Weka proporcionan herramientas que ayudan a separar el conjunto de
datos de entrenamiento (se utiliza para crear el modelo de minería de datos) y el conjunto de
prueba (evalúa la precisión de dicho modelo).
1. Validación de los Modelos generados con la variable objetivo
Ozono
A continuación se describen los resultados de la evaluación de precisión para cada Modelo
de Minería de Datos con la variable predictiva de Ozono.
1.1 Modelo RAO3
Para este Modelo se tuvieron en cuenta las métricas que generan los algoritmos A priori y
PredictiveApriori descritas en el Anexo 2.Tecnicas de Modelado y Diseño de Pruebas.docx,
por tal motivo no fue necesario realizar la división del conjunto de datos.
Como los algoritmos PredictiveApriori y Apriori tienen métricas de evaluación distintas, se
presenta en detalle los resultados de cada algoritmo.
1.1.1 Algoritmo PredictiveApriori
El total de las reglas de asociación generadas y aprobadas pertenecientes al algoritmo
fueron 147, para una mejor comprensión fue necesario dividirlas en grupos de acuerdo a la
relación que hay entre las variables de entrada con la variable de salida (que en este caso
es el contaminante de Ozono), para cada uno de estos grupos se calculó el promedio de la
métrica de confianza que proporciona cada regla (grupos que contienen las reglas de
asociación: ResultadosReglasAsociacion.xls),la gráfica arrojó la siguiente información:
% de la Medida Confianza
Probabilidad de Confianza Vs grupos de RA
120
100
80
60
40
20
0
Series1
Iniciales de los grupos formados
Ilustración 1 Grafica de los promedios por grupo de la medida predictiva
Fuente: Autor
Como se puede observar en la gráfica, el promedio de cada grupo está por encima del 62%
de la métrica predictiva, lo cual nos permite afirmar con certeza que las reglas de
asociación generadas son de utilidad.
Sin embargo es importante recalcar que hay reglas en los grupos que contienen un
porcentaje inferior al 50% de la métrica, esto no quiere decir que las reglas no sean del
todo confiables, sino que son reglas poco frecuentes en el conjunto de datos de
entrenamiento, esta proporción de reglas con este porcentaje son reglas cuyo estado de la
variable de salida de Ozono es: desfavorable.
1.1.2 Algoritmo Apriori
Para el algoritmo Apriori las métricas que validan las reglas generadas son la confianza y la
mejora. Para que la interpretación de los resultados de las métricas fuera buena, fue
necesario para cada una de las métricas calcular el promedio por grupo (donde cada grupo
contiene reglas de asociación) de la confianza y la mejora y presentar las gráficas de dichos
promedios. A continuación se presentan los resultados generados:
120
100
80
60
40
20
0
HVT
HVN
HVNX
HVR
HVFN
HVLL
HVM
HRLL
HRN
HRNX
HRTR
HNT
HNLL
HNNX
HNFNR
HTRNX
FNNXHP
HPRVM
HPRVTR
HPRVNXN
HPVRT
HPRVN
% de la Medida Confianza
Probabilidad de Confianza Vs grupos de RA
Iniciales de los grupos formados
Ilustración 2 Grafica de los promedios por grupo de la medida de Confianza
Fuente: Autor
Series1
En la ilustración 2 se puede observar que el promedio de confianza para cada uno de los
grupos varía entre el 80 y 100%, esto quiere decir que las reglas de asociación por parte de la
métrica de confianza muestran resultados que describen patrones de los datos con una
frecuencia alta.
2
1.5
1
0.5
Series1
0
HVT
HVN
HVNX
HVR
HVFN
HVLL
HVM
HRLL
HRN
HRNX
HRTR
HNT
HNLL
HNNX
HNFNR
HTRNX
FNNXHP
HPRVM
HPRVTR
HPRVNXN
HPVRT
HPRVN
Medida de Mejora
Evaluación de la Mejora
Iniciales de los grupos formados
Ilustración 3 Grafica de los promedios por grupo de la medida de Mejora
Fuente: Autor
En la ilustración 3 se puede observar que el promedio de la métrica de mejora por cada
grupo que busca verdaderas reglas interesantes, está por encima del número 1. Lo mismo
pasa observando cada regla de asociación.
Es importante aclarar que el valor de la métrica de confianza es independiente del valor
de la mejora, así que de acuerdo a estas métricas se puede concluir que el modelo de
reglas de asociación es válido y útil para los involucrados a pesar que en muchas de las
reglas el soporte sea bajo.
1.2 Modelo CO3
Para el modelo de Clustering, se utilizaron dos enfoques para la validación de la solución
propuesta por el modelo, los enfoques utilizados son los siguientes:
1.2.1 Gráfico de Elevación
Este grafico representa los valores reales de los datos con respecto a los valores apartados
por el modelo que hacen parte del conjunto de prueba.
Se puede observar en la ilustración 4 el grafico de del modelo de Clustering. Este grafico
representa los resultados de las consultas de predicción del conjunto de datos de prueba
(Definido previamente) en función de valores conocidos de la columna de predicción que
existe en el conjunto de datos de entrenamiento.
La tendencia de esta grafica indica que la precisión de la correlación de un conjunto de
resultados con una entrada determinada es exacta salvo por los valores normalizados de
Ozono comprendidos entre 0.9 y 1 (mayor e igual a 118 ppb).
Ilustración 4 Grafica de dispersión del Modelo CO3
Fuente: Autor por medio de la herramienta Visual Studio Data Tools 2012
1.2.2 Validación Cruzada
La validación cruzada en este caso se realizó para 3 particiones de tamaño 439, donde el
atributo destino son el número de clusters ya que es importante evaluar la solidez de cada
uno de los clusters (recomendado por Analysis Services). En los resultados se puede
observar (Ver fig. 5) que la herramienta Analysis Services crea y entrena las 3 particiones
con 3 modelos temporales distintos que componen el modelo de Clustering, en la columna
Medida se observa una métrica de precisión que calcula la exactitud de predicción de los
modelos temporales creados con el conjunto de datos de prueba.
Ilustración 5 Validación cruzada - Modelo CO3
Fuente: Herramienta Visual Studio Data Tools 2012
Se puede observar que el modelo de Clustering tiene una precisión promedio del 80%, es
decir que el modelo frente a otros conjuntos de datos diferentes a los utilizados en el
entrenamiento, tiene una precisión alta.
1.3 Modelo CAO3
El modelo de clasificación por Arboles de decisión para el O3 se muestra en 2 formas: el Grafico
de Elevación y la Matriz de Clasificación.
1.3.1 Grafico de Elevación
En la ilustración 6 se encuentra el grafico de dispersión creado por la herramienta. En el eje X
se presentan el porcentaje de valores del conjunto de pruebas y en el eje Y el porcentaje de
población correcta, la línea azul indica la predicción perfecta y la línea roja la predicción con el
conjunto de datos de prueba previamente seleccionados.
Teniendo en cuenta que los valores independientes son la población general y los valores
dependientes son la población correcta de predicción, la tendencia de esta grafica indica que
la precisión o aproximación de la correlación del conjunto de prueba es del 81% de los datos
con un error del 0.71% de los datos que no logra clasificar, para el resto del porcentaje de los
datos (mayores al 85%) el error de clasificación es más alto llegando al 10,3% de los datos que
no se logran clasificar. Sin embargo en el modelo se eligieron algunas ramas con una confianza
y soporte alto.
Ilustración 6 Grafico de Elevación Modelo CAO3
Fuente: Herramienta Visual Studio Data Tools 2012
Esto puede concluir por medio de este enfoque que la precisión del modelo es muy buena por
lo cual indica que este modelo es de gran utilidad para las conclusiones y la etapa de
implementación del presente trabajo de grado.
1.3.2 Matriz de Clasificación
La siguiente tabla muestra los resultados de la matriz de clasificación para el modelo de
Árboles de Decisión de O3. En las columnas de la matriz se encuentran los porcentajes de los
valores reales para los estados del atributo objetivo Ozono y las filas representan los
porcentajes de los valores de predicción para el modelo.
Se puede observar que las 2 últimas filas de la matriz representan el porcentaje de falsos
positivos y verdaderos positivos de cada columna.
Tabla 1 Matriz de Confusión para el Modelo CAO3
Fuente: Autor por medio de la herramienta Visual Studio Data Tools 2012
Estado del Atributo Objetivo: BUENO (Real)
La primera celda de resultados, que contiene el porcentaje 94.02%, indica el numero de
verdaderos positivos para el estado BUENO. Dado que el estado BUENO indica que el Ozono
tiene una concentracion baja, esta estadistica indica que el modelo predijo el valor correcto
para quienes la concentracion de ozono es clasificada como buena en el 94.02% de los casos.
Para la celda de resultados, que contiene el porcentaje en 0.07% (que se encuentra debajo del
94.02%), indica que el porcentaje de falsos positivos que el modelo predijo que el Ozono
estaba en estado DESFAVORABLE cuando en realidad no es asi (el estado es bueno) es del
0.07%.
Para la celda directamente debajo del porcentaje 0.07%, los falsos positivos que el modelo
predijo que el Ozono estaba en estado MODERADO cuando en realidad no es asi es del 5.91%,
siendo este un porcentaje bajo sobre el porcentaje total de los datos cuyo estado del Ozono es
bueno.
Estado del Atributo Objetivo: DESFAVORABLE (Real)
La segunda celda de resultados (de la primera fila), que contiene el porcentaje 13.53%, indica
el numero de falsos positivos para el estado Desfavorable. Esta estadistica indica que el
modelo predijo el estado bueno, cuando en realidad debia ser desfavorable en un 13.53% de
los datos.
La celda de resultados, que contiene el porcentaje del 81.18%, indica el numero de verdaderos
positivos para el estado DESFAVORABLE. Dado que el estado DESFAVORABLE indica que el
Ozono tiene una concentracion alta, esta estadistica indica que el modelo predijo el valor
correcto para quienes la concentracion de ozono es clasificada como desfavorable en el
81.18% de los casos.
Para la segunda celda de la tercerta fila, se puede observar que el modelo predijo el Ozono en
estado moderado cuando en realidad era desfavorable en un 5.29%.
Estado del Atributo Objetivo: MODERADO (Real)
Para la tercera celda de la fila uno, los falsos positivos que el modelo predijo que el Ozono
estaba en estado bueno cuando en realidad no es asi, es del 13.27%.
Para la celda directamente debajo de la anterior descrita, los falsos positivos que el modelo
predijo que el Ozono estaba en estado desfavorable cuando no es asi es del 2.06%, siendo este
un porcentaje muy bajo sobre el porcentaje total de los datos cuyo estado del Ozono es
moderado.
Para la tercera celda de la fila tres, se puede observar que el valor 84.67% indica el porcentaje
de verdaderos positivos, donde el modelo predijo que el Ozono estaba en estado bueno
cuando realmente es asi.
Como conclusión de la matriz de clasificación presentada (Ver Tabla 2), el porcentaje total de
falsos positivos no supera el 20%, lo que indica que el modelo es útil para realizar análisis e
implementación. Cabe recalcar que ese 7,57% que hace parte de los falsos positivos se reduce
en el momento en que se realizó el proceso de poda del árbol presentado en el análisis de
resultados del documento memoria de grado.
Tabla 2 Porcentaje total de falsos y verdaderos positivos
Fuente: Herramienta Visual Studio Data Tools 2012
2. Validación de los Modelos generados con la variable objetivo
Material Particulado (PM10)
A continuación se describen los resultados de la evaluación los modelos de Minería de Datos
con la variable predictiva Material Particulado.
2.1 Modelo RAPM10
A continuación se presentan los resultados generados:
% Probabilidad de Confianza
Grupos Vs Confianza
90
88
86
84
82
80
78
76
74
72
70
68
Confianza
Grupos creados
Ilustración 7 Grafica de los promedios por grupo de la medida de Confianza
Fuente: Autor
En la ilustración 7 se puede observar que el promedio de confianza para cada uno de los
grupos que contiene reglas de asociación está el 77 y 87%, esto quiere decir que las reglas de
asociación por parte de la métrica de confianza tienen resultados que describen patrones de
los datos con una frecuencia alta, dando utilidad a cada una de las reglas.
Promedio mejora Vs Grupos
Promedio Mejora
2.5
2
1.5
1
0.5
Mejora
0
Grupos creados de Reglas
Ilustración 8 Grafica de los promedios por grupo de la medida de Mejora
Fuente: Autor
En la ilustración 8 se puede observar que el promedio de la métrica de mejora por cada grupo
que busca verdaderas reglas interesantes, está por encima del número 1. Lo mismo pasa
observando cada regla de asociación.
Es importante aclarar que el valor de la métrica de confianza es independiente del valor de la
mejora.
2.2 Modelo de CPM10
Para el modelo de Clustering del contaminante PM10, se utilizaron dos enfoques para la
validación de la solución propuesta por el modelo, los enfoques utilizados son los siguientes:
2.2.1 Gráfico de Elevación
En la siguiente ilustración se puede observar que el modelo presenta unos puntos de precisión
para valores altos de PM10.Sin embargo se puede observar que el modelo no tiene una
precisión muy exacta ni aproximada, por lo cual hace que su utilidad no sea la conveniente.
Ilustración 9 Grafica de dispersión del Modelo Clustering
Fuente: Autor por medio de la herramienta Visual Studio Data Tools 2012
2.3 Modelo CAPM10
El modelo de clasificación por Arboles de decisión para el PM10 tiene 2 enfoques que validan la
precisión del modelo, dichos enfoques son: el Grafico de Elevación y la Matriz de Clasificación.
2.3.1 Grafico de Elevación
La ilustración 10 que representa el grafico de elevación, muestra que el modelo no es del todo
preciso de acuerdo al porcentaje de población, sin embargo tiene una característica
importante y es que su aproximación es tan cercana con todos los porcentajes de elevación
que la clasificación al estado de cada contaminante resulta ser la esperada por el modelo con
el conjunto de datos de entrenamiento.
Ilustración 10 Grafico de Elevación Modelo Árboles de Decisión
Fuente: Herramienta Visual Studio Data Tools 2012
2.3.2 Matriz de Clasificación
En las siguientes tablas se muestra los resultados de la matriz de clasificación para el modelo
de Árboles de Decisión con el contaminante PM10. En las columnas de la matriz se encuentran
los porcentajes de los valores reales para los estados del atributo objetivo Ozono y las filas
representan los porcentajes de los valores de predicción para el modelo.
Se puede observar que las 2 últimas filas de la matriz representan el porcentaje de falsos
positivos y verdaderos positivos de cada columna.
Tabla 3 Matriz de Confusión
Fuente: Herramienta Visual Studio Data Tools 2012
Estado del Atributo Objetivo: BUENO (Real)
La primera celda de resultados, que contiene el porcentaje 69.04%, indica el numero de
verdaderos positivos para el estado BUENO. Dado que el estado BUENO indica que el Ozono
tiene una concentracion baja, esta estadistica indica que el modelo predijo el valor correcto
para quienes la concentracion de ozono es clasificada como buena en el 69.04% de los casos.
La celda de resultados, que contiene el porcentaje en 0.00% (que se encuentra debajo del
69.04%), indica que el porcentaje de falsos positivos que el modelo predijo que el Ozono
estaba en estado DESFAVORABLE cuando en realidad no es asi (el estado es bueno) es del
0.00%, es decir no hay falsos positivos para este caso en particular.
Para la celda directamente debajo del porcentaje 0.00%, los falsos positivos que el modelo
predijo que el Ozono estaba en estado MODERADO cuando en realidad no es asi es del
30.96%, siendo este un porcentaje bajo sobre el porcentaje total de los datos cuyo estado del
Ozono es bueno.
Estado del Atributo Objetivo: DESFAVORABLE (Real)
La la celda de resultados, que contiene el porcentaje en 1.04% (debajo de la columna
DESFAVORABLE (Real)) indica que el porcentaje de falsos positivos que el modelo predijo que
el Ozono estaba en estado BUENO cuando en realidad no es asi (el estado es desfavorable para
grupos sensibles) es del 1.04%.
Para la celda directamente debajo de la anterior descrita, que corresponde a los verdaderos
positivos , indica que el modelo predijo que el Ozono estaba en estado DESFAVORABLE
correctamente en un 52.34%.
La celda que contiene el porcentaje 46.63%, indica el porcentaje de falsos positivos que el
modelo predijo que el Ozono estaba en estado MODERADO cuando en realidad estaba en
estado DESFAVORABLE.
Estado del Atributo Objetivo: MODERADO (Real)
La celda de resultados, que contiene el porcentaje 4.36% (debajo de la columna MODERADO
(Real)) indica que el porcentaje de falsos positivos que el modelo predijo que el Ozono estaba
en estado BUENO cuando en realidad su estado es MODERADO es del 4.36%.
Para la celda directamente debajo de la anterior descrita, los falsos positivos que el modelo
predijo que el Ozono estaba en estado DESFAVORABLE cuando no es asi es del 0.00%.
La celda que contiene el porcentaje 95.64%, indica el porcentaje de verdaderos positivos para
el estado MODERADO. Dado que el estado MODERADO indica que el Ozono tiene una
concentracion alta, esta estadistica indica que el modelo predijo el valor correcto para quienes
la concentracion de ozono es clasificada como moderado en el 95.64% de los casos.
Tabla 4 Porcentaje total de falsos y verdaderos positivos
Fuente: Herramienta Visual Studio Data Tools 2012
Como conclusión de la matriz de clasificación presentada (Ver Tabla 4), el porcentaje total de
falsos positivos no supera el 20%, lo que indica que el modelo es útil para realizar análisis e
implementación.
3. Resultados de las validaciones por expertos
Se compararon algunos resultados obtenidos comúnmente por los modelos de minería de
datos con los resultados generados por modelos estadísticos presentados en la tesis de
maestría en meteorología en la zona de Bogotá de la directora de trabajo de grado
previamente validada, la cual genero coincidencias en los resultados generados. Además cada
resultado fue revisado por la directora. En el documento Comparación de ModelosTAM y
Modelos de Minería.xlsx se encuentran los resultados obtenidos.
4. Pruebas funcionales – Prototipo Alertas Tempranas
Las pruebas realizadas al sistema se hicieron con base en las funcionalidades de la aplicación. A
continuación se presenta un resumen de la descripción de cada prueba:
4.1 Funcionalidad: Hacer Pronóstico
Para esta funcionalidad, se extrajeron casos de prueba del modelo donde las clasificaciones de
los contaminantes tuvieran como resultado todos los posibles estados (Bueno, Moderado y
Desfavorable) y se insertaron en la interfaz de hacer pronóstico con el fin de corroborar que la
consulta y la conexión con el modelo estuvieran bien hechas.
Al realizar esta prueba, el sistema muestra los resultados del pronóstico por parte de los dos
contaminantes junto con la probabilidad de predicción, al momento de seleccionar el
resultado del pronóstico de cada contaminante el sistema muestra los mensajes de alertas a la
población y la visualización de los gráficos de series de tiempo con los rezagos de la hora
ingresada.
A continuación se muestran algunos de los casos de prueba aplicados con su respectiva
respuesta:
Tabla 5 Muestra casos de prueba CAO3
Fuente: Autor
Tabla 6 Muestra casos de prueba CAPM10
Fuente: Autor
La segunda prueba consistió en dejar el formulario (donde se ingresan los valores de
predicción) con campos vacíos y con formato de los números diferente al especificado con el
fin de validar si se estaban capturando las excepciones. Cuando se realizó esta prueba el
sistema muestra un mensaje especificando el tipo de error ocurrido.
4.2 Funcionalidad: Ver red de dependencias
Para esta funcionalidad se realizaron dos pruebas. La primera prueba consistió en filtrar cada
contaminante con cada estado con el fin de validar la petición y la coherencia en los
resultados. El sistema para cada uno de los casos visualiza la red de dependencias
dependiendo del contaminante y su estado.
La segunda prueba consistió en dejar un filtro vacío con el fin de validar la captura de las
excepciones. Cuando se realizó esta prueba el sistema muestra un mensaje especificando el
tipo de error ocurrido.
4.3 Pruebas generales
Estas pruebas consistieron en validar cada botón de navegabilidad de la aplicación y botones
adicionales que contienen información de la aplicación.