Tema 6: Evaluación de Modelos de Clasificación Supervisada Abdelmalik Moujahid, Iñaki Inza y Pedro Larrañaga Departamento de Ciencias de la Computación e Inteligencia Artificial Universidad del Paı́s Vasco http://www.sc.ehu.es/isg/ Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 1/18 Evaluación de Modelos de Clasificación Supervisada • Introducción • Estimación basada en precisión • Estimación basada en coste • Análisis ROC (Receiver Operating Characteristic) Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 2/18 Introducción Clasificación Supervisada X1 (1) x1 (2) x1 (x(1) , c(1) ) (x(2) , c(2) ) ... (N ) (N ) (N ) (x , c ) x1 (N +1) (N +1) x x1 ... ... ... ... ... ... Xn (1) xn (2) xn (N ) xn (N +1) xn C c(1) c(2) ... c(N ) ??? Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 3/18 Introducción Clasificación Supervisada X1 (x(1) , c(1) ) (2) (2) (x , c ) (1) x1 (2) x1 ... Xn C CM ... xn (1) c(1) cM (2) xn (2) (2) cM ... ... ... c(N ) cM ... ... (x(N ) , c(N ) ) (N ) x1 ... Número de aciertos: (N ) xn c (1) (N ) (i) PN (i) δ(c , cM ) i=1 1 si c(i) = c(i) (i) M δ(c(i) , cM ) = 0 si c(i) 6= c(i) M Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 4/18 Introducción C Clase real + + TP FP - FN TN CM Clase predicha • Tasa de acierto: • Tasa de error: T P +T N T P +F P +F N +T N F N +F P T P +F P +F N +T N • Sensibilidad: T P R = TP T P +F N • Especifidad: T N R = TN F P +T N • Proporción de falsos positivos: F P R = FP F P +T N • Proporción de falsos negativos: F N R = FN T P +F N Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 5/18 Estimación basada en precisión p̂M N 1 X (i) (i) δ(c = cM ) = N i=1 Método no honesto de estimación Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 6/18 Estimación basada en precisión p̂M NX −N1 1 (N +i) δ(c(N1 +i) = cM 1 ) = N − N1 i=1 Método H de estimación basado en entrenamiento y testeo Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 7/18 Estimación basada en precisión p̂M B 1 X p̂i = B i=1 Método de estimación H repetidas veces Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 8/18 Estimación basada en precisión k p̂M 1X = p̂i k i=1 Método de estimación basado en k rodajas (k–fold cross validation). Si k = N leave one out Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 9/18 Estimación basada en precisión p̂test B 1 X = p̂i B i=1 p̂M = p̂0,632Bo = (0,368p̂entrenamiento + 0,632p̂test ) Método de estimación 0,632 booststraping Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 10/18 Estimación basada en precisión Sobre los distintos métodos: • Método H: utilizarlo con N grande • Método H repetidas veces: no hay control sobre los casos usados como entrenamiento (testeo) • Método de estimación basado en k rodajas (k–fold cross validation): estimación insesgada de la probabilidad de acierto, pero con alta varianza • Método de estimación 0,632 booststraping: insesgada en el límite y con baja varianza Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 11/18 Estimación basada en coste Evaluación sensible al coste • En muchas situaciones los dos tipos de error que puede cometer un clasificador no tienen las mismas consecuencias • • Dejar cerrada una válvula en una central nuclear, cuando es necesario abrirla, puede provocar una explosión, mientras que abrir una válvula cuando puede mantenerse cerrada, puede provocar una parada de la central Matriz de costes C Clase real abrir cerrar ABRIR 0 100 e CERRAR 2000 e 0 CM Clase predicha • Lo importante no es obtener un clasificador que falle lo menos posible, sino uno que tenga coste menor Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 12/18 Estimación basada en coste Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 13/18 Análisis ROC • En muchas situaciones es difícil estimar la matriz de costes • Aprender un conjunto de clasificadores y seleccionar el que mejor se comporte para unas cicunstancias o contextos de coste determinados a posteriori. • El análisis ROC provee herramientas que permiten seleccionar el subconjunto de clasificadores que tienen un comportamiento óptimo en general. • El análisis ROC se utiliza normalmente para problemas de dos clases. Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 14/18 Análisis ROC Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 15/18 La curva ROC Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 16/18 Análisis ROC • Convex hull (casco convexo) a partir de la poligonal uniendo varios puntos (FPR, TPR) • Dichos puntos pueden provenir de varios clasificadores o de un mismo clasificador (variando el umbral) Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 17/18 Análisis ROC Seleccionando el mejor clasificador • Si cada punto de la curva ROC representa un clasificador: P cost N eg escoger el que tenga mayor valor de: FF N cost · P os • Si cada punto de la curva ROC corresponde a un umbral con el que se toma la decisión: seleccionar el clasificador con mayor área bajo la curva (AUC) Tema 6: Evaluación de Modelos de Clasificación Supervisada– p. 18/18