Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales 1 TECNICATURA UNIVERSITARIA EN INFORMATICA Base De Datos Equipo de catedra Ing. Rearte Emilio Lic. Stubbia Roberto Molina Rodríguez, Pablo José 2019 Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales 2 Índice Introducción .................................................................................................................. 3 Historia del Data Mining ................................................................................................ 3 ¿Qué es el Data Mining? .............................................................................................. 3 Principales características y objetivos ........................................................................... 4 Procesos de la minería de datos ................................................................................... 4 Selección del conjunto de datos .................................................................................. 4 Análisis de las propiedades de los datos....................................................................... 4 Transformación del conjunto de datos de entrada.......................................................... 5 Seleccionar y aplicar la técnica de minería de datos ...................................................... 5 Extracción de conocimiento ....................................................................................... 5 Interpretación y evaluación de datos ........................................................................... 5 Técnicas que se utilizan en la minería de datos ............................................................ 5 Herramientas de data mining ........................................................................................ 6 ¿Por qué es importante la minería de datos? ............................................................... 7 ¿A qué tipo de información se le puede hacer minería de datos? ................................. 7 Diferencia entre Data mining y Big data ........................................................................ 7 Su implementación en diversos campos de estudios .................................................... 8 Ventajas y desventajas ............................................................................................... 11 Ventajas .................................................................................................................. 11 Desventajas ............................................................................................................ 11 Conclusión .................................................................................................................. 11 Bibliografía .................................................................................................................. 12 Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales 3 Introducción La realización de base de datos se ha vuelto una acción fundamental para las empresas, ya que les permiten crear estrategias para conseguir nuevos clientes o fidelizar a los habituales. Pero a consecuencia de la generación masiva de datos, nos encontramos frente a un problema, la infoxicación, disponemos de tanta información, que a veces es imposible organizarla con efectividad. Por ello, la clave está en descubrir patrones o algoritmos para sacarle el máximo partido, y aquí es donde entra en juego el Data Mining o minería de datos. Historia del Data Mining La idea de data mining no es nueva. Ya desde los años sesenta los estadísticos manejaban términos como data fishing, data mining o data archaeology con la idea de encontrar correlaciones sin una hipótesis previa en bases de datos con ruido. A principios de los años ochenta, científicos informáticos empezaron a consolidar los términos de data mining y KDD. Esta tecnología ha sido un buen punto de encuentro entre personas pertenecientes al ámbito académico y al de los negocios. ¿Qué es el Data Mining? El Data Mining es un conjunto de técnicas y tecnologías que permiten explorar grandes bases de datos, de manera automática o semiautomática, con el objetivo de encontrar patrones repetitivos que expliquen el comportamiento de estos datos. Surgió con la intención o el objetivo de ayudar a comprender una enorme cantidad de datos, y que estos, pudieran ser utilizados para extraer conclusiones para contribuir en la mejora y crecimiento de las empresas, sobre todo, por lo que hace a las ventas o fidelización de clientes. Su principal finalidad es explorar, mediante la utilización de distintas técnicas y tecnologías, bases de datos enormes de manera automática con el objetivo de encontrar patrones repetitivos, tendencias o reglas que expliquen el comportamiento de los datos que se han ido recopilando con el tiempo. Estos patrones pueden encontrarse utilizando estadísticas o algoritmos de búsqueda próximos a la Inteligencia Artificial y a las redes neuronales. Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales Principales características y objetivos Explorar los datos que se encuentran en las profundidades de las bases de datos (por ejemplo los Almacenes de Datos), que algunas veces contienen información almacenada durante varios años. En algunos casos, los datos se consolidan en un almacén de datos y en mercados de datos; en otros, se mantienen en servidores de Internet e Intranet. El entorno de la minería de datos suele tener una Arquitectura Cliente Servidor. Las herramientas de la minería de datos ayudan a extraer el mineral de la información registrado en archivos corporativos o en registros públicos, archivados. El minero es, muchas veces un usuario final con poca o ninguna habilidad de programación, facultado por barrenadoras de datos y otras poderosas herramientas indagatorias, para efectuar preguntas ad-hoc y obtener rápidamente respuestas. Hurgar y sacudir a menudo implica el descubrimiento de resultados valiosos e inesperados. Las herramientas de la minería de datos se combinan fácilmente y pueden analizarse y procesarse rápidamente. Debido a la gran cantidad de datos, algunas veces resulta necesario usar procesamiento en paralelo para la minería de datos. La minería de datos produce cinco tipos de información: ⮚ Asociaciones. ⮚ Secuencias. ⮚ Clasificaciones. ⮚ Agrupamientos. ⮚ Pronósticos. Procesos de la minería de datos Un proceso típico de minería de datos consta de los siguientes pasos generales: Selección del conjunto de datos: tanto en lo que se refiere a las variables objetivo (aquellas que se quiere predecir, calcular o inferir), como a las variables independientes (las que sirven para hacer el cálculo o proceso), como posiblemente al muestreo de los registros disponibles. Análisis de las propiedades de los datos: en especial los histogramas, diagramas de dispersión, presencia de valores atípicos y ausencia de datos (valores nulos). 4 Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales Transformación del conjunto de datos de entrada: se realizará de diversas formas en función del análisis previo, con el objetivo de prepararlo para aplicar la técnica de minería de datos que mejor se adapte a los datos y al problema, a este paso también se le conoce como pre procesamiento de los datos. Seleccionar y aplicar la técnica de minería de datos: se construye el modelo predictivo, de clasificación o segmentación. Extracción de conocimiento: mediante una técnica de minería de datos, se obtiene un modelo de conocimiento, que representa patrones de comportamiento observados en los valores de las variables del problema o relaciones de asociación entre dichas variables. También pueden usarse varias técnicas a la vez para generar distintos modelos, aunque generalmente cada técnica obliga a un preprocesador diferente de los datos. Interpretación y evaluación de datos: una vez obtenido el modelo, se debe proceder a su validación comprobando que las conclusiones que arroja son válidas y suficientemente satisfactorias. En el caso de haber obtenido varios modelos mediante el uso de distintas técnicas, se deben comparar los modelos en busca de aquel que se ajuste mejor al problema. Si ninguno de los modelos alcanza los resultados esperados, debe alterarse alguno de los pasos anteriores para generar nuevos modelos. Técnicas que se utilizan en la minería de datos Redes neuronales: Son un paradigma de aprendizaje y procesamiento automático inspirado en la forma en que funciona el sistema nervioso de los animales. Se trata de un sistema de interconexión de neuronas en una red que colabora para producir un estímulo de salida. Regresión lineal: Es la más utilizada para formar relaciones entre datos. Rápida y eficaz pero insuficiente en espacios multidimensionales donde puedan relacionarse más de 2 variables. Árboles de decisión: Un árbol de decisión es un modelo de predicción utilizado en el ámbito de la inteligencia artificial, dada una base de datos se construyen estos diagramas de construcciones lógicas, muy similares a los sistemas de predicción basados en reglas, que sirven para representar y categorizar una serie de condiciones que suceden de forma sucesiva, para la resolución de un problema. Modelos estadísticos: Es una expresión simbólica en forma de igualdad o ecuación que se emplea en todos los diseños experimentales y en la regresión para indicar los diferentes factores que modifican la variable de respuesta 5 Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales Agrupamiento o Clustering: Es un procedimiento de agrupación de una serie de vectores según criterios habitualmente de distancia; se tratará de disponer los vectores de entrada de forma que estén más cercanos aquellos que tengan características comunes. Herramientas de data mining Para conocer mejorar y disponer de estadísticas sobre preferencias, datos de consumo o patrones de comportamiento es necesario analizar los datos. Para ello, disponemos de herramientas de Data Mining que harán la tarea mucho más sencilla. RapidMiner Con un lenguaje de programación Java, RapidMiner permite realizar un análisis avanzado de los datos, a través de plantillas, además, dispone de la funcionalidad de pre-procesamiento y visualización de datos, análisis predictivo y modelos estadísticos, así como evaluación y despliegue de la información. Esta herramienta ofrece un servicio excelente, ocupando la primera posición entre las mejores herramientas de data mining. Python Sabemos que Python es un lenguaje de código abierto gratuito que puede descargarse e instalarse en tu ordenador de forma rápida y sencilla. Python es comparado con R por su facilidad de uso. Solo que, a diferencia de R, la curva de aprendizaje de Python tiende a ser más corta. Muchos usuarios aprenden a crear toda clase de conjuntos de datos y a realizar análisis de afinidad complejos en cuestión de minutos. Todo esto la hace una herramienta de minería de datos extremadamente efectiva y eficiente. Visita el curso análisis de datos con python para aprender cómo hacer data mining con python. Orange Este es sin duda un gran ejemplo de lo que Python puede crear. Orange es un software de aprendizaje automático y de procesos de manipulación de datos. Orange es una de las mejores herramientas gratuitas para hacer Data Mining debido a la visualización interactiva que puede ser creada por cualquier persona, principiante o avanzado. Los usuarios avanzados de Orange también pueden usarlo como una biblioteca de Python para la manipulación de datos y la modificación de widgets. Orange incluso puede aprender de tus preferencias mientras lo estas usando. 6 Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales KNIME KNIME cuenta con una serie de cursos cortos para comprender mejor la ciencia de la información y cómo usar la plataforma de manera efectiva. Todo el software es bastante sencillo de manipular. Desde luego no es la primera opción de la lista pero es una de las mejores gracias a su práctico diseño de tablas y gráficos interactivos. Spark Spark es excelente en la minería de minería de datos de código abierto gracias a que puede tratar con grandes cantidades de datos. Spark se distingue de otras herramientas de minería de datos debido a su simplicidad, velocidad y compatibilidad con una gran cantidad de lenguajes de programación que incluyen Python, R, Java y Scala. ¿Por qué es importante la minería de datos? Los datos no estructurados por sí solos conforman el 90% del universo digital. Pero más información no significa necesariamente más conocimientos. La minería de datos le permite: ● Filtrar todo el ruido caótico y repetitivo en sus datos. ● Entender qué es relevante y luego hacer un buen uso de esa información para evaluar resultados probables. ● Acelerar el ritmo de la toma de decisiones informadas. ¿A qué tipo de información se le puede hacer minería de datos? El data mining se puede aplicar a cualquier tipo de información, desde simples medidas numéricas y documentos de texto, hasta información más compleja como datos espaciales, multimedia y archivos planos. Diferencia entre Data mining y Big data Big Data y Data Mining son dos conceptos diferentes, Big data es un término que se refiere a una gran cantidad de datos, mientras que la minería de datos se refiere a un impulso profundo en los datos para extraer el conocimiento / Patrón / Información clave de una pequeña o gran cantidad de datos. La minería de datos se diferencia entonces del Big Data en prácticamente todo a nivel de funciones y objetivos, porque este consiste en almacenar los datos en masa y en trazar patrones que permitan encontrar después patrones repetitivos en ellos. Lo que 7 Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales hace el Data Mining es trabajar más el detalle dentro de la base de datos en cuestión, ya que extrae lo que considera más relevante, descartando una gran cantidad de información que el Big Data ha recopilado y de la que ha extraído previamente los patrones. El Data Mining, como casi todo lo que tiene que ver con las nuevas disciplinas de la tecnología, requiere un trabajo muy estructurado por fases para poder alcanzar el éxito. Es necesario en primer lugar que el sistema sepa qué tiene que buscar y para qué para poder ser efectivo en la segunda fase, que es la del procesamiento y selección de los datos ya explicada anteriormente, algo que sin unos objetivos previos marcados no conseguirá hacer de forma efectiva. Su implementación en diversos campos de estudios Negocios La minería de datos puede contribuir significativamente en las aplicaciones de Administración Empresarial basada en la relación con el cliente. En lugar de contactar con el cliente de forma indiscriminada a través de un centro de llamadas o enviando cartas, sólo se contactará con aquellos que se perciba que tienen una mayor probabilidad de responder positivamente a una determinada oferta o promoción. Por lo general, las empresas que emplean minería de datos ven rápidamente el retorno de la inversión, pero también reconocen que el número de modelos predictivos desarrollados puede crecer muy rápidamente. En lugar de crear modelos para predecir qué clientes pueden cambiar, la empresa podría construir modelos separados para cada región y/o para cada tipo de cliente. También puede querer determinar qué clientes van a ser rentables durante una ventana de tiempo (una quincena, un mes, ...) y sólo enviar las ofertas a las personas que es probable que sean rentables. Para mantener esta cantidad de modelos, es necesario gestionar las versiones de cada modelo y pasar a una minería de datos lo más automatizada posible. Patrones de fuga Un ejemplo más habitual es el de la detección de patrones de fuga. En muchas industrias —como la banca, las telecomunicaciones, entre otras— existe un comprensible interés en detectar cuanto antes, aquellos clientes que puedan estar pensando en prescindir sus contratos para posiblemente pasarse a la competencia. A 8 Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales estos clientes —y en función de su valor— se les podrían hacer ofertas personalizadas, ofrecer promociones especiales, etc., con el objetivo último de retenerlos. La minería de datos ayuda a determinar qué clientes son los más proclives a darse de baja estudiando sus patrones de comportamiento y comparándolos con muestras de clientes que efectivamente, se dieron de baja en el pasado. Recursos humanos La minería de datos también puede ser útil para los departamentos de recursos humanos, en la identificación de las características de sus empleados de mayor éxito. La información obtenida puede ayudar a la contratación de personal, centrándose en los esfuerzos de sus empleados y los resultados obtenidos por éstos. Además, la ayuda ofrecida por las aplicaciones para dirección estratégica en una empresa se traducen en la obtención de ventajas a nivel corporativo; tales como mejorar el margen de beneficios o compartir objetivos y en la mejora de las decisiones operativas, como por ejemplo el desarrollo de planes de producción o gestión de mano de obra. Comportamiento en Internet También es un área en boga el del análisis del comportamiento de los visitantes — sobre todo cuando son clientes potenciales— en una página de Internet, así como también, la utilización de la información sobre ellos para ofrecerles propaganda adaptada específicamente a su perfil; o para una vez que adquieren un determinado producto, conocer inmediatamente qué otro ofrecerle, teniendo en cuenta la información histórica disponible acerca de los clientes que han comprado el primero. Terrorismo La minería de datos ha sido citada como el método por el cual la unidad Able Danger del Ejército de los Estados Unidos había identificado al líder de los atentados del 11 de septiembre de 2001, Mohammed Atta, y a otros tres secuestradores del "11-S", como posibles miembros de una célula de Al Qaeda; que operaban en los EE.UU más de un año antes del ataque. Se ha sugerido que tanto la Agencia Central de Inteligencia (CIA) y su homóloga canadiense, Servicio de Inteligencia y Seguridad Canadiense, han empleado este método. Juegos Desde comienzos de la década de 1960, con la disponibilidad de oráculos para determinados juegos combinacionales, también llamados finales de juego de tablero (por ejemplo, para las tres en raya o en finales de ajedrez) con cualquier configuración de inicio, se ha abierto una nueva área en la minería de datos que consiste en la 9 Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales extracción de estrategias utilizadas por personas para estos oráculos. Los planteamientos actuales sobre reconocimiento de patrones, no parecen poder aplicarse con éxito al funcionamiento de estos oráculos. En su lugar, la producción de patrones perspicaces se basa en una amplia experimentación con bases de datos sobre esos finales de juego, combinado con un estudio intensivo de los propios finales de juego en problemas bien diseñados y con conocimiento de la técnica (datos previos sobre el final del juego). Ejemplos notables de investigadores que trabajan en este campo son Elwyn Berlekamp en el juego de puntos y cajas (o Timbiriche) y John Nunn en finales de ajedrez. Ciencia e ingeniería En los últimos años la minería de datos se está utilizando ampliamente en diversas áreas relacionadas con la ciencia y la ingeniería. Algunos ejemplos de aplicación en estos campos son: Genética En el estudio de la genética humana, el objetivo principal es entender la relación cartográfica entre las partes y la variación individual en las secuencias del ADN humano y la variabilidad en la susceptibilidad a las enfermedades. En términos más llanos, se trata de saber cómo los cambios en la secuencia de ADN de un individuo afectan al riesgo de desarrollar enfermedades comunes (como por ejemplo el cáncer). Esto es muy importante para ayudar a mejorar el diagnóstico, prevención y tratamiento de las enfermedades. La técnica de minería de datos que se utiliza para realizar esta tarea se conoce como "reducción de dimensionalidad multifactorial". Ingeniería eléctrica En el ámbito de la ingeniería eléctrica, las técnicas de minería de datos han sido ampliamente utilizadas para monitorizar las condiciones de las instalaciones de alta tensión. La finalidad de esta monitorización es obtener información valiosa sobre el estado del aislamiento de los equipos. Para la vigilancia de las vibraciones o el análisis de los cambios de carga en transformadores se utilizan ciertas técnicas para agrupación de datos (clustering) tales como: los Mapas Auto-Organizativos (en inglés: SOM, Self-organizing map). Estos mapas sirven para detectar condiciones anormales y para estimar la naturaleza de dichas anomalías. Análisis de gases También se han aplicado técnicas de minería de datos para el análisis de gases disueltos (DGA, Dissolved gas analysis) en transformadores eléctricos. El análisis de gases disueltos se conoce desde hace mucho tiempo como herramienta para diagnosticar transformadores. Los Mapas Auto-Organizativos (SOM) se utilizan para 10 Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales analizar datos y determinar tendencias que podrían pasarse por alto utilizando las técnicas clásicas DGA Ventajas y desventajas Ventajas El Data Mining descubre información que no se esperaba obtener. Como muchos modelos diferentes son validados, algunos resultados inesperados tienden a aparecer. En muchos estudios, se ha descubierto que combinaciones particulares de factores entregan efectos inesperados que entregan valor a la compañía.(Pañales y cerveza) Los Modelos Son Confiables. Los modelos se construyen de manera rápida Desventajas Dificultad de recopilación de los datos. Dependiendo del tipo de datos que se quieran recopilar puede conllevar mucho trabajo. El pre procesamiento de datos puede llevar demasiado tiempo No está asegurada la obtención de un modelo válido Conclusión En conclusión, la aplicación del Data Mining en diferentes ámbitos, permite tener asertivas a problemas, o para formular estrategias de mejora. Es importante tener en cuenta el Data Mining para cualquier estudio de información, así como estar en constante evolución, ya que la información varia con el transcurso del tiempo, y los patrones pueden cambiar. 11 Universidad Nacional de La Rioja Departamento de Ciencias Exactas, Físicas y Naturales 12 Bibliografía CulturaCM. (10 de Junio de 2019). Data Mining. Obtenido de CulturaCM: https://culturacrm.com/data-mining/cinco-herramientas-data-mining Garcia, D. (02 de Noviembre de 2018). Herramientas gratuitas para hacer Data Mining. Obtenido de Inteldig: https://www.inteldig.com/2018/11/herramientas-gratuitasdata-mining/ Ku Canul, J. G. (07 de Mayo de 2017). Historia Datamining. Obtenido de SCRIBD: https://es.scribd.com/document/347636418/Historia-Datamining Landa, J. (16 de Febrero de 2016). ¿Qué es KDD y Minería de Datos? Obtenido de http://fcojlanda.me/es/ciencia-de-los-datos/kdd-y-mineria-de-datos-espanol/ Mata, R. (13 de Enero de 2017). Minería de datos: qué es, cómo es el proceso y a qué áreas se puede aplicar. Obtenido de ICMD: https://www.icemd.com/digitalknowledge/articulos/mineria-datos-proceso-areas-se-puede-aplica/ Muy interesante. (22 de Enero de 2017). ¿Qué es la mineria de datos? Obtenido de Muy interesante: https://www.muyinteresante.es/tecnologia/preguntasrespuestas/que-es-la-mineria-de-datos-311477406441# SAS - The power to Know. (07 de Mayo de 2015). Mineria de datos. Obtenido de SAS: https://www.sas.com/es_mx/insights/analytics/data-mining.html ventics.com. (15 de Marzo de 2015). Técnicas de minería de datos o Data Mining. Obtenido de ventics.com: http://www.ventics.com/tecnicas-de-mineria-de-datoso-data-mining/
