Redes Neuronales
Anuncio
Introducción a las Redes Neuronales y su aplicación a la Investigación Astrofísica Patricio García Báez pgarcia@ull.es Patricio García Báez 1 Sumario ◆ Introducción ◆ Inspiración biológica ◆ Modelado Neuronal ◆ Implementaciones ◆ Aplicaciones ◆ Grupo de trabajo ◆ Futuro de las RNAs Patricio García Báez 2 Redes Neuronales en la IA Ramas de la Inteligencia Artificial en sus inicios: ◆ Simbólica-deductiva: – Sistemas formales de reglas y manipulación simbólica – Rama más conocida de la IA ◆ Conexionista: – Inspirada en las redes neuronales biológicas – Métodos Inductivos: a partir de ejemplos Ambas tratan de resolver problemas no algoritmicos a partir de la experiencia almacenada como conocimiento Patricio García Báez 3 RNA como Modelo de Computación Conexionista vs. Von Neumann • Masivamente paralelo • Arquitectura secuencial • Datos y programa indiferenciable en las conexiones • Separa claramente datos del programa en la memoria • Solución inducida por aprendizaje • Solución como algoritmo o programa introducido • Impredicibilidad de resultados • Resultados totalmente predecibles • Gran tolerancia a fallos • No tolera errores Patricio García Báez 4 Áreas de Trabajo Procesamiento de Señales Análisis de Datos Reconocimiento de Patrones Control Inteligencia Artificial Desarrollo de aplicaciones basadas en técnicas conexionistas Aplicaciones Informática Implementaciones Sicología Arquitectura y Teoría de RN Matemáticas Patricio García Báez Construcción de modelos neuronales Proponer y validar modelos de funcionamiento de arquitecturas neuronales Neurofisiología Física 5 Inspiración biológica “Entender el cerebro y emular su potencia” ◆ Cerebro: – Gran velocidad de proceso – Tratamiento de grandes cantidades de información procedentes de: • Los sentidos • Memoria almacenada – Capacidad de tratar situaciones nuevas – Capacidad de aprendizaje Patricio García Báez 6 Inspiración biológica ◆ Neuronas: – Árbol dendrítico de entradas – Un axón de salida – Sobre de104 sinapsis – Comunicación mediante Potenciales de Acción (PA) – Periodo refractario de 10-3 segundos entre PAs Patricio García Báez 7 Inspiración biológica ◆ Transmisión neuronal: – Impulso eléctrico que viaja por el axón – Liberación de neurotransmisores – Apertura/cierre de canales iónicos – Variación potencial en dendrita – Integración de entradas en soma – Si se supera umbral de disparo se genera un PA Patricio García Báez 8 Inspiración biológica ◆ Red Neuronal Biológica: – – – – de 1010 a 1011 neuronas 1014 sinapsis Organización por capas Organización por niveles: • Sistema Nervioso Central (SNC) • Circuitos entre regiones • Circuitos locales • Neuronas • Árboles dendríticos • Microcircuitos neuronales • Sinapsis • Canales iónicos Patricio García Báez • Moléculas 9 Inspiración biológica ◆ Características SNC: – Inclinación a adquirir conocimiento desde la experiencia – Conocimiento almacenado en conexiones sinápticas – Gran plasticidad neuronal – Comportamiento altamente no-lineal – Alta tolerancia a fallos (muerte neuronal) – Apto para reconocimiento, percepción y control Patricio García Báez 10 Modelado Neuronal ◆ Una red neuronal artificial (RNA) es un sistema de procesamiento de información que tiene ciertas aptitudes en común con las redes neuronales biológicas: – El procesamiento de información ocurre en muchos elementos simples llamados neuronas. – Las señales son transferidas entre neuronas a través de enlaces de conexión. – Cada conexión tiene un peso asociado, el cual, típicamente, multiplica a la señal transmitida. – Cada neurona aplica una función de activación (usualmente no lineal) a su entrada de red (suma de entradas pesadas) para determinar su salida. Laurene Fausett Patricio García Báez 11 Modelado Neuronal ◆ Enfoques: – Computacional: • Modelos eficientes, potentes y simples • Áreas de aprendizaje inductivo y reconocimiento de patrones – Cognitivo: • Interesado por capacidades cognitivas de los modelos • Centrados en representación del conocimiento – Biocognitivo: • Premisa la plausibilidad biológica – Psicofisiológico: • Mecanismos naturales de procesos cognitivos reales Patricio García Báez 12 Modelado Neuronal ◆ Neurona Artificial: – – – – Grupo de entradas (x) Pesos sinápticos (w) Función suma (net) Función de activación (act) – Una única salida (y) – Funcionamiento en modo aprendizaje o ejecución Patricio García Báez x1 x2 w1,j w2,j wn,j xn función suma función de activación netj(t) xj(t) j umbral (bias) 13 Modelado Neuronal ◆ Neurona Natural vs. Artificial: – Neurona = Unidad de proceso – Conexiones sinápticas = Conexiones Pesadas – Efectividad sináptica = Peso sináptico – Exitatorio/Inhibitorio = Pesos + ó– Efecto combinado de sinapsis = Función suma – Activación-> Ratio disparo = Función activación -> salida Patricio García Báez 14 Modelado Neuronal ◆ Arquitecturas Neuronales: – Según e/o/s • • • Número y tipo de entradas Elementos ocultos Elementos de salida – Según conectividad entre capas Monocapa feedforward Capa de entrada Capa de salida Multicapa feedforward • Feedforward (hacia adelante) • Redes Recurrentes • Estructuras Enrejadas (Lattice) Capa de entrada Capa de salida Multicapa feedforward parcialmente conectada Capa oculta Patricio García Báez Capa oculta Capa de salida 15 Modelado Neuronal ◆ Arquitecturas Neuronales: – Según conexión entre capas Recurrente con interconexiones laterales • Totalmente conectados (full-conexión) • Parcialmente conectados • Conexión uno a uno – Sincronía (actualización de valores) • • • Simultánea Aleatoria Según orden topológico Salidas Recurrente con neuronas ocultas Entradas Patricio García Báez 16 Modelado Neuronal ◆ Aprendizaje: – Estimulación de la RN por el entorno – Cambios en la RN debido a estimulación – Nueva forma de responder debido a cambios de la estructura interna de la RN Patricio García Báez 17 Modelado Neuronal ◆ Paradigmas de aprendizaje: – Aprendizaje Supervizado – Aprendizaje por Reforzamiento – Aprendizaje Auto-organizado (No Supervizado) – Precalculado o prefijado Patricio García Báez 18 Modelado Neuronal ◆ Aprendizaje supervizado: – Se presentan pares de patrones de entrada y salida deseada – Pasos: • • • • • Fijar pesos aleatorios las conexiones Seleccionar par de entrenamiento Presentar patrón de entrada y calcular salida Calcular error o discrepancia con la salida deseada Aplicar regla de aprendizaje – Dudosa plausibilidad biológica: • Requiere propagar información hacia atrás • Requiere de instructor Patricio García Báez 19 Modelado Neuronal ◆ Aprendizaje no supervizado: – Se presentan sólo patrones de entrada – Basado en la redundancia en las entradas – Aprendizaje extrae de los patrones: • Familiaridad con patrones típicos o promedios del pasado • Análisis de las Componentes Principales • Clustering • Prototipos, correspondientes a las categorias existentes • Codificación • Mapa de Características – Grandes plausibilidades biológicas Patricio García Báez 20 Modelado Neuronal ◆ Algoritmos de aprendizaje más comunes: – Perceptrón multicapa o Backpropagation (BPN) • Aprendizajes supervizados bajo corrección de error – Mapas Auto-organizados (SOM) • Aprendizajes competitivo no supervizados – Extractores de características (GHA ó ICA) • Aprendizajes hebbianos no supervizados Patricio García Báez 21 Modelado Neuronal ◆ Propiedades y Capacidades – Generalización – Estructura altamente paralela – No linealidad – Mapeo de EntradaSalida – Adaptabilidad – Respuesta graduada Patricio García Báez – Información Contextual – Tolerancia a fallos – Implementación VLSI – Uniformidad en el Análisis y Diseño – Analogía Neurobiológica 22 Implementaciones ◆ Medio biológico vs. medio silicio – Velocidad: • Neuronas: 10-3 s., Puertas lógicas: 10-9 s. – Tamaño: • Neuronas 5 ó 6 órdenes de magnitud menores – Eficiencia energética: • Cerebro: 10-16 J/op./s., mejores ordenadores: 10-6 – Fan-In: • Promedio de 10.000 sinapsis por neurona, mucho mayor que en silicio Patricio García Báez 23 Implementaciones ◆ Neurosimuladores: – Software: • Flexibles • Económicos – Hardware: • Eficientes Patricio García Báez 24 Implementaciones ◆ Tipos Neurosoftware: – – – ◆ Programación directa Librerías Entornos de desarrollo Características deseables: – – – – Facilidad de uso Potencia Eficiente Extensibilidad Patricio García Báez 25 Implementaciones ◆ Neurohardware: – – – – – – VLSI analógico Opto-Electrónicos FPGAs Neuro-Chips (VLSI Digital) Neuro-Tarjetas Máquinas paralelas de propósito general – Biochips ◆ Objetivo: – Acelerar fases de aprendizaje y ejecución Patricio García Báez 26 Implementaciones ◆ Biochips Patricio García Báez 27 Aplicaciones ◆ Fases de desarrollo: Selección de la arquitectura neuronal Selección del conjunto de aprendizaje Selección del conjunto de validación Patricio García Báez Fase de aprendizaje Fase de validación ¿OK? Implantar en aplicación 28 Aplicaciones ◆ Tipos de problemas abordables: – Asociación – Clasificación de Patrones – Predicción – Control – Aproximación – Optimización ◆ En general: – Difícil describir conocimiento/forma de resolverlos – Se dispone de una gran cantidad de datos Patricio García Báez 29 Problemas de Asociación – NETalk (Sejnowski & Rosemberg): • A partir de textos escritos genera gonemas correspondientes. Mejoras durante aprendizaje – Tratamiento de imágenes: • Ruido placas matrículas • Restitución – Compresión de Imágenes: Patricio García Báez 30 Problemas de Clasificación de Patrones – Conteo de células: • Clasificación de glóbulos blancos – Inspección visual: – Seguimiento de pupila Patricio García Báez 31 Problemas de Predicción – Airline Marketing Tactician (AMT): • Monitoriza y recomienda la reserva de plazas – Neuralstocks: • Servico de predicciones financieras a corto plazo Patricio García Báez 32 Problemas de Control – Control de robots: • Cinemática inversa • Dinámica – ALVINN: • Conducción de vehículo Patricio García Báez 33 Problemas de Aproximación – Aproximación de funciones utilizando RBFs Problemas de Optimización – Optimización de rutas: • TSP Patricio García Báez 34 Aplicaciones en Astronomía/Astrofísica – Reconocimiento de estrellas/galaxias – Clasificación espectral y morfológica de estrellas/galaxias – Estudios de superficies planetarias – Estudio del campo magnético interplanetario – Determinación de parámetros en atmósferas estelares – Clasificación de poblaciones de enanas blancas • Neural Networks, 16 (2003) Patricio García Báez 35 Aplicaciones en Astronomía/Astrofísica – Identificación y caracterización de objetos: QSO's, galaxias IR ultraluminosas, fuente de Rayos Gamma – Determinación de desplazamientos fotométricos al rojo – Eliminación de ruido en pixels – Descomposición de datos simulados multifrecuencia para la misión Planck – Búsqueda de cúmulos de galaxias • Neural Networks, 16 (2003) Patricio García Báez 36 Aplicaciones en Astronomía/Astrofísica – Análisis de datos recogidos por instrumentos de nueva generación para astrofísica de alta energía: • • • • Telescopio de neutrinos AUGER y ARGO Telescopio de rayos gamma Cherenkhov Interferómetro de ondas gravitacionales VIRGO Búsqueda de bosones Higgs – AstroNeural, paquete AstroMinnig: reducción y análisis de datos • Neural Networks, 16 (2003) Patricio García Báez 37 Grupo de Trabajo ◆ Grupo de Computación Neuronal y Adaptativa y Neurociencia Computacional – Departamento de Estadística, I. O. y Computación, ULL – I. U. de Ciencias y Tecnologías Cibernética, ULPGC – Área de Conocimiento: Ciencias de la Computación e Inteligencia Artificial ◆ Líneas de trabajo – Neurociencia Computacional y Cognición Computacional: Comunicación Neuronal;Aprendizaje y Memoria.Procesos y Estructuras Cognitivas/Perceptivas Teorías y Modelos – Redes Neuronales Naturales y Artificiales: Diseño de Nuevos Modelos de RNAs – Aplicación de la Computación Neuronal en Dominios Biomédicos, Clínicos y Medioambientales Patricio García Báez 38 Grupo de Trabajo ◆ Campos aplicativos estudiados – Procesamiento de Señales Neurofisiológicas – Identificación de Espectros Luminescentes – Agente de Catalogación Automática de Webs – Sistema Automático de Detección de Ataques Informáticos – Diagnóstico de Enfermedades Neurodegenerativas ..... xi ...... Entradas mli ...... dl ........ Capa SOM hl ...... zl ........ Capa de Holguras upl gpq Capa de Etiquetado ... vp Mezcla Espectrofotómetro de Luminescencia Analysis Mapa de Rechazo Capa de Tolerancias 2 1 Espectro Preprocesado 2 1 Características Espectrales Identificador de Espectros (Capa de Etiquetado) Etiquetado Mapa de SOM Comparación de Espectros (Capa SOM) Patricio García Báez Comp. 1 Comp. 2 Comp. 3 39 Grupo de Trabajo ◆ Docencia Impartida en la ULL – Introducción a los Modelos de Computación Conexionista • 3er curso, Ing. Técnica en Informática de Sistemas, ETSII • 30 a 40 alumnos • http://soma.etsii.ull.es/imcc/ – Introducción a la Inteligencia Artificial • 3er curso, ITI de Gestión/Sistemas • 50 a 60 alumnos • http://soma.etsii.ull.es/iia/ – Modelos Conexionistas y Autómatas • 5º curso, Ing. Informática, ETSII • 10 a 20 alumnos • http://soma.etsii.ull.es/mcya/ Patricio García Báez 40 Futuro de las RNAs – Futuro prometedor, si nos seguimos acercando a las característicias de los organismos vivos: • Evolución, Computación Colectiva, Manejo del Conocimiento, ... • Natural Computing => Soft Computing – Presente problemático: dificultades de escalabilidad • ¿Tal vez algunos parámetros de nuestros modelos son erroneos? • ¿Tal vez no disponemos de la suficiente potencia informática? • ¿Tal vez nuestros modelos no han alcanzado la suficiente complejidad? • ¿Tal vez nos falta en nuestros modelos algún concepto fundamental? Patricio García Báez 41
