CLUSTER HÍBRIDO DE SUPERCÓMPUTO “XIUHCOATL“ XIUHCOATL AGENDA • INTRODUCCIÓN • SUPERCÓMPUTO – Top500 • SUPERCÓMPUTO EN MÉXICO • XIUHCOATL • LANCAD INTRODUCCIÓN Supercómputo Definición El supercómputo (HPC) es la herramienta de cálculo mas avanzada grande y rápida hasta este momento, permite estudiar problemas de gran magnitud utilizando modelos computacionales. – – Cuando se tiene la necesidad de realizar cálculos numéricos e iterativos de manera intensiva, utilizado una PC esto podría tardar meses, años o mas tiempo en obtener algún resultado. En un principio las supercomputadoras eran monolíticas y de alto coste La tendencia actual en las supercomputadoras apuesta por el cómputo distribuido y tecnologías emergentes usando cientos/miles de servidores para obtener grandes desempeños a un costo mas asequible de adquisición, operación y mantenimiento. Supercómputo Un poco de Historia NOMBRE AÑO Y LUGAR Colossus ó Mark I 1944, Bletchley Park, Londres. Descifrar mensajes, interceptados en comunicaciones de la Alemania Nazi. • 1500 tubos de vacío • Uso de cinta de papel para el ingreso de datos. • Procesaba 5000 caracteres por segundo • Utilizaba valores booleanos • Contraparte de la máquina de Lorenz ENIAC 1946, Universidad de Pennsylvania Calculo de trayectoria de nuevos cañones y misiles. • 18,000 tubos de vacío • Reconexión de cables para realizar nuevos cálculos. • Resolvía 5000 operaciones aritméticas básicas/segundo. •Sistema de numeración decimal. EDVAC 1951 Universidad de Pennsylvania Resolución de problemas navales en laboratorio militar. •6,000 tubos de vacio • 12,000 diodos • Lector-grabador de cinta magnética. •Unidad de control y memoria • Basada en sistema de numeración base 2 • El primer programa almacenado en memoria UNIVAC 1951, Oficina de Censos de los EUA • Censo de los EUA, en 1951 •Predicción (elección presidencial 1952) •Diseñada (administración /negocios) •5000 tubos de vacío •Sin interfaz para leer y escribir en tarjetas perforadas •Lector de cinta magnética •1000 cálculos por segundo •100,000 sumas por segundo CRAY-I 1976, Laboratorio Nacional de Los Álamos, Nuevo México Industria, ciencia y tecnología •Arquitectura de 64 bits •Utilizó circuitos integrados •Procesadores vectoriales a 80 MHz •Sistema de refrigeración por freón •100 Mflops (80 X 106) Industria, ciencia y tecnología •64 nodos RX •Transferencia de datos entre nodos de 2.8 MB •12 GB de Disco duro local •Conexiones Ethernet a estación de trabajo SUN-670 MP •40 Mflops (80 X 10 a la 6 flops), por nodo •Más de 2.5 Gflops en conjunto •Programación con C y Fortran Industria, ciencia y tecnología •24 nodos (120 MHz C/U) •128 MB de Memoria RAM •40 GB de disco duro •Conexión a una estación de trabajo PowerPC RS/6000 •480 Mflops (80 X 10 a la 6 flops), por nodo •12 Gflops en conjunto •Programación con C, C++ y Fortran 77/90 Intel IPSC/860 IBM SP2 1990 1990 USO CARACTERÍSTICAS FÍSICAS CARACTERÍSTICAS LÓGICAS Supercómputo ¿Para qué sirve? Resolver problemas complejos del mundo real, de la ciencia y de la ingeniería en todas sus ramas, usando modelos computacionales (experimentación numérica), a lo cual se le considera otra rama para aprender y obtener información nueva, sumándose a las metodologías tradicionales de la teoría y la experimentación. • El uso de supercómputo ha creado nuevas líneas de investigación científica en áreas ya establecidas como son la Astronomía, Ciencias de la atmósfera, Ciencias nucleares, Física, Geofísica, Geografía, Ingeniería, Medicina, Química, entre otras . – – – – – – – – – Cálculos numéricos de enormes cantidades de datos. Reconocimiento de imágenes. Gráficas computacionales, rendering, texturización. Modelación de redes. Análisis de datos (medicina, farmacología, genómica, bio-informática, etc… ) Desarrollo de nuevas medicinas y vacunas. Modelación de comportamientos biológicos de poblaciones. Simulación de reacciones atómicas y explosiones. Simulaciones de modelos mecánicos, físicos, químicos por ejemplo: Huracanes Tormentas. Flujos hidráulicos. Fenómenos de transporte. Comportamiento molecular. Diseño aeroespacial. Industria automotriz. Diseño de nuevos materiales. Pronóstico del clima y predicción de los cambios climáticos globales. Supercómputo Arquitecturas mas usadas ARQUITECTURA DESCRIPCIÓN Massive Paralell Processor es un solo equipo con muchos procesadores conectados . MPP • • • • • Características similares a las arquitecturas clúster Se han especializado en la interconexión de redes de CPUs. Tienden a ser más GRANDES que los clúster Cada CPU contiene su propia memoria y copia del sistema operativo y de las aplicaciones Cada subsistema se comunica con los demás con una conexión de alta velocidad. Conjuntos o cúmulo de computadoras. Clúster • • • Pueden ser construidos mediante la utilización de hardware común. Se comportan como si fuesen una única computadora. Debe utilizarse redes de alta velocidad y baja latencia. Multiprocesamiento simétrico (Dos o más procesadores idénticos están conectados). SMP • • • Comparten el acceso a la memoria principal y están controladas por una única instancia de S.O. . Los sistemas multiprocesador más común hoy en día utilizan una arquitectura SMP. En los procesadores multi-core, la arquitectura SMP aplica a los núcleos/cores (procesadores separados). Es un clúster de SMPs (También llamados CLUMP o máquinas jerárquicas). Constellations • Cada nodo de este clúster está compuesto por un SMP. • Tiene microprocesadores independientes y usan un bus compartido para comunicase con la memoria. • Dicho bus debe ser arbitrado para que solamente un microprocesador lo use en cada instante de tiempo. • En esta arquitectura se tiende a gastar un tiempo considerable esperando a obtener los datos desde la memoria ya que no es el único en espera. Supercómputo Arquitectura tipo Clúster (BEOWULF) Los investigadores de la NASA Thomas Sterling y Don Becker, son quienes utilizando computadoras caseras, desarrollaron una clase de supercómputadora (Cluster). • Beowulf, es el nombre de un héroe de un poema épico anglosajón, de gran fuerza y valor quien derrotó a un poderoso monstruo llamado Grendel Supercómputo Elementos básicos de un clúster 1. 2. 3. 4. 5. 6. Nodo maestro. Cientos/Miles de Nodos esclavos/cómputo. Conexión de red alta velocidad. Sistema de archivos paralelo. Sistema operativo, multitarea y multiusuario. Ambientes de Programación Paralela: Soporte para el desarrollo de software que trabaje con recursos paralelos y/o distribuidos. 7. Software administrador de los recursos del clúster, 8. Usuarios. 9. Administrador del Cluster. Top500 Introducción y Definiciones ¿Qué es la Lista Top500? Origen Objetivo Actualización • Desde Junio de 1993 se publica una lista semestral de las 500 supercomputadoras con el índice de rendimiento más alto obtenido utilizando un benchmark de solución de ecuaciones lineales llamado LINPACK. • El principal objetivo es proporcionar un ranking de sistemas de propósito general que estén en uso común para aplicaciones high end. • Las listas son publicadas en eventos de supercómputo en los meses de Junio y Noviembre de cada año. • Sitio Web: http://www.top500.org Megaflops 106 Gigaflops 109 Teraflops 1012 Petaflops 1015 Exaflops 1018 Flops=Operaciones de punto flotante por segundo High Performance Computing Linpack Benchmark. Software que resuelve un denso sistema lineal aleatorio, en una aritmética de doble precisión 64bits, en computadoras de memoria distribuida. Rendimiento máximo alcanzado bajo prueba de Linpack. Rendimiento teórico. PROCESADOR #C VR (GHz) #OpPf=[Número de Operaciones de Punto Flotante DP] Westmere 6 3.06 4 Interlagos 16 2,2 4 SandyBridge 8 2,6 8 RT=(#C)*(VR)*(#OpPF) Top500 Introducción y Definiciones ¿Qué es la Lista Top500? Origen Objetivo Actualización • Desde Junio de 1993 se publica una lista semestral de las 500 supercomputadoras con el índice de rendimiento más alto obtenido utilizando un benchmark de solución de ecuaciones lineales llamado LINPACK. • El principal objetivo es proporcionar un ranking de sistemas de propósito general que estén en uso común para aplicaciones high end. • Las listas son publicadas en eventos de supercómputo en los meses de Junio y Noviembre de cada año. • Sitio Web: http://www.top500.org Megaflops 106 Gigaflops 109 Teraflops 1012 Petaflops 1015 Exaflops 1018 Flops=Operaciones de punto flotante por segundo High Performance Computing Linpack Benchmark. Software que resuelve un denso sistema lineal aleatorio, en una aritmética de doble precisión 64bits, en computadoras de memoria distribuida. Rendimiento máximo alcanzado bajo prueba de Linpack. Rendimiento teórico. PROCESADOR #C VR (GHz) #OpPf=[Número de Operaciones de Punto Flotante DP] RT=(#C)*(VR)*(#OpPF) Westmere 6 3.06 4 73.44 GF Interlagos 16 2,2 4 140 GF SandyBridge 8 2,6 8 166,4 GF Top500 Tendencias: Arquitectura/Fabricantes LAS ARQUITECTURAS DOMINANTES SON CLÚSTER Y MPP. IBM Y HP DOMINAN EL MERCADO DE LAS SUPERCOMPUTADORAS Top500 Sistemas Operativos Desde 2003 las supercomputadoras han incrementado el uso de Linux como S.O. Top500 Las primeras 10 del mundo TOP500 LIST – NOVIEMBRE 2012 Top500 Performance #1 vs #500 (TF) TOP500 NOV-2011 (1 & 500) 15000 10510 10000 LA ENTRADA AL TOP 500 CERRÓ EN 50.94 EN NOVIEMBRE DEL 2011 5000 50.94 0 1 500 TOP500 – JUNE-2012 (1 & 500) 20000 LA ENTRADA AL TOP 500 CERRÓ EN 60.82 PARA JUNIO DEL 2011 15720 10000 60.82 0 (20% DE AUMENTO DEL ANTERIOR) 1 500 TOP500 NOV-2012 (1 & 500) 20000 17590 10000 LA ENTRADA AL TOP 500 CERRÓ EN 76.4 PARA NOVIEMBRE DEL 2012 76.4 0 (25% DE AUMENTO DEL ANTERIOR) 1 500 Supercómputo en México ¿Quién lo usa? Supercómputo en México Historico de México en el top500 México en el Top500 500 Telcel Radiomovil Dipsa 450 Gedas N.A. (VW) Banco Internacional UAM IMP 400 UNAM IMP 350 Pemex Gas Geoscience (D) Telcel Radiomovil Dipsa UNAM UNAM 300 UNAM UNAM 250 Telcel Radiomovil Dipsa Telcel Radiomovil Dipsa UNAM 200 Pemex Gas UAM Geoscience (D) UNAM SAT/ISOSA Telcel Radiomovil Dipsa UNAM 150 Telcel Radiomovil Dipsa UNAM Geoscience (D) 100 Geoscience (D) Geoscience (D) 50 México había figurado en el top500 cada año desde 1993 hasta el año 2009 "01/06/2009" 01/11/2008 01/06/2007 01/11/2006 01/11/2005 01/06/2005 01/11/2004 01/06/2004 01/11/2003 01/06/2003 01/11/2002 01/06/2002 01/11/2001 01/06/2001 01/11/2000 01/06/2000 01/11/1999 01/06/1999 01/11/1998 01/06/1998 01/11/1997 01/06/1997 01/06/1996 01/11/1995 01/06/1995 01/11/1994 01/06/1994 01/11/1993 01/06/1993 0 Supercomputo en México México reaparece en el top500 NOV-2012 XIUHCOATL CLUSTER HIBRIDO DE SUPERCÓMPUTO “XIUHCOATL” (Serpiente de Fuego) Xiuhcoatl Distribución LFS (OSS) LFS (OSS) LFS (MDS/OSS) STORAGE ABREVIATURA SIGNIFICADO N.C.G GPU N.M. N.L. SW InfiniBand NET N.C.A. N.C.A. N.C.I. N.C.I. N.C.I. PROCESAMIENTO ABREVIATURA SIGNIFICADO N.C.I. NODO DE COMPUTO INTEL N.C.A NODO DE COMPUTO AMD N.C.G NODO DE COMPUTO GPGPU LSF LUSTRE FILE SYSTEM (INTEL) N.M. NODO MAESTRO (INTEL) OSS OBJECT STORAGE SERVER (INTEL) N.L. NODO DE LOGIN (INTEL) MDS META DATA SERVER (INTEL) XIUHCOAT Tecnologías GNU (gcc, fortran) COMPILADORES Intel Clúster Studio XE 2012 Open64 ACML (AMD) CUDA SDK 4.1. SISTEMA OPERATIVO Linux x86_64 CentOS ver. 6.2. HARDWARE SISTEMA DE ALMACENAMIENTO Sistemas de 40 TB y 20TB (Usables) Basado en Lustre File System Discos duros de 600GB, SAS 2.0 de 15000 RPM en RAID 6. GPGPU 10 WS INTEL • 120 Cores. • 20 Tarjetas NVIDIA (Fermi 2070/2075) Capacidad de crecimiento de 20 Tarjetas más. COMUNICACIONES Red Gigabit Ethernet 3480 Cores (Administración shell). Red Gigabit Ethernet *AMD (Administración de Escritorio remoto). (Interlagos 6274) Red InfiniBand 40Gb/s Capacidad de crecimiento de hasta ~120TB. CPU (Full-non-Blocking) (2304) *INTEL (Xeon® Processor X5675) (1056) XIUHCOATL Laboratorio de visualización FUNCIONES El servicio se presta a los investigadores que tengan la necesidad de visualizar modelos, con la capacidad de poder visualizar los con una resolución de hasta 98.3Mpixeles. XIUHCOATL Capacidad de cómputo XIUHCOATL Oferta de Servicios ACADEMICO • • • • • Cómputo en Paralelo Administración Seguridad Soporte Capacitación en Supercómputo GUBERNAMENTAL • Hospedaje de Aplicaciones. • Almacenamiento de Datos. • Desarrollo de Aplicaciones • Capacitación Virtual. • Cloud. EMPRESARIAL • Renta de Servidores • Desarrollo de Aplicaciones • Capacitación Virtual. • Cloud. XIUHCOATL ”NO TODO SON COMPUTADORAS” PROBLEMAS USUARIOS • Factibles de solución utilizando supercómputo. • Creación y/o utilización de Modelos • Investigadores/usuarios con necesidad de usar poder de computo intensivo. APLICACIONES •Compiladores. •Librerías/Bibliotecas. Aplicaciones escritas en para su uso en clúster que resuelven ciertos problemas. INFRAESTRUCTURA DE SOPORTE • • • • Suministro de Energía Energía de Respaldo UPS Disipación de calor Redundancias GRUPO DE TRABAJO • Administradores de Clúster, Administradores del Sistema almacenamiento, Administradores de seguridad, Desarrolladores de aplicaciones paralelas… etc. XIUHCOATL Infraestructura del SITE en la CGSTIC CONCEPTO ÁREA DEL CENTRO DE DATOS (SITE, CUARTO DE UPS Y CENTRO DE OPERACIONES). PLANTA DE EMERGENCIA ELÉCTRICA. CAPACIDAD DE ENFRIAMIENTO Y HUMIDIFICACIÓN. CAPACIDAD DE SUMINISTRO DE ENERGÍA REGULADA (UPS). EQUIPOS DE AIRE ACONDICIONADO DE CONFORT (MINISPLIT) PARA CUARTOS DE UPS. SISTEMA DE DETECCIÓN Y DE EXTINCIÓN DE INCENDIOS. SISTEMA DE TIERRA FÍSICA. PROTECCIÓN CONTRA DESCARGAS AMBIENTALES. CGSTIC 140 m2 (250 + 200) KW 50 TR (4 SISTEMAS) 286 KVA (8 EQUIPOS) 3 TON GAS FM-200 (10 SENSORES) 100 AMP DIPOLO (50 M RADIO) CIRCUITOS ELÉCTRICOS 120 VAC. 60 CIRCUITOS ELÉCTRICOS 220 VAC. 24 CUARTO DE CONTROL. DISPLAY DE 4 PANTALLAS DE 24” PARA MONITOREO. SWITCH ADMINISTRATIVO GIGA BIT ETHERNET EN CUARTO DE CONTROL. 22m2 1 48 PUERTOS LANCAD Objetivo General El Laboratorio Nacional de cómputo de alto desempeño permite resolver en primera instancia los problemas científicos más demandantes mediante una GRID de capacidades excepcionales en la zona metropolitana de la Ciudad de México conformada por las tres instituciones académicas de mayor importancia en el cómputo científico de alto desempeño. LANCAD Tendido de Red de FO dentro del Metro DISTANCIAS Y EMPALMES • DISTANCIAS SIN INTEGRAR LA ULTIMA MILLA » DISTANCIA • UNAM – UAM-I 34,325m • UNAM – CINVESTAV 27,544m • CINVESTAV – UAM-I 31,588m FUSION MECANICO 21 20 20 2 1 2 • DISTANCIAS INTEGRANDO LA ULTIMA MILLA » DISTANCIA • UNAM – UAM-I 39,325m • UNAM – CINVESTAV 32,544m • CINVESTAV – UAM-I 36,588m Rack con empalme por fusión Rack con empalme mecánico FUSION 21 20 20 • Fusión Empalme por fusión • Mecánico Empalme mecánico en patch panel MECANICO 2 1 2 Longitud total de la red de fibra óptica 108.4 km LANCAD Equipo Activo (Red de FO) LANCAD Clúster académicos NODO ROBUSTO CLÚSTER TECNOLOGÍA CORES CPU CUDA CORES •3480 (CPU) [2304 (AMD)] [1176 (INTEL) ] •8960 (GPGPU-FERMI) [20 Tarjetas] PERFORMANCE REAL (CPU) PERFORMANCE TEÓRICO 24.97 TF AMD (20.28 TF) INTEL (13.08 TF) GPU (10.3 TF) Total 43.65TF CINVESTAV Xiuhcóatl HIBRIDA UAM Aitzaloa INTEL 2160 CPU 18.49 TF 25.44 TF UNAM Miztli INTEL 5616CPU 92.3 TF 116.8TF 1 TERAFLOP = 1012 operaciones de punto flotante por segundo LAS 3 INSTITUCIONES INTEGRANTES DEL PROYECTO LANCAD, CONFORMAN UNA GRID DE CÓMPUTO DE ALTO DESEMPEÑO, COMPARTIENDO EN PRINCIPIO CADA INSTITUCIÓN 1000 CORES DE PROCESAMIENTO SOBRE UNA RED DE FIBRA ÓPTICA DE 10GB/S . LANCAD Nodo Cinvestav: Misión “Ofrecer y desarrollar servicios de cómputo de alto desempeño a las comunidades de usuarios de Supercómputo del CINVESTAV, UNAM, UAM y en general al sector empresarial y gobierno; con el fin de impulsar el desarrollo científico, la formación de recursos humanos especializados en cómputo de alto desempeño, así como el desarrollo tecnológico en la realización de proyectos de alto impacto social y económico”. XIUHCOATL Contactos Héctor Oliver Administrador de la infraestructura de Supercómputo en la CGSTIC. holiver@cinvestav.mx Cluster Híbrido de Supercómputo “XIUHCOATL” http://clusterhibrido.cinvestav.mx/ CLUSTER HÍBRIDO DE SUPERCÓMPUTO “XIUHCOATL“