Proyecto Fin de Máster Reyes de Europa José María Limeres Pesado Máster Big Data Procesamiento Almacenamiento Explotación Instalación Instalación Spark 1.5.2 wget http://ftp.cixug.es/apache/ spark / spark-1.5.2 / spark-1.5.2- binhadoop2.6.tgz tar -xvf spark-1.5.2-bin-hadoop2.6.tgz Instalación PyCharm 5.0.1 wget https: // d1opms6zj7jotq.cloudfront.net/python/pycharmcommunity-5.0.1.tar.gz gzip -dc pycharm-community-5.0.1.tar.gz | tar xf mv spark-1.5.2-bin-hadoop.2.6 /opt Configurar Spark en PyCharm edit /home/usuario/.bashrc export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/ # number of folders visible at prompt PROMPT_DIRTRIM=1 export SPARK_HOME=/opt/spark-1.5.2-bin-hadoop2.6 export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python/lib/py4j0.8.2.1-src.zip export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python/pyspark Ejecutar PyCharm Instalación Instalación MongoDB 3.0.10 sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10 echo "deb http://repo.mongodb.org/apt/debian wheezy/mongodb-org/3.0 main" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.0.list sudo apt-get update sudo apt-get install -y mongodb-org=3.0.10 mongodb-org-server=3.0.10 mongodb-org-shell=3.0.10 mongodb-org-mongos=3.0.10 mongodb-orgtools=3.0.10 Lime\.. mongod --version db version v3.0.10 git version: 1e0512f8453d103987f5fbfb87b71e9a131c2a60 Instalación MongoDB 3.0.10 /var/log/mongodb/ gedit mongod.log 2016-04-30T19:40:22.776+0100 I CONTROL [initandlisten] MongoDB starting : pid=31367port=27017 dbpath=/var/lib/mongodb 64-bit host=jmlp-VirtualBox 2016-04-30T19:40:22.776+0100 I CONTROL [initandlisten] db version v3.0.10 2016-04-30T19:40:22.776+0100 I CONTROL [initandlisten] git version: 1e0512f8453d103987f5fbfb87b71e9a131c2a60 2016-04-30T19:40:22.776+0100 I CONTROL [initandlisten] build info: Linux ip10-145-79-83 3.2.0-4-amd64 #1 SMP Debian 3.2.46-1 x86_64 BOOST_LIB_VERSION=1_49 Instalación Instalación Eclipse Mars wget https://eclipse.org/downloads/download.php?file=/tech nology/epp/downloads/release/mars/2/eclipse-jee-mars-2linux-gtk-x86_64.tar.gz tar -xvf eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz Procesamiento Información extraída: • Datos estadísticos de cada uno de los partidos: local, visitante, goles, tiros, amarillas, corners, faltas y cotizaciones. •Cotizaciones de cada casa de apuesta por temporada y por equipo. • Información de cada uno de los equipos: nombre, liga, partidos jugados, ganados, empatados y perdidos, porcentaje de victorias, empates y derrotas y media de goles por partido. • Datos estadísticos de cada liga: equipos participantes, goles totales y media por partido y número de partidos jugados. Almacenar información en MongoDB: Instalación driver pymongo sudo apt-get install python-pip python -m pip install pymongo==3.0.2 Almacenamiento Explotación Nombre del proyecto Configuramos acceso a MongoDB en el pom.xml Usaremos Morphia 1.1.0 RESULTADOS CASAS DE APUESTAS DATOS POR TEMPORADA CASAS DE APUESTAS DATOS POR EQUIPO LIGAS DATOS POR EQUIPO LIGAS DATOS GLOBALES LIGAS EQUIPOS PARTIDOS CONCLUSIONES DUDAS Y SUGERENCIAS