Curso de Hadoop – Big Data

← Formación

Datasalt imparte un curso de Hadoop para programadores Java, con el que obtener las habilidades necesarias para analizar datos y desarrollar aplicaciones Big Data en Hadoop, siempre desde un punto de vista práctico en el que cada concepto teórico se acompañará con ejercicios a resolver por el alumno.

Los cursos se imparten en Madrid y Barcelona y tienen una duración de 4 días. En las sesiones el alumno adquirirá conocimiento sobre:

  • Los aspectos más importantes de la arquitectura de Hadoop
  • La implementación de trabajos MapReduce y los patrones de uso más comunes
  • Qué problemas resuelve Hadoop y cuáles no resuelve
  • Cómo configurar y gestionar un cluster de Hadoop
  • Cómo importar y exportar datos en Hadoop
  • Nociones sobre las interfaces de alto nivel para Hadoop más importantes

Prerrequisitos

El alumno deberá tener experiencia desarrollando en Java. No es necesario tener conocimientos previos de Hadoop.

Instructor

Iván de Prado acumula más de cuatro años de experiencia en Hadoop, desarrollando aplicaciones de rastreo y análisis web distribuidos, buscadores verticales escalables de alta capacidad y sistemas de detección de duplicados y filtrado en grandes corpus de datos. Es cofundador de Datasalt, y ha colaborado con varias startups, entre las que se encuentran Strands, Enormo y Trovit. Entre sus campos de interés se encuentran los sistemas distribuidos, el aprendizaje automático, el “data mining” y la “information retrieval”. Iván es uno de los creadores de los proyectos de software libre Pangool y Splout SQL.

Certificado

El alumno recibirá un certificado que acredite su asistencia al curso.

Contenido del curso

El curso cubrirá los siguiente temas:

  • Por qué y para qué Hadoop
    • Limitaciones de la escalabilidad vertical
    • El tiempo de acceso aleatorio como hándicap
    • Emergencia de grandes volúmenes de datos: Big Data
    • Necesidad de un nuevo enfoque
    • Qué es Hadoop
  • La arquitectura de Hadoop
    • El sistema distribuido de ficheros (HDFS)
    • El paradigma MapReduce
    • Estructura de un cluster de Hadoop: JobTracker, TaskTracker, NameNode y DataNode
    • Instalación y configuración de Hadoop
  • La API básica de Hadoop
    • API básica: Mapper, Reducer, Job, Configuration, JobClient
    • Entrada/salida: InputFormat, OutputFormat y sus variantes
    • Tipos básicos: Text, IntWritable, LongWritable, ObjectWritable, etc
    • Streaming API
  • Desarrollo de aplicaciones MapReduce
    • Desarrollo de una aplicación simple con Hadoop
    • Ejecución de aplicaciones en Hadoop
    • Patrones de uso común: filtrado, ordenación, recuento, particionamiento, ejecución de tareas distribuidas, reconciliación
    • Diseño de aplicaciones: cuándo Hadoop es apropiado y cuándo no lo es
  • Recetas prácticas
    • Eclipse como herramienta de desarrollo para Hadoop
    • Ejecución de Hadoop en modo “local”
    • Contadores
    • Depuración y búsqueda de errores
    • Testing
  • Importación/Exportación de datos
    • Acceso directo al HDFS
    • Importación de bases de datos: Sqoop
  • El ecosistema de Hadoop
    • Hive: Datawarehousing y plataforma de análisis SQL
    • Pig
    • Oozie
    • Pangool: Tuple MapReduce
  • Clusters Hadoop en Amazon
    • Cómo arrancar y gestionar clusters con Amazon Elastic Map Reduce
  • Programación avanzada en MapReduce
    • Serialización/deserialización con Thrift
    • API avanzada: Partitioner, Writable, WritableComparable, DistributedCache, métodos configure() y close()
    • Ordenación secundaria
    • Patrones de uso avanzados: Joins
    • Generación de índices Solr desde Hadoop

Sesiones
Barcelona
18 de Febrero – 21 de Febrero de 2013
9:00 – 15:00
1190€ (IVA no incluido)

Madrid
9 de Septiembre – 12 de Septiembre de 2013
9:00 – 15:00
1190€

Barcelona
25 de Noviembre – 28 de Noviembre de 2013
9:00 – 15:00
1190€

Madrid
24 de Febrero – 27 de Febrero de 2014
9:00 – 15:00
1190€

También realizamos cursos bajo demanda. Si estas interesado en el curso, escríbenos a formacion@datasalt.com indicando donde te interesaría recibirlo (Madrid/Barcelona/cualquiera) y cuando alcancemos el cupo os contactaremos para establecer unas fechas.