Programa del Curso

    Imprimación Scala Una introducción rápida a Scala Labs : Conociendo Scala Conceptos básicos de Spark Antecedentes e historia Spark y Hadoop Conceptos y arquitectura de Spark Ecosistema Spark (núcleo, spark sql, mlib, streaming) Labs: Instalación y ejecución de Spark Primer vistazo a Spark Ejecución de Spark en modo local Interfaz de usuario web de Spark Cáscara de chispa Análisis del conjunto de datos – parte 1 Inspección de RDD Laboratorios: Exploración de Spark shell Informes de desarrollo remoto Conceptos de RDDs Particiones Operaciones / transformaciones RDD Tipos de RDD RDD de par clave-valor MapReduce en RDD Almacenamiento en caché y persistencia Laboratorios: creación e inspección de RDD;   Almacenamiento en caché de RDD Programación de la API de Spark Introducción a la API de Spark / API de RDD Envío del primer programa a Spark Depuración / registro Propiedades de configuración Laboratorios: Programación en la API de Spark, Envío de trabajos Chispa SQL SQL Soporte en Spark Marcos de datos Definición de tablas e importación de conjuntos de datos Consulta de marcos de datos mediante SQL Formatos de almacenamiento : JSON / Parquet Labs : Creación y consulta de marcos de datos; Evaluación de formatos de datos MLlib Introducción a MLlib Algoritmos de MLlib Labs : Escritura de aplicaciones MLib GraphX (en inglés) Información general sobre la biblioteca GraphX API de GraphX Labs: Procesamiento de datos de gráficos mediante Spark Transmisión de chispas Información general sobre el streaming Evaluación de plataformas de streaming Operaciones de streaming Operaciones de ventana corredera Laboratorios: Escritura de aplicaciones de streaming de Spark Spark y Hadoop Introducción a Hadoop (HDFS / YARN) Arquitectura de Hadoop + Spark Ejecución de Spark en Hadoop YARN Procesamiento de archivos HDFS con Spark Rendimiento y ajuste de Spark Variables de difusión Acumuladores Gestión de memoria y almacenamiento en caché Operaciones de Spark Implementación de Spark en producción Plantillas de implementación de ejemplo Configuraciones Monitorización Solución de problemas

Requerimientos

REQUISITOS PREVIOS

familiaridad con el lenguaje Java / Scala / Python (nuestros laboratorios en Scala y Python) Comprensión básica del entorno de desarrollo de Linux (navegación por la línea de comandos / edición de archivos usando VI o nano)

  21 horas
 

Número de participantes


Comienza

Termina


Dates are subject to availability and take place between 09:30 and 16:30.
Los cursos de formación abiertos requieren más de 5 participantes.

Testimonios (1)

Cursos Relacionados

Categorías Relacionadas