Programa del Curso
Introducción a Apache Iceberg
- Descripción general de Apache Iceberg
- Repaso de conceptos básicos
Sumérgete en la arquitectura de iceberg
- Análisis en profundidad del formato de tabla de Iceberg
- Descripción detallada de la arquitectura, incluidos los metadatos y el diseño de archivos
- Aspectos internos de la evolución del esquema y la partición
Instalación y configuración avanzadas
- Configuración de Iceberg para un rendimiento óptimo en diferentes entornos
- Integración con varios motores de procesamiento de datos
- Configuración avanzada: seguridad, cifrado y controles de acceso
- Configuración de Iceberg en un entorno distribuido
Operaciones y Mantenimiento Avanzados
- Gestión de mesas Iceberg a gran escala
- Implementación y administración de cambios de esquema complejos
- Manejo de la evolución de la partición y la creación de particiones ocultas
- Operaciones CRUD avanzadas con cambios de esquema y partición
Técnicas de optimización de consultas
- Técnicas para reducir la latencia de las consultas
- Poda de particiones y poda de archivos
- Almacenamiento en caché de metadatos y estrategias de optimización
- Implementación y prueba de técnicas de optimización de consultas
Ajuste del rendimiento para grandes conjuntos de datos
- Optimización del rendimiento de conjuntos de datos a gran escala
- Uso de las funciones integradas de Iceberg para ajustar el rendimiento
- Casos prácticos sobre el ajuste del rendimiento en escenarios del mundo real
- Ajuste del rendimiento para conjuntos de datos a gran escala
Migración e integración de datos avanzada
- Migración de estructuras de datos complejas desde otros sistemas
- Integración de Iceberg con flujos de datos en tiempo real
- Migración de conjuntos de datos complejos e integración de flujos de datos en tiempo real
Fiabilidad y consistencia
- Garantizar la coherencia y la integridad de los datos en entornos distribuidos
- Implementación y gestión de garantías transaccionales
- Control de errores y mecanismos de recuperación
- Implementación de características de confiabilidad y coherencia
Funciones avanzadas y personalización
- Implementaciones de catálogos personalizados
- Ampliación de Iceberg con funciones personalizadas
- Implementación de catálogos personalizados y ampliación de las funcionalidades de Iceberg
Datos Governance y cumplimiento
- Implementación de políticas de gobernanza de datos
- Cumplimiento de la normativa de datos
- Administración de registros de auditoría y linaje de datos
- Implementación de características de gobernanza y cumplimiento
Resumen y próximos pasos
Requerimientos
- Familiaridad con los conceptos básicos, las operaciones básicas y la gestión de la mesa Iceberg
Audiencia
- Ingenieros de datos
- Arquitectos de datos
- Analistas de datos
- Desarrolladores de software
Testimonios (5)
Los ejemplos en vivo
Ahmet Bolat - Accenture Industrial SS
Curso - Python, Spark, and Hadoop for Big Data
Traducción Automática
muy interactivo...
Richard Langford
Curso - SMACK Stack for Data Science
Traducción Automática
Suficiente práctica, el instructor es conocedor
Chris Tan
Curso - A Practical Introduction to Stream Processing
Traducción Automática
Aprende sobre Spark Streaming, Databricks y AWS Redshift
Lim Meng Tee - Jobstreet.com Shared Services Sdn. Bhd.
Curso - Apache Spark in the Cloud
Traducción Automática
tareas de práctica
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Curso - Python and Spark for Big Data (PySpark)
Traducción Automática