Temario del curso
Fundamentos de NiFi y flujo de datos
- Datos en movimiento vs. datos estáticos: conceptos y desafíos.
- Arquitectura de NiFi: núcleos, controlador de flujo, procedencia y boletín.
- Componentes clave: procesadores, conexiones, controladores y procedencia.
Contexto de Big Data e integración
- El papel de NiFi en los ecosistemas de Big Data (Hadoop, Kafka, almacenamiento en la nube).
- Visión general de HDFS, MapReduce y alternativas modernas.
- Casos de uso: ingesta de flujos, envío de registros, tuberías de eventos.
Instalación, configuración y establecimiento de clusters
- Instalación de NiFi en modo de nodo único y modo cluster.
- Configuración de clusters: roles de nodos, Zookeeper y balanceo de carga.
- Orquestación de despliegues de NiFi: uso de Ansible, Docker o Helm.
Diseño y gestión de flujos de datos
- Enrutamiento, filtrado, división y combinación de flujos.
- Configuración de procesadores (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.).
- Manejo de esquemas, enriquecimiento y operaciones de transformación.
- Manejo de errores, relaciones de reintentos y presión inversa (backpressure).
Escenarios de integración
- Conexión con bases de datos, sistemas de mensajería y APIs REST.
- Transmisión de datos (streaming) a sistemas analíticos: Kafka, Elasticsearch o almacenamiento en la nube.
- Integración con Splunk, Prometheus o tuberías de registro (logging).
Monitoreo, recuperación y procedencia
- Uso de la interfaz de usuario de NiFi, métricas y visor de procedencia.
- Diseño de recuperación autónoma y manejo elegante de fallos.
- Copia de seguridad, versión de flujos y gestión de cambios.
Ajuste de rendimiento y optimización
- Ajuste de JVM, memoria en pila, pools de hilos y parámetros de clustering.
- Optimización del diseño de flujos para reducir cuellos de botella.
- Aislamiento de recursos, priorización de flujos y control del ancho de banda de datos.
Mejores prácticas y gobernanza
- Documentación de flujos, estándares de nomenclatura y diseño modular.
- Seguridad: TLS, autenticación, control de acceso y cifrado de datos.
- Control de cambios, versionado, acceso basado en roles y trazas de auditoría.
Solución de problemas y respuesta a incidentes
- Problemas comunes: bloqueos (deadlocks), fugas de memoria, errores de procesadores.
- Análisis de registros, diagnóstico de errores e investigación de causas raíz.
- Estrategias de recuperación y reversión de flujos.
Laboratorio práctico: Implementación de una tubería de datos realista
- Construcción de un flujo extremo a extremo: ingesta, transformación y entrega.
- Implementación de manejo de errores, presión inversa y escalabilidad.
- Pruebas de rendimiento y ajuste de la tubería.
Resumen y próximos pasos
Requerimientos
- Experiencia con la línea de comandos de Linux.
- Comprensión básica de redes y sistemas de datos.
- Conocimiento de conceptos de transmisión de datos (streaming) o ETL.
Audiencia
- Administradores de sistemas.
- Ingenieros de datos.
- Desarrolladores.
- Profesionales de DevOps.
Reseñas (7)
Ejercicios prácticos. La clase debería haber durado 5 días, pero los 3 días fueron útiles para aclarar muchas de las preguntas que tenía al trabajar con NiFi.
James - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
Creí que el ritmo del formador fue muy bueno. No dejó a ningún estudiante atrás con su enfoque. Fue muy solidario con nosotros, los NUEVOS, que quizás no hayamos tenido un rol de Administrador de Sistema o Infraestructura durante nuestra carrera o que hayamos recuperado esas habilidades de un período anterior de nuestra carrera.
Pamdrea Ivory - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
Me gustó la sección práctica. Me ayudó a retener mejor la información al completar los ejercicios proporcionados. Además, la capacidad del instructor de interactuar con toda la clase hizo que me sintiera cómodo para hacer preguntas sobre lo que no entendía.
Leila - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
Casos de uso y ejemplos para construir flujos de datos con NiFi. Trabajamos en la solución de problemas comunes y obstáculos.
Nelson - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
Amé la estructura. El primer día nos sumergimos en los conceptos básicos de NiFi, sus conceptos y casos de uso, entre otros temas. Al día siguiente, pusimos en práctica lo aprendido el primer día al construir flujos para cumplir con los requisitos de diferentes escenarios. En el tercer día, exploramos el Registro de NiFi, el control de versiones, la multiinquilinato y realizamos una sesión de preguntas y respuestas.
Adam - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
Muy poco, se me dificulto mucho y mas por que entre desfasado, no tome los primeras sesiones.
Rolando Garcia - OIT para Mexico y Cuba
Curso - Apache NiFi for Administrators
El conocer que hay un programa que tiene muchas aplicaciones potenciales para el trabajo que desarrollo
