Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Cada sesión tiene 2 horas
Día-1: Sesión -1: Visión General del Negocio sobre Por Qué la Inteligencia de Negocios con Big Data en el Gobierno
- Estudios de Caso del NIH, DoE
- Tasa de adopción de Big Data en Agencias Gubernamentales y cómo están alineando sus operaciones futuras alrededor de la Analítica Predictiva con Big Data
- Áreas de Aplicación a Gran Escala en DoD, NSA, IRS, USDA, etc.
- Interfaz entre Big Data y datos legados
- Comprensión básica de las tecnologías habilitadoras en analítica predictiva
- Integración de Datos y visualización de Tableros (Dashboards)
- Gestión del fraude
- Generación de Reglas de Negocio / Detección de Fraude
- Detección de amenazas y perfilamiento
- Análisis costo-beneficio para la implementación de Big Data
Día-1: Sesión-2: Introducción al Big Data-1
- Características principales del Big Data: volumen, variedad, velocidad y veracidad. Arquitectura MPP para el volumen.
- Almacenes de Datos (Data Warehouses) – esquema estático, conjunto de datos de evolución lenta
- Bases de Datos MPP como Greenplum, Exadata, Teradata, Netezza, Vertica, etc.
- Soluciones Basadas en Hadoop – sin condiciones sobre la estructura del conjunto de datos.
- Patrón típico : HDFS, MapReduce (procesamiento), recuperación desde HDFS
- Lote (Batch) – adecuado para analítica no interactiva
- Volumen : Datos de streaming CEP
- Opciones típicas – productos CEP (por ejemplo, Infostreams, Apama, MarkLogic, etc.)
- Menos listos para producción – Storm/S4
- Bases de Datos NoSQL – (columnares y clave-valor): más adecuadas como complemento analítico al almacén de datos / base de datos
Día-1 : Sesión -3 : Introducción al Big Data-2
Soluciones NoSQL
- Almacén KV - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- Almacén KV - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
- Almacén KV (Jerárquico) - GT.m, Cache
- Almacén KV (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- Caché KV - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
- Almacén de Tuplas - Gigaspaces, Coord, Apache River
- Base de Datos Orientada a Objetos - ZopeDB, DB40, Shoal
- Almacén de Documentos - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, Bases de Datos XML, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
- Almacén Columnar Ancho - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Variaciones de Datos: Introducción al problema de Limpieza de Datos en Big Data
- RDBMS – estructura/esquema estático, no promueve un entorno ágil y exploratorio.
- NoSQL – semi estructurado, suficiente estructura para almacenar datos sin un esquema exacto previo al almacenamiento
- Problemas de limpieza de datos
Día-1 : Sesión-4 : Introducción al Big Data-3 : Hadoop
- Cuándo seleccionar Hadoop?
- ESTRUCTURADO - Los almacenes/bases de datos empresariales pueden almacenar grandes volúmenes de datos (a un costo) pero imponen estructura (no es bueno para exploración activa)
- datos SEMI ESTRUCTURADOS – difíciles de manejar con soluciones tradicionales (DW/DB)
- Almacenamiento de datos = ESFUERZO ENORME y estático incluso después de la implementación
- Para variedad y volumen de datos, procesados en hardware comercial – HADOOP
- Hardware Comercial necesario para crear un Clúster de Hadoop
Introducción a Map Reduce /HDFS
- MapReduce – distribuir la computación entre múltiples servidores
- HDFS – hacer los datos disponibles localmente para el proceso de cómputo (con redundancia)
- Datos – pueden ser no estructurados/sin esquema (a diferencia de RDBMS)
- Responsabilidad del desarrollador para dar sentido a los datos
- Programación MapReduce = trabajar con Java (pros/contras), carga manual de datos en HDFS
Día-2: Sesión-1: Ecosistema Big Data-Construyendo ETL de Big Data: universo de Herramientas Big Data-cuál usar y cuándo?
- Hadoop vs. Otras soluciones NoSQL
- Para acceso interactivo y aleatorio a los datos
- Hbase (base de datos orientada a columnas) sobre Hadoop
- Acceso aleatorio a los datos pero con restricciones impuestas (max 1 PB)
- No bueno para analítica ad-hoc, bueno para registros, conteos, series temporales
- Sqoop - Importar desde bases de datos a Hive o HDFS (acceso JDBC/ODBC)
- Flume – Corrientes de datos (por ejemplo, datos de registro) a HDFS
Día-2: Sesión-2: Sistema de Gestión Big Data
- Componentes móviles, nodos de cómputo inicio/fallo: ZooKeeper - Para servicios de configuración/coordinación/naming
- Pipeline/flujo de trabajo complejo: Oozie – gestionar flujo de trabajo, dependencias, cadena de margaritas (daisy chain)
- Desplegar, configurar, gestión de clústeres, actualización, etc. (sys admin) : Ambari
- En la Nube : Whirr
Día-2: Sesión-3: Analítica Predictiva en Inteligencia de Negocios -1: Técnicas Fundamentales y BI basado en aprendizaje automático :
- Introducción al Aprendizaje Automático
- Aprendizaje de técnicas de clasificación
- Predicción Bayesiana-preparación del archivo de entrenamiento
- Máquina de Vectores de Soporte
- KNN p-Tree Álgebra y minería vertical
- Red Neuronal
- Problema de grandes variables en Big Data - Bosque Aleatorio (RF)
- Problema de Automatización en Big Data – Bosque Aleatorio multi modelo
- Automatización a través de Soft10-M
- Herramienta analítica de texto-Treeminer
- Aprendizaje Ágil
- Aprendizaje basado en agentes
- Aprendizaje Distribuido
- Introducción a Herramientas de código abierto para analítica predictiva : R, Rapidminer, Mahout
Día-2: Sesión-4 Ecosistema analítico predictivo-2: Problemas comunes de analítica predictiva en el Gobierno.
- Analítica de percepciones (Insight analytic)
- Analítica visual
- Analítica predictiva estructurada
- Analítica predictiva no estructurada
- Perfilamiento de amenazas/fraudstar/proveedores
- Motor de recomendación
- Detección de patrones
- Descubrimiento de Regla/Escenario – falla, fraude, optimización
- Descubrimiento de la causa raíz
- Análisis de sentimiento
- Analítica CRM
- Analítica de redes
- Analítica de Texto
- Revisión asistida por tecnología
- Analítica de fraude
- Analítica en Tiempo Real
Día-3 : Sesión-1 : Analítica en Tiempo Real y Escalable sobre Hadoop
- Por qué fallan los algoritmos analíticos comunes en Hadoop/HDFS
- Apache Hama- para computación distribuida asíncrona masiva
- Apache SPARK- para computación de clústeres para analítica en tiempo real
- CMU Graphics Lab2- Enfoque asíncrono basado en gráficos para computación distribuida
- Enfoque basado en álgebra p-Algebra KNN desde Treeminer para reducir el costo operativo de hardware
Día-3: Sesión-2: Herramientas para eDiscovery y Forense
- eDiscovery sobre Big Data vs. Datos legados – una comparación de costo y rendimiento
- Codificación predictiva y revisión asistida por tecnología (TAR)
- Demostración en vivo de un producto Tar ( vMiner) para entender cómo funciona TAR para un descubrimiento más rápido
- Indexación más rápida a través de HDFS – velocidad de datos
- PNL o Procesamiento de Lenguaje Natural – varias técnicas y productos de código abierto
- eDiscovery en idiomas extranjeros- tecnología para procesamiento de idiomas extranjeros
Día-3 : Sesión 3: Big Data BI para Ciberseguridad – Entendiendo la vista completa de 360 grados desde la recolección rápida de datos hasta la identificación de amenazas
- Comprensión de los fundamentos de la analítica de seguridad-superficie de ataque, mala configuración de seguridad, defensas del host
- Infraestructura de red / gran tubería de datos / ETL de respuesta para analítica en tiempo real
- Predictivo vs Prescriptivo – Basado en reglas fijas vs descubrimiento automático de reglas de amenaza desde metadatos
Día-3: Sesión 4: Big Data en USDA : Aplicación en Agricultura
- Introducción a IoT (Internet de las Cosas) para agricultura-sensores basados en Big Data y control
- Introducción a la imagen satelital y su aplicación en la agricultura
- Integrando datos de sensores e imágenes para fertilidad del suelo, recomendación de cultivo y pronóstico
- Seguro agrícola y Big Data
- Pronóstico de pérdida de cultivos
Día-4 : Sesión-1: Prevención de Fraude BI desde Big Data en el Gobierno-Analítica de Fraude:
- Clasificación básica de la analítica de fraude-análisis basado en reglas vs analítica predictiva
- Aprendizaje automático supervisado vs no supervisado para detección de patrones de fraude
- Fraude de proveedores/sobreprecio por proyectos
- Fraude en Medicare y Medicaid- técnicas de detección de fraude para procesamiento de reclamaciones
- Fraudes en reembolsos de viajes
- Fraudes en reembolsos del IRS
- Se proporcionarán estudios de casos y demostraciones en vivo siempre que los datos estén disponibles.
Día-4 : Sesión-2: Analítica de Redes Sociales-Recolección e análisis de inteligencia
- API ETL Big Data para extraer datos de redes sociales
- Texto, imagen, metadatos y video
- Análisis de sentimiento desde feed de redes sociales
- Filtrado contextual y no contextual del feed de redes sociales
- Tablero (Dashboard) de Medios Sociales para integrar diversas redes sociales
- Perfilamiento automatizado de perfiles en redes sociales
- Se proporcionará demostración en vivo de cada analítica a través de la Herramienta Treeminer.
Día-4 : Sesión-3: Analítica Big Data en procesamiento de imágenes y flujos de video
- Técnicas de Almacenamiento de Imágenes en Big Data- Solución de almacenamiento para datos que exceden petabytes
- LTFS y LTO
- GPFS-LTFS (Solución de almacenamiento en capas para datos de imagen grandes)
- Fundamentos de la analítica de imágenes
- Reconocimiento de objetos
- Segmentación de imágenes
- Rastreo de movimiento
- Reconstrucción de imagen 3-D
Día-4: Sesión-4: Aplicaciones Big Data en NIH:
- Áreas emergentes de la bioinformática
- Metagenómica y problemas de minería de Big Data
- Analítica Predictiva con Big Data para Farmacogenómica, Metabolómica y Proteómica
- Big Data en el proceso posterior a la genómica (downstream)
- Aplicación de analítica predictiva con Big data en salud pública
Tablero (Dashboard) Big Data para acceso rápido y visualización de datos diversos :
- Integración de la plataforma de aplicación existente con Tablero Big Data
- Gestión de Big Data
- Estudio de Caso del Tablero Big Data: Tableau y Pentaho
- Usar la aplicación Big Data para impulsar servicios basados en ubicación en el Gobierno.
- Sistema de seguimiento y gestión
Día-5 : Sesión-1: Cómo justificar la implementación de Inteligencia de Negocios con Big Data dentro de una organización:
- Definición del ROI para la implementación de Big Data
- Estudios de caso para ahorrar tiempo del Analista en la recolección y preparación de Datos – aumento en la ganancia de productividad
- Estudios de caso de ganancia de ingresos ahorrando el costo de la base de datos licenciada
- Ganancia de ingresos desde servicios basados en ubicación
- Ahorro desde prevención de fraude
- Un enfoque de hoja de cálculo integrada para calcular gasto aprox. vs. Ganancia de ingresos/ahorro de la implementación de Big Data.
Día-5 : Sesión-2: Procedimiento paso a paso para reemplazar sistemas de datos legados por sistemas Big Data:
- Comprensión del Mapa de Ruta práctico de Migración de Big Data
- ¿Qué información importante se necesita antes de diseñar una implementación de Big Data?
- ¿Cuáles son las diferentes formas de calcular volumen, velocidad, variedad y veracidad de los datos?
- Cómo estimar el crecimiento de datos
- Estudios de caso
Día-5: Sesión 4: Revisión de Proveedores de Big Data y revisión de sus productos. Sesión de Preguntas y Respuestas:
- Accenture
- APTEAN (Anteriormente CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (Anteriormente 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (Parte de EMC)
Requerimientos
- Conocimientos básicos del funcionamiento empresarial y los sistemas de datos gubernamentales en su dominio
- Comprensión básica de SQL/Oracle o bases de datos relacionales
- Comprensión básica de Estadísticas (a nivel de hojas de cálculo)
35 Horas
Testimonios (1)
La capacidad del formador de alinear el curso con los requisitos de la organización, y no solo proporcionarlo por el mero hecho de impartirlo.
Masilonyane - Revenue Services Lesotho
Curso - Big Data Business Intelligence for Govt. Agencies
Traducción Automática
