Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Día 01
Visión general de Inteligencia empresarial de Big Data para el análisis de inteligencia criminal
- Estudios de caso en fuerzas del orden: policía predictiva.
- Tasa de adopción de Big Data en agencias policiales y cómo están alineando sus operaciones futuras alrededor del análisis predictivo de Big Data.
- Soluciones tecnológicas emergentes, como sensores de disparos, video vigilancia y redes sociales.
- Uso de la tecnología Big Data para mitigar la sobrecarga de información.
- Interfaz de Big Data con datos heredados (legacy).
- Comprensión básica de las tecnologías habilitantes en el análisis predictivo.
- Integración de datos y visualización de paneles de control (dashboards).
- Gestión del fraude.
- Reglas de negocio y detección de fraude.
- Detección de amenazas y perfiles.
- Análisis costo-beneficio para la implementación de Big Data.
Introducción a Big Data
- Características principales de Big Data: Volumen, Variedad, Velocidad y Veracidad.
- Arquitectura MPP (Procesamiento Masivamente Paralelo).
- Bodegas de datos (Data Warehouses): esquema estático, conjunto de datos de evolución lenta.
- Bases de datos MPP: Greenplum, Exadata, Teradata, Netezza, Vertica, etc.
- Soluciones basadas en Hadoop: sin condiciones sobre la estructura del conjunto de datos.
- Patrón típico: HDFS, MapReduce (procesamiento), recuperación desde HDFS.
- Apache Spark para procesamiento en flujo.
- Lotes: adecuados para análisis no interactivo.
- Volumen: datos de flujo CEP (Procesamiento complejo de eventos).
- Opciones típicas: productos CEP (p. ej., Infostreams, Apama, MarkLogic, etc.).
- Menos listos para producción: Storm/S4.
- Bases de datos NoSQL (columnares y clave-valor): más adecuadas como complemento analítico a la bodega de datos o base de datos relacional.
Soluciones NoSQL
- KV Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB).
- KV Store - Dynamo, Voldemort, Dynomite, SubRecord, MongoDB, DovetailDB.
- KV Store (Jerárquico) - GT.m, Cache.
- KV Store (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord.
- KV Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua.
- Tuple Store - Gigaspaces, Coord, Apache River.
- Base de datos de objetos - ZopeDB, DB40, Shoal.
- Almacén de documentos - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris.
- Almacén de columnas anchas - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI.
Variedades de datos: Introducción a los problemas de limpieza de datos en Big Data
- RDBMS: estructura/esquema estático, no fomenta un entorno ágil y exploratorio.
- NoSQL: semiestructurado, con suficiente estructura para almacenar datos sin un esquema exacto previo al almacenamiento.
- Problemas de limpieza de datos.
Hadoop
- ¿Cuándo seleccionar Hadoop?
- ESTRUCTURADO: Las bodegas de datos/organizaciones empresariales pueden almacenar grandes cantidades de datos (a un costo), pero imponen una estructura (no es ideal para exploración activa).
- Datos SEMIESTRUCTURADOS: difíciles de procesar con soluciones tradicionales (bodegas de datos/bases de datos).
- La creación de una bodega de datos requiere un ESFUERZO ENORME y resulta estática incluso después de la implementación.
- Para variedad y volumen de datos, procesados en hardware comercial: HADOOP.
- Se necesita hardware comercial (H/W) para crear un clúster de Hadoop.
Introducción a Map Reduce / HDFS
- MapReduce: distribución del cómputo entre múltiples servidores.
- HDFS: disponibilidad de datos localmente para el proceso de cómputo (con redundancia).
- Datos: pueden ser no estructurados o sin esquema (a diferencia de RDBMS).
- Responsabilidad del desarrollador dar sentido a los datos.
- Programar MapReduce implica trabajar con Java (pros/contras) y cargar manualmente los datos en HDFS.
Día 02
Ecosistema de Big Data: construcción de ETL (Extraer, Transformar, Cargar) para Big Data: ¿qué herramientas de Big Data usar y cuándo?
- Hadoop frente a otras soluciones NoSQL.
- Para acceso interactivo y aleatorio a los datos.
- Hbase (base de datos orientada a columnas) sobre Hadoop.
- Acceso aleatorio a los datos, pero con restricciones impuestas (máx. 1 PB).
- No es ideal para análisis ad-hoc; bueno para registro de eventos (logging), conteo y series temporales.
- Sqoop: importar desde bases de datos a Hive o HDFS (acceso JDBC/ODBC).
- Flume: transmitir datos (p. ej., datos de registro) a HDFS.
Sistema de gestión de Big Data
- Componentes móviles, nodos de cómputo que inician/fallan: ZooKeeper para servicios de configuración/coordinación/nombrado.
- Pipeline/flujo de trabajo complejo: Oozie para gestionar el flujo de trabajo, dependencias y encadenamiento (daisy chain).
- Despliegue, configuración, gestión de clústeres, actualizaciones, etc. (admin de sistemas): Ambari.
- En la nube: Whirr.
Análisis predictivo: técnicas fundamentales e inteligencia empresarial basada en aprendizaje automático
- Introducción al aprendizaje automático.
- Aprendizaje de técnicas de clasificación.
- Predicción bayesiana: preparación de un archivo de entrenamiento.
- Máquina de vectores de soporte (SVM).
- Álgebra p-Tree KNN y minería vertical.
- Redes neuronales.
- Problema de grandes variables en Big Data: Bosque aleatorio (RF).
- Problema de automatización en Big Data: conjunto RF multimodelo.
- Automatización a través de Soft10-M.
- Herramienta de análisis de texto: Treeminer.
- Aprendizaje ágil.
- Aprendizaje basado en agentes.
- Aprendizaje distribuido.
- Introducción a herramientas open source para análisis predictivo: R, Python, Rapidminer, Mahout.
Ecosistema de análisis predictivo y su aplicación en el análisis de inteligencia criminal
- Tecnología y proceso de investigación.
- Análisis analítico (Insight analytic).
- Analítica visual.
- Análisis predictivo estructurado.
- Análisis predictivo no estructurado.
- Perfiles de amenaza/fraudulento/proveedor.
- Motor de recomendación.
- Detección de patrones.
- Descubrimiento de reglas/escenarios: fallos, fraude, optimización.
- Descubrimiento de la causa raíz.
- Análisis de sentimiento.
- Analítica CRM.
- Analítica de redes.
- Analítica de texto para obtener perspectivas a partir de transcripciones, declaraciones de testigos, chatter en internet, etc.
- Revisión asistida por tecnología.
- Analítica del fraude.
- Analítica en tiempo real.
Día 03
Análisis en tiempo real y escalable sobre Hadoop
- ¿Por qué fallan los algoritmos analíticos comunes en Hadoop/HDFS?
- Apache Hama: para cómputo distribuido síncrono masivo.
- Apache SPARK: para cómputo en clúster y análisis en tiempo real.
- CMU Graphics Lab2: enfoque asíncrono basado en grafos para el cómputo distribuido.
- KNN p: enfoque basado en álgebra de Treeminer para reducir el costo operativo de hardware.
Herramientas para eDiscovery y forense digital
- eDiscovery sobre Big Data frente a datos heredados: comparación de costos y rendimiento.
- Codificación predictiva y Revisión Asistida por Tecnología (TAR).
- Demo en vivo de vMiner para comprender cómo TAR habilita un descubrimiento más rápido.
- Indexación más rápida a través de HDFS: velocidad de los datos.
- PNL (Procesamiento de Lenguaje Natural): productos y técnicas open source.
- eDiscovery en idiomas extranjeros: tecnología para el procesamiento de lenguas extranjeras.
BI de Big Data para Ciberseguridad: obtención de una vista de 360 grados, recopilación rápida de datos e identificación de amenazas
- Comprensión de los fundamentos del análisis de seguridad: superficie de ataque, configuraciones erróneas de seguridad, defensas de host.
- Infraestructura de red / gran tubería de datos (datapipe) / ETL de respuesta para análisis en tiempo real.
- Prescriptivo vs. predictivo: reglas fijas frente al descubrimiento automático de reglas de amenaza a partir de metadatos.
Recopilación de datos dispares para el análisis de inteligencia criminal
- Uso de IoT (Internet de las Cosas) como sensores para capturar datos.
- Uso de imágenes satelitales para la vigilancia doméstica.
- Uso de datos de vigilancia e imagen para la identificación de delincuentes.
- Otras tecnologías de recopilación de datos: drones, cámaras corporales (body cameras), sistemas de etiquetado GPS y tecnología de imagen térmica.
- Combinación de la recuperación automatizada de datos con datos obtenidos de informantes, interrogatorios e investigación.
- Pronóstico de actividad delictiva.
Día 04
Prevención de fraude mediante BI a partir de Big Data en Analítica de Fraude
- Clasificación básica de la Analítica de Fraude: basada en reglas frente a analítica predictiva.
- Aprendizaje supervisado vs. no supervisado para la detección de patrones de fraude.
- Fraude negocio-a-negocio, fraude en reclamos médicos, fraude en seguros, evasión fiscal y lavado de dinero.
Analítica de Redes Sociales: recopilación e análisis de inteligencia
- Cómo utilizan los criminales las redes sociales para organizarse, reclutar y planificar.
- API ETL de Big Data para extraer datos de redes sociales.
- Texto, imagen, metadatos y video.
- Análisis de sentimiento a partir del flujo (feed) de redes sociales.
- Filtrado contextual y no contextual del feed de redes sociales.
- Panel de control de redes sociales para integrar diversas plataformas.
- Perfilación automatizada de perfiles de redes sociales.
- Demo en vivo de cada analítica se proporcionará a través de la herramienta Treeminer.
Analítica de Big Data en procesamiento de imágenes y flujos de video
- Técnicas de almacenamiento de imágenes en Big Data: soluciones de almacenamiento para datos que exceden petabytes.
- LTFS (Linear Tape File System) y LTO (Linear Tape Open).
- GPFS-LTFS (Sistema de Archivos en Paralelo General - Linear Tape File System): solución de almacenamiento en capas para grandes volúmenes de datos de imagen.
- Fundamentos del análisis de imágenes.
- Reconocimiento de objetos.
- Segmentación de imágenes.
- Rastreo de movimiento.
- Reconstrucción de imágenes 3D.
Biometría, ADN y programas de Identificación de Nueva Generación
- Más allá de la identificación por huellas dactilares y reconocimiento facial.
- Reconocimiento de voz, análisis de ritmo de escritura (keystroke) y CODIS (Sistema Combinado de Índice de ADN).
- Más allá de la concordancia de ADN: uso de la fenotipia forense del ADN para construir un rostro a partir de muestras de ADN.
Panel de control (Dashboard) de Big Data para acceso rápido y visualización de diversos datos:
- Integración de la plataforma de aplicaciones existente con el Dashboard de Big Data.
- Gestión de Big Data.
- Caso de estudio del Dashboard de Big Data: Tableau y Pentaho.
- Uso de aplicaciones de Big Data para impulsar servicios basados en la ubicación en el gobierno.
- Sistema y gestión de rastreo.
Día 05
Cómo justificar la implementación de BI de Big Data dentro de una organización:
- Definición del ROI (Retorno sobre la Inversión) para implementar Big Data.
- Estudios de caso sobre el ahorro de tiempo de los analistas en la recopilación y preparación de datos: aumento de la productividad.
- Ganancia de ingresos por menor costo de licencias de bases de datos.
- Ganancia de ingresos por servicios basados en la ubicación.
- Ahorro de costos por prevención de fraude.
- Enfoque integrado de hoja de cálculo para calcular gastos aproximados frente a ganancias/ahorros de ingresos por la implementación de Big Data.
Procedimiento paso a paso para reemplazar un sistema de datos heredado con un sistema de Big Data
- Hoja de ruta de migración de Big Data.
- ¿Qué información crítica es necesaria antes de diseñar un sistema de Big Data?
- ¿Cuáles son las diferentes formas de calcular el Volumen, Velocidad, Variedad y Veracidad de los datos?
- Cómo estimar el crecimiento de datos.
- Estudios de caso.
Revisión de proveedores de Big Data y revisión de sus productos.
- Accenture
- APTEAN (anteriormente CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (anteriormente 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (parte de EMC)
Sesión de preguntas y respuestas
Requerimientos
- Conocimiento de los procesos policiales y los sistemas de datos.
- Comprensión básica de SQL/Oracle o bases de datos relacionales.
- Comprensión básica de estadísticas (nivel de hoja de cálculo).
Público objetivo
- Especialistas en fuerzas del orden con formación técnica.
35 Horas
Testimonios (3)
fundamentos y amó los documentos y ejercicios preparados
Rekha Nallam - GE Medical Systems Polska Sp. z o.o.
Curso - Introduction to Predictive AI
Traducción Automática
Que fue muy priactico.
Alfonso Ramos - Banco de Mexico
Curso - Fundamentos de Integración de Datos Pentaho
Deepthi estaba muy atenta a mis necesidades, podía percibir cuándo añadir capas de complejidad y cuándo mantenerse atrás y adoptar un enfoque más estructurado. Deepthi realmente trabajó a mi ritmo y aseguró que pudiera utilizar las nuevas funciones/herramientas por mí mismo, primero mostrándome y luego dejándome recrear los elementos por mí mismo, lo cual ayudó mucho a consolidar la formación. ¡No podría estar más satisfecho con los resultados de esta capacitación y con el nivel de experiencia de Deepthi!
Deepthi - Invest Northern Ireland
Curso - IBM Cognos Analytics
Traducción Automática
