Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
El Panorama de Amenazas de IA
- Por qué la seguridad de IA es diferente: no determinismo, razonamiento opaco, el prompt como superficie de ataque.
- Taxonomía de ataques: en tiempo de entrenamiento vs. tiempo de inferencia vs. cadena de suministro.
- Modelo del adversario de ML: quién ataca a los sistemas de IA y por qué.
Top 10 de OWASP para aplicaciones LLM
- Inyección de prompts: vectores de ataque directos e indirectos.
- Manejo inseguro de salidas y falsificación de solicitudes entre plugins.
- Envenenamiento de datos de entrenamiento y vulnerabilidades de la cadena de suministro.
- Denegación de servicio del modelo, divulgación de información sensible y agencia excesiva.
- Laboratorio práctico: explotación de cada categoría de OWASP contra una aplicación de prueba.
Red Teaming de Inyección de Prompts y Jailbreaks
- Taxonomía de técnicas de inyección: directa, indirecta, multironda y multimodal.
- Red-teaming automatizado con Giskard, Garak y herramientas de fuzzing personalizadas.
- Clasificación de jailbreaks y evaluación de defensas.
- Creación de un framework de red-teaming para pruebas continuas de seguridad en LLM.
Ataques y Defensas a Nivel de Modelo
- Extracción de modelos: robo de pesos y funcionalidad del modelo mediante consultas API.
- Inferencia de pertenencia: determinar si los datos formaban parte del conjunto de entrenamiento.
- Ejemplos adversariales: perturbaciones que engañan a clasificadores e incrustaciones (embeddings).
- Envenenamiento de datos: corrupción de datos de entrenamiento para inducir puertas traseras o degradar el rendimiento.
Controles de Seguridad de Entrada y Salida
- Saneamiento de entradas más allá de las defensas web tradicionales.
- Filtrado de salidas: toxicidad, fugas de información personal (PII), ejecución de código alucinada.
- Guardrails como infraestructura de seguridad: NeMo, Guardrails AI y políticas personalizadas.
- Aplicación de salidas estructuradas como un límite de seguridad.
Seguridad de la Cadena de Suministro de IA
- Procedencia del modelo: verificación de la autenticidad e integridad del modelo.
- Escanéo de dependencias para frameworks de ML y formatos de modelos.
- Servicio seguro de modelos: sandboxing, aislamiento de red y acceso de mínimo privilegio.
- Verificación de modelos afinados y de la comunidad en busca de malware integrado.
Seguridad Operativa para Sistemas de IA
- Control de acceso para puntos finales de modelos, almacenes vectoriales y herramientas de agentes.
- Registro de auditoría para cada interacción con el modelo y decisión tomada.
- Respuesta a incidentes para brechas específicas de IA: cuando el propio modelo está comprometido.
- Pruebas de seguridad continuas en CI/CD para pipelines de ML.
Construcción de un Programa de Seguridad de IA
- Modelo de madurez y hoja de ruta de seguridad de IA.
- Integración de la seguridad de IA en programas existentes de seguridad de aplicaciones (AppSec) y seguridad en la nube.
- Marco de gobernanza y regulaciones emergentes para sistemas de IA.
- Creación y mantenimiento de un manual de seguridad de IA organizacional.
Requerimientos
- Experiencia desplegando modelos de ML o aplicaciones LLM en producción.
- Conocimiento de conceptos de seguridad que incluyen autenticación, autorización y modelado de amenazas.
- Habilidades en Python para los ejercicios de pruebas adversariales.
Público Objetivo
- Ingenieros de seguridad que se expanden hacia las superficies de amenaza de IA/ML.
- Ingenieros de ML responsables de la seguridad y robustez de los modelos.
- Miembros del equipo red-team que incorporan sistemas de IA en su alcance de pruebas.
14 Horas
