Temario del curso
Módulo 1 — Cómo Fallan las Aplicaciones de IA
Lab: ninguno — recorrido arquitectónico y discusión
El modelo mental del constructor sobre la superficie de ataque.
Temas:
- Arquitecturas de LLM, RAG y agentes desde la perspectiva del desarrollador.
- el ciclo de vida de solicitud/respuesta de una función de IA.
- flujo de prompts: mensajes del sistema, del desarrollador, del usuario y de las herramientas.
- dónde entra (y re-ingresa) la datos no confiable en el modelo.
- los límites de confianza que un desarrollador posee frente a los que hereda.
- por qué los ataques de IA son semánticos, no sintácticos.
- mapeo de las 10 principales amenazas OWASP para LLM en el código que escribes.
Perspectiva clave: Cada lugar donde texto no confiable alcanza al modelo — o la salida del modelo alcanza tu código — es un límite que posees y controlas.
Módulo 2 — Inyección de Prompts para Constructores
Lab: Lab 01 — 01-Inyeccion-Prompts
El «momento de inyección SQL» para la IA — pero no puedes escapar completamente de él.
Temas:
- inyección de prompts directa versus indirecta.
- instrucciones ocultas en documentos, páginas web, salida de herramientas.
- jailbreaks y confusión de roles.
- por qué la separación de instrucciones/datos es importante.
- diseño defensivo de prompts (delimitadores, estructura, autoridad mínima).
- por qué la prevención es parcial — diseña para la contención.
Práctico:
- atacar tu propio chatbot.
- bypassear un filtro ingenuo.
- reestructurar el prompt para reducir el radio de explosión.
Módulo 3 — Tratar la Salida del Modelo como No Confiable
Lab: Lab 02 — 02-Manejo-Salida
La clase de errores que los desarrolladores subestiman más.
Temas:
- la salida del modelo como entrada no confiable para el resto de la aplicación.
- manejo inseguro de la salida (LLM02): XSS, SSRF, inyección de comandos/SQL downstream.
- nunca ejecutar eval/exec/renderizar la salida cruda del modelo.
- salidas estructuradas y validación de esquemas.
- codificación de salida y listas permitidas.
- renderizado seguro en contextos web/UI.
Práctico:
- encontrar y corregir una vulnerabilidad de manejo inseguro de la salida.
- imponer un esquema JSON en las respuestas del modelo.
Módulo 4 — Seguridad en RAG
Lab: Lab 03 — 03-Seguridad-RAG
Una de las nuevas superficies de ataque más grandes — y está en tus manos construirla.
Temas:
- amenazas a la base de datos vectorial y a la recuperación.
- sanitización de la ingestión.
- procedencia de documentos y puntuación de confianza.
- alcance de la recuperación y aislamiento de metadatos.
- instrucciones ocultas en el contenido recuperado (inyección indirecta).
- fuga de datos mediante la recuperación.
Práctico: envenenar un pipeline RAG con un documento malicioso; agregar sanitización de ingestión y alcance de recuperación para defenderlo.
Módulo 5 — Seguridad de Agentes y Herramientas
Lab: Lab 04 — 04-Seguridad-Agentes
Donde un error se convierte en una acción.
Temas:
- agencia excesiva (LLM06) y abuso de herramientas.
- menor privilegio para agentes.
- listas permitidas de herramientas y validación de argumentos.
- puertas de aprobación y humano en el bucle.
- aislamiento (sandboxing) de la ejecución de herramientas.
- credenciales limitadas y de vida corta para agentes.
- limitación de bucles autónomos y encadenamientos.
Práctico:
- restringir un agente con permisos excesivos.
- agregar una lista permitida + puerta de aprobación a una herramienta peligrosa.
Módulo 6 — Secretos, Identidad y Costo
Lab: Lab 05 — 05-Secretos-y-Costo
Los errores operativos que causan daño más rápido.
Temas:
- gestión de claves de API y secretos (nunca en prompts, código o registros).
- autenticación y autorización por usuario para funciones de IA.
- propagación de la identidad del usuario a herramientas y recuperación.
- negación de billetera: consumo ilimitado de tokens/costos.
- límites de tasa, presupuestos de tokens y tiempos de espera.
- registro sin filtrar secretos o PII (información personal identificable).
Práctico:
- sacar los secretos de la ruta del prompt/código.
- agregar límites de tasa por usuario y un presupuesto de tokens/costos.
Módulo 7 — Bibliotecas de Guardrails
Lab: Lab 06 — 06-Guardrails
Comprar versus construir para la seguridad de entrada/salida.
Temas:
- qué hacen (y qué no hacen) los marcos de guardrails.
- guardrails de entrada: clasificadores de inyección/PII/tema.
- guardrails de salida: validación, filtrado, verificaciones de fundamentación.
- cuándo un guardrail es apropiado versus tu propia verificación determinista.
- apilamiento de guardrails con los controles de módulos anteriores.
- rendimiento, falsos positivos y modos de fallo.
Práctico:
- agregar una capa de guardrails de entrada/salida a una función de IA.
- medir qué captura y qué pasa por alto.
Módulo 8 — Red-Teaming de tu Propia Aplicación
Lab: Lab 07 — 07-Red-Teaming
Despliega como si un atacante ya la hubiera comprometido.
Temas:
- construcción de una suite de pruebas/abuso para funciones de IA.
- pruebas automatizadas de inyección de prompts y jailbreaks.
- pruebas de regresión de guardrails y políticas.
- ejecución de verificaciones de seguridad de IA en CI (Integración Continua).
- cadena de suministro del modelo y dependencias (procedencia, fijación de versiones).
- una lista de comprobación de seguridad antes del despliegue para funciones de IA.
Práctico:
- escribir pruebas automatizadas de red-teaming para una función de IA.
- conectarlas a una verificación en CI.
Módulo 9 — Puntuación de Seguridad de IA: El Marco SAIS-100
Lab: ninguno — ejercicio de puntuación (utiliza la aplicación Capstone).
Convierte todo lo que has construido en una puntuación repetible.
Temas:
- el Hexágono de Seguridad de IA: seis preguntas en lugar de «¿es seguro?».
- las seis categorías puntuadas (Datos, Prompt, Agente, Cadena de Suministro, Detección, Gobernanza).
- la rúbrica de 100 puntos y sus ponderaciones.
- bancos de veredictos y la regla de anulación por categoría única.
- La Escrita del Elefante (Elephant Scale) Puntuación de IA Segura (SAIS-100) como un marco con marca propia y ejecutable repetidamente.
- puntuar antes y después del endurecimiento (hardening) como una métrica.
Práctico:
- puntuar la aplicación Capstone en la escala de 100 puntos.
- identificar el único cambio que más eleva la puntuación.
Perspectiva clave: Las tres categorías con mayor ponderación mapean a los límites de confianza que un desarrollador posee; por lo tanto, la puntuación mide exactamente lo que este curso enseñó.
Proyecto Final (Capstone)
Los estudiantes endurecen una aplicación de IA deliberadamente vulnerable de extremo a extremo.
La aplicación base contiene:
- un prompt inyectable.
- manejo inseguro de la salida.
- un pipeline RAG sin alcance definido.
- un agente con permisos excesivos.
- secretos en la ruta del prompt.
- sin límites de costo.
Los estudiantes aplican lo aprendido en el curso:
- reestructurar prompts para la contención.
- validar y codificar la salida del modelo.
- sanitizar y definir el alcance de la recuperación.
- aplicar menor privilegio y puertas de aprobación al agente.
- mover los secretos fuera y agregar límites de costo/tasa.
- agregar guardrails y pruebas automatizadas de red-teaming.
Entregable: una aplicación endurecida más una autoevaluación breve de las 10 principales amenazas OWASP para LLM.
Mapeo de Módulos a Labs
Los laboratorios se ejecutan en orden, siguiendo el orden de los módulos. El curso tiene 9 módulos y 7 laboratorios: el Módulo 1 es un recorrido arquitectónico/discusión y el Módulo 9 es un ejercicio de puntuación, por lo que ninguno tiene su propia carpeta de laboratorio.
- Lab 01 - 01-Inyeccion-Prompts: Atacar tu chatbot y diseñar para la contención (Módulo 2)
- Lab 02 - 02-Manejo-Salida: Corregir un error de manejo inseguro de la salida (Módulo 3)
- Lab 03 - 03-Seguridad-RAG: Envenenar luego defender un pipeline RAG (Módulo 4)
- Lab 04 - 04-Seguridad-Agentes: Restringir un agente con permisos excesivos (Módulo 5)
- Lab 05 - 05-Secretos-y-Costo: Asegurar claves + agregar guardrails de costos (Módulo 6)
- Lab 06 - 06-Guardrails: Agregar una capa de guardrails de entrada/salida (Módulo 7)
- Lab 07 - 07-Red-Teaming: Pruebas automatizadas de red-teaming en CI (Módulo 8)
El Módulo 1 (Cómo Fallan las Aplicaciones de IA) no tiene laboratorio; se ejecuta como un recorrido arquitectónico y discusión. El Módulo 9 (Puntuación de Seguridad de IA) no tiene carpeta de laboratorio; se ejecuta como un ejercicio de puntuación contra la aplicación Capstone.
Requerimientos
- Nivel de habilidad: Intermedio.
- Los estudiantes deben sentirse cómodos con: la construcción y consumo de APIs REST, un lenguaje de scripting (los laboratorios utilizan Python), autenticación básica de aplicaciones, git y la línea de comandos (CLI).
- No se requiere conocimientos previos de aprendizaje automático (machine learning); este es un curso de seguridad de aplicaciones para personas que construyen con LLMs, no para quienes los entrenan.
Público Objetivo
- Ingenieros de software / backend que construyen funciones con LLM.
- Desarrolladores full-stack y de APIs.
- Ingenieros de aplicaciones de IA/ML.
- Ingenieros de plataformas que despliegan copilotos y agentes.
- Líderes técnicos e ingenieros senior responsables de funciones de IA.
Testimonios (2)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
El conocimiento profesional y la forma en que lo presentó ante nosotros
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Traducción Automática
