Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción y bases para el diagnóstico
- Visión general de los modos de fallo en sistemas LLM y problemas comunes específicos de Ollama.
- Establecimiento de experimentos reproducibles y entornos controlados.
- Kit de herramientas de depuración: registros locales, capturas de solicitudes/respuestas y sandboxing.
Reproducción y aislamiento de fallos
- Técnicas para crear ejemplos mínimos que fallen y semillas controladas.
- Interacciones con estado frente a sin estado: aislamiento de errores relacionados con el contexto.
- Determinismo, aleatoriedad y control del comportamiento no determinista.
Evaluación conductual y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y correlatos de perplejidad.
- Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas.
- Verificaciones de fidelidad específicas por tarea y criterios de aceptación.
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenarios y extremo a extremo.
- Creación de suites de regresión y líneas base con ejemplos dorados.
- Integración CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizada.
Observabilidad y monitorización
- Registro estructurado, trazas distribuidas e IDs de correlación.
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
- Sistemas de alerta, paneles de control e indicadores SLI/SLO para servicios respaldados por modelos.
Análisis avanzado de la causa raíz
- Trazado a través de grafos de prompts, llamadas a herramientas y flujos multihilo.
- Diagnóstico comparativo A/B y estudios de ablación.
- Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por los datos.
Seguridad, robustez y estrategias de remediación
- Mitigaciones: filtrado, fundamentación (grounding), aumento por recuperación y andamios de prompts.
- Patrones de reversión, despliegues piloto (canary) y lanzamientos progresivos para actualizaciones de modelos.
- Análisis post-mortem, lecciones aprendidas y bucles de mejora continua.
Resumen y siguientes pasos
Requerimientos
- Sólida experiencia en la construcción e implementación de aplicaciones con LLM.
- Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos.
- Manejo cómodo de Python, Docker y herramientas básicas de observabilidad.
Público objetivo
- Ingenieros de IA.
- Profesionales de MLOps.
- Equipos de QA responsables de sistemas LLM en producción.
35 Horas