Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Introducción a Mistral a escala
- Resumen de Mistral Medium 3
- Compensaciones entre rendimiento y coste
- Consideraciones a escala empresarial
Patrones de despliegue para LLMs
- Topologías de servicio y decisiones de diseño
- Despliegues locales frente a la nube
- Estrategias híbridas y multi-nube
Técnicas de optimización de inferencia
- Estrategias de lotes para alto rendimiento
- Métodos de cuantización para reducir costes
- Utilización de aceleradores y GPUs
Escalabilidad y fiabilidad
- Escala de clústeres de Kubernetes para inferencia
- Balanceo de carga y enrutamiento de tráfico
- Tolerancia a fallos y redundancia
Marcos de ingeniería de costes
- Medición de la eficiencia del coste de inferencia
- Dimensionamiento adecuado de recursos de cómputo y memoria
- Monitoreo y alertas para optimización
Seguridad y cumplimiento normativo en producción
- Seguridad de despliegues y APIs
- Consideraciones de gobernanza de datos
- Cumplimiento regulatorio en la ingeniería de costes
Estudios de caso y mejores prácticas
- Arquitecturas de referencia para Mistral a escala
- Lecciones aprendidas de despliegues empresariales
- Tendencias futuras en inferencia eficiente de LLMs
Resumen y próximos pasos
Requerimientos
- Sólido conocimiento del despliegue de modelos de aprendizaje automático.
- Experiencia con infraestructura en la nube y sistemas distribuidos.
- Familiaridad con estrategias de ajuste de rendimiento y optimización de costes.
Audiencia
- Ingenieros de infraestructura.
- Arquitectos de nube.
- Líderes de MLOps.
