Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción a Mistral a Gran Escala
- Descripción general de Mistral Medium 3.
- Compromisos entre rendimiento y costo.
- Consideraciones a escala empresarial.
Patrones de Implementación para LLMs
- Topologías de servicio y decisiones de diseño.
- Implementaciones on-premises vs. en la nube.
- Estrategias híbridas y multicloud.
Técnicas de Optimización de Inferencia
- Estrategias de agrupación para alto throughput.
- Métodos de cuantización para reducción de costos.
- Uso de aceleradores y GPUs.
Escalabilidad y Confiabilidad
- Escalado de clústeres de Kubernetes para inferencia.
- Balanceo de carga y enrutamiento de tráfico.
- Tolerancia a fallos y redundancia.
Marco de Ingeniería de Costos
- Medición de la eficiencia del costo de inferencia.
- Ajuste adecuado (right-sizing) de recursos de cómputo y memoria.
- Monitoreo y alertas para optimización.
Seguridad y Cumplimiento en Producción
- Protección de implementaciones y APIs.
- Consideraciones sobre la gobernanza de datos.
- Cumplimiento normativo en ingeniería de costos.
Estudios de Caso y Mejores Prácticas
- Arquitecturas de referencia para Mistral a Gran Escala.
- Lecciones aprendidas de implementaciones empresariales.
- Tendencias futuras en inferencia eficiente de LLMs.
Resumen y Próximos Pasos
Requerimientos
- Conocimiento sólido sobre la implementación de modelos de aprendizaje automático.
- Experiencia con infraestructura en la nube y sistemas distribuidos.
- Familiaridad con estrategias de ajuste de rendimiento y optimización de costos.
Público Objetivo
- Ingenieros de infraestructura.
- Arquitectos de nube.
- Líderes de MLOps.
14 Horas
