Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 21 horas
Temario del curso
Introducción al escalado en Ollama
- Arquitectura de Ollama y consideraciones para el escalado
- Cuellos de botella comunes en implementaciones multiusuario
- Mejores prácticas para la preparación de la infraestructura
Asignación de recursos y optimización de GPU
- Estrategias eficientes para el uso de CPU/GPU
- Consideraciones sobre memoria y ancho de banda
- Restricciones de recursos a nivel de contenedor
Implementación con contenedores y Kubernetes
- Contenerización de Ollama con Docker
- Ejecución de Ollama en clústeres de Kubernetes
- Distribución de carga y descubrimiento de servicios
Escalado automático y agrupamiento de solicitudes (batching)
- Diseño de políticas de escalado automático para Ollama
- Técnicas de inferencia en lotes para optimizar el rendimiento
- Compensación entre latencia y capacidad de procesamiento
Optimización de la latencia
- Análisis del desempeño de la inferencia
- Estrategias de caché y calentamiento de modelos
- Reducción de la sobrecarga de E/S y comunicación
Monitoreo y observabilidad
- Integración de Prometheus para métricas
- Construcción de paneles con Grafana
- Gestión de alertas y respuesta a incidentes en la infraestructura de Ollama
Gestión de costos y estrategias de escalado
- Asignación de GPU consciente de los costos
- Consideraciones sobre implementaciones en la nube frente a infraestructura local
- Estrategias para un escalado sostenible
Resumen y próximos pasos
Requerimientos
- Experiencia en administración de sistemas Linux
- Conocimiento de la contenerización y orquestación
- Familiaridad con la implementación de modelos de aprendizaje automático
Audiencia
- Ingenieros DevOps
- Equipos de infraestructura de IA/ML
- Ingenieros de confiabilidad de sitios (SRE)