Contacta con nosotros

Temario del curso

Introducción al escalado en Ollama

  • Arquitectura de Ollama y consideraciones para el escalado
  • Cuellos de botella comunes en implementaciones multiusuario
  • Mejores prácticas para la preparación de la infraestructura

Asignación de recursos y optimización de GPU

  • Estrategias eficientes para el uso de CPU/GPU
  • Consideraciones sobre memoria y ancho de banda
  • Restricciones de recursos a nivel de contenedor

Implementación con contenedores y Kubernetes

  • Contenerización de Ollama con Docker
  • Ejecución de Ollama en clústeres de Kubernetes
  • Distribución de carga y descubrimiento de servicios

Escalado automático y agrupamiento de solicitudes (batching)

  • Diseño de políticas de escalado automático para Ollama
  • Técnicas de inferencia en lotes para optimizar el rendimiento
  • Compensación entre latencia y capacidad de procesamiento

Optimización de la latencia

  • Análisis del desempeño de la inferencia
  • Estrategias de caché y calentamiento de modelos
  • Reducción de la sobrecarga de E/S y comunicación

Monitoreo y observabilidad

  • Integración de Prometheus para métricas
  • Construcción de paneles con Grafana
  • Gestión de alertas y respuesta a incidentes en la infraestructura de Ollama

Gestión de costos y estrategias de escalado

  • Asignación de GPU consciente de los costos
  • Consideraciones sobre implementaciones en la nube frente a infraestructura local
  • Estrategias para un escalado sostenible

Resumen y próximos pasos

Requerimientos

  • Experiencia en administración de sistemas Linux
  • Conocimiento sobre contenedorización y orquestación
  • Familiaridad con la implementación de modelos de aprendizaje automático

Público objetivo

  • Ingenieros DevOps
  • Equipos de infraestructura de aprendizaje automático (ML)
  • Ingenieros de confiabilidad del sitio
 21 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas