Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Fundamentos de Tencent Hunyuan en Producción
- Visión general de los escenarios de servicio de modelos de Tencent Hunyuan.
- Características de producción de modelos grandes y MoE.
- Cuellos de botela comunes en latencia, capacidad de procesamiento y costos.
- Definición de objetivos de nivel de servicio (SLO) para cargas de trabajo de inferencia.
Arquitectura de Despliegue y Flujo de Servicio
- Componentes principales de una pila de inferencia en producción.
- Elegir entre modelos de despliegue con contenedores, on-premise o en la nube.
- Fundamentos de carga de modelos, enrutamiento de solicitudes y asignación de GPU.
- Diseño enfocado en la confiabilidad y simplicidad operativa.
Optimización de Latencia en la Práctica
- Uso de motores de inferencia optimizados como TensorRT, donde corresponda.
- Conceptos de KV-cache y ajuste práctico del caché.
- Reducción de la latencia de inicio, calentamiento y respuesta.
- Medición del tiempo hasta el primer token y la velocidad de generación de tokens.
Capacidad de Procesamiento, Agrupación (Batching) y Eficiencia de GPU
- Estrategias de agrupación continua y por solicitudes.
- Gestión de la concurrencia y el comportamiento de las colas.
- Mejora de la utilización de la GPU sin perjudicar la experiencia del usuario.
- Manejo de solicitudes de contexto largo y cargas de trabajo mixtas.
Cuantización y Control de Costos
- Importancia de la cuantización para el servicio en producción.
- Compensaciones prácticas entre FP16, INT8 y otras opciones comunes de precisión.
- Equilibrio entre calidad del modelo, latencia y costo de infraestructura.
- Creación de una lista de verificación simple para la optimización de costos.
Operaciones, Monitoreo y Revisión de Preparación
- Disparadores de autoescalado para servicios de inferencia.
- Monitoreo de latencia, capacidad de procesamiento, uso del caché y salud de la GPU.
- Fundamentos de registro (logging), alertas y respuesta a incidentes.
- Revisión de un despliegue de referencia y creación de un plan de mejora.
Requerimientos
- Comprensión básica de los flujos de trabajo de despliegue e inferencia de modelos de lenguaje grandes (LLM).
- Experiencia con contenedores, infraestructura en la nube o on-premise y servicios basados en API.
- Conocimiento práctico de Python o tareas de ingeniería de sistemas.
Público objetivo
\r- Ingenieros de ML que despliegan LLMs en producción.
- Ingenieros de plataforma responsables de servicios de inferencia basados en GPU.
- Arquitectos de soluciones que diseñan plataformas escalables de servicio de IA.
