Contacta con nosotros

Temario del curso

Conceptos y métricas de rendimiento

  • Latencia, rendimiento (throughput), consumo de energía y utilización de recursos
  • Cuellos de botella a nivel del sistema versus a nivel del modelo
  • Perfilado para inferencia versus entrenamiento

Perfilado en Huawei Ascend

  • Uso de CANN Profiler y MindInsight
  • Diagnóstico de núcleos (kernels) y operadores
  • Patrones de descarga (offload) y mapeo de memoria

Perfilado en GPU Biren

  • Características de monitoreo de rendimiento del SDK de Biren
  • Fusión de núcleos, alineación de memoria y colas de ejecución
  • Perfilado consciente de la energía y la temperatura

Perfilado en Cambricon MLU

  • Herramientas de rendimiento BANGPy y Neuware
  • Visibilidad a nivel de núcleo e interpretación de registros
  • Integración del perfilador de MLU con frameworks de implementación

Optimización a nivel de grafo y modelo

  • Estrategias de poda de grafos y cuantización
  • Fusión de operadores y reestructuración del grafo computacional
  • Estandarización del tamaño de entrada y ajuste del lote (batch)

Optimización de memoria y núcleos (kernels)

  • Optimización de la disposición (layout) de memoria y su reutilización
  • Gestión eficiente de búferes entre diferentes conjuntos de chips
  • Técnicas de ajuste a nivel de núcleo por plataforma

Mejores prácticas multiplataforma

  • Portabilidad del rendimiento: estrategias de abstracción
  • Construcción de flujos de ajuste compartidos para entornos con múltiples chips
  • Ejemplo: ajuste de un modelo de detección de objetos en Ascend, Biren y MLU

Resumen y próximos pasos

Requerimientos

  • Experiencia trabajando con flujos de entrenamiento o implementación de modelos de IA
  • Comprensión de los principios de cómputo GPU/MLU y optimización de modelos
  • Familiaridad básica con herramientas y métricas de perfilado de rendimiento

Público objetivo

  • Ingenieros de rendimiento
  • Equipos de infraestructura de aprendizaje automático
  • Arquitectos de sistemas de IA
 21 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas