Contacta con nosotros

Temario del curso

Introducción a EXO y la agrupación local de IA

  • Visión general del marco EXO y el ecosistema exo-explore
  • Comparación entre inferencia centralizada en la nube e inferencia local distribuida
  • Arquitectura: descubrimiento de dispositivos con libp2p, backend MLX, tablero de control y capas de API
  • Requisitos de hardware: chip Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, almacenamiento compartido

Instalación de EXO en macOS

  • Configuración de Xcode, el kit de herramientas Metal y los prerequisitos de macOS
  • Instalación de uv, Node.js y la cadena de herramientas Rust nightly
  • Instalación de la bifurcación pinzada de macmon para monitoreo en Apple Silicon
  • Clonación del repositorio y construcción del tablero con npm
  • Ejecución de EXO desde el código fuente y verificación del tablero en localhost:52415

Instalación de EXO en Linux

  • Instalación de dependencias mediante apt o Homebrew en Linux
  • Configuración de uv, Node.js 18+ y Rust nightly
  • Construcción del tablero y ejecución de EXO en modo solo CPU
  • Estructura de directorios: rutas XDG Base Directory para configuración, datos, caché y registros

Descubrimiento automático de dispositivos y formación del clúster

  • Comprensión del descubrimiento automático basado en libp2p a través de redes locales
  • Configuración de espacios de nombres personalizados con EXO_LIBP2P_NAMESPACE para el aislamiento del clúster
  • Verificación de la pertenencia de los nodos en la vista del clúster del tablero
  • Gestión de fallos de descubrimiento y problemas de segmentación de red

Habilitación de RDMA sobre Thunderbolt 5

  • Arquitectura de RDMA y la afirmación de reducción del 99% en la latencia
  • Habilitación de RDMA en el modo de recuperación de macOS con rdma_ctl
  • Requisitos de los cables y restricciones de topología de puertos en Mac Studio
  • Sincronización de las versiones de macOS en todos los nodos del clúster
  • Resolución de problemas de descubrimiento de RDMA y configuración DHCP

Despliegue de modelos de última generación

  • Uso del tablero para cargar y fragmentar los modelos DeepSeek v3.1, Qwen3-235B y la familia Llama
  • Vista previa de las ubicaciones de instancias mediante el punto de conexión /instance/previews de la API
  • Creación de instancias de modelos con fragmentación por tuberías o paralelismo tensorial
  • Configuración de tarjetas de modelo personalizadas desde el hub de HuggingFace

Monitoreo y resolución de problemas

  • Lectura de los registros de EXO y comprensión del rastro distribuido
  • Interpretación de la salud del clúster en la vista del clúster del tablero
  • Diagnóstico de fallos de nodos trabajadores y comportamiento de reconexión
  • Uso de EXO_TRACING_ENABLED para el análisis de cuellos de botella de rendimiento

Mantenimiento y actualización del clúster

  • Actualización de los binarios de EXO y procedimientos de reconstrucción del tablero
  • Migración de las cachés de modelos y gestión de modelos predescargados a través de NFS
  • Eliminación ordenada de nodos y reequilibrio de cargas de trabajo

Requerimientos

  • Comprensión de los fundamentos de redes (IP, subnetting, cortafuegos)
  • Experiencia en administración por línea de comandos en macOS o Linux
  • Familiaridad con la gestión de paquetes Python (pip/uv) y herramientas de Node.js

Público objetivo

  • Administradores de sistemas
  • Ingenieros DevOps
  • Arquitectos de infraestructura IA responsables del despliegue de LLMs en centros de datos locales
 21 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas