Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Soberanía de IA y Despliegue Local de LLMs
- Riesgos de los LLMs en la nube: retención de datos, entrenamiento con entradas, jurisdicción extranjera.
- Arquitectura de Ollama: servidor de modelos, registro y API compatible con OpenAI.
- Comparación con vLLM, llama.cpp y Text Generation Inference.
- Licenciamiento de modelos: términos de Llama, Mistral, Qwen y Gemma.
Instalación y Configuración de Hardware
- Instalación de Ollama en Linux con soporte para CUDA y ROCm.
- Alternativa solo de CPU y optimización AVX/AVX2.
- Despliegue con Docker y mapeo de volúmenes persistentes.
- Configuración multi-GPU y estrategias de asignación de VRAM.
Gestión de Modelos
- Descarga de modelos desde el registro de Ollama: ollama pull llama3.
- Importación de modelos GGUF desde HuggingFace y TheBloke.
- Niveles de cuantización: compensaciones entre Q4_K_M, Q5_K_M, Q8_0.
- Cambio de modelos y límites de carga concurrente de modelos.
Modelfiles Personalizados
- Sintaxis de Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ajuste de temperatura, top_p y repeat_penalty.
- Engineering de indicaciones de sistema para comportamiento específico de rol.
- Creación y publicación de modelos personalizados en el registro local.
Integración de API
- Punto de extremo OpenAI-compatible /v1/chat/completions.
- Respuestas por streaming y modo JSON.
- Integración con LangChain, LlamaIndex y aplicaciones personalizadas.
- Autenticación y limitación de frecuencia con proxy inverso.
Optimización de Rendimiento
- Tamaño de la ventana de contexto y gestión de caché KV.
- Inferencia por lotes y manejo de solicitudes paralelas.
- Asignación de subprocesos de CPU y conciencia NUMA.
- Monitoreo de la utilización de GPU y presión de memoria.
Seguridad y Cumplimiento
- Aislamiento de red para puntos de extremo de servicio de modelos.
- Filtrado de entradas y pipelines de moderación de salidas.
- Registro de auditoría de indicaciones y completados.
- Procedencia del modelo y verificación de hash.
Requerimientos
- Administración intermedia de Linux y contenedores.
- Comprensión de alto nivel del aprendizaje automático y de los modelos de transformadores.
- Familiaridad con APIs REST y JSON.
Audiencia
- Ingenieros y desarrolladores de IA que reemplazan APIs de LLM en la nube.
- Organizaciones con sensibilidad de datos que impide el uso de modelos en la nube.
- Equipos gubernamentales y de defensa que requieren modelos de lenguaje aislados de red (air-gapped).
