Técnicas de Ajuste Fino de Parámetros Eficientes (PEFT) para LLMs

Introducción al Ajuste Fino de Parámetros Eficientes (PEFT)

• Motivación y limitaciones del ajuste completo (full fine-tuning)
• Visión general de PEFT: objetivos y beneficios
• Aplicaciones y casos de uso en la industria

LoRA (Low-Rank Adaptation)

• Concepto e intuición detrás de LoRA
• Implementación de LoRA utilizando Hugging Face y PyTorch
• Práctica: Ajuste fino de un modelo con LoRA

Adapter Tuning

• Cómo funcionan los módulos de adaptadores
• Integración con modelos basados en transformers
• Práctica: Aplicación de Adapter Tuning a un modelo transformer

Prefix Tuning

• Uso de prompts suaves (soft prompts) para el ajuste fino
• Fortalezas y limitaciones en comparación con LoRA y adaptadores
• Práctica: Prefix Tuning en una tarea de LLM

Evaluación y Comparación de Métodos PEFT

• Métricas para evaluar rendimiento y eficiencia
• Compensaciones en velocidad de entrenamiento, uso de memoria y precisión
• Experimentos de benchmarking e interpretación de resultados

Despliegue de Modelos Ajustados

• Guardado y carga de modelos ajustados
• Consideraciones para el despliegue de modelos basados en PEFT
• Integración en aplicaciones y pipelines

Mejores Prácticas y Extensiones

• Combination de PEFT con cuantización y destilación
• Uso en entornos con recursos limitados y multilingües
• Direcciones futuras y áreas de investigación activa