Ponte en Contacto
 Duración 21 horas

Temario del curso

1. Introducción al Aprendizaje Reforzado Profundo

  • ¿Qué es el Aprendizaje Reforzado?
  • Diferencias entre Aprendizaje Supervisado, No Supervisado y Reforzado
  • Aplicaciones de DRL en 2025 (robótica, salud, finanzas, logística)
  • Comprensión del ciclo de interacción agente-entorno

2. Fundamentos del Aprendizaje Reforzado

  • Procesos de Decisión de Markov (MDP)
  • Estado, Acción, Recompensa, Política y funciones de Valor
  • Compromiso entre Exploración y Explotación
  • Métodos Monte Carlo y aprendizaje de Diferencia Temporal (TD)

3. Implementación de algoritmos básicos de RL

  • Métodos tabulares: Programación Dinámica, Evaluación de Políticas e Iteración
  • Q-Learning y SARSA
  • Exploración epsilon-greedy y estrategias de decaimiento
  • Implementación de entornos de RL con OpenAI Gymnasium

4. Transición al Aprendizaje Reforzado Profundo

  • Limitaciones de los métodos tabulares
  • Uso de redes neuronales para la aproximación de funciones
  • Arquitectura y flujo de trabajo de Deep Q-Network (DQN)
  • Replay de experiencias y redes objetivo

5. Algoritmos avanzados de DRL

  • Double DQN, Dueling DQN y Prioritized Experience Replay
  • Métodos de Gradiente de Política: algoritmo REINFORCE
  • Arquitecturas Actor-Crítico (A2C, A3C)
  • Optimización Proximal de Políticas (PPO)
  • Soft Actor-Critic (SAC)

6. Trabajo con espacios de acción continua

  • Desafíos en el control continuo
  • Uso de DDPG (Deep Deterministic Policy Gradient)
  • Twin Delayed DDPG (TD3)

7. Herramientas y marcos de trabajo prácticos

  • Uso de Stable-Baselines3 y Ray RLlib
  • Registro y monitoreo con TensorBoard
  • Ajuste de hiperparámetros para modelos de DRL

8. Ingeniería de recompensas y diseño de entornos

  • Moldeo de recompensas y equilibrio de penalizaciones
  • Conceptos de transferencia sim-to-real
  • Creación de entornos personalizados en Gymnasium

9. Entornos parcialmente observables y generalización

  • Manejo de información de estado incompleta (POMDPs)
  • Enfoques basados en memoria utilizando LSTMs y RNNs
  • Mejora de la robustez y generalización del agente

10. Teoría de juegos y Aprendizaje Reforzado Multiagente

  • Introducción a entornos multiagente
  • Cooperación vs. competición
  • Aplicaciones en entrenamiento adversarial y optimización de estrategias

11. Estudios de casos y aplicaciones del mundo real

  • Simulaciones de conducción autónoma
  • Fijación dinámica de precios y estrategias de comercio financiero
  • Robótica y automatización industrial

12. Solución de problemas y optimización

  • Diagnóstico de entrenamientos inestables
  • Gestión de la escasez de recompensas y sobreajuste
  • Escalado de modelos DRL en GPUs y sistemas distribuidos

13. Resumen y próximos pasos

  • Repaso de la arquitectura de DRL y algoritmos clave
  • Tendencias de la industria y direcciones de investigación (p. ej., RLHF, modelos híbridos)
  • Recursos adicionales y materiales de lectura

Requerimientos

  • Dominio de la programación en Python
  • Comprensión del Cálculo y el Álgebra Lineal
  • Conocimientos básicos de Probabilidad y Estadística
  • Experiencia construyendo modelos de aprendizaje automático utilizando Python y NumPy o TensorFlow/PyTorch

Público objetivo

  • Desarrolladores interesados en IA y sistemas inteligentes
  • Científicos de Datos explorando marcos de aprendizaje reforzado
  • Ingenieros de Aprendizaje Automático que trabajan con sistemas autónomos

Número de participantes


Precio por participante

Reseñas (2)

Próximos cursos

Categorías Relacionadas