Agent Lightning es un framework open source (MIT, ~3.500 líneas) de Microsoft Research para entrenar agentes de IA con reinforcement learning sin modificar su código, herramientas ni entorno. El paper (arXiv:2608.17528, publicado 28-ago-2026) ya fue adoptado como base por otros frameworks importantes (verl, Uni-Agent, AReAL 2.0, slime, Polar), y el repo tiene ~17.890 estrellas, 1.570 forks, y push de código el mismo día que se publicó el paper.
El problema que resuelve
Los frameworks tradicionales de RL (verl, AReaL, slime) te obligan a reimplementar el loop del agente dentro del trainer. Si querés entrenar a tu agente, cambiás su código, expone sus acciones, y lo integrás al pipeline del trainer de forma custom.
Agent Lightning propone algo diferente: harnessed agentic RL. El agente sigue corriendo con su harness real (OpenHands, OpenCode, Claude Code, OpenClaw, Hermes…) y un proxy de modelo captura las interacciones como datos de entrenamiento. Cero cambios en tu agente.
El insight central es que los agentes modernos operan dentro de harnesses (sistemas que gestionan tools, contexto y control de flujo). El harness es parte crítica del sistema. En lugar de reescribir el agente para el entrenamiento, Agent Lightning simplemente intercepta el modelo y registra los pares request-respuesta para armar los datos de entrenamiento.
Arquitectura (3 componentes livianos)
El framework se divide en tres componentes simples:
Trainer — corre verl + vLLM, arma los samples de entrenamiento y actualiza la política del modelo. Es el cerebro del RL.
API Gateway — hace proxy de las peticiones al modelo y captura los datos de entrenamiento. Es el ojo que registra todo sin modificar al agente.
Rollout Controller — lanza los agentes localmente o como Kubernetes Jobs. Es el músculo que ejecuta a los agentes en el entorno real.
El Trainer crea los rollouts, el Controller lanza los agentes, y el Gateway convierte las interacciones en datos de entrenamiento, mientras los agentes siguen corriendo con sus harnesses reales. Tres cosas, sin magia.
Resultado clave
El resultado más citado del paper: entrenando un Qwen3.5-9B con solo ~6.000 muestras de entrenamiento (no millones, no infinita computación), el coding agent sube SWE-bench Verified de 41.8% → 56.4% — un gain absoluto de 14.6 puntos porcentuales.
Lo publican con el pipeline completo: limpieza de datos, prevención de reward hacking, y scripts de entrenamiento reproducibles. Es un resultado que cualquiera con un GPU puede verificar.
Requisitos
Necesitás una máquina con CUDA 13.0. La instalación es:
uv sync + bash scripts/setup_verl.sh 0.8.0 cu130
También soporta Kubernetes nativo — podés correr los agentes como Jobs de K8s directamente sin depender de servicios de sandbox externos.
Ejemplos
El repo incluye varios ejemplos de entrenamiento listos para usar:
- Calc-X: ejemplo POC de razonamiento matemático con AutoGen y herramientas MCP de calculadora, requiriendo solo una GPU.
- GSM8K: ejemplo POC de razonamiento matemático de nivel escolar.
- ScienceWorld: tareas de ciencia interactivas en un entorno basado en texto.
- Search-R1: agente de búsqueda multi-turno con recuperación y razonamiento.
- LLM-in-Sandbox: agente general con herramientas de computadora y ejecución de código.
- Coding Agent: agente de código entrenado con tests de repositorio.
Por qué importa
Es el ejemplo más limpio de opensource puro de esta tanda: MIT, paper académico público, y democratiza el entrenamiento de agentes (antes terreno de labs con infra enorme) para cualquiera con un GPU.
No es vaporware: el repo tiene ~17.890 estrellas, 1.570 forks, y push de código el mismo día que se publicó el paper (28-ago-2026). El paper ya fue adoptado como base por otros frameworks importantes.
Lo que lo hace especial: antes, entrenar un agente con RL implicaba modificar su código, exponer sus acciones, y integrarlo al pipeline del trainer de forma custom. Agent Lightning lo hace cero code-change mediante el proxy.
Quiénes están detrás
Agent Lightning nació en Microsoft Research, el laboratorio de investigación de Microsoft que ha producido contribuciones fundamentales en IA, lenguaje natural, sistemas y computación.
Los autores del paper
El paper Agent Lightning: Harness-Centric Agentic Reinforcement Learning fue publicado el 28 de agosto de 2026 en arXiv (2608.17528). Los autores son investigadores de Microsoft Research que trabajan en la intersección de agentic AI, reinforcement learning y sistemas de entrenamiento de modelos. Hasta la fecha no se habían identificado públicamente los nombres individuales de los autores, pero el trabajo es el resultado del equipo de investigación de MSR dedicado a hacer el entrenamiento de agentes accesible y reproducible.
Lo destacable de Microsoft Research en este contexto: es el laboratorio que ya liberó Playwright MCP (servidor oficial que le da a los agentes la capacidad de navegar y interactuar con la web), y que mantiene una larga trayectoria de publicaciones y open source en sistemas de agentes, RL y lenguaje natural. Agent Lightning es coherente con esa dirección: hacer que los agentes aprendan sin modificar su infraestructura subyacente.
Qué significa ser de Microsoft Research
No es unaStartup ni un proyecto de un solo ingeniero: es un trabajo de laboratorio de investigación de una de las empresas más grandes del mundo, con el peso institucional que eso implica. El paper se publica simultáneamente con el código abierto (MIT), los scripts reproducibles, y el pipeline completo — datos, prevención de reward hacking, entrenamiento.
La adopción ya fue rápida: otros frameworks importantes (verl, Uni-Agent, AReAL 2.0, slime, Polar) usaron el paper como base, lo que valida la dirección técnica y la calidad del aporte.
Siguiente paso
Si querés probarlo, cloná el repo e instalalo con uv sync. Entrá a la documentación para ver la guía rápida y ejecutá el primer ejemplo con tu GPU.
El flujo completo (Trainer + API Gateway + Rollout Controller) está documentado y los ejemplos están listos para correr. Podés empezar con los POC simples (Calc-X, GSM8K) y luego pasar a los más complejos (Coding Agent, Search-R1).
El paper está en arXiv y el código está en GitHub — todo abierto y reproducible.