Resumen - GEPA: La evolución de los estímulos reflexivos puede superar el aprendizaje por refuerzo.

GEPA: La evolución de los estímulos reflexivos puede superar el aprendizaje por refuerzo.

2025-07-25 17:42:32

{"Lakshya A Agrawal","Shangyin Tan","Dilara Soylu","Noah Ziems","Rishi Khare","Krista Opsahl-Ong","Arnav Singhvi","Herumb Shandilya","Michael J Ryan","Meng Jiang","Christopher Potts","Koushik Sen","Alexandros G. Dimakis","Ion Stoica","Dan Klein","Matei Zaharia","Omar Khattab"}

{cs.CL,cs.AI,cs.LG,cs.SE,"I.2.7; I.2.6; I.2.4; I.2.8"}

GEPA (Genético-Pareto) es un optimizador de sugerencias novedoso para grandes modelos de lenguaje (LLMs) que mejora significativamente la eficiencia y efectividad de la optimización de sugerencias. A diferencia de los enfoques tradicionales de aprendizaje por refuerzo (RL), GEPA aprovecha la interpretabilidad del lenguaje para aprender reglas de alto nivel a través de ensayo y error, resultando en una optimización de sugerencias más eficiente y efectiva. **Características Clave de GEPA**: * **Evolución Reflexiva de Sugerencias**: GEPA utiliza la reflexión natural del lenguaje para diagnosticar problemas, proponer y probar actualizaciones de sugerencias y combinar lecciones complementarias de la frontera Pareto de sus propios intentos. Esto permite a GEPA transformar incluso pocas ejecuciones en un gran aumento de calidad. * **Eficiencia en la Muestra**: GEPA supera a métodos de vanguardia como GRPO y MIPROv2 en un 10% en promedio y hasta un 20%, mientras utiliza hasta 35 veces menos ejecuciones. * **Generalización Robusta**: GEPA demuestra una fuerte generalización a través de diversas tareas y modelos, convirtiéndose en una solución práctica para optimizar complejos flujos de trabajo de IA en el mundo real. * **Consciencia del Sistema**: GEPA incorpora trayectorias a nivel de sistema (por ejemplo, razonamiento, llamadas a herramientas y salidas de herramientas) en su proceso de optimización, permitiéndole optimizar sugerencias a un nivel más alto y mejorar el rendimiento general del sistema. **Componentes de GEPA**: 1. **Bucle de Optimización Genético**: GEPA itera mutando sugerencias dentro del sistema de IA, informado por señales de aprendizaje de nuevas ejecuciones reunidas y rastreando la ascendencia de cada candidato nuevo. 2. **Mutación Reflexiva de Sugerencias**: GEPA utiliza LLMs para examinar reflexivamente las trazas de ejecución del sistema y evaluar la efectividad de sugerencias individuales de módulos, proponiendo nuevas instrucciones para la mejora. 3. **Selección de Candidatos Basada en Pareto**: GEPA mantiene una frontera Pareto de sugerencias candidatas, seleccionando candidatos diversos y de alto rendimiento para una optimización adicional, evitando óptimos locales y promoviendo una generalización robusta. **Aplicaciones de GEPA**: GEPA ha sido aplicado con éxito a diversas tareas, incluyendo: * **Razonamiento Multihop**: HotpotQA * **Seguimiento de Instrucciones**: IFBench * **Delegación Consciente de Privacidad**: PUPA * **Verificación Mejorada por Búsqueda**: HoVer * **Optimización de Código**: NPUEval y KernelBench **Beneficios de GEPA**: * **Mejora de la Eficiencia en la Muestra**: GEPA reduce significativamente el número de ejecuciones necesarias para una optimización efectiva de sugerencias, haciendo más factible optimizar complejos flujos de trabajo de IA. * **Mejora del Rendimiento**: GEPA lleva a mejoras significativas en el rendimiento de tareas, superando a métodos de vanguardia en muchos casos. * **Generalización Robusta**: GEPA demuestra una fuerte generalización a través de diversas tareas y modelos, convirtiéndose en una solución versátil para optimizar flujos de trabajo de IA. **Conclusión**: GEPA representa un avance significativo en la optimización de sugerencias para LLMs. Al aprovechar la interpretabilidad del lenguaje e incorporar conocimiento a nivel de sistema, GEPA ofrece un enfoque más eficiente, efectivo y robusto para optimizar flujos de trabajo de IA.