Resumen - AbGen: Evaluación de Grandes Modelos de Lenguaje en Diseño y Evaluación de Estudios de Ablación para la Investigación Científica

AbGen: Evaluación de Grandes Modelos de Lenguaje en Diseño y Evaluación de Estudios de Ablación para la Investigación Científica

2025-07-17 17:09:22

{"Yilun Zhao","Weiyuan Chen","Zhijian Xu","Manasi Patwardhan","Yixin Liu","Chengye Wang","Lovekesh Vig","Arman Cohan"}

{cs.CL,cs.AI}

El documento introduce A B G EN, el primer benchmark diseñado para evaluar las capacidades de los Modelos de Lenguaje Grandes (LLMs) en la elaboración de estudios de ablación para la investigación científica. Los estudios de ablación son cruciales para entender el impacto de componentes específicos en un método de investigación o en un resultado. ### Benchmark A B G EN A B G EN consta de 1,500 ejemplos annotados por expertos derivados de 807 artículos de procesamiento del lenguaje natural (NLP). Los ejemplos incluyen un contexto de investigación y un estudio de ablación de referencia, ambos reestructurados del artículo original. Los LLMs tienen la tarea de generar un diseño detallado de estudio de ablación para un módulo o proceso específico basado en el contexto de investigación proporcionado. ### Preguntas de Investigación El documento investiga tres preguntas de investigación: 1. **¿Cómo se desempeñan los LLMs de vanguardia en la elaboración de estudios de ablación?** - La evaluación destaca una significativa brecha en el rendimiento entre los LLMs y los expertos humanos en términos de la importancia, fidelidad y solidez de los diseños de estudios de ablación. - Los métodos de evaluación automatizada también muestran discrepancias significativas en comparación con la evaluación humana. 2. **¿Cómo puede esta investigación aplicarse en escenarios reales para asistir a los investigadores humanos?** - El documento demuestra el potencial de los LLMs en la elaboración de estudios de ablación a través de la interacción con investigadores humanos y destaca la adaptabilidad de este enfoque a otros dominios científicos. - La incorporación de retroalimentación de los investigadores puede mejorar significativamente el rendimiento de los LLMs en la refinación de los resultados. 3. **¿Cómo pueden los investigadores futuros desarrollar sistemas de evaluación automatizados más confiables para tareas científicas complejas?** - El documento desarrolla un benchmark de meta-evaluación, A B G EN -EVAL, para evaluar la confiabilidad de los sistemas de evaluación automatizados comúnmente utilizados en la medición del rendimiento de los LLMs en la tarea de A B G EN. - Los resultados muestran que los sistemas de evaluación automatizados actuales no son confiables para esta tarea y proporcionan perspectivas para futuras investigaciones sobre el desarrollo de sistemas de evaluación más efectivos y confiables basados en LLMs. ### Contribuciones - **Benchmark A B G EN**: El primer benchmark para evaluar los LLMs en la elaboración de estudios de ablación para la investigación científica. - **Sistemas de Evaluación**: Sistemas de evaluación humana y automatizada completos para A B G EN. - **Evaluación Sistemática**: Evaluación sistemática de los LLMs líderes en A B G EN, analizando sus fortalezas y limitaciones. - **Estudios de Usuarios**: Estudios de usuarios que demuestran el potencial de los LLMs en la elaboración de estudios de ablación y su adaptabilidad a otros dominios científicos. - **Benchmark de Meta-Evaluación**: A B G EN -EVAL, un benchmark de meta-evaluación para evaluar la confiabilidad de los sistemas de evaluación automatizados para tareas científicas complejas. ### Conclusión El documento introduce A B G EN, el primer benchmark para evaluar los LLMs en la elaboración de estudios de ablación para la investigación científica. Los hallazgos resaltan las limitaciones de los LLMs actuales en esta tarea y la necesidad de investigaciones adicionales sobre el desarrollo de sistemas de evaluación automatizados más confiables. El documento proporciona valiosas perspectivas para futuras investigaciones y aplicaciones de los LLMs en la investigación científica.