Resumen - La Arena de Energía Generativa (GEA): Incorporando la Conciencia Energética en las Evaluaciones Humanas de Grandes Modelos de Lenguaje (LLM)

La Arena de Energía Generativa (GEA): Incorporando la Conciencia Energética en las Evaluaciones Humanas de Grandes Modelos de Lenguaje (LLM)

2025-07-17 17:11:14

{"Carlos Arriaga","Gonzalo Martínez","Eneko Sendin","Javier Conde","Pedro Reviriego"}

{cs.AI,cs.CL}

La Arena de Energía Generativa (GEA) es una plataforma diseñada para evaluar grandes modelos de lenguaje (LLMs) incorporando información sobre el consumo de energía en el proceso de evaluación. Este documento explora el impacto de la conciencia energética en las decisiones de los usuarios al seleccionar un LLM para una tarea determinada. Los autores argumentan que mientras los métodos de evaluación tradicionales como los marcos automatizados tienen limitaciones, la evaluación humana es inaplicable debido a los desafíos de escalabilidad. Proponen utilizar arenas públicas, como la popular Arena de LM, donde los usuarios pueden evaluar modelos libremente. Sin embargo, estas arenas tienen limitaciones debido a preguntas no controladas y perfiles de evaluadores. Para abordar estos problemas, la GEA introduce información sobre el consumo de energía en el proceso de evaluación. La plataforma compara modelos de la misma familia pero de diferentes tamaños, asegurando que la diferencia en el rendimiento se debe principalmente al tamaño del modelo y no a otros factores. Los usuarios son invitados a evaluar las respuestas de los modelos basándose en la calidad y luego decidir si cambiarían su elección después de conocer el consumo de energía. El documento presenta resultados preliminares que muestran que cuando los usuarios están conscientes del consumo energético relativo, tienden a favorecer modelos más pequeños y eficientes en términos de energía. Esto sugiere que para la mayoría de las interacciones del usuario, el costo adicional y el consumo energético incurrido por los modelos más grandes no justifica su uso. Los autores subrayan que la incorporación de la conciencia energética en las evaluaciones humanas es crucial para entender las preferencias de los usuarios y tomar decisiones informadas sobre el desarrollo y despliegue de LLMs. Reconocen las limitaciones de su estudio, como el número reducido de preguntas y usuarios, el número limitado de LLMs evaluados y el uso de un solo idioma. Sin embargo, creen que este primer paso proporciona insigencias valiosas sobre el impacto de la conciencia energética en las decisiones de los usuarios. La GEA demuestra el potencial de considerar el consumo de energía al evaluar LLMs. Este enfoque podría influir en el desarrollo y despliegue de LLMs, promoviendo modelos eficientes en términos de energía y prácticas más sostenibles en la industria de la inteligencia artificial. Además, resalta la importancia de incorporar varios factores en las evaluaciones de LLMs para entender mejor su rendimiento y posibles impactos.