Resumen - Cadena-de-Descripciones: Mejoramiento de LLMs para Generación y Resumen de Código VHDL

Cadena-de-Descripciones: Mejoramiento de LLMs para Generación y Resumen de Código VHDL

2025-07-16 15:05:30

{"Prashanth Vijayaraghavan","Apoorva Nitsure","Charles Mackin","Luyao Shi","Stefano Ambrogio","Arvind Haran","Viresh Paruthi","Ali Elzein","Dan Coops","David Beymer","Tyler Baldwin","Ehsan Degan"}

{cs.CL,cs.AI,cs.AR}

Este documento investiga las limitaciones de los modelos de lenguaje grandes (LLMs) existentes en la generación y resumen de código VHDL y propone un nuevo enfoque llamado Cadena-de-Descripciones (CoDes) para abordar estos desafíos. Los autores subrayan la creciente popularidad de los LLMs en varios dominios, incluyendo la generación y resumen de código. Sin embargo, mencionan que la investigación enfocada en evaluar y refinar LLMs para lenguajes de descripción de hardware (HDLs), especialmente VHDL, es limitada. Esta brecha obstaculiza la efectividad de los LLMs existentes al abordar los desafíos únicos de VHDL. Para abordar esto, los autores evalúan el rendimiento de los LLMs de código existentes para la generación y resumen de código VHDL utilizando varias métricas y dos conjuntos de datos: VHDL-Eval y VHDL-Xform. Encontran que estos modelos subrinden consistentemente en diferentes métricas, indicando una brecha significativa en su adecuación para este dominio. Para abordar este desafío, los autores proponen la estrategia CoDes. CoDes implica generar una serie de pasos descriptivos intermedios basados en la declaración del problema para la generación de código y el código VHDL para el resumen. Estos pasos se integran con el prompt de entrada original y se proporcionan como entrada al LLM para generar la salida final. Los autores realizan experimentos utilizando varios LLMs y demuestran que el marco CoDes mejora significativamente la generación y resumen de código VHDL. La introducción de pasos descriptivos intermedios mejora la capacidad de los modelos para generar y resumir código VHDL. Los autores también investigan la influencia de diferentes estrategias de ejecución de planes (un paso vs. múltiples pasos) en el rendimiento de los LLMs en la generación y resumen de código. Encontran que la ejecución de múltiples pasos consistently outperforms la estrategia de un solo paso para ambas tareas. Los autores concluyen que el marco CoDes proporciona una metodología estructurada aplicable a dominios que requieren enfoques de resolución de problemas detallados y sistemáticos. A través de esta investigación, buscan avanzar en las capacidades de los LLMs de código, convirtiéndolos en herramientas más efectivas en la automatización del diseño electrónico y más allá. Las contribuciones clave de este documento incluyen: 1. Introducción del conjunto de datos VHDL-Xform, que incluye clones de código diversos destinados a evaluar la comprensión de los LLMs del código funcionalmente equivalente. 2. Evaluación sin entrenamiento de varios LLMs utilizando tanto el conjunto de datos VHDL-Eval como VHDL-Xform para la generación y resumen de código VHDL. 3. Investigación de la estrategia Cadena-de-Descripciones (CoDes) para mejorar el rendimiento de los LLMs en la generación y resumen de código VHDL, estableciendo un punto de referencia para futuras investigaciones en este área.