Résumé - Chaine-de-descriptions : Amélioration des LLM de code pour la génération et la résumé de code VHDL

Chaine-de-descriptions : Amélioration des LLM de code pour la génération et la résumé de code VHDL

2025-07-16 15:05:30

{"Prashanth Vijayaraghavan","Apoorva Nitsure","Charles Mackin","Luyao Shi","Stefano Ambrogio","Arvind Haran","Viresh Paruthi","Ali Elzein","Dan Coops","David Beymer","Tyler Baldwin","Ehsan Degan"}

{cs.CL,cs.AI,cs.AR}

Ce document enquête sur les limites des modèles de langage grandeur (LLM) existants dans la génération et la résumé de code VHDL et propose une approche nouvelle appelée Chaîne-de-Descriptions (CoDes) pour répondre à ces défis. Les auteurs soulignent la popularité croissante des LLM dans divers domaines, y compris la génération et le résumé de code. Cependant, ils notent que la recherche axée sur l'évaluation et l'optimisation des LLM pour les langages de description de matériel (HDL), en particulier VHDL, est limitée. Ce vide entrave l'efficacité des LLM existants pour répondre aux défis uniques de VHDL. Pour remédier à cela, les auteurs évaluent la performance des LLM existants pour la génération et le résumé de code VHDL en utilisant divers indicateurs et deux ensembles de données : VHDL-Eval et VHDL-Xform. Ils constatent que ces modèles sous-Performants de manière cohérente sur différents indicateurs, indiquant un écart significatif dans leur adéquation à ce domaine. Pour répondre à ce défi, les auteurs proposent la stratégie CoDes. CoDes implique la génération d'une série d'étapes intermédiaires descriptives basées sur l'énoncé du problème pour la génération de code et le code VHDL pour le résumé. Ces étapes sont ensuite intégrées avec l'invite d'entrée originale et fournies en entrée à l'LLM pour générer la sortie finale. Les auteurs conduisent des expériences en utilisant divers LLM et montrent que le cadre CoDes améliore considérablement la génération et le résumé de code VHDL. L'introduction d'étapes descriptives intermédiaires améliore la capacité des modèles à générer et résumer le code VHDL. Les auteurs enquêtent également sur l'influence de différentes stratégies d'exécution de plan (exécution unique vs. exécution multiple) sur la performance des LLM dans la génération et le résumé de code. Ils constatent que l'exécution multiphonique outperform de manière cohérente l'approche unique pour les deux tâches. Les auteurs concluent que le cadre CoDes fournit une méthode structurée applicable aux domaines nécessitant des approches de résolution de problèmes détaillées et systématiques. Grâce à cette recherche, ils visent à améliorer les capacités des LLM de code, en les rendant des outils plus efficaces dans l'automatisation de la conception électronique et au-delà. Les contributions clés de cet article incluent : 1. Introduction de l'ensemble de données VHDL-Xform, qui contient des clones de code diversifiés visant à évaluer la compréhension des LLM du code équivalent fonctionnellement. 2. Évaluation sans pré-apprentissage de divers LLM à l'aide à la fois des ensembles de données VHDL-Eval et VHDL-Xform pour la génération et le résumé de code VHDL. 3. Enquête sur la stratégie Chaîne-de-Descriptions (CoDes) pour améliorer la performance des LLM dans la génération et le résumé de code VHDL, établissant un point de référence pour la recherche future dans ce domaine.