Zusammenfassung - Kettenbeschreibungen: Verbesserung von Code-LLMs für VHDL-Code-Generierung und Zusammenfassung

Kettenbeschreibungen: Verbesserung von Code-LLMs für VHDL-Code-Generierung und Zusammenfassung

2025-07-16 15:05:30

{"Prashanth Vijayaraghavan","Apoorva Nitsure","Charles Mackin","Luyao Shi","Stefano Ambrogio","Arvind Haran","Viresh Paruthi","Ali Elzein","Dan Coops","David Beymer","Tyler Baldwin","Ehsan Degan"}

{cs.CL,cs.AI,cs.AR}

Diese Arbeit untersucht die Einschränkungen bestehender großer Sprachmodelle (LLMs) bei der Generierung und Zusammenfassung von VHDL-Code und schlägt einen neuen Ansatz namens Chain-of-Descriptions (CoDes) vor, um diese Herausforderungen zu bewältigen. Die Autoren betonen die wachsende Beliebtheit von LLMs in verschiedenen Bereichen, einschließlich der Code-Generierung und -Zusammenfassung. Allerdings vermerken sie, dass Forschung, die sich auf die Bewertung und Verbesserung von LLMs für Hardwarebeschreibungssprachen (HDLs), insbesondere VHDL, konzentriert, begrenzt ist. Dieser Mangel behindert die Effektivität bestehender LLMs bei der Bewältigung der spezifischen Herausforderungen von VHDL. Um dies zu adressieren, bewerten die Autoren die Leistung bestehender Code-LLMs für die Generierung und Zusammenfassung von VHDL-Code mithilfe verschiedener Metriken und zwei Datensätzen: VHDL-Eval und VHDL-Xform. Sie finden, dass diese Modelle in verschiedenen Metriken konstant unterdurchschnittlich abschneiden, was auf eine erhebliche Lücke in ihrer Eignung für diesen Bereich hindeutet. Um diese Herausforderung zu bewältigen, schlagen die Autoren die CoDes-Strategie vor. CoDes beinhaltet die Generierung einer Reihe von intermediären beschreibenden Schritten basierend auf der Problemstellung für die Code-Generierung und dem VHDL-Code für die Zusammenfassung. Diese Schritte werden dann mit dem ursprünglichen Eingabebefehl integriert und als Eingabe an das LLM gegeben, um das finale Ausgabeergebnis zu generieren. Die Autoren führen Experimente mit verschiedenen LLMs durch und zeigen, dass das CoDes-Framework die Generierung und Zusammenfassung von VHDL-Code erheblich verbessert. Die Einführung von intermediären beschreibenden Schritten verbessert die Fähigkeit der Modelle, VHDL-Code zu generieren und zusammenzufassen. Die Autoren untersuchen ebenfalls den Einfluss verschiedener Plan-Ausführungsstrategien (EinzelSchritt vs. Mehrschritt) auf die Leistung von LLMs bei der Code-Generierung und -Zusammenfassung. Sie finden, dass die mehrschrittige Ausführung für beide Aufgaben konstant die Einzelschritt-Methode übertrifft. Die Autoren schließen, dass das CoDes-Framework eine strukturierte Methodik bietet, die auf Domänen angewendet werden kann, die detaillierte und systematische Problemlösungsansätze erfordern. Durch diese Forschung zielen sie darauf ab, die Fähigkeiten von Code-LLMs zu verbessern und sie zu wirksameren Werkzeugen in der elektronischen Design Automation und darüber hinaus zu machen. Die wichtigsten Beiträge dieser Arbeit umfassen: 1. Einführung des VHDL-Xform-Datensatzes, der diverse Code-Klone enthält, die darauf abzielen, das Verständnis von LLMs für funktional äquivalente Code zu bewerten. 2. Zero-shot-Evaluation verschiedener LLMs mithilfe sowohl des VHDL-Eval- als auch des VHDL-Xform-Datensatzes für die Generierung und Zusammenfassung von VHDL-Code. 3. Untersuchung der Chain-of-Descriptions (CoDes)-Strategie, um die Leistung von LLMs bei der Generierung und Zusammenfassung von VHDL-Code zu verbessern, was einen Benchmark für zukünftige Forschung in diesem Bereich stellt.