Zusammenfassung - 3D-Software-Synthese durch eine durch Constraint-expressive Zwischenrepräsentation geleitete Synthese

3D-Software-Synthese durch eine durch Constraint-expressive Zwischenrepräsentation geleitete Synthese

2025-07-24 17:58:03

{"Shuqing Li","Anson Y. Lam","Yun Peng","Wenxuan Wang","Michael R. Lyu"}

{cs.CV,cs.AI,cs.MM,cs.SE}

Das Papier stellt Scenethesis vor, einen neuen Ansatz zur Generierung von 3D-Softwareumgebungen aus natürlsprachlichen Beschreibungen. Scenethesis behebt die Limitationen bestehender Methoden durch die Einführung einer formellen Zwischenrepräsentationssprache (IR) namens ScenethesisLang. **ScenethesisLang** dient sowohl als Sprachbeschreibung für Szenen als auch als Sprachspezifikation für Einschränkungen. Es ermöglicht Benutzern, komplexe räumliche, physische und semantische Einschränkungen auf eine strukturierte und überprüfbare Weise auszudrücken. Dies ermöglicht es Scenethesis, hochwertige 3D-Software zu generieren, die die Anforderungen der Benutzer präzise erfassen kann. Scenethesis zerlegt den Prozess der 3D-Software-Synthese in vier verschiedene Stufen: 1. **Formalisierung der Anforderungen**: In dieser Stufe werden natürlsprachliche Anforderungen in formale ScenethesisLang-Spezifikationen übersetzt. Sie nutzt eine Kombination aus semantischer Analyse, kontrollierter Anregung und Generierung von DSL-Spezifikationen, um sicherzustellen, dass alle Anforderungen präzise erfasst werden. 2. **Generierung von Assets**: In dieser Stufe werden 3D-Modelle für in der ScenethesisLang-Spezifikation beschriebene Objekte generiert. Sie verwendet eine hybride Strategie, die die Modellretrieval aus einer gepflegten Datenbank mit der Text-to-3D-Generierung kombiniert, um sowohl Qualität als auch Abdeckung sicherzustellen. 3. **Lösung räumlicher Einschränkungen**: In dieser Stufe werden die 3D-Modelle in der Szene auf Basis der in ScenethesisLang spezifizierten räumlichen Einschränkungen organisiert. Sie nutzt ein innovatives iteratives Einschränkungslösungs-Algorithmus, der von der Rubik's-Kubus-Lösung inspiriert ist, um komplexe räumliche Einschränkungen effizient zu lösen. 4. **Software-Synthese**: In dieser Stufe werden die gelösten Objektanordnungen mit den erworbenen 3D-Modellen kombiniert, um ausführbare Unity-Szenen zu generieren. Es werden auch Metadaten aus den ScenethesisLang-Spezifikationen eingebettet, um Nachverfolgbarkeit und Modifikationen nach der Generierung zu ermöglichen. **Evaluation** von Scenethesis zeigt seine Effektivität: * **Hohe Genauigkeit der Anforderungenserfassung**: Scenethesis erfasst präzise über 80% der Benutzeranforderungen. * **Hohe Erfüllung der Einschränkungen**: Scenethesis erfüllt über 90% der harten Einschränkungen und bewältigt gleichzeitig über 100 Einschränkungen. * **Verbesserte visuelle Qualität**: Scenethesis erreicht eine Verbesserung von 42,8% bei der BLIP-2 visuellen Bewertung im Vergleich zur besten verfügbaren Methode. **Scenethesis** bietet mehrere Vorteile gegenüber bestehenden Methoden: * **Verbesserte Kontrolle und Wartbarkeit**: Scenethesis ermöglicht es Entwicklern, spezifische Elemente in der 3D-Szene zu ändern, ohne die gesamte Software neu zu generieren. * **Erhöhte Ausdrucksfähigkeit**: ScenethesisLang kann komplexe räumliche, physische und semantische Einschränkungen ausdrücken, die mit Szenendiagrammen schwer zu erfassen sind. * **Verbesserte Überprüfbarkeit**: ScenethesisLang-Spezifikationen bieten eine formale Repräsentation der Benutzeranforderungen und Einschränkungen, was die Überprüfung der Richtigkeit der generierten 3D-Software erleichtert. Insgesamt stellt Scenethesis eine bedeutende Weiterentwicklung in der 3D-Software-Synthese dar. Es bietet einen prinzipienbasierten und skalierbaren Ansatz zur Generierung hochwertiger 3D-Software aus natürlsprachlichen Beschreibungen und ist ein wertvolles Werkzeug für Entwickler und Designer.