Résumé - Logiciel de synthèse 3D guidé par une représentation intermédiaire expressive en termes de contraintes

Logiciel de synthèse 3D guidé par une représentation intermédiaire expressive en termes de contraintes

2025-07-24 17:58:03

{"Shuqing Li","Anson Y. Lam","Yun Peng","Wenxuan Wang","Michael R. Lyu"}

{cs.CV,cs.AI,cs.MM,cs.SE}

Le papier présente Scenethesis, une nouvelle approche pour générer des environnements logiciels 3D à partir de descriptions naturelles. Scenethesis surmonte les limites des méthodes existantes en introduisant un langage de représentation intermédiaire formelle (IR) appelé ScenethesisLang. **ScenethesisLang** agit à la fois comme un langage de description de scène et comme un langage de spécification de contraintes. Il permet aux utilisateurs d'exprimer des contraintes spatiales, physiques et sémantiques complexes de manière structurée et vérifiable. Cela permet à Scenethesis de générer un logiciel 3D de haute qualité qui capte précisément les exigences des utilisateurs. Scenethesis décompose le processus de synthèse de logiciel 3D en quatre étapes distinctes : 1. **Formalisation des exigences** : Cette étape traduit les exigences naturelles en spécifications formelles ScenethesisLang. Elle utilise une combinaison d'analyse sémantique, d'encouragement contrôlé et de génération de spécification DSL pour s'assurer que toutes les exigences sont capturées de manière précise. 2. **Synthèse des actifs** : Cette étape génère des modèles 3D pour les objets décrits dans la spécification ScenethesisLang. Elle utilise une stratégie hybride qui combine la récupération de modèles à partir d'une base de données curée avec la génération de texte en 3D pour assurer à la fois la qualité et la couverture. 3. **Résolution des contraintes spatiales** : Cette étape organise les modèles 3D dans la scène en fonction des contraintes spatiales spécifiées dans ScenethesisLang. Elle utilise un algorithme de résolution de contraintes itératif inspiré de la résolution du Rubik's cube pour résoudre efficacement des contraintes spatiales complexes. 4. **Synthèse de logiciel** : Cette étape combine les emplacements résolus des objets avec les modèles 3D acquis pour générer des scènes exécutables Unity. Elle intègre également les métadonnées des spécifications ScenethesisLang pour permettre la traçabilité et les modifications post-génération. **Évaluation** de Scenethesis démontre son efficacité : * **Haute précision de capture des exigences** : Scenethesis capture précisément plus de 80% des exigences des utilisateurs. * **Haute satisfaction des contraintes** : Scenethesis satisfait plus de 90% des contraintes rigides tout en gérant plus de 100 contraintes simultanément. * **Amélioration de la qualité visuelle** : Scenethesis atteint une amélioration de 42,8% dans les scores d'évaluation visuelle BLIP-2 par rapport à la méthode de pointe. **Scenethesis** offre plusieurs avantages par rapport aux méthodes existantes : * **Amélioration du contrôle et de la maintenabilité** : Scenethesis permet aux développeurs de modifier des éléments spécifiques dans la scène 3D sans régénérer l'ensemble du logiciel. * **Amélioration de l'expressivité** : ScenethesisLang peut exprimer des contraintes spatiales, physiques et sémantiques complexes qui sont difficiles à capturer avec des graphes de scène. * **Amélioration de la vérifiabilité** : Les spécifications ScenethesisLang fournissent une représentation formelle des exigences et des contraintes des utilisateurs, facilitant ainsi la vérification de la correctness du logiciel 3D généré. Dans l'ensemble, Scenethesis représente une avancée significative dans la synthèse de logiciel 3D. Il fournit une approche principielle et scalable pour générer un logiciel 3D de haute qualité à partir de descriptions naturelles, le rendant un outil précieux pour les développeurs et les concepteurs.