概要 - 制約表現可能な中間表現に導かれた3Dソフトウェア合成

制約表現可能な中間表現に導かれた3Dソフトウェア合成

2025-07-24 17:58:03

{"Shuqing Li","Anson Y. Lam","Yun Peng","Wenxuan Wang","Michael R. Lyu"}

{cs.CV,cs.AI,cs.MM,cs.SE}

この論文は、自然言語記述から3Dソフトウェア環境を生成するための新しいアプローチであるScenethesisを提案しています。Scenethesisは、形式化中間表現（IR）言語としてScenethesisLangを導入することで、既存の方法の限界を克服しています。 **ScenethesisLang**は、シーン記述言語と制約指定言語の両方を提供します。ユーザーは構造化されたかつ検証可能な方法で複雑な空間的、物理的、および语义的な制約を表現できます。これにより、Scenethesisはユーザー要件を正確にキャプチャする高品質な3Dソフトウェアを生成することができます。 Scenethesisは、3Dソフトウェア合成プロセスを以下の4つの異なるステージに分解します： 1. **要件形式化**：このステージでは、自然言語要件を形式化されたScenethesisLang指定に変換します。意味解析、制御されたプロンプティング、およびDSL指定生成の組み合わせを使用して、すべての要件が正確にキャプチャされることを確保します。 2. **資産合成**：このステージでは、ScenethesisLang指定に記述されたオブジェクトの3Dモデルを生成します。カスタマイズされたデータベースからのモデルリトリーブとテキストから3D生成を組み合わせたハイブリッド戦略を使用して、品質と範囲の両方を確保します。 3. **空間制約解決**：このステージでは、ScenethesisLangに指定された空間制約に基づいてシーン内の3Dモデルを整理します。ルービックキューブ解決にインスパイアされた革新的な反復制約解決アルゴリズムを使用して、複雑な空間制約を効率的に解決します。 4. **ソフトウェア合成**：このステージでは、解決されたオブジェクトレイアウトと取得した3Dモデルを組み合わせて、実行可能なUnityシーンを生成します。また、ScenethesisLang指定からメタデータを埋め込み、トレーサビリティと生成後の修正を可能にします。 **評価**では、Scenethesisの効果を示しています： * **高い要件キャプチャ精度**：Scenethesisはユーザー要件の80%以上を正確にキャプチャします。 * **高い制約満足度**：Scenethesisは90%以上のハード制約を満たし、同時に100以上の制約を処理します。 * **視覚品質の向上**：Scenethesisは、最も優れた方法と比較してBLIP-2視覚評価スコアが42.8%向上しました。 **Scenethesis**は、既存の方法に対して以下の利点を提供します： * **向上した制御とメンテナンス性**：Scenethesisは、3Dシーンの特定の要素を変更する際に、全体のソフトウェアを再生成する必要がないため、開発者にとって便利です。 * **向上した表現力**：ScenethesisLangは、シーングラフでキャプチャするのが難しい複雑な空間的、物理的、および语义的な制約を表現できます。 * **向上した検証性**：ScenethesisLang指定は、ユーザー要件と制約の形式化された表現を提供し、生成された3Dソフトウェアの正確性を検証するのが容易になります。 全体的に、Scenethesisは3Dソフトウェア合成における大きな進歩を示しています。自然言語記述から高品質な3Dソフトウェアを生成するための原則的で拡張可能なアプローチを提供し、開発者やデザイナーにとって非常に有価値なツールとなります。