Résumé - 3DGauCIM : Accélération du splatting gaussien statique/dynamique 3D via CIM numérique pour le rendu en temps réel haute fréquence des bords

3DGauCIM : Accélération du splatting gaussien statique/dynamique 3D via CIM numérique pour le rendu en temps réel haute fréquence des bords

2025-07-25 10:16:44

{"Wei-Hsing Huang","Cheng-Jhih Shih","Jian-Wei Su","Samuel Wade Wang","Vaidehi Garg","Yuyao Kong","Jen-Chun Tien","Nealson Li","Arijit Raychowdhury","Meng-Fan Chang",Yingyan,Lin,"Shimeng Yu"}

{cs.AR}

Le papier présente 3DGauCIM, un cadre novateur pour accélérer le splatting gaussien statique et dynamique 3D (3DGS) sur les appareils Edge. Le 3DGS est une technique puissante pour le rendu en temps réel de scènes dynamiques, essentielle pour les applications AR/VR. Cependant, la mise en œuvre du 3DGS dynamique sur les appareils Edge rencontre plusieurs défis : 1. **Coûts énergétiques élevés** : Le chargement de tous les paramètres gaussiens depuis la DRAM pour le culling des frustres entraîne des coûts énergétiques élevés. 2. **Augmentation des paramètres** : L'augmentation des paramètres pour les scènes dynamiques accroît la latence de tri et la consommation d'énergie. 3. **Capacité de tampon limitée** : La capacité de tampon limitée sur le chip avec des paramètres plus élevés réduit la réutilisation du tampon, entraînant des accès fréquents à la DRAM. 4. **Incompatibilité avec DCIM** : Les opérations de 3DGS dynamique ne sont pas aisément compatibles avec le calcul numérique dans la mémoire (DCIM). Pour répondre à ces défis, le papier propose un cadre de conception logicielle et matérielle avec les caractéristiques clés suivantes : **Optimisations algorithmiques** : 1. **Réduction des accès DRAM pour le culling des frustres (DR-FC)** : Cette approche effectue une partition en ligne de mire offline du volume de la scène 3D en une structure en grille à grains grossiers. Cela permet un culling de frustum efficace sans nécessiter d'accès DRAM aux paramètres gaussiens complets, réduisant considérablement les opérations de lecture DRAM. 2. **Groupe de tuiles adaptatif avec connaissance a posteriori (ATG)** : Cette technique suit les relations spatiales entre les gaussiens et les tuiles pendant le test d'intersection. Sur la base de ces relations, le système optimise dynamiquement le regroupement des tuiles pour maximiser l'efficacité de la réutilisation du tampon sur le chip. 3. **Initialisation adaptative de l'intervalle Bucket-Bitonic sort avec connaissance a posteriori (AII-Sort)** : Cette approche tire parti de la corrélation entre les scènes de splatting gaussien d'un cadre à l'autre en utilisant les points de bord du cadre précédent pour initialiser les intervalles de bucket du cadre actuel, atteignant des distributions équilibrées de buckets et des opérations de tri efficaces. **Optimisations matérielles** : 1. **Flux de données dynamique 3DGS compatible avec DCIM (DD3D-Flow)** : Ce flux de données mappe efficacement les divers calculs nécessaires au 3DGS dynamique sur l'architecture DCIM, permettant des calculs à faible consommation d'énergie. **Résultats d'évaluation** : Le papier démontre l'efficacité de 3DGauCIM par des expériences extensives sur des ensembles de données statiques et dynamiques à grande échelle. Les résultats montrent que 3DGauCIM atteint un rendu en temps réel à haute fréquence (plus de 200 FPS) avec une consommation d'énergie minimale (0,28 W pour les scènes statiques et 0,63 W pour les scènes dynamiques). Ce travail répond avec succès aux défis significatifs de la mise en œuvre de la technologie 3DGS statique/dynamique sur des appareils Edge à ressources limitées, permettant un rendu en temps réel efficace et économe en énergie des scènes dynamiques pour les applications AR/VR.