Resumen - 3DGauCIM: Acelerando la proyección gaussiana estática/dinámica en 3D mediante CIM digital para renderizado de borde en tiempo real a alta tasa de cuadros

3DGauCIM: Acelerando la proyección gaussiana estática/dinámica en 3D mediante CIM digital para renderizado de borde en tiempo real a alta tasa de cuadros

2025-07-25 10:16:44

{"Wei-Hsing Huang","Cheng-Jhih Shih","Jian-Wei Su","Samuel Wade Wang","Vaidehi Garg","Yuyao Kong","Jen-Chun Tien","Nealson Li","Arijit Raychowdhury","Meng-Fan Chang",Yingyan,Lin,"Shimeng Yu"}

{cs.AR}

El documento presenta 3DGauCIM, un nuevo marco para acelerar la splatting gaussiana estática y dinámica en dispositivos de borde (edge devices). La splatting gaussiana en 3D (3DGS) es una técnica poderosa para la renderización en tiempo real de escenas dinámicas, esencial para aplicaciones de AR/VR. Sin embargo, la implementación de 3DGS dinámica en dispositivos de borde enfrenta varios desafíos: 1. **Costos energéticos altos**: Cargar todos los parámetros gaussianos desde DRAM para el recorte del frustum (frustum culling) implica costos energéticos altos. 2. **Aumento de parámetros**: El aumento de parámetros para escenas dinámicas eleva la latencia de clasificación y el consumo de energía. 3. **Capacidad de búfer limitada**: La capacidad de búfer en el chip limitada con parámetros más altos reduce la reutilización del búfer, causando accesos frecuentes a DRAM. 4. **Incompatibilidad con DCIM**: Las operaciones de 3DGS dinámica no son fácilmente compatibles con el cómputo digital en memoria (DCIM). Para abordar estos desafíos, el documento propone un marco de co-diseño de algoritmo-hardware con las siguientes características clave: **Optimizaciones algorítmicas**: 1. **Reducción de acceso a DRAM para el recorte del frustum (DR-FC)**: Este enfoque realiza una partición offline del volumen de la escena 3D en una estructura de malla a gran escala. Esto permite un recorte del frustum eficiente sin requerir acceso a DRAM para parámetros gaussianos completos, reduciendo significativamente las operaciones de lectura de DRAM. 2. ** Agrupación de baldosas adaptativa con conocimiento posterior (ATG)**: Esta técnica rastrea las relaciones espaciales entre gaussianos y baldosas durante la prueba de intersección. Basándose en estas relaciones, el sistema optimiza dinámicamente la agrupación de baldosas para maximizar la eficiencia de reutilización del búfer en el chip. 3. **Inicialización adaptativa de intervalos de Bucket-Bitonic sort con conocimiento posterior (AII-Sort)**: Este enfoque aprovecha la correlación cuadro a cuadro de las escenas de splatting gaussiano al utilizar puntos de borde del cuadro anterior para inicializar los intervalos de bucket del cuadro actual, logrando distribuciones equilibradas de bucket y operaciones de clasificación eficientes. **Optimizaciones de hardware**: 1. **Flujo de datos dinámico de 3DGS compatible con DCIM (DD3D-Flow)**: Este flujo de datos mappea eficientemente diversas operaciones de cómputo requeridas por 3DGS dinámica en la arquitectura DCIM, permitiendo un cómputo de bajo consumo de energía. **Resultados de evaluación**: El documento demuestra la efectividad de 3DGauCIM mediante experimentos extensos en grandes conjuntos de datos estáticos y dinámicos del mundo real. Los resultados muestran que 3DGauCIM alcanza una renderización en tiempo real de alta tasa de cuadros (más de 200 FPS) con un consumo de energía mínimo (0.28 W para escenas estáticas y 0.63 W para escenas dinámicas). Este trabajo aborda con éxito los desafíos significativos de implementar la tecnología de 3DGS estática/dinámica en dispositivos de borde con recursos limitados, permitiendo una renderización eficiente y de bajo consumo de energía de escenas dinámicas para aplicaciones de AR/VR.