Resumen - A3D-MoE: Aceleración de Grandes Modelos de Lenguaje con Mezcla de Expertos mediante Integración Heterogénea 3D

A3D-MoE: Aceleración de Grandes Modelos de Lenguaje con Mezcla de Expertos mediante Integración Heterogénea 3D

2025-07-25 10:26:01

{"Wei-Hsing Huang","Janak Sharda","Cheng-Jhih Shih","Yuyao Kong","Faaiq Waqar","Pin-Jun Chen",Yingyan,Lin,"Shimeng Yu"}

{cs.AR}

Este documento presenta A3D-MoE, un innovador marco de co-diseño de hardware-algoritmo para ejecutar de manera eficiente la inferencia de grandes modelos de lenguaje (LLM) en dispositivos con recursos limitados. Los autores abordan los desafíos de las arquitecturas de Mixture-of-Experts (MoE) de vanguardia y la complejidad de las etapas de prefill mixto y decodificación prolongada a través de tres innovaciones clave: 1. **3D-Adaptive GEMV-GEMM-ratio systolic array**: Ajusta dinámicamente a las variaciones en las proporciones GEMV-GEMM a través de la conmutación de modos en tiempo de ejecución, mejorando la utilización del hardware y reduciendo el consumo de energía. 2. **Hardware resource-aware operation fusion scheduler (HR-OFS)**: Fusiona operaciones de atención y MoE para reducir la latencia y mejorar la utilización general del hardware. 3. **Reducción de acceso a HBM con conocimiento de la puntuación de MoE y colocación de expertos par e impar (MoE-HBMR-EOP)**: Reduce el número de accesos a HBM y el consumo energético de accesos a DRAM mediante la regulación dinámica de si acceder a expertos de precisión completa o media desde HBM. El documento presenta resultados experimentales extensos que demuestran que A3D-MoE logra mejoras significativas en latencia (reducción de 1.8× a 2×), consumo de energía (reducción de 2× a 4×) y rendimiento (mejora de 1.44× a 1.8×) en comparación con las soluciones de vanguardia. Las innovaciones propuestas proporcionan un enfoque integral para acelerar la inferencia de LLM en dispositivos con recursos limitados, permitiendo una implementación más eficiente y escalable de LLM en diversas aplicaciones.