Resumen - Un Marco de Inferencia de DNN de extremo a extremo para el MPSoC neuromórfico SpiNNaker2

Un Marco de Inferencia de DNN de extremo a extremo para el MPSoC neuromórfico SpiNNaker2

2025-07-18 08:32:34

{"Matthias Jobst","Tim Langer","Chen Liu","Mehmet Alici","Hector A. Gonzalez","Christian Mayr"}

{cs.LG,cs.AR,cs.DC}

Este documento introduce un marco de programación de red neuronal profunda (DNN) multi-capa para el MPSoC neuromórfico SpiNNaker2. El marco amplía el existente OctopuScheduler y permite la ejecución basada en la borde de DNNs grandes y complejos hasta la escala del transformador utilizando la plataforma SpiNNaker2. Las principales contribuciones del marco son: 1. Ampliación de OctopuScheduler hacia la programación de múltiples capas: Esto permite la ejecución de modelos completos en el chip SpiNNaker2, sin la necesidad de interacción adicional por parte del anfitrión más allá de la configuración inicial. 2. Iteración autónoma en el chip sobre todas las capas del DNN sin comunicación entre capas del anfitrión: Esto permite una ejecución eficiente de modelos grandes que superan la SRAM disponible en el chip. 3. Flujo automático para la extracción de parámetros y cuantificación pós-entrenamiento de 8 bits desde modelos PyTorch: Esto permite una aceleración de hardware eficiente de multiplicaciones de matrices en el MLA de SpiNNaker2. El marco está organizado en cuatro componentes principales: 1. Configuración global: Contiene información necesaria para la programación, como las coordenadas del programador y los trabajadores, y el número de capas en el modelo. 2. Mediciones de tiempo: Almacena mediciones de tiempo por capa para cada programador y trabajador, permitiendo un perfilado detallado de la ejecución del modelo. 3. Configuraciones de capa: Cada capa se asocia con un bloque de configuración estructurada, que incluye metadatos como el tipo de capa y el número de PE de trabajador asignados. Esto permite una ejecución eficiente de diversas operaciones de red neuronal en múltiples trabajadores. 4. Memoria de datos: Almacena los datos de activación, es decir, las entradas, valores intermedios y salidas de todas las capas en el modelo. El marco se prueba utilizando un modelo MLP de tres capas simple entrenado en MNIST. Los resultados muestran que el marco alcanza un bajo costo de programación y puede ejecutar eficientemente modelos grandes en el chip SpiNNaker2. El marco es una contribución valiosa al campo de la computación neuromórfica y la IA en la borde, ya que permite la implementación eficiente de DNNs grandes y complejos en sistemas basados en SpiNNaker2. Esto tiene el potencial de revolucionar la industria del borde al permitir nodos de infraestructura más inteligentes y reducir la huella energética de las cargas de trabajo de IA.