Résumé - Un cadre d'inférence DNN de bout en bout pour le MPSoC neuromorphique SpiNNaker2

Un cadre d'inférence DNN de bout en bout pour le MPSoC neuromorphique SpiNNaker2

2025-07-18 08:32:34

{"Matthias Jobst","Tim Langer","Chen Liu","Mehmet Alici","Hector A. Gonzalez","Christian Mayr"}

{cs.LG,cs.AR,cs.DC}

Ce document présente un cadre de planification de réseau neural profond (DNN) multicouche pour le MPSoC neuromorphique SpiNNaker2. Le cadre étend le OctopuScheduler existant et permet l'exécution sur site de DNN grands et complexes, jusqu'à l'échelle des transformateurs, à l'aide de la plate-forme SpiNNaker2. Les principales contributions du cadre sont : 1. Extension du OctopuScheduler vers une planification multicouche : Cela permet l'exécution de modèles complets sur le puce SpiNNaker2, sans nécessiter d'interaction supplémentaire par l'hôte au-delà de la configuration initiale. 2. Itération en standalone sur le puce de toutes les couches du DNN sans communication hôte inter-couche : Cela permet l'exécution efficace de modèles grands qui dépassent la SRAM disponible sur la puce. 3. Flux automatisé pour l'extraction des paramètres et la quantification à 8 bits après l'entraînement à partir de modèles PyTorch : Cela permet une accélération matérielle efficace des multiplications matricielles sur le MLA de SpiNNaker2. Le cadre est organisé en quatre composants principaux : 1. Configuration globale : Contient les informations nécessaires pour la planification, telles que les coordonnées du planificateur et des travailleurs, et le nombre de couches dans le modèle. 2. Mesure du temps : Stocke les mesures de temps par couche pour chaque planificateur et travailleur, permettant un profilage détaillé de l'exécution du modèle. 3. Configurations de couche : Chaque couche est associée à un bloc de configuration structuré, qui inclut des métadonnées telles que le type de couche et le nombre de PEs de travailleur assignés. Cela permet une exécution efficace des opérations de réseau neural diverses sur plusieurs travailleurs. 4. Mémoire de données : Stocke les données d'activation, c'est-à-dire les entrées, les valeurs intermédiaires et les sorties de toutes les couches du modèle. Le cadre est testé à l'aide d'un modèle MLP simple à trois couches formé sur MNIST. Les résultats montrent que le cadre atteint un overhead de planification faible et peut exécuter efficacement de grands modèles sur le puce SpiNNaker2. Le cadre est une contribution précieuse au domaine du calcul neuromorphique et de l'IA de bord, car il permet l'implantation efficace de DNN grands et complexes sur les systèmes basés sur SpiNNaker2. Cela a le potentiel de révolutionner l'industrie de bord en permettant des nœuds d'infrastructure plus intelligents et en réduisant la empreinte énergétique des tâches d'IA.