Zusammenfassung - Ein End-to-End-DNN-Infusionsrahmen für den SpiNNaker2 neuromorphen MPSoC

Ein End-to-End-DNN-Infusionsrahmen für den SpiNNaker2 neuromorphen MPSoC

2025-07-18 08:32:34

{"Matthias Jobst","Tim Langer","Chen Liu","Mehmet Alici","Hector A. Gonzalez","Christian Mayr"}

{cs.LG,cs.AR,cs.DC}

Dieses Papier stellt einen mehrschichtigen Deep Neural Network (DNN)-Scheduling-Framework für das neuromorphe MPSoC SpiNNaker2 vor. Das Framework erweitert den bestehenden OctopuScheduler und ermöglicht die edge-basierte Ausführung großer und komplexer DNNs bis zur Transformer-Skala mithilfe der SpiNNaker2-Plattform. Die Hauptbeiträge des Frameworks sind: 1. Erweiterung des OctopuScheduler um die mehrschichtige Scheduling-Fähigkeit: Dies ermöglicht die Ausführung ganzer Modelle auf dem SpiNNaker2-Chip, ohne dass zusätzliche Interaktion durch den Host über die Initialkonfiguration hinaus erforderlich ist. 2. Selbstständige Iteration über alle DNN-Schichten auf dem Chip, ohne zwischen-Layer-Kommunikation mit dem Host: Dies ermöglicht die effiziente Ausführung großer Modelle, die die verfügbare SRAM auf dem Chip übersteigen. 3. Automatisierter Workflow für Parameterextraktion und 8-bit-Post-Training-Quantisierung aus PyTorch-Modellen: Dies ermöglicht die effiziente Hardwarebeschleunigung von Matrixmultiplikationen auf dem SpiNNaker2 MLA. Das Framework ist in vier Hauptkomponenten organisiert: 1. Globale Konfiguration: Enthält Informationen, die für die Scheduling erforderlich sind, wie die Koordinaten des Schedulers und der Worker sowie die Anzahl der Schichten im Modell. 2. Zeitmessungen: Speichert pro-Schicht-Zeitmessungen für jeden Scheduler und Worker, was eine detaillierte Profilierung der Modellausführung ermöglicht. 3. Schichtkonfigurationen: Jede Schicht ist mit einem strukturierten Konfigurationsblock verbunden, der Metadaten wie den Schichttyp und die Anzahl der zugewiesenen Worker PEs enthält. Dies ermöglicht die effiziente Ausführung verschiedener neuronaler Netzwerkoperationen über mehrere Worker hinweg. 4. Datenspeicher: Speichert die Aktivierungsdaten, d.h. Eingaben, Zwischenwerte und Ausgaben aller Schichten im Modell. Das Framework wurde mit einem einfachen dreischichtigen MLP-Modell getestet, das auf MNIST trainiert wurde. Die Ergebnisse zeigen, dass das Framework niedrigen Scheduling-Overhead erreicht und große Modelle auf dem SpiNNaker2-Chip effizient ausführen kann. Das Framework ist eine wertvolle contribu­tion zum Bereich der neuromorphen Computing und Edge AI, da es die effiziente Deployment großer und komplexer DNNs auf auf SpiNNaker2-basierten Systemen ermöglicht. Dies hat das Potenzial, die Edge-Branche durch die Möglichkeit revolutionärer Infrastruktur-Knoten und die Verringerung des Energieverbrauchs von AI-Arbeitslasten zu verändern.