Zusammenfassung - Optimierung eines auf DNN basierenden HSI-Segmentierungs-FPGA-basierten SoC für ADS: Ein praktischer Ansatz

Optimierung eines auf DNN basierenden HSI-Segmentierungs-FPGA-basierten SoC für ADS: Ein praktischer Ansatz

2025-07-22 13:09:04

{"Jon Gutiérrez-Zaballa","Koldo Basterretxea","Javier Echanobe"}

{cs.CV,cs.AI,cs.AR,cs.LG,eess.IV}

Diese Forschung untersucht die Verwendung von tiefen neuronalen Netzen (DNN) zur Hyperспектralbildsegmentierung (HSI) in autonomen Fahrenssystemen (ADS), wobei sich der Fokus auf die Optimierung der Leistung und Effizienz des Systems legt. Das Studium zielt darauf ab, die Herausforderungen der Echtzeitverarbeitung und der Ressourcenbeschränkungen in eingebetteten Systemen durch die Nutzung von Hardware/Software-Ko-Design-Techniken und DNN-Komprimierungsmethoden zu bewältigen. ### Schlüsselpunkte: 1. **HSI und DNN**: Die Forschung nutzt HSI, um die Beschränkungen traditioneller RGB-Imaging wie Metamerie zu überwinden, indem spectrale Informationen über ein breiteres Spektrum an Wellenlängen erfasst werden. DNN werden für die HSI-Segmentierung eingesetzt, was zu verbesserter Genauigkeit und Robustheit führt. 2. **Optimierungstechniken**: - **Hardware/Software-Ko-Design**: Das Studium schlägt einen Ko-Design-Ansatz vor, um Vorverarbeitung, Datenlagerung, Kommunikation und DNN-Infektion auf einer FPGA-basierten SoC-Plattform effizient zu integrieren. - **Modellkomprimierung**: Techniken wie Quantisierung und iteratives Schneiden werden angewendet, um die Rechenkomplexität des DNN-Modells zu verringern, während die Genauigkeit beibehalten wird. - **Vorverarbeitungsoptimierung**: Die Forschung konzentriert sich auf die Optimierung des Vorverarbeitungspipelines, einschließlich Datenkonvertierung, Normalisierung und Speicherverwaltung, um die Effizienz zu erhöhen. 3. **FPGA-basierte SoC-Plattform**: - Das Studium nutzt die AMD-Xilinx KV260-Platine, die einen Zynq UltraScale+ MPSoC mit programmierbarer Logik integriert, was eine geeignete Plattform für die Bereitstellung des optimierten DNN-basierten HSI-Segmentierungssystems bietet. 4. **Ergebnisse**: - Das optimierte DNN-Modell erreichte eine erhebliche Verringerung der Rechenkomplexität, mit einer Reduzierung von 24,34% der Operationen und einem Rückgang von 1,02% der Parameter. - Die iterative Schneidemethode kombinierte statische und dynamische Analyse, um unnötige Parameter zu identifizieren und zu schneiden, ohne die Genauigkeit zu beeinträchtigen, und reduzierte somit die Modellgröße. - Das optimierte System zeigte eine Beschleunigung von 2,86x bei Inferenzaufgaben auf, während eine hohe Segmentationsgenauigkeit beibehalten wurde. ### Implikationen: Die Forschung hebt das Potenzial von HSI und DNN für die Verbesserung der Fähigkeiten von ADS, insbesondere in Bezug auf Szenenverständnis und Objekterkennung, hervor. Die vorgeschlagenen Optimierungstechniken und die FPGA-basierte SoC-Plattform bieten einen praktischen Ansatz für die Bereitstellung realzeitfähiger, effizienter HSI-Segmentierungssysteme in ressourcenschwachen Umgebungen. Diese Forschung trägt zur Entwicklung fortgeschrittener intelligenter Visionssysteme für autonome Navigation und anderen Anwendungen bei.