Network Architecture Search for Spiking Neural Networks using Zero Cost Proxies

Kontext

Spiking Neural Networks (SNNs) bieten eine vielversprechende Alternative zu herkömmlichen Deep-Learning-Modellen und ermöglichen ereignisgesteuerte und energieeffiziente Berechnungen. Allerdings kann ihr Training ineffizient sein, da ihre spärliche und zeitliche Natur die Optimierung erschwert. Dies erhöht die Rechenkosten der Architektursuche und macht sie zu einem ressourcenintensiven Prozess.

In dieser Arbeit wird untersucht, wie Zero-Cost Proxies (ZCPs) eine effiziente Bewertung von SNN-Architekturen ermöglichen können, ohne dass ein vollständiges Training erforderlich ist. Durch den Einsatz von ZCPs können wir die potenzielle Leistung eines Modells zu minimalen Kosten abschätzen, wodurch die Suche nach neuronalen Architekturen (NAS) deutlich effizienter wird. Ziel ist es, ein NAS-Framework zu entwickeln, das ZCPs integriert, um vielversprechende SNN-Architekturen zu identifizieren und gleichzeitig den Rechenaufwand zu reduzieren.

Ziele

• Durchführung von Recherchen zum Stand der Technik bei Zero-Cost-Proxys für SNNs

• Entwicklung eines NAS-Frameworks für Zero-Cost-basierte Architektur Suche nach vielversprechenden Architekturen

• Benchmarking des Frameworks anhand relevanter SNN-Datensätze und bestehender Modelle

Voraussetzungen

• Erfahrungen mit ML Frameworks wie Pytorch oder TensorFlow

• Sehr gute Python Kenntnisse

• Erfahrungen mit SNN Frameworks oder JAX ist von Vorteil