Automatisierte KI-basierte Platzierung von Early Exits in tiefen neuronalen Netzen

Kontext

Ausführungskontexte, Zeitvorgaben, Energiebudgets oder erkannte Anomalien, können die Notwendigkeit zur Verkürzung einer Inferenz begründen. Obwohl einige Strategien existieren, wie das Hinzufügen von Early Exits zu bestehenden neuronalen Netzwerken, bestehen immer noch Verbesserungsmöglichkeiten hinsichtlich der Genauigkeit der platzierten Early Exits. Bestehende Methoden platzieren diese basierend auf Zeitbudgets und Layer-Entropie als Schätzung der erwarteten Accuracy. Die dynamische Erlernung der besten Platzierung und Struktur in einem übergreifenden Schritt wird als vielversprechend angesehen.

Ziele

Das Ziel dieser Arbeit ist es, eine Strategie zur Platzierung von Early Exits in bestehenden neuronalen Netzwerkmodellen zu entwerfen und umzusetzen, um diese an potenzielle Kontextänderungen anzupassen. Die Aufgabe umfasst den Vergleich der vorgeschlagenen Strategie mit bestehenden Methoden und deren Integration in ein vorgegebenes Rahmenwerk.

Voraussetzungen

• Gute Kenntnisse in neuronalen Netzwerkmodellen.
• Idealerweise Erfahrung mit der Verwendung von Machine-Learning-Frameworks.