Hyperparameter Optimierung: Verbesserung der Modelleffizienz und -genauigkeit des maschinellen Lernens

Kontext

Die Hyperparameter Optimierung (HPO) bezieht sich auf die Optimierung von Parametern, die erhebliche Auswirkungen auf die Performance von Machine Learning Modellen haben, und daher sind für die Trainingsergebnisse entscheidend. Im Vergleich zu trainierbaren Parametern werden Hyperparameter vor dem Training festgelegt und wirken sich auf das Verfahren und die Performance des Modells aus. Die Fortschritte bei den HPO-Algorithmen zielen darauf ab, die Modellleistung bei verschiedenen Aufgaben zu automatisieren und zu verbessern. 
In dieser Arbeit werden verschiedene HPO-Algorithmen untersucht, inklusive traditioneller Methoden wie grid search und random search, und auch erweiterte Techniken wie Bayesian Optimization und Meta-Learning. Ziel ist die Untersuchung, wie HPO-Techniken die Leistung und Effizienz von Machine Learning Modellen verbessern können, indem wichtige Hyperparameter wie learning rate, batch size und Network Architektur eingestellt werden. Außerdem werden die Vorteile und Nachteile bezüglich Effizienz, Erweiterbarkeit und Effizienz beim Erreichen einer optimalen Modellleistung ermittelt. Darüber hinaus können diese HPO Methoden mit Frameworks wie Optuna, Hyperopt usw. bewertet werden. Eine Visualisierung von Prozess und Ergebnissen kann auch Teil der Arbeit sein.

Aufgaben 

• Literaturrecherche zu der SOTA-Technik 
• Implementierung und Vergleich von HPO-Algorithmen mit Machine Learning Frameworks
• Design von Experimenten zur Bewertung der Auswirkungen verschiedener Hyperparameter auf das Modelltraining und die Performance, mit Visualisierung der Prozesse und Ergebnisse
• Evaluierung und Analyse der Ergebnisse, um die Leistungsfähigkeit von HPO-Methoden bei der Verbesserung von Modellergebnissen zu ermitteln

Voraussetzungen

• Motivation und Interesse am selbstständigen Lösen von technischen Problemen
• Kenntnisse von Machine Learning
• Erfahrung mit Programmierung (Python, C++, Java…)
• Analytische Fähigkeiten, Problemlösungs- und Kommunikationsfähigkeiten