Automatisierte Szenengraphen- Generierung aus Kamerabildern von Verkehrsszenen zur Validierung KI-basierter Objekterkennungen

Kontext

Um Schwächen in der KI-basierten Objekterkennung besser zu verstehen, reicht es nicht aus, nur zu erkennen, welche Objekte ein System in Bildern wahrnimmt. Forschungen in der KI Erklärbarkeit zeigen, dass auch die Attribute dieser Objekte und ihre Umgebung eine zentrale Rolle spielen. Ziel im Projekt RepliCar ist es, eine neuartige Black-Box-Methode zu entwickeln, bei der ein automatisierter Szenengraph erstellt wird, um in Entwicklungsprozessen diese Einflussfaktoren zu berücksichtigen. Dieser Szenengraph ordnet Objekte und ihre Beziehungen in einer definierten Baumstruktur und ermöglicht so präzisere Analysen von Fehlverhalten bei der Objekterkennung. Eine Pipeline aus Klassifikatoren soll dafür Verkehrsbilder aus dem Demonstrator-Fahrzeug systematisch dekomponieren und semantisch einordnen. Detaillierte Informationen und eine Einführung in den Szenengraphen finden sich in der Publikation „The Machine Vision Iceberg Explained“.

Ziele


Die Entwicklung einer Pipeline zur Dekomposition von Kamerabildern aus dem Straßenverkehr stellt eine besondere Herausforderung dar, da eine Vielzahl potenzieller Klassifikationsverfahren zur Verfügung steht. Einerseits bieten KI-Methoden mit hochauflösenden Modellen eine breite Palette an Klassen, sind jedoch anfällig für falsch-positive Ergebnisse (Halluzinationen). Andererseits liefern „klassische“ Klassifikatoren oft weniger falsch-positive Ergebnisse, bieten aber eine geringere Variabilität bei den Klassen und erfordern hohen manuellen Aufwand.

Ziel dieser Arbeit ist es, bestehende Klassifikatoren auszuwählen und auf unterschiedlichen Datensätzen zu evaluieren. Erfolgversprechende Kombinationen sollen anschließend auf die Kamerabilder des Demonstratorfahrzeugs angewendet werden, um automatisiert den erforderlichen Szenengraphen zu erzeugen. Das wissenschaftliche Ziel ist die Diskussion der Eignung von KI-Klassifikation und klassischen Klassifikationsverfahren für die Validierungsabsicht und ob sich daraus ein systematischer Umgang ableiten lässt.

• Einarbeitung in die Logik des Szenengraphen aus der zugehörigen Publikation
• Recherche und prototypische Implementierung geeigneter Klassifikatoren zur Erstellung einer Entscheidungsmatrix
• Kombination und Vergleich verschiedener Klassifikatoren
• Evaluation auf geeigneten Bilddatensätzen mit Ground-Truth
• Automatisierte Generierung und Formatierung eines Szenengraphen 
• Erprobung des Szenengraphen auf Bildern aus dem Demonstrator-Fahrzeug

Voraussetzungen

• 
Studiengang: Elektrotechnik, Mechatronik, Informatik oder vergleichlich (Master)
• Vorkenntnisse zu Python, Bildverarbeitung, Machine Learning, Statistik in Data Science