2025 - B.Sc. Julius Braun-Dullaeus
Die Gesellschaft für angewandte Signalverarbeitung (GaS) e.V. zeichnet jedes Jahr Studierende im Bereich der digitalen Signalverarbeitung und Systemtheorie aus, die herausragende Abschlussarbeiten durchgeführt haben. Besonderes Augenmerk liegt bei der Auszeichnung auf dem wissenschaftlichen und technischen Anspruch sowie dem Praxisbezug der Arbeit. Daneben werden das Engagement des Studierenden und seine Fähigkeit, interdisziplinär und im Team zu arbeiten, bewertet.
Wir freuen uns, Julius Braun-Dullaeus für seine Bachelorarbeit zum Thema „Stochastische Beobachtungsmodellierung für eine Deep Reinforcement Learning Umgebung“ mit dem diesjährigen GaS-Preis auszuzeichnen. Betreut wurde die Arbeit von Christian Kanarski.
Julius Braun-Dullaeus untersuchte, wie realistische SONAR-Beobachtungen stochastisch modelliert und effizient generiert werden können. Physikalisch genaue Umgebungssimulationen sind rechenintensiv, während KI-gestützte Trainingsansätze eine schnelle und flexible Datengenerierung erfordern. Ziel seiner Arbeit war es daher, Daten aus einer bestehenden Umgebungssimulation stochastisch nachzubilden, um schnell neue Trainingsdaten für einen Deep Reinforcement Learning (DRL) Ansatz erzeugen zu können.
Der praktische Anwendungsfall ist folgendes sicherheitskritisches Szenario: Ein DRL-Agent soll in einer Hafenumgebung einen eindringenden Taucher durch die passende Wahl eines SONAR-Scan Modus sichtbar machen, bevor dieser Schaden an anliegenden Schiffen anrichten kann. Julius Braun-Dullaeus analysierte dazu generierte SONAR-Scans aus der Umgebungssimulation des lehrstuhlinternen Echtzeitrahmenwerks. Mithilfe verschiedener Ansätze der stochastischen Korrelations- und Verteilungsmodellierung, wie der Verwerfungs- und Inversionsmethode, entwickelte er einen Ansatz zur schnellen Generierung von geeigneten Trainingsdaten. Hierbei war das übergeordnete Ziel, dass ein DRL-Agent, der anhand dieser Beobachtungen trainiert wird, auch in der späteren Zielumgebung das gleiche erlernte Verhalten aufweist, um die zuverlässige Taucherdetektion zu ermöglichen.
Seine Auswertung zeigte, dass die Inversionsmethode die Zielverteilungen am besten darstellte und gleichzeitig eine schnelle Datengenerierung erlaubte. Auf dieser Basis ließ Julius Braun-Dullaeus auch einen DRL-Agenten trainieren, der den Taucher in der Trainingsumgebung zuverlässig durch Wahl der passenden Scan-Modi sichtbar machen konnte. Auch beim Einsatz des trainierten Agenten wurde eine deutlich höhere Kompatibilität mit der Zielumgebung im Vergleich zu vorherigen Ansätzen gezeigt. Ergänzend untersuchte er weitere Lokalisierungsmethoden auf Basis eines Faltungsnetzes (CNN), um auch die nachfolgende Detektionsrate für zukünftige Trainingsansätze zu verbessern.
Die Arbeit vereint ein tiefes Verständnis der SONAR-Signalverarbeitung, stochastischer Modellierung und moderner KI-Methoden zur Steuerung autonomer Systeme. Julius Braun-Dullaeus demonstrierte, wie theoretische Modellierungsansätze erfolgreich in einen robusten Generator für Trainingsdaten überführt werden und hiermit ein KI-Agent zur autonomen Steuerung eines SONAR-Systems trainiert werden konnte. Vor allem sein strukturiertes und gleichermaßen kreatives Vorgehen, seine analytische Denkweise und sein Engagement im Team werden mit dieser Auszeichnung gewürdigt.