Modelling realistic mixed traffic behavior with imitation learning
Trotz kontinuierlicher Entwicklung von Transportmitteln und -infrastrukturen stellen Verkehrsunfälle weiterhin unvermeidbare Risiken dar, die minimiert werden sollten. Insbesondere in Szenarien mit gemischten Verkehren sollte ein Schwerpunkt auf dem Schutz verletzlicher Verteilnehmer:innen (z.B. Fußgänger:innen, Fahrradfahrer:innen) liegen.
Die Bewertung der Verkehrssicherheit in solchen Szenarien durch eine realistische Simulation mit heterogenen Verkehrsmodellen kann dazu beitragen, Gefahren abzuschätzen bzw. zu kontrollieren. Diese Verkehrsmodelle sind auch für selbstfahrende Autos erforderlich, deren sichere Navigation von präzisen Vorhersagen des Verhaltens benachbarter Verkehrsteilnehmer:innen abhängt.
Die Entwicklung dieser Verkehrsmodelle ist jedoch aufgrund der großen Anzahl möglicher Wechselwirkungen zwischen heterogenen Verkehrsteilnehmer:innen eine Herausforderung. Ein Ansatz zur Bewältigung dieser Herausforderung besteht darin, Datensätze über Verkehrsbewegungen, in denen normales und stabiles Systemverhalten demonstriert wird, zu nutzen. In solchen Datensätzen bewegen sich die Verkehrsteilnehmer:innen normal und versuchen, sicher und effizient zu navigieren; daher ist es vorteilhaft, Datensätze mit stabilem Systemverhalten als Lernziel für Verkehrsmodelle zu verwenden.
In der Literatur werden ähnliche Probleme des Lernens stabiler, gemeinsamer Verhaltensweisen auf Basis optimaler Demonstrationen mit Multi-Agenten Imitationslernverfahren genutzt. Diese Verfahren verwenden interaktives Reinforcement Learning in einer simulierten Umgebung mit datengestützten, erlernten Belohnungen, um ein vorgegebenes Systemverhalten realistisch zu nachzuahmen.
In dieser Dissertation werden zwei neue Imitationslernverfahren für die Modellierung von Mischverkehrsbewegungen entwickelt. Das erste nutzt einen Supervised Learning-Ansatz namens Behavior Cloning mit einer tiefen neuronalen Netzwerkarchitektur, die sich für das Extrahieren aussagekräftiger Saliency Maps der Vorhersagen eignet. Durch diese Saliency Maps kann der interne Arbeitsablauf des Modells besser analysiert und verstanden werden. Die Extraktion der Saliency Maps wird durch die sicherheitskritische Natur von Verkehrssystemen motiviert, in denen die Interpretierbarkeit ein wichtiges Merkmal für das Auffinden von Fehlern und zur Erhöhung des Vertrauens in Verkehrsmodelle ist. Das zweite Imitationslernverfahren verwendet ein erweitertes Belohnungssystem, das sowohl einen manuell gestalteten Teil als auch einen datengestützten Teil umfasst, um ein Reinforcement-Learning-Modell in einer Simulationsumgebung zu trainieren.
Schließlich beschreiben wir aufgrund der essentiellen Rolle präziser Verkehrsbewegungen beim Training von Verkehrsmodellen eine neuartige Multi-Objekt-Erfassungs- und -Verfolgungspipeline zur Extraktion von Verkehrsbewegungen aus stationären Top-View-Drohnenvideos.
Die Beiträge dieser Dissertation lassen sich wie folgt zusammenfassen: Erstens entwickeln wir ein neues, realistisches Multi-Agenten-Mischverkehrsmodell, das in der Lage ist, Langzeitbewegungen vorherzusagen. Zweitens verbessern wir die post-hoc Erklärung der Vorhersagen durch eine neue Verkehrsmodellarchitektur, die speziell für die effiziente Extraktion aussagekräftiger Saliency Maps konzipiert ist. Drittens entwickeln wir unter Berücksichtigung der spezifischen Bedingungen von Verkehrs-Drohnenvideos eine effiziente Multi-Objekt-Erfassungs-und-Verfolgungspipeline.
Despite the continuous development of transportation media and infrastructures, traffic accidents still represent contingencies that should be minimized, especially in mixed traffic situations where vulnerable and non-vulnerable road users interact.
Evaluating traffic safety in a given scenario via a realistic simulation with heterogeneous traffic models can help estimate and thus control these contingencies. These traffic models are also needed for self-driving cars, whose safe navigation depends on the accurate predictions of nearby traffic entities' behaviors.
However, developing such models is a challenging task due to the large number of interaction possibilities among heterogeneous traffic participants. One way to approach this task is through the utilization of traffic trajectories datasets where normal stable behavior of the system is demonstrated. In this stable state all participants move normally and try to navigate safely and effectively; therefore, it is beneficial to imitate this state, by using it as a learning objective of these models.
In the literature, similar problems of learning stable joint behaviors of multiple actors based on target demonstrations are handled with multi-agent imitation learning methods. These methods employ interactive reinforcement learning, with data-based learned rewards in a simulation environment, to realistically mimic a needed behavior.
In this thesis, two novel imitation learning models for modeling mixed traffic movements are developed: The first utilizes a supervised learning approach known as behavior cloning with a model architecture suitable for extracting meaningful saliency maps of predictions. Based on these saliency maps, the model's inner workflow can be analyzed and understood better. Extracting these maps is motivated by the safety-critical nature of traffic systems, where interpretability is an important feature for debugging errors and increasing trust in the model. The second model employs an augmented reward model consisting of a manually designed rule-based part and an automatically learned data-based part, to train a reinforcement learning model within a simulation environment.
Lastly, as accurate traffic trajectories are essential for training the models, we describe a novel multi-object detection and tracking pipeline for the task of extracting traffic trajectories from stationary top-view drone videos.
The contributions of this thesis can be summarized as follows: First, we develop a novel realistic multi-agent mixed traffic model capable of long time-horizon prediction. Second, we enhance post-hoc explainability of predictions with a new traffic model architecture customized for efficient extraction of meaningful saliency maps. Third, by exploiting the special conditions of traffic drone videos, we design an efficient multi-object detection and tracking pipeline.
Preview
Cite
Access Statistic
Rights
Use and reproduction:
