Modélisation et prédiction du comportement humain au volant à l'aide de l'apprentissage par renforcement multi-agents

Modelling and Prediction of Human Driving Behavior using Multi-Agent Reinforcement Learning

• Auteur / Autrice : Abdelghani Ghanem
• Direction : Philippe Ciblat, Mounir Ghogho
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 12/01/2021
• Etablissement(s) : Institut polytechnique de Paris en cotutelle avec Université Internationale de Rabat
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Equipe de recherche : GTO : Télécommunications Optiques

Mots clés

Mots clés libres

Apprentissage par renforcement

Apprentissage par renforcement multi-agents

Ai

Ai

Reinforcement learning

Multi agent reinforcement learning

Résumé

La littérature sur la conduite autonome a établi qu'il est impossible de construire un cas statistiquement significatif pour le sécurité d'un système uniquement par le biais de tests dans le monde réel. La validation par simulation est une alternative au monde réel tests, avec la capacité d'évaluer les performances du véhicule dans un grand nombre de scènes rapidement, en toute sécurité et économiquement. Cette thèse vise à étendre les travaux de pointe sur l'apprentissage par imitation et l'apprentissage par renforcement multi-agents pour améliorer notre capacité à générer avec précision des scénarios de conduite réalistes. Dans de tels environnements critiques pour la sécurité, des modèles représentatifs du comportement humain de conduite sont essentiels à la validation des systèmes de conduite autonome. En fait, dans cette thèse, nous modélisons la conduite comme un problème de prise de décision séquentielle sous incertitude. En particulier, les processus décisionnels de Markov sont couramment utilisés pour ce type de problèmes. La conduite présente deux défis principaux du point de vue des techniques de solution MDP. Premièrement, la fonction de coût (également appelée fonction de récompense) est difficile à définir. Deuxièmement, les espaces d'état et d'action sont continus, ce qui rend les méthodes de résolution tabulaires inappropriées. Dans notre travail, nous nous intéressons au premier, car ce dernier est résolu, en général, en utilisant des politiques de conduite de réseau de neurones profonds qui peuvent fonctionner pour des espaces d'état-action continus sans nécessiter une énumération tabulaire. Pour traiter le problème de la conception d'une fonction de récompense succincte pour la tâche de conduite humaine, nous prévoyons de proposer trois travaux différents. Dans le premier travail candidat, nous prévoyons d'introduire un nouvel algorithme pour le problème d'attribution de crédit temporel. L'idée est de concevoir le problème de l'attribution de récompenses épisodiques comme un apprentissage du classement à partir de données implicites qui permettra de décomposer la récompense épisodique en parties et donc de les réaffecter à chaque pas de temps de la trajectoire sous forme de classements d'actions. Dans le deuxième travail du candidat, nous nous appuyons sur des études allant de la psychologie à l'ingénierie d'une fonction de récompense pour la tâche de conduire comme un humain. Cette fonction s'inspire des fonctions de coûts proposées dans des travaux antérieurs dans lesquels les agents sont entraînés à se rendre le plus rapidement possible vers différentes destinations échantillonnées au hasard sans entrer en collision avec d'autres agents. Dans le troisième travail candidat, nous nous appuyons sur l'extension des travaux de pointe sur l'apprentissage par imitation en incorporant des conditions de circulation mixtes. Cette approche repose sur l'utilisation de données de démonstration d'agents experts, c'est-à-dire de conducteurs humains, pour résoudre le MDP de conduite. Il convient de souligner que, même si chacun de ces travaux individuels semble isolé, ils ont tous un objectif commun qui est de développer des agents RL qui peuvent imiter le comportement humain. De plus, étant donné la complexité de la modélisation du conducteur humain, les trois approches pourraient être combinées (bien sûr avec une formulation appropriée du problème) pour construire des simulateurs de conduite personnalisés plus humains. Par exemple, les deux premiers travaux pourraient être combinés pour incorporer différents styles de conduite et règles de circulation, et le troisième travail pourrait être utilisé pour incorporer une dynamique de modèle réaliste en tenant compte des conditions de circulation mixtes. Dans notre thèse, nous proposons un quatrième travail candidat qui combine les trois premiers afin de développer le premier simulateur de conduite personnalisé marocain qui présente différents styles de conduite des conducteurs marocains.

The autonomous driving literature has established that it is infeasible to build a statistically significant case for the safety of a system solely through real-world testing. Validation through simulation is an alternative to real-world testing, with the ability to evaluate vehicle performance in large numbers of scenes quickly, safely, and economically. This thesis seeks to extend state-of-the-art work on both imitation learning and multi-agent reinforcement learning to improve our ability to accurately generate realistic driving scenarios. In such safety critical settings, representative models of human driving behavior are essential in the validation of autonomous driving systems. In fact, in this thesis, we model driving as a sequential decision-making problem under uncertainty. In particular, Markov Decision Processes are commonly used for such types of problems. Driving presents two main challenges from the perspective of MDP solution techniques. First, the cost function (also known as the reward function) is hard to define. Second, the state and action spaces are continuous making tabular solution methods unsuitable. In our work, we're interested in the former one, since the latter is solved, in general, by using deep neural network driving policies that can work for continuous state-action spaces without requiring tabular enumeration. To deal with the problem of designing a succinct reward function for the task of human-like driving, we plan to propose three different works. In the first candidate work, we plan to introduce a new algorithm for the temporal credit assignment problem. The idea is to design the problem of episodic reward assignment as a learning to rank from implicit data which will allow the decomposition of the episodic reward into parts and hence assign them back to each time step in the trajectory in the form of action rankings. In the second candidate work, we rely on studies from psychology to engineering a reward function for the task of driving like a human. This function is inspired by the costs functions proposed in previous works in which agents are trained to drive to different randomly sampled destinations as quickly as possible without colliding with other agents. In the third candidate work, we rely on extending the state-of-the-art work on imitation learning by incorporating mixed traffic conditions. This approach relies on using demonstration data from expert agents, i.e., human drivers to solve the driving MDP. It is worth pointing out that, even though each one of these individual works seems isolated, they all have one common goal which is to develop RL agents that can mimic human behavior. Moreover, given the complexity of human driver modeling, all of the three approaches could be combined ( of course with a proper problem formulation ) to construct more human-like personalized driving simulators. For instance, the first two works could be combined to incorporate different driving styles and traffic road rules, and the third work could be used to incorporate realistic model dynamics by accounting for mixed traffic conditions. In our thesis, we propose a fourth candidate work that combines the former three in order to develop the first Moroccan personalized driving simulator that exhibits different driving styles of Moroccan drivers