Apprentissage pour la sécurité dans les réseaux véhiculaires
Auteur / Autrice : | Jialin Hao |
Direction : | Djamal Zeghlache, Rola Naja |
Type : | Thèse de doctorat |
Discipline(s) : | Informatique, données, IA |
Date : | Soutenance le 26/02/2024 |
Etablissement(s) : | Institut polytechnique de Paris |
Ecole(s) doctorale(s) : | École doctorale de l'Institut polytechnique de Paris |
Partenaire(s) de recherche : | Laboratoire : SAMOVAR - Services répartis, Architectures, Modélisation, Validation, Administration des Réseaux - Département Réseaux et Services Multimédia Mobiles / RS2M - Institut Polytechnique de Paris / IP Paris |
Etablissement opérateur d'inscription : Télécom SudParis (France) | |
Equipe de recherche : Network Systems and Services / NeSS-SAMOVAR | |
Jury : | Président / Présidente : Pascal Lorenz |
Examinateurs / Examinatrices : Khaled Boussetta, Salah Eddine El Ayoubi, Thi-Mai-Trang Nguyen, Makhlouf Hadji | |
Rapporteurs / Rapporteuses : Khaled Boussetta, Salah Eddine El Ayoubi |
Mots clés
Résumé
Cette thèse porte sur le développement d'une manœuvre d'aide au changement de voie (lane Change Assistance, LCA) sûre et efficace dans le contexte des réseaux de véhicules assistés par drones (Drone Assisted Vehicular Network, DAVN). En effet, les changements de voie contribuent de manière significative aux accidents de la route, nécessitant des solutions efficaces au sein des réseaux routiers. Les LCA stratégies actuelles établies sur l'apprentissage par renforcement profond (Deep Reinforcement Learning, DRL) sont limitées par les informations locales sur les véhicules, négligeant une vue globale, comme des conditions de circulation. Pour résoudre ce problème, les véhicules aériens sans pilote (Unmanned Aerial Vehicles, UAVs), ou drones, présentent une extension prometteuse des services de réseau automobile grâce à leur mobilité, capacités informatiques et liaisons de communication en visibilité directe (Line-if-Sight, LoS) avec les véhicules routiers. Dans un premier temps, nous faisons une étude bibliographique sur LCA au sein du DAVN, mettant en évidence le potentiel des drones pour améliorer la sécurité routière. Les approches LCA existantes s'appuient principalement sur des informations locales sur les véhicules et ne prennent pas en compte l'état global du trafic. Afin de réduire cette limitation, nous proposons le GL-DEAR : joint global and local drone-assisted lane change platform based on Deep-Q Network (DQN) with a dynamic reward function, for LCA with drones' assistance. La plateforme proposée se compose de trois modules : route à risques aléatoires et véhicules d'urgence ; acquisition et traitement des données ; prise de décision de changement de voie en temps réel. La manœuvre de changement de voie est basée sur un Deep Q-Network avec des fonctions de récompense dynamiques. Plus précisément, nous adoptons les modèles de changement de voie authentiques basés sur l'ensemble de données NGSIM pour les véhicules routiers ordinaires afin de recréer les comportements de changement de voie du monde réel dans les simulations. Les résultats numériques démontrent la capacité de la plateforme à réaliser des trajets sans collision sur des autoroutes à risque avec des véhicules d'urgence. Dans un deuxième temps, nous identifions un manque de calibrage de la fréquence de mise à jour globale des algorithmes d'apprentissage fédéré (Federated Learning, FL) et l'absence d'évaluation approfondie du délai de traitement au niveau du drone. Nous proposons donc un cadre d'apprentissage par renforcement fédéré (FRL) assisté par drone, DAFL. Ce cadre permet un apprentissage coopératif entre les véhicules de l'ego en appliquant FL. Il comprend un algorithme d'agrégation de modèles global basé sur la réputation du client et une analyse complète du délai de bout en bout (End-to-End, E2E) au niveau du drone. Plus précisément, la fréquence globale de mise à jour est ajustée dynamiquement en fonction des mesures de sécurité routière et de la consommation énergétique des drones, ce qui donne des résultats efficaces dans les simulations. Dans la troisième étape, nous concevons l'algorithme DOP-T pour optimiser les trajectoires des drones dans les réseaux de véhicules dynamiques. Cet algorithme vise à équilibrer la consommation énergétique des drones et la sécurité routière. Nous fournissons un état de l'art complet des techniques existantes de planification de trajectoire de drones. Ensuite, sur la base de la modélisation du délai E2E du véhicule et de la modélisation de la consommation d'énergie du drone. Dans la seconde étape, nous formons un modèle d'apprentissage par renforcement hors ligne (Offline-Reinforcement Learning, ORL) pour éviter une formation en ligne consommatrice d'énergie. Les résultats de la simulation démontrent une réduction significative de la consommation d'énergie des drones et du délai E2E du véhicule à l'aide du modèle entraîné.