Apprentissage à Haut Niveau pour la conduite automatique des Navires en zone dense.

High level training for the automatic control of ships in dense areas.

• Auteur / Autrice : Raphael Teitgen
• Direction : Bruno Monsuez
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Soutenance en 2024
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : U2IS - Unité d'Informatique et d'Ingénierie des Systèmes
• Partenaire(s) de recherche : Equipe de recherche : SAR - Systèmes Autonomes et Robotique
• Jury : Président / Présidente : Luc Jaulin
• Jury : Examinateurs / Examinatrices : Bruno Monsuez, Guillaume Delefortrie, Engelbert Mephu nguifo, Romain Kukla, Javier Ibanez-guzman
• Jury : Rapporteurs / Rapporteuses : Luc Jaulin, Guillaume Delefortrie

Mots clés

Mots clés libres

Apprentissage par renforcement

Fonction décisionnelle générique

Prédiction de navigation

Generic decision function

Reinforcement learning

Navigation prediction

Résumé

Dans les zones maritimes à trafic dense, l'assurance de la sécurité navale demeure la priorité absolue de tout système de navigation autonome. Malgré l'existence de méthodes exactes, elles peinent à offrir une solution universelle, leur application restant souvent limitée à des situations particulières. Cette thèse propose l'élaboration d'une fonction décisionnelle générique basée sur l'apprentissage par renforcement, afin de permettre à un USV d'évoluer dans un milieu densément peuplé d'obstacles fixes et mobiles. Ce modèle devrait donc apprendre à atteindre son objectif tout en naviguant dans un environnement chaotique avec un risque de collision élevé. Pour ce faire, nous proposons que la perception environnementale de l'USV se réalise par l'intermédiaire d'une grille de collisions. Selon les mouvements des divers obstacles, des zones d'attraction seraient mises en place pour définir des zones de navigation pondérées sur cette grille. Nous proposons aussi d'intégrer les COLREGs dans cette grille, afin d'obliger l'USV à respecter les normes de navigation actuelles. Des travaux supplémentaires ont également été consacrés à la vérification de l'application adéquate de ces règles dans des scénarios précis, basés sur les problèmes d'Imazu. Dans le but d'améliorer la stabilité et la prise de décision du modèle prédictif, l'introduction de mécanismes d'attention dans des zones d'observation spécifiques est proposée, ainsi qu'un système de vote inter-modèles pour homogénéiser et corriger les décisions individuelles. Enfin, nous proposons d'évaluer la robustesse du modèle face à des attaques externes, ainsi que la mise en œuvre de stratégies de défense contre ces menaces potentielles grâce à des entraînements adverses.

In maritime zones with dense traffic, ensuring naval safety remains the absolute priority of any autonomous navigation system. Despite the existence of exact methods, they struggle to provide a universal solution, with their application often limited to specific situations. This thesis suggests the development of a generic decision-making function based on reinforcement learning, to enable an USV to operate in an environment densely populated with both static and moving obstacles. Thus, this model should learn to reach its objective while navigating in a chaotic environment with a high risk of collision. To achieve this, we propose that the USV's environmental perception be facilitated through a collision grid. Based on the movements of various obstacles, attraction zones would be established to define weighted navigation areas on this grid. We also suggest integrating the COLREGs into this grid, to compel the USV to comply with current navigation norms. Additional work has been made to verifying the appropriate application of these rules in precise scenarios, based on Imazu's problems. With the aim of enhancing the stability and decision-making of the predictive model, we propose the introduction of attention mechanisms in specific observation areas, as well as an inter-model voting system to standardize and correct individual decisions. Finally, we propose to assess the model's robustness against external attacks, as well as the implementation of defense strategies against such potential threats through adversarial training.