Planification en ligne de la stratégie de navigation pour un drone autonome en environnement urbain

Online planning of the navigation strategy for an autonomous UAV in urban environment

• Auteur / Autrice : Marion Zaninotti
• Direction : Charles Lesire-cabaniols, Caroline Ponzoni carvalho chanel
• Type : Projet de thèse
• Discipline(s) : Robotique et Automatique
• Date : Inscription en doctorat le 19/10/2020
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Systèmes
• Partenaire(s) de recherche : Laboratoire : ISAE-ONERA DECISIO DECIsion, Supervision et Interaction pour l'Opération de systèmes complexes

Mots clés

Mots clés libres

Planification de chemin en ligne

Apprentissage pour la planification

Pomdp

Abstraction d'état

Online path planning

Learning for planning

Pomdp

State abstraction

Résumé

Les drones peuvent aujourd'hui être utilisés pour diverses applications, notamment la robotique de service, l'exploration et la surveillance d'environnements, l'agriculture de précision, ainsi que les missions de recherche et sauvetage. Le besoin de navigation autonome pour les drones devient donc de plus en plus important. Un grand nombre de drones utilisent le GPS (Global Positioning System) pour se localiser. Cependant, en environnement urbain, la position mesurée peut être imprécise, voire indisponible, ce qui peut compromettre la sécurité d'une mission. Dans ce contexte, le problème de navigation efficace et sûre pour un drone autonome, sous une disponibilité du GNSS incertaine, a été modélisé comme un POMDP (Partially Observable Markov Decision Process). Toutefois, la planification dans un modèle aussi complexe souffre d'un coût de calcul élevé et atteint des résultats insuffisants sous des contraintes de temps-réel. Récemment, des recherches se sont concentrées sur l'intégration d'un apprentissage hors ligne afin de guider la planification en ligne. Inspirés par la modélisation de l'état de l'art CAMP (Context-specific Abstract Markov decision Process), nous proposons une méthode consistant à apprendre une contrainte à imposer lors de la planification en ligne de ce problème. Imposer cette contrainte permet de réaliser une abstraction de l'espace d'état, en limitant la navigation du drone à l'intérieur d'un couloir de l'environnement. Nous généralisons ensuite cette méthode à l'ensemble des problèmes de navigation SSP (Stochastic Shortest Path) avec dead ends. Le poids attribué à la sécurité par rapport à l'efficacité du chemin est appris, un chemin global est ensuite planifié en fonction de ce poids, et la contrainte est déduite de ce chemin global. La résolution repose alors sur une hybridation entre la planification de chemin global et la planification de chemin en ligne. Puis, nous appliquons cette méthode généralisée au problème FrozenLake, dans lequel un agent cherche un chemin à travers un lac gelé menant à un but tout en évitant les trous, et au problème initial de navigation de drone. Les conclusions de l'ensemble des expérimentations démontrent que l'utilisation d'une telle méthode peut améliorer la qualité des solutions obtenues par une planification en ligne, en particulier pour des environnements et missions de navigation complexes.

UAVs can now be used for various applications, including service robotics, exploration and monitoring of environments, precision agriculture, as well as search and rescue missions. The need for autonomous navigation for UAVs is therefore becoming increasingly important. Many UAVs use GPS (Global Positioning System) for localization. However, in urban environments, the measured position can be inaccurate or even unavailable, which can compromise mission safety. In this context, the problem of efficient and safe navigation for an autonomous UAV, under uncertain GNSS availability, has been modeled as a POMDP (Partially Observable Markov Decision Process). Nevertheless, planning in such a complex model suffers from high computational cost and yields insufficient results under real-time constraints. Recently, research has focused on integrating offline learning to guide online planning. Inspired by the state-of-the-art CAMP (Context-specific Abstract Markov Decision Process) modeling, we propose a method that involves learning a constraint to be imposed during online planning for this problem. Imposing this constraint allows for an abstraction of the state space by restricting the UAV's navigation to a corridor within the environment. We then generalize this method to all SSP (Stochastic Shortest Path) problems with dead ends. The weight assigned to safety versus path efficiency is learned, a global path is planned based on this weight, and the constraint is derived from this global path. The resolution thus relies on a hybrid approach combining global path planning and online path planning. Afterward, we apply this generalized method to the FrozenLake problem, where an agent seeks a path across a frozen lake to reach a goal while avoiding holes, and to the initial UAV navigation problem. The results of all the experiments demonstrate that using such a method can improve the quality of solutions obtained through online planning, particularly for complex navigation environments and missions.