Distributed decision-making in multi-UAV systems : exploring methods, rewards tuning, and operating mode adaptation

Prise de décision distribuée dans les systèmes multi-UAV : exploration des méthodes, réglage des récompenses et adaptation du mode de fonctionnement

• Auteur / Autrice : Mohand Hamadouche
• Direction : Catherine Dezan, Kalinka Branco
• Type : Thèse de doctorat
• Discipline(s) : Informatique et architectures numériques
• Date : Soutenance le 29/02/2024
• Etablissement(s) : Brest
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication en Bretagne Océane (Brest)
• Partenaire(s) de recherche : Laboratoire : Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance
• Jury : Président / Présidente : Jean-Philippe Babau
• Jury : Examinateurs / Examinatrices : Catherine Dezan, Kalinka Branco, Jean-Philippe Babau, Nathalie Mitton, Stéphane Mocanu, David Espès, Kathia Marçal de Oliveira
• Jury : Rapporteurs / Rapporteuses : Nathalie Mitton, Stéphane Mocanu

Mots clés

Mots clés contrôlés

Planification -- Informatique

Intelligence artificielle répartie

Drones

Mots clés libres

Planification de mission

Prise de décision

Processus de décision de Markov

Auto-adaptation

Réseaux Bayésiens

Véhicules autonomes

Mission planning

Decision-making

Markov decision process

Self-adaptation

Bayesian networks

Autonomous vehicles

Résumé

Les véhicules aériens sans pilote (UAV) prospèrent dans des environnements difficiles, améliorant la qualité des missions, la productivité et la sécurité. Opérer dans des contextes imprévisibles nécessite une prise de décision indépendante en temps réel pour une gestion efficace des missions. Ce document se concentre sur les missions collaboratives multi-UAV, couvrant : 1) la sélection d’une méthode de planification de mission basée sur des critères spécifiques, 2) l’auto-adaptation des politiques grâce à l’ajustement des récompenses, et 3) l’adaptation du mode opératoire basée sur un réseau bayésien dans un système collaboratif multi-UAV. Pour la planification de mission, un cadre de processus de décision de Markov (MDP) est mis en avant, avec une étude comparative de trois méthodes fondamentales de résolution des MDP pour aider à la sélection de méthode en fonction des critères du problème. L’utilisation de moteurs de décision basés sur les MDP au niveau du système multi-UAV peut entraîner des conflits, et le mécanisme de gestion des conflits proposé, basé sur l’adaptation des récompenses, aborde la détection et la résolution des conflits parmi les UAVs. Enfin, un mécanisme de commutation de mode local et hybride basé sur un réseau bayésien est exploré pour permettre l’auto-adaptation des politiques, piloté par une surveillance continue de la qualité de Service (QoS) pour optimiser la planification des missions et atteindre une autonomie totale des drones.

Unmanned Aerial Vehicle (UAV)s thrive in challenging environments, improving mission quality, productivity, and safety. Operating in unpredictable settings requires independent realtime decision-making for effective mission management. This document focuses on multi-UAV collaborative missions, covering: 1) selecting a mission planning method based on specific criteria, 2) self-adapting policies through reward tuning, and 3) Bayesian Network (BN)-based operating mode adaptation in a collaborative multi-UAV system. For mission planning, a Markov Decision Process (MDP) framework is highlighted, with a comparative study of three fundamental MDP resolution methods to help in method selection based on problem criteria. The use of MDP-based decision engines at the multi-UAV system level may lead to conflicts, and the proposed conflict management mechanism, based on rewards adaptation, addresses conflict detection and resolution among member UAVs. Finally, a local and hybrid mode switching mechanism based on BN is explored to enable policy self-adaptation, driven by continuous Quality of Service (QoS) monitoring for optimizing mission planning and achieving total drone autonomy.