Methodes pour contrôle prédictif en ligne de robots aeriens multi-rotors pour des tâches orientées perception et sujet à des contraintes capteurs/moteurs

Methods for Online Predictive Control of Multi-rotor Aerial Robots with Perception-driven Tasks subject to Sensing and Actuation Constraints

• Auteur / Autrice : Martin Jacquet
• Direction : Antonio Franchi
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 23/08/2022
• Etablissement(s) : Toulouse, INSA
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : LAAS - Laboratoire d'Analyse et d'Architecture des Systèmes - Laboratoire d'analyse et d'architecture des systèmes / LAAS
• Jury : Président / Présidente : Simon Lacroix
• Jury : Examinateurs / Examinatrices : Margarita Chli
• Jury : Rapporteurs / Rapporteuses : Alexis Kostas, Paolo Robuffo Giordano

Mots clés

Mots clés contrôlés

Drones

Robots

Mots clés libres

Perception

Contrôle prédictif

Robots aériens

Systèmes multi-Robots

Perception

Predictive control

Aerial robots

Multi-Robots systems

Résumé

Les drones se sont d'ors et déjà rendus indispensables dans de très nombreuses applications, notamment dans les domaines de la création photographique ou vidéo, ou tout simplement dans des activités de loisir. En parallèle, l'image des robots aériens autonomes s'est elle aussi répandue dans l'imaginaire collectif, de telle sorte que de très nombreuses applications, du quotidien comme dans des domaines plus spécifiques, s'envisagent aujourd'hui fortement sous ce spectre. On peut notamment citer l'image récurrente de livraison à domicile par des drones, ou bien le déploiement de flottes de robots pour des activités d'observation en environnement difficile d'accès.La recherche en robotique aérienne est elle très active depuis de nombreuses années, et l'état de l'art ne cesse de s'améliorer, que ce soit via la conception de robots de plus en plus performants, ou le perfectionnement des algorithmes embarqués qui permettent une autonomie toujours plus grande.Le déploiement de ces robots dans le cadre d'applications en environnement non-contrôlé pose de nombreux problèmes logistiques, notamment liés à la perception de l'environnement. L'usage de capteurs extéroceptifs est donc fondamental pour la plupart des applications en autonomie. Parmis ces capteurs, les caméras tiennent notamment une place de choix. Cette place tient d'un part de leur simplicité de conception et d'intégration, due à leur très faible taille et poids, mais également de la conception même des environnements de travail humains, qui sont très fortement basés sur des marqueurs visuels (panneaux, signaux lumineux...) En revanche, les impératifs liés au maintien de la visibilité de certains objets ou phénomènes entrent régulièrement en conflit avec les aux autres taches à accomplir pour le robot, ou tout simplement avec ses impératifs de mouvement. Cet effet est d'autant plus important que la plupart des robots aériens possèdent un fort couplage entre la position du robot et son orientation : le robot doit s'incliner dans une direction donnée afin de se déplacer latéralement, affectant donc l'orientation des capteurs. Partant de ce constat, la communauté scientifique travaille à la production d'algorithmes sensorimoteurs pouvant produire des mouvements tout en tenant compte de la perception de l'environnement.Cette thèse s'inscrit dans ce contexte, en vue de proposer des méthodes de contrôle incluant des contraintes liées au maintient des phénomènes d'intérêt dans le champ de vision des capteurs. De plus, afin d'assurer la faisabilité des commandes générées, il est nécessaire de prendre en compte les différentes contraintes d'actionnement des robots.Afin de lier ces différents aspects dans un formalisme commun, les solutions proposées s'appuient sur des méthodes de contrôle optimal et prédictif. Ces méthodes, basées sur de l'optimisation numérique, nécessitent la définition de modèles dynamiques et perceptifs précis et complets, ce qui implique de considérer les non-linéarité des systèmes, qui sont parfois mises de côté à des fins de simplification.Les contributions de cette thèse consistent dans un premier temps en l'agrégation des différents concepts dans un paradigme commun, puis à la formalisation des fonctions mathématiques permettant d'exprimer les objectifs et contraintes relatifs à la perception. Ce même paradigme est utilisé pour la résolution de plusieurs problèmes liés à des taches courantes en robotique aérienne, notamment le suivi de phénomènes dynamiques, ou encore la localisation visuelle-inertielle. Finalement, les solutions proposées sont implémentées sur les robots, et éprouvées via diverses simulations et expériences.Les travaux effectués au cours de cette thèse ont donné lieu à diverses publications dans des conférences et journaux internationaux. L'intégralité des productions logicielles issues de ces travaux sont publiées en tant que code libre à disposition de la communauté robotique.

Drones have an increasing place in numerous applications already started to take advantage from those, in particular in the fields of photography and video making, or simply for leisure activities. Simultaneously, the picture of autonomous aerial robots widely spread as a mark of innovation, such that many civilian of industrial applications are now envisioned through this aspect. One could cite, for instance, the persistent idea of aerial home delivery of goods, exploited by many companies. Another spread use-case is the deployment of fleets of aerial robots for monitoring activities, in hard-to-access environments, such as high mountains.The aerial robotics research community is active from numerous years, and the state of the art keeps improving, being through the conception of novel, more adaptive control algorithms, or the improvements of the hardware designs, opening new ranges of possibilities.The deployment of such robots in the scope of applications in uncontrolled environments comes with a lot of challenges, in particular regarding the perception of the surroundings. Exteroceptive sensors are indeed mandatory for most of autonomous applications. Among those sensors, cameras hold a peculiar position.It is on the one hand due to the simple onboard integration with their small size and weight,and on the other hand to the design of human-made environments, which are heavily built around visual markers (signs, illuminated signals...) However, maintaining visibility over objects or phenomenon often collide with the motion requirements of the robot, or with the tasks to which it is assigned. This effect is prominent when using underactuated robots, which are the most widely spread types of aerial vehicles, partly because of their higher energy efficiency. This property implies a strong coupling between position and orientation: the robot needs to tilt to move, and corollary moves when it tilts, thus altering the sensor bearing.From this assessment, the robotics community works to produce sensorimotor algorithms, able to produce motions while accounting for perception.This thesis takes place in this context, aiming at proposing such control methods to enforce the visibility over a phenomenon of interest through the onboard sensors. Moreover, to ensure the feasibility of the generated commands, it is required to account for the various actuation limitations of the robots. Finally, this thesis devotes to propose generic formulations, thus avoiding to propose ad hoc solutions, which would be contingent to a specific problem.To tackles these aspects under a common formalism, the proposed solutions are based on optimal and predictive control policies. These are based on numerical optimization, implying the need of accurate models, and thus accounting for the system nonlinearities, which are often disregarded for simplification.The contributions of this these are the aggregation of the various concepts in a common paradigm,and the formalization of the various mathematical functions transcribing the objectives and constraints related to perception. This paradigm is used in the scope of several applications related to usual perception-driven tasks in aerial robotics, namely the tracking of dynamic phenomenon, the improvement of this tracking, or the visual-inertial localization. Finally, the proposed solutions are implemented and tested in simulations and on real aerial robots.The work conducted throughout this thesis led to various publications in international peer-reviewed conferences and journals. All the related software production from these works are published open-source for the robotics community.