Apprentissage par renforcement pour la navigation olfactive dans un écoulement turbulent

Reinforcement Learning for Olfactory Navigation in a Turbulent Flow

• Auteur / Autrice : Vaibhav Chaturvedi
• Direction : Christophe Eloy
• Type : Projet de thèse
• Discipline(s) : Sciences pour l'ingénieur : spécialité Mécanique et Physique des Fluides
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : Ecole Doctorale Sciences pour l'Ingénieur : Mécanique, Physique, Micro et Nanoélectronique
• Partenaire(s) de recherche : Laboratoire : IRPHE - Institut de Recherche sur les Phénomènes Hors Equilibre

Mots clés

Mots clés libres

Apprentissage par renforcement

Navigation olfactive

Turbulence

Reinforcement learning

Olfactory navigation

Turbulence

Résumé

Localiser une source d'odeur dans un environnement turbulent est une tâche réalisée par de nombreux animaux qui utilisent leur odorat pour trouver de la nourriture ou des partenaires. Élucider les principes théoriques de la navigation olfactive n'est pas seulement d'un intérêt direct pour la compréhension du comportement animal. C'est également crucial pour le développement d'applications allant des robots renifleurs pour la détection de mines antipersonnel à la lutte écologique contre les ravageurs en agriculture. La navigation guidée par les odeurs est un problème complexe, car les flux turbulents déforment et perturbent les zones de concentration, créant des filaments déconnectés de haute concentration sur un fond vide. Le chercheur doit donc prendre des décisions basées sur un signal olfactif hautement intermittent composé de quelques détections d'odeurs séparées par de longues périodes de vide. Les solutions existantes à ce problème reposent sur des hypothèses irréalistes et ont été obtenues dans des environnements hautement idéalisés. L'objectif de cette thèse de doctorat est d'identifier les principes clés de la navigation basée sur les odeurs dans des flux turbulents. Nous utiliserons l'apprentissage par renforcement pour entraîner des agents virtuels dans un environnement numérique qui simulera le problème de la navigation olfactive. Ce cadre nous permettra d'aborder des questions ouvertes telles que l'importance des indices hydrodynamiques, l'avantage offert par des capteurs distribués et le rôle de la mémoire. Différents environnements de flux turbulents associés à différents régimes de dispersion des odeurs seront envisagés, dans le but ultime de relier les caractéristiques comportementales des agents entraînés aux caractéristiques physiques de la dispersion induite par les flux.

Locating a source of odor in a turbulent environment is a task performed by numerous animals which use their sense of smell to find food or mates. Elucidating the theoretical principles of olfactory navigation is not only of direct interest for understanding animal behavior. It is also crucial for the development of applications ranging from sniffer robots for landmine detection to ecological pest control for agriculture. Odor-guided navigation is challenging problem because turbulent flows distort and disrupt concentration patches, resulting in disconnected filaments of high concentration on an empty background. The searcher must therefore make decisions based on a highly intermittent odor signal made of a few odor detections separated by long periods of voids. Existing solutions to this problem rely on unrealistic assumptions and have been obtained in highly idealized environments. The objective of this PhD thesis is to identify the key principles of odor-based navigation in turbulent flows. We will use reinforcement learning to train virtual agents in a numerical environment that will simulate the problem of olfactory navigation. This setup will allow us to address open questions such as the importance of hydrodynamical cues, the advantage provided by distributed sensors and the role of memory. Different turbulent flow environments associated with different odor dispersion regimes will be considered, with the ultimate goal of relating the behavioral features of the trained agents to the physical features of flow-induced dispersion.