Apprentissage par renforcement pour la locomotion optimale de micro-nageurs dans un environnement chaotique complexe

Reinforcement learning for the optimal locomotion of micro-swimmers in a complex chaotic environment

• Auteur / Autrice : Zakarya El khiyati
• Direction : Jérémie Bec
• Type : Projet de thèse
• Discipline(s) : Doctorat mathematiques
• Date : Inscription en doctorat le 01/10/2021
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences fondamentales et appliquées
• Partenaire(s) de recherche : Laboratoire : INRIA - CALISTO - Approches Stochastiques pour les Ecoulements Complexes et l'Environnement

Mots clés

Mots clés libres

Micro-nageurs flagellés

Dynamique chaotique

Apprentissage statistique

Turbulence

Optimisation

Particules actives

Active particles

Flagellated micro-swimmers

Statistical learning

Optimization

Chaotic dynamics

Turbulence

Résumé

Ce projet de thèse porte sur les stratégies de déplacement des micro-nageurs flagellés dont le mouvement a pour origine le battement de leur queue. Lorsque de telles particules actives sont immergées dans un écoulement fluide, leurs ondulations entrent en compétition avec les courants, les contraintes et les déformations infligées par leur environnement. L'objectif est d'aborder ces situations complexes à l'aide de simulations numériques. L'idée est de coupler ces simulations à des algorithmes d'apprentissage par renforcement afin de construire des stratégies optimales combinant une technique de nage efficace et une navigation intelligente dans un environnement complexe composé de murs, d'obstacles et de propriétés fluctuantes du milieu environnant. Une des principales difficultés est de faire face au caractère hautement chaotique de la dynamique des nageurs, responsable d'une forte variabilité de l'efficacité d'apprentissage, et nécessitant donc le développement de nouvelles approches statistiques ou l'utilisation de techniques multi-agents d'apprentissage automatique. Ce sujet est particulièrement nouveau, opportun et d'une grande pertinence pour les applications médicales qui mettent en avant l'utilisation de micro-dispositifs artificiels pour la chirurgie minimalement invasive, l'administration ciblée de médicaments ou les diagnostics de précision.

This thesis project deals with the displacement strategies of flagellated microswimmers that move by beating their tail. When such active particles are immersed in a fluid flow, their swimming undulations have to compete with the drifts, strains and deformations inflicted by their environment. The objective is to address such intricate situations using numerical simulations. The idea is to couple these simulations to reinforcement learning algorithms in order to construct optimal strategies combining an efficient swimming technique and a smart navigation in a complex environment made of walls, obstacles, and fluctuating properties of the surrounding media. A main difficulty is to cope with the highly chaotic character of the swimmers dynamics yielding strong variability in learning efficiencies, that require developing new statistical approaches and using multi-agent or adversarial machine-learning techniques. This subject is particularly novel, timely, and of significant relevance to medical applications that promote the use of artificial micro-devices for minimally-invasive surgery, targeted drug delivery or focused diagnosis.