Processus non linéaires réfléchis dédiés à l’optimisation et processus gaussiens non stationnaires

Reflected non-linear stochastic processes for optimisation and non-stationary Gaussian processes

• Auteur / Autrice : Romain Ravaille
• Direction : Julian Tugaut, Olivier Alata
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 07/07/2021
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale Sciences Ingénierie Santé (Saint-Etienne)
• Partenaire(s) de recherche : Laboratoire : Institut Camille Jordan (Rhône ; 2005-....)
• Jury : Président / Présidente : Driss Essouabri
• Jury : Examinateurs / Examinatrices : Driss Essouabri, Aline Kurtzmann
• Jury : Rapporteur / Rapporteuse : Samuel Herrmann, Pierre Del Moral

Mots clés

Mots clés contrôlés

Optimisation mathématique

Mesures invariantes

Processus gaussiens

Processus stochastiques

Mots clés libres

Processus stochastique non-linéaire

Processus stochastique réfléchis

Processus gaussiens non-stationnaires

Séparation de noyaux

Temps de sorties

Propagation du chaos

Mesures invariantes

Optimisation

Nonlinear stochastic process

Reflected stochastic processes

Non-stationary Gaussian processes

Nucleus separation

Exit times

Spread of chaos

Invariant measures

Optimization

Résumé

Les récentes avancées dans le domaine de l’informatique appliquée ont permis, notamment grâce aux réseaux de neurones, de mettre en valeur l’importance d’une optimisation efficace pour les algorithmes actuels. En effet, trouver le meilleur minimum (local ou global) pour une fonction de coût de manière rapide fait souvent la différence entre une intelligence artificielle qui obtient les résultats espérés et une qui ne réussis pas à faire correctement sa tâche. En ce sens, cette thèse intitulée « Processus non linéaires réfléchis dédiés à l'optimisation et processus gaussiens non stationnaires » travaille principalement sur une nouvelle méthode d’optimisation basée sur une équation différentielle stochastique non linéaire réfléchie. L’approche originale de cette thèse est de coupler la non-linéarité avec la réflexion afin d’optimiser des fonctions non convexes ayant un grand nombre de paramètres. Les résultats d’existence d’un processus solution à l’équation et la propagation du chaos sont alors adaptés pour prendre en compte la réflexion en s’inspirant du travail de Mâdâlina Deaconu et Sophie Wantz. Nous montrons également que la réflexion n’a pas d’impact négatif sur les résultats précédemment obtenus au sujet des mesures invariantes et du temps de sortie. La thèse présente également un nouveau modèle de processus gaussiens non stationnaires comme un exemple qui motive le besoin d’une telle méthode d’optimisation.Les travaux présentés ne permettent pas actuellement de prouver l’impact positif de la réflexion sur le temps de sortie, mais ils forment un point de départ pour étudier la question.

The most recent research about machine learning allowed us to understand how important the optimisation could be for our algorithms especially thanks to neural networks. Being able to quickly find a minimum (local or global) for a function is indeed what differentiates an artificial intelligence that can or cannot do what we expect of it.That’s why this thesis entitled « reflected non-linear stochastic processes for optimisation and non-stationary Gaussian processes » is about a new method of optimisation based on a reflected non-linear stochastic differential equation. Our work presents novelty in the fact that it uses both a non-linearity and a reflection top optimise non-convex functions with loads of parameters. The existence result and the propagation of chaos are then proved with the help of Mâdâlina Deaconu’s and Sophie Wantz’s work on reflection. We also demonstrate that the reflection doesn’t have any negative impact on preceding results about measures and exit times. The thesis also presents a new model based on non-linear Gaussian process which serves as an example.Please note that the work presented here doesn’t prove that there is any positive impact by adding a reflection yet, but still serve as a starting point to study it.