Une perspective des systèmes dynamiques sur les méthodes stochastiques et inertielles pour l'optimisation

A dynamical system perspective οn stοchastic and iΙnertial methοds fοr optimizatiοn

• Auteur / Autrice : Rodrigo Maulen Soto
• Direction : Jalal Fadili
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 08/11/2024
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Laboratoire : Groupe de recherche en informatique, image, automatique et instrumentation de Caen (1995-....)
• Partenaire(s) de recherche : Établissement co-accrédité : Université de Caen Normandie (1971-....)
• Jury : Examinateurs / Examinatrices : Aude Rondepierre, Radu Ioan Boţ, Samir Adly, Peter Ochs, Charles Dossal, Claire Boyer
• Jury : Rapporteurs / Rapporteuses : Aude Rondepierre, Radu Ioan Boţ

Mots clés

Mots clés contrôlés

Convergence (mathématiques)

Inégalités différentielles

Optimisation convexe

Inclusions différentielles

Équations différentielles stochastiques

Martingales (mathématiques)

Optimisation non différentiable

Optimisation mathématique

Processus stochastiques

Mots clés libres

Optimisation Stochastique

Inclusions Différentielles Stochastiques

Taux de convergence

Convergence de la trajectoire

Convergence de la trajectoire

Inégalité KL

Inégalité de Lojasiewicz

Amortissement Hessien

Amortissement Visqueux

Méthodes de Gradient Inertiel

Optimisation Convexe,

Calcul d'Ito

Équations Différentielles Stochastiques

Stochastic Optimization

SGD

Stochastic Differential Equations

Stochastic Differential Inclusions

Ito calculus

Convex Optimization

Inertial Gradient Methods

Viscous Damping

Hessian damping

Lojasiewicz Inequality

KL-inequality

Non-convex optimization

Trajectory convergence

Convergence rates

Résumé

Motivé par l'omniprésence de l'optimisation dans de nombreux domaines de la science et de l'ingénierie, en particulier dans la science des données, ce manuscrit de thèse exploite le lien étroit entre les systèmes dynamiques dissipatifs à temps continu et les algorithmes d'optimisation pour fournir une analyse systématique du comportement global et local de plusieurs systèmes du premier et du second ordre, en se concentrant sur le cadre convexe, stochastique et en dimension infinie d'une part, et le cadre non convexe, déterministe et en dimension finie d'autre part. Pour les problèmes de minimisation convexe stochastique dans des espaces de Hilbert réels séparables de dimension infinie, notre proposition clé est de les analyser à travers le prisme des équations différentielles stochastiques (EDS) et des inclusions différentielles stochastiques (IDS), ainsi que de leurs variantes inertielles. Nous considérons d'abord les problèmes convexes différentiables lisses et les EDS du premier ordre, en démontrant une convergence faible presque sûre vers les minimiseurs sous hypothèse d'intégrabilité du bruit et en fournissant une analyse globale et locale complète de la complexité. Nous étudions également des problèmes convexes non lisses composites utilisant des IDS du premier ordre et montrons que, sous des conditions d'intégrabilité du bruit, la convergence faible presque sûre des trajectoires vers les minimiseurs, et avec la régularisation de Tikhonov la convergence forte presque sûre des trajectoires vers la solution de norme minimale. Nous développons ensuite un cadre mathématique unifié pour analyser la dynamique inertielle stochastique du second ordre via la reparamétrisation temporelle et le moyennage de la dynamique stochastique du premier ordre, ce qui permet d'obtenir une convergence faible presque sûre des trajectoires vers les minimiseurs et une convergence rapide des valeurs et des gradients. Ces résultats sont étendus à des EDS plus générales du second ordre avec un amortissement visqueux et Hessien, en utilisant une analyse de Lyapunov spécifique pour prouver la convergence et établir de nouveaux taux de convergence. Enfin, nous étudions des problèmes d'optimisation déterministes non convexes et proposons plusieurs algorithmes inertiels pour les résoudre, dérivés d'équations différentielles ordinaires (EDO) du second ordre combinant à la fois un amortissement visqueux sans vanité et un amortissement géométrique piloté par le Hessien, sous des formes explicites et implicites. Nous prouvons d'abord la convergence des trajectoires en temps continu des EDO vers un point critique pour des objectives vérifiant la propriété de Kurdyka-Lojasiewicz (KL) avec des taux explicites, et génériquement vers un minimum local si l'objective est Morse. De plus, nous proposons des schémas algorithmiques par une discrétisation appropriée de ces EDO et montrons que toutes les propriétés précédentes des trajectoires en temps continu sont toujours valables dans le cadre discret sous réserve d'un choix approprié de la taille du pas.

Motivated by the ubiquity of optimization in many areas of science and engineering, particularly in data science, this thesis exploits the close link between continuous-time dissipative dynamical systems and optimization algorithms to provide a systematic analysis of the global and local behavior of several first- and second-order systems, focusing on convex, stochastic, and infinite-dimensional settings on the one hand, and non-convex, deterministic, and finite-dimensional settings on the other hand. For stochastic convex minimization problems in infinite-dimensional separable real Hilbert spaces, our key proposal is to analyze them through the lens of stochastic differential equations (SDEs) and inclusions (SDIs), as well as their inertial variants. We first consider smooth differentiable convex problems and first-order SDEs, demonstrating almost sure weak convergence towards minimizers under integrability of the noise and providing a comprehensive global and local complexity analysis. We also study composite non-smooth convex problems using first-order SDIs, and show under integrability conditions on the noise, almost sure weak convergence of the trajectory towards a minimizer, with Tikhonov regularization almost sure strong convergence of trajectory to the minimal norm solution. We then turn to developing a unified mathematical framework for analyzing second-order stochastic inertial dynamics via time scaling and averaging of stochastic first-order dynamics, achieving almost sure weak convergence of trajectories towards minimizers and fast convergence of values and gradients. These results are extended to more general second-order SDEs with viscous and Hessian-driven damping, utilizing a dedicated Lyapunov analysis to prove convergence and establish new convergence rates. Finally, we study deterministic non-convex optimization problems and propose several inertial algorithms to solve them derived from second-order ordinary differential equations (ODEs) combining both non-vanishing viscous damping and geometric Hessian-driven damping in explicit and implicit forms. We first prove convergence of the continuous-time trajectories of the ODEs to a critical point under the Kurdyka-Lojasiewicz (KL) property with explicit rates, and generically to a local minimum under a Morse condition. Moreover, we propose algorithmic schemes by appropriate discretization of these ODEs and show that all previous properties of the continuous-time trajectories still hold in the discrete setting under a proper choice of the stepsize.