Optimisation stochastique non convexe pour Deep learning et Logistique

Nonconvex stochastic optimization for Deep learning and Logistic

• Auteur / Autrice : Thi my le Le
• Direction : Hoai An Lê Thi
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 04/11/2022
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : LCOMS - Laboratoire de Conception, Optimisation et Modélisation des Systèmes

Mots clés

Mots clés libres

Optimisation stochastique

Programmation non-convexe

Programmation DC

Dca

Deep learning

Logistique

Stochastic Optimization

Nonconvex programming

DC programming

Dca

Deep learning

Logistic

Résumé

La thèse vise à développer de nouveaux modèles et méthodes pour les problèmes d'optimisation stochastique non convexes/non lisses apparus dans deux domaines importants : l'apprentissage en profondeur et la logistique. Notre ambition est de répondre aux nouveaux besoins et enjeux liés à l'optimisation stochastique non convexe et au Big Data. Dans la première partie, nous étudierons et concevrons de nouvelles versions stochastiques efficaces de DCA pour une classe de problèmes d'optimisation stochastique, à savoir le problème DC stochastique général, c'est-à-dire les programmes DC stochastiques sous contraintes DC stochastiques. Dans le contexte déterministe où l'objectif et les contraintes sont des fonctions DC (déterministes), General DCA peut être développé. Dans cet esprit, nous avons l'intention d'étendre le DCA général pour le réglage stochastique pour traiter le problème (GSDC). Ensuite, les résultats de convergence asymptotiques et non asymptotiques seront analysés, ainsi que les complexités de calcul et d'échantillonnage des algorithmes proposés. Enfin, nous appliquerons les algorithmes nouvellement proposés pour résoudre certains problèmes d'optimisation stochastique dans l'apprentissage en profondeur, y compris les programmes à contrainte aléatoire, la classification de Neyman-Pearson dans l'apprentissage automatique, la programmation à contrainte aléatoire distributionnellement robuste basée sur les réseaux antagonistes génératifs (GAN), l'optimisation bayésienne, etc. Dans la deuxième partie, nous développons de nouveaux modèles et algorithmes pour des problèmes logistiques avec des éléments incertains tels que la demande des clients, le temps de routage, la consommation d'énergie dans les moyens de transport (voiture, drone, robot).

The thesis aims to develop novel models and methods for nonconvex/nonsmooth stochastic optimization problems appeared in two important areas: Deep learning and Logistic. Our ambition is to meet the new needs and challenges related to nonconvex stochastic optimization and big data. In the first part, we will study and design new efficient stochastic versions of DCA for a class of stochastic optimization problems, namely the General Stochastic DC problem, i.e., Stochastic DC programs under Stochastic DC constraints. In the deterministic context where both objective and constraints are (deterministic) DC functions, General DCA can be developped. Based on this spirit, we intend to extend the General DCA for the stochastic setting to handle the problem (GSDC). Then, both asymptotic and non-asymptotic convergence results will be analyzed, along with the computational and sample complexities of the proposed algorithms. Finally, we will apply the newly proposed algorithms to solve some stochastic optimization problems in Deep learning, including chance-constrained programs, Neyman-Pearson classification in machine learning, Distributionally Robust chance-constrained programming based on Generative adversarial networks (GANs), Bayesian optimization, etc. In the second part, we develop novel models and algorithms for Logistics problems with uncertain elements including customer demand, routing time, energy consumption in means of transportation (car, drone, robot).