Étude dynamique d'algorithmes d'optimisation en milieu aléatoire.

par Anas Barakat

Projet de thèse en Informatique, données, IA

Sous la direction de Pascal Bianchi et de Walid Hachem.

Thèses en préparation à l'Institut polytechnique de Paris , dans le cadre de École doctorale de l'Institut polytechnique de Paris , en partenariat avec LTCI - Laboratoire de Traitement et Communication de l'Information (laboratoire) et de S2A - Statistique et Apprentissage (equipe de recherche) depuis le 01-10-2018 .


  • Résumé

    En apprentissage statistique, la réalisation numérique des méthodes d'apprentissage passe par la minimisation de fonctions de coût complexes qui mesurent l'inadéquation d'un modèle à des données. La conception d'algorithmes d'optimisation efficaces et adaptés à des flux de données massives est devenu un enjeu essentiel. C'est dans cette perspective que se sont développés de nouveaux algorithmes de nature stochastique, capables d'apprendre en ligne, au fur et à mesure de l'arrivée de nouvelles données. Leur usage s'est généralisé, notamment dans le domaine des réseaux de neurones profonds, alors même que leur propriétés de convergence sont parfois mal connues. Une seconde tendance est le développement récents des méthodes d'optimisation de type proximal, qui permettent de résoudre des problèmes complexes, comportant typiquement des contraintes, des régularisations structurées ou devant être résolus de manière distribuée. En revanche, l'extension de telles méthodes au contexte stochastique évoqué précédemment reste largement inexploré. C'est l'objet de cette thèse. La méthodologie retenue consiste à développer un cadre d'analyse unificateur, permettant de caractériser la convergence d'algorithmes avancés, allant au delà des classiques méthodes du premier ordre, en effectuant des parallèles avec le monde des systèmes dynamiques à temps continu. Cette approche permettra de concevoir des algorithmes nouveaux, et d'analyser ceux-ci dans un contexte adaptatif, en prenant en compte un environnement possiblement non stationnaire.

  • Titre traduit

    Optimization algorithms in random environments: a dynamical study


  • Résumé

    In statistical learning, the numerical realization of learning methods involves the minimization of complex cost functions that measure the inadequacy of a model to data. The design of efficient optimization algorithms adapted to massive data flows has become an essential issue. It is in this perspective that new stochastic algorithms have been developed, capable of learning online as new data arrive. Their use has become widespread, particularly in the field of deep neural networks, even though their convergence properties are sometimes poorly understood. A second trend is the recent development of proximal-type optimization methods, which can solve complex problems, typically involving constraints, structured regularizations or to be solved in a distributed way. On the other hand, the extension of such methods to the stochastic context mentioned previously remains largely unexplored. This is the subject of this thesis. The methodology adopted consists in developing a unifying analysis framework, allowing to characterize the convergence of advanced algorithms, going beyond the classical first order methods, by making parallels with the world of dynamic systems in continuous time. This approach will make it possible to design new algorithms, and analyze them in an adaptive context, taking into account a possibly non-stationary environment.