Autour De L'Usage des gradients en apprentissage statistique

Around the Use of Gradients in Machine Learning

• Auteur / Autrice : Pierre-Yves Massé
• Direction : Yann Ollivier
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et Informatique
• Date : Soutenance le 14/12/2017
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris-Sud (1970-2019)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de recherche en informatique (Orsay, Essonne ; 1998-2020)
• Jury : Président / Présidente : Éric Moulines
• Jury : Examinateurs / Examinatrices : Yann Ollivier, Éric Moulines, Sébastien Bubeck, Emmanuel Trélat
• Jury : Rapporteurs / Rapporteuses : Sébastien Bubeck, Emmanuel Trélat

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Algorithmes bio-inspirés (intelligence artificielle)

Systèmes dynamiques

Approximation stochastique

Optimisation mathématique

Apprentissage automatique

Mots clés libres

Apprentissage statistique

Optimisation stochastique

Systèmes dynamiques

Machine learning

Stochastic optimisation

Dynamical systems

Résumé

Nous établissons un théorème de convergence locale de l'algorithme classique d'optimisation de système dynamique RTRL, appliqué à un système non linéaire. L'algorithme RTRL est un algorithme en ligne, mais il doit maintenir une grande quantités d'informations, ce qui le rend impropre à entraîner des systèmes d'apprentissage de taille moyenne. L'algorithme NBT y remédie en maintenant une approximation aléatoire non biaisée de faible taille de ces informations. Nous prouvons également la convergence avec probabilité arbitrairement proche de un, de celui-ci vers l'optimum local atteint par l'algorithme RTRL. Nous formalisons également l'algorithme LLR et en effectuons une étude expérimentale, sur des données synthétiques. Cet algorithme met à jour de manière adaptive le pas d'une descente de gradient, par descente de gradient sur celui-ci. Il apporte ainsi une réponse partielle au problème de la fixation numérique du pas de descente, dont le choix influence fortement la procédure de descente et qui doit sinon faire l'objet d'une recherche empirique potentiellement longue par le praticien.

We prove a local convergence theorem for the classical dynamical system optimization algorithm called RTRL, in a nonlinear setting. The rtrl works on line, but maintains a huge amount of information, which makes it unfit to train even moderately big learning models. The NBT algorithm turns it by replacing these informations by a non-biased, low dimension, random approximation. We also prove the convergence with arbitrarily close to one probability, of this algorithm to the local optimum reached by the RTRL algorithm. We also formalize the LLR algorithm and conduct experiments on it, on synthetic data. This algorithm updates in an adaptive fashion the step size of a gradient descent, by conducting a gradient descent on this very step size. It therefore partially solves the issue of the numerical choice of a step size in a gradient descent. This choice influences strongly the descent and must otherwise be hand-picked by the user, following a potentially long research.