Thèse en cours

Entrainement de réseaux de neurones profonds à partir de données synthétique
FR  |  
EN
Auteur / Autrice : Sofya Dymchenko
Direction : Bruno Raffin
Type : Projet de thèse
Discipline(s) : Informatique
Date : Inscription en doctorat le 01/03/2022
Etablissement(s) : Université Grenoble Alpes
Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble

Mots clés

FR  |  
EN

Résumé

FR  |  
EN

En apprentissage supervisé, l'entrainement réussi de réseaux de neurones nécessite des données annotées en quantité et qualité suffisantes, ce qui reste un facteur limitant. Une alternative consiste à générer synthétiquement des données d'entraînement. Les avantages sont que les données synthétiques peuvent être générées à volonté, en quantités potentiellement illimitées, la qualité peut être dégradée de manière contrôlée pour des formations plus robustes, et la couverture de l'espace des paramètres peut être adaptée pour focaliser la formation le cas échéant. Aujourd'hui, une grande variété de codes de simulation sont disponibles, en chijue, physique, biologie, etc. Lorsque les données d'apprentissage sont produites à partir de tels codes de simulation, elles peuvent être produites en ligne sous le contrôle du processus d'apprentissage. Il y a de multiples avantages. Cette approche permet de contourner les problèmes de stockage et de performances d'E/S qui limitent les performances des apprentissages traditionnels basés sur les fichiers: il n'est pas nécessaire de stocker un énorme ensemble de données. Plus fondamentalement, les données peuvent être générées de manière adaptative en fonction du comportement observé du processus d'entraînement. La formation n'a pas à se dérouler sur des présentations répétées des mêmes exemples comme c'est le cas avec les approches basées époques. Les exemples peuvent toujours être nouveaux, permettant potentiellement d'améliorer la qualité de l'apprentissage. L'infrastructure logicielle doit aussi s'adapter au caractère en ligne de l'apprentissage, où les simulations produisant les données les transmettent directement au réseau de neurone. Cela nécessite également le développement de stratégies d'apprentissage adaptées. Par exemple, la décroissance traditionnelle du taux d'apprentissage utilisée pour les apprentisages basés époques n'est pas adapté à un mode en ligne, car de nouveaux exemples sont continuellement produits. Comme les simulations produisent généralement des dominées dans un ordre fixe (généralement un pas de temps après l'autre), cela peut également introduire un biais dans l'apprentisage s'il n'est pas géré correctement. L'INRIA et le DKFI ont développé des approches complémentaires pour répondre â ces problématiques. L'INRIA a développé un environement logiciel pour l'apprentissage en ligne, appelé Melissa. L'INRIA a commencé à étudier des stratégies spécifiques de l'apprentissage non basé époques: apprentissage cyclique [Smith2017] qui garantit que l'architecture neuronale conserve suffisamment de plasticité pour assimiler les nouvelles données, caches de données dérivés des techniques d'apprentissage par renforcement [Horgan2018][Andry2018] pour limiter les biais pouvant être introduits par l'ordre dans lequel les données en ligne sont produites. Notez que le terme apprentissage en ligne est également utilisé dans la littérature dans un contexte quelque peu différent [1-loi2018], où les données, non synthétiques, sont diffusées à partir de capteurs et utilisées à la volée pour l'entraînement [Sahoo2017]. Ces approches combinent souvent entrainement et adaptation d'architecture en ligne. Elles s'étendent aux problématiques rencontrées avec Pentrainement à long terme [Parisi2019], où les données évoluent sur des périodes de temps très longues (mois, années), nécessitant des approches adaptées pour s'assurer que l'architecture neuronale garde suffisamment de plasticité pour assimiler de nouvelles informations sans oublier l'expérience acquise à partir de données plus anciennes. Si le contexte que nous étudions ici est différent, axé sur l'apprentissage en ligne à partir de données de simulation dans un temps court (de quelques minutes à quelques jours d'entrainement), nous ne rencontrerons probablement pas de problèmes similaires, mais nous resterons vigilant sur les résultats issues de ce domaine. Inversement, les cadre en ligne que nous développerons peut être un outil précieux pour simuler l'apprentissage à long terme et tester de nouvelles stratégies. Un autre domaine d'apprentissage qui fonctionne en ligne est l'apprentissage para renforcement, mais les simulations envisagées, appelées environnements, sont peu gourmandes en calculs (jeux vidéo, jeux de société, moteurs physiques simples), les données générées par environnement (les trajectoires) de tailles limitées, et la formation centrée sur les processus de décision séquentiels. Ici, nous ciblons les simulations de calcul et de données intensives et des types d'apprentissage plus divers. Comme déjà mentionné, les techniques développées dans ce domaine, telles que les caches de données [Horgan2018,Andry2018], ou les environnements logiciels comme Ray/RlLib [RLLib2018] sont définitivement intéressants dans notre contexte et seront considérés. L'apprentissage à partir de données synthétiques pose la question de la validation dans le contexte réel avec des données issues de capteurs. Nous aborderons ce problème avec des procédures de validation appropriées, mais envisagerons également des extensions possibles pour mélanger des données réelles et synthétiques pendant l'entrainement lorsqu'elles sont disponibles. Nous nous concentrerons d'abord sur l'apprentissage d'une architecture de réseau de neurones fixe. Mais si les progrès le permettent, nous polirons également élargir le champ d'application dans un deuxième temps, en intégrant des techniques de recherche d'hyperparamètres, où les architectures neuronales sont conçues en ligne grâce à une exploration intelligente de l'espace des hyperparamètres.