Recherche d'architecture de réseaux de neurones pour la classification extrême et dans un contexte d'apprentissage partiellement étiqueté

Neural network architecture search for extreme classification and in a partially labeled learning context

• Auteur / Autrice : Loïc Pauletto
• Direction : Massih-Reza Amini
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 04/07/2022
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble (2007-....)
• Partenaire(s) de recherche : Equipe de recherche : Algorithms, principles and theories for collaborative knowledge acquisition and learning (Grenoble)
• Jury : Président / Présidente : Patrick Reignier
• Jury : Examinateurs / Examinatrices : Georges Quénot, Jakob Verbeek
• Jury : Rapporteur / Rapporteuse : Hichem Sahbi, Stéphane Canu

Mots clés

Mots clés libres

Recherche d'architecture

Optimisation des réseaux

Apprentissage semi-Supervisé

Apprentissage profond

Architecteture search

Networks optimization

Semi-Supervised learning

Deep learning

Résumé

Les applications d'apprentissage profond se développent rapidement et ne montrent aucun signe de ralentissement. Les topologies des réseaux neuronaux deviennent de plus en plus grandes et complexes pour résoudre les problèmes de la vie réelle.Cette complexité accrue nécessite plus de temps et d'expertise de la part des professionnels, ainsi qu'un investissement financier important pour les entreprises d'IA.La recherche d'architecture neuronale (RAN) est un nouveau paradigme d'apprentissage automatique qui cherche à déterminer la meilleure architecture de réseau neuronal pour un problème donné. Les techniques de RNA, d'autre part, n'ont été étudiées et développées que dans des problèmes d'apprentissage automatique limités et bien définis, qui ne sont pas représentatifs de tous les scénarios d'apprentissage automatique existants.Cette thèse se concentre sur la recherche et le développement des approches RAN pour de nouvelles tâches ainsi que sur un nouveau cadre d'apprentissage qui est plus pertinent pour les applications du monde réel.Nous avons proposé d'utiliser un cadre RAN neuro-évolutif pour résoudre le défi extrême de la classification multi-label en particulier.Nous avons combiné des réseaux de convolution et récurrents pour fournir une recherche spatiale plus appropriée à cette tâche.Sur plusieurs jeux de données, nous évaluons la performance du réseau recherché. Nous avons également examiné le défi de la reconstruction d'une carte RSSI, qui est un processus plus difficile en raison du manque de données d'entrée(c'est-à-dire données partiellement annotées). De cette façon, nous proposons un système de recherche d'architecture dynamique pour les tâches de segmentation sémantique avec un nombre minimal d'échantillons annotés. Nous avons étudié plusieurs algorithmes d'apprentissage semi-supervisé dans ce cadre afin de déterminer celui qui réussit le mieux à utiliser des échantillons non étiquetés.Nous avons examiné un certain nombre de stratégies, y compris des approches de semi-supervision ''traditionnelles'' et ''nouvelles'', ainsi que des approches d'auto-supervision.

Deep learning applications are rapidly expanding and show no signs of slowing down. Neural network topologies are becoming larger and more complex for challenging real-life problems.This increased complexity necessitates more time and expertise from professionals, as well as a significant financial investment for AI companies.Neural Architecture Search is a novel Machine Learning paradigm that seeks to determine the best NN architecture for a given problem. NAS techniques, on the other hand, have only been studied and developed in limited, well-defined Machine Learning problems, which are not representative of all existing ML scenarios.This thesis focuses on the research and development of the NAS approaches for new tasks as well as a new learning framework that is more relevant to real-world applications.We suggested using a neuro-evolutionary NAS framework to solve the extreme multi-label classification challenge in particular.We combined convolution and recurrent networks to provide a more appropriate space search for this assignment.On several datasets, we evaluate the performance of the searched network. We also looked at the challenge of reconstructing an RSSI map, which is a more difficult process due to the lack of input data and the fact that it is only partially annotated. In this way, we provide a system for semantic segmentation task dynamic architecture search with a minimal number of annotated samples. We investigated multiple semi-supervised learning algorithms in this framework to see which one was the most successful at using unlabeled samples.We looked at a number of strategies, including ''traditional'' and ''new'' semi-supervision approaches, as well as self-supervision approaches.