A la recherche des architectures perdues

In Search of Lost Architectures

• Auteur / Autrice : Paul Vandame
• Direction : Jocelyn Chanussot
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, paroles, télécoms
• Date : Soutenance le 17/05/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Grenoble Images parole signal automatique (2007-....)
• Jury : Président / Présidente : Marie Chabert
• Jury : Examinateurs / Examinatrices : Gersende Fort, Frédéric Desprez, Bertrand Rivet
• Jury : Rapporteurs / Rapporteuses : Abdourrahmane Mahamane Atto, Caroline Chaux
• DOI : 10.70675/284a5c42z347cz4c5czaf94z44026e678f88

Mots clés

Mots clés contrôlés

Intelligence artificielle

Apprentissage profond

Réseaux neuronaux (informatique)

Apprentissage automatique

Mots clés libres

Science des donnée

Réseau de neurones

Intelligence artificielle

Apprentissage profond

Artificial intelligence (AI)

Neural network

Data science

Deep Learning

Résumé

Cette thèse explore l'optimisation des réseaux de neurones artificiels dans un monde interconnecté où la performance technique se confronte à des contraintes de ressources. Face à l'augmentation des tailles et complexités des architectures neuronales, la thèse propose des approches innovantes pour simplifier et adapter ces architectures à des tâches spécifiques. Elle introduit le concept de modèles ''perdus'' - soit simples et délaissés par l'histoire, soit mathématiquement non-entraînables - qui sont marginaux ou inimaginables dans les pratiques de conception et d'entraînement aujourd'hui répandues. La thèse s'articule autour de 6 chapitres couvrant l'évolution des modèles d'IA, l'examen des techniques d'optimisation, la conception de modèles frugaux et l'identification de réseaux non-entraînables par des méthodes traditionnelles. Un chapitre clé présente une méthode innovante nommée ANNA pour adapter des architectures existantes, sans faire appel à la descente de gradient traditionnellement utilisée en apprentissage machine. Elle explore ainsi une autre voie d'adaptation des modèles profonds en se basant sur la poursuite orthogonale.

This thesis explores the optimization of artificial neural networks in an interconnected world where technical performance faces resource constraints. Facing the increasing sizes and complexities of neural architectures, the thesis proposes innovative approaches to simplify and adapt these architectures to specific tasks. It introduces the concept of ''lost'' models - either simple and overlooked by history or mathematically untrainable - which are marginal or unimaginable in today's widespread design and training practices. The thesis is structured around 6 chapters covering the evolution of AI models, the review of optimization techniques, the design of frugal models, and the identification of networks untrainable by traditional methods. A key chapter presents an innovative method named ANNA for adapting existing architectures, without resorting to the gradient descent traditionally used in machine learning. It thus explores another path of adaptation for deep models based on orthogonal pursuit.