Méthodes à base de réseaux de neurones pour les problèmes inverses: algorithmes et garanties

Νeural netwοrk based methοds fοr inverse prοblems: algοrithms and guarantees

• Auteur / Autrice : Nathan Buskulic
• Direction : Mohamed Jalal Fadili
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 19/09/2021; Soutenance le 12/11/2024
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École Doctorale Mathématiques, Information, Ingénierie des Systèmes
• Partenaire(s) de recherche : Laboratoire : Groupe de recherche en informatique, image et instrumentation de Caen
• Partenaire(s) de recherche : Établissement co-accrédité : Université de Caen Normandie (1971-....)
• Jury : Examinateurs / Examinatrices : Carola-bibiane Schonlieb, Emilie Chouzenoux, Mohamed Jalal Fadili, Jean-francois Aujol, Silvia Villa, Julie Delon, Yvain Queau
• Jury : Rapporteurs / Rapporteuses : Jean-francois Aujol, Julie Delon

Mots clés

Mots clés contrôlés

Problèmes inverses

Mots clés libres

Problèmes inverses

Réseaux de neurones non-supervisés

Flot de gradient

Descente de gradient

Dynamiques inertielles

Amortissement visqueux et hessien

Momentum

Deep Inverse Prior

Convergence

Garanties de reconstruction

Kurdyka-Lojasiewicz

Inverse problems

Unsupervised neural networks

Gradient flow

Gradient descent

Inertial dynamics

Viscous and Hessian damping

Momentum

Deep inverse prior

Convergence

Recovery guarantees

Kurdyka-Lojasiewicz

Résumé

Ce manuscrit est dédié à l'analyse des réseaux de neurones lorsqu'ils sont entraînés de manière non-supervisée pour résoudre des problèmes inverses. Ces méthodes sont devenues très populaires et développées empiriquement ces dernières années, avec des résultats qualitatifs impressionnants, mais leur compréhension théorique reste encore limitée, en particulier leurs garanties de reconstruction. Dans cette thèse, nous nous attelons à ce problème. A cette fin, la clé de voûte sera d'exploiter la régularisation implicite induite par la dynamique de la méthode d'optimisation. Ainsi, nous étudions les trajectoires des paramètres de ces réseaux de neurones lorsqu'ils sont entraînés avec différentes méthodes d'optimisation, et nous montrons comment cela amène diverses garanties liées aux problèmes inverses. Nous commençons par étudier l'optimisation par flot de gradient et son équivalent discret la descente de gradient, pour des fonctions de coûts suffisamment régulières et qui vérifient l'inégalité de Kurdyka-\L{}ojasiewicz. Nous montrons que sous une condition d'initialisation non-dégénérée, le réseau va converger vers une solution de risque empirique nul à un taux qui dépend explicitement de la fonction désingularisante de la fonction coût. Nous donnons aussi une borne d'arrêt anticipé qui empêche le sur-apprentissage du bruit. Nous montrons ensuite que sous une condition d'injectivité restreinte, une borne de reconstruction de l'objet original (e.g. signal/image, etc.) peut être obtenue. Dans un second temps, nous étendons les résultats précédents lorsque le réseau de neurones est optimisé avec un risque quadratique en utilisant une dynamique inertielle combinant un amortissement visqueux et un amortissement géométrique guidé par le Hessien. Nous démontrons que des vitesses de convergence accélérées et des garanties de reconstruction peuvent être obtenues avec un choix judicieux des paramètres de la dynamique inertielle mais au prix d'une condition d'initialisation plus subtile. Un algorithme inertiel est proposé par discrétisation de la dynamique continue en temps est ses garanties sont établies. Pour toutes ces méthodes d'optimisation, nous exhibons l'architecture nécessaire avec notamment une borne de sur-paramétrisation qui assure qu'un réseau deep inverse prior à deux couches va pouvoir bénéficier de toutes ces garanties avec grande probabilité. Nous vérifions numériquement tous nos résultats sur plusieurs instances, et décrivons des applications, notamment en shape-from-shading multivues.

This manuscript is devoted to the analysis of neural networks when trained in an unsupervised way to solve inverse problems in finite dimension. While these methods have become popular and heavily developed in the last years, leading to some qualitatively impressive results, they are lacking a thorough theoretical understanding, in particular of their recovery guarantees. In this thesis, our goal is to partly close that gap. For this, the key idea is to exploit the implicit regularization induced by the dynamic of the optimization method. Therefore, we study the trajectories of neural networks parameters under different optimization methods, and show how this leads to various inverse problem related recovery guarantees. We first study optimization through continuous gradient-flow, and its discrete counterpart gradient descent, for general sufficiently smooth loss functions that obey the Kurdyka-Lojasiewicz inequality. We show that under a non-degenerate initialization condition, the neural network will converge to a zero empirical risk solution with a rate that depends explicitly on the desingularizing function of the loss. We also provide an early-stopping bound to avoid the overfitting of the noise. We then show that with an additional restricted injectivity constraint, a recovery bound of the original object (e.g. signal/image, etc.) can be obtained. Second, we extend the above results when training with the mean square error loss using an inertial dynamic combining viscous and geometric Hessian-driven damping, and show that faster convergence and recovery guarantees can be obtained with a wise choice of dynamic parameters at the cost of more subtle initialization conditions. An inertial/momentum algorithm is then derived as a discretization of the continuous dynamic, it is then studied and its guarantees are established. For all these optimization methods, we also give an overparametrization bound under which a two-layer deep inverse prior network can benefit from the above guarantees with high probability. We numerically verify our results on a large ensemble of experiments, and we also exemplify our findings on two applications, for instance on multi-view shape-from-shading.