Réseaux de neurones et transport optimal pour l'apprentissage de représentations

Learning representations using neural networks and optimal transport

• Auteur / Autrice : Warith Harchaoui
• Direction : Charles Bouveyron
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques. Mathématiques appliquées
• Date : Soutenance le 08/10/2020
• Etablissement(s) : Université Paris Cité
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : MAP5 - Mathématiques Appliquées à Paris 5
• Jury : Président / Présidente : Julie Delon
• Jury : Examinateurs / Examinatrices : Laure Soulier, Pierre-Alexandre Mattei, Andrés Almansa
• Jury : Rapporteur / Rapporteuse : Erwan Le Pennec, Nicolas Courty

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Modèles de mélanges gaussiens

Apprentissage par renforcement (intelligence artificielle)

Réseaux neuronaux (informatique)

Mots clés libres

Partionnement de données

Réseaux génératifs adversaires

Distance de Wasserstein

Dualité de Kantorovich

Transport optimal de Monge

Modèles génératifs profonds

Auto-encodeur

Estimation de l’incertitude

Clustering

Generative adversarial networks

Wasserstein distance

Kantorovich duality

Monge optimal transport

Deep generative models

Auto-encoder

Uncertainty estimation

Résumé

La dernière décennie a vu les réseaux de neurones devenir un outil de référence dans l'apprentissage statistique. Eneffet, cette technologie s'est imposée comme un outil essentiel pour des types de données aussi variés que lesimages, le texte, le son, etc. dans des contextes à grande échelle. Les succès des réseaux neuronaux s'étendentégalement à l'apprentissage par renforcement (jeux et robotique) et à l'apprentissage non-supervisé (analyse etgénération de données), avec notamment une qualité inégalée pour l'imitation d'images avec les réseaux génératifsadversaires. Néanmoins, les réseaux neuronaux restent difficiles à interpréter en tant qu'estimateurs statistiques.L'objectif de cette thèse est d'atténuer cet inconvénient et d'accroître encore la portée des réseaux de neuronesgrâce à trois applications dites d'intelligence artificielle : (i) le partitionnement des données en groupes (clustering)grâce à un algorithme qu'on propose, (ii) la recherche des coordonnées pertinentes d'un signal avec une notionqu'on a baptisé « la pire distance de Wasserstein » et (iii) la prédiction d'un résultat munie de l'estimation d'uneincertitude associée en revisitant et en étendant les méthodes connues.A travers ces trois contributions, nous nous proposons de répondre à trois questions sur les représentations : (i)Comment représentons-nous les objets qui appartiennent aux groupes que nous essayons de former ? (ii) Commentreprésenter ce qui fait qu'un objet ressemble au reste des objets de son type ? (iii) Comment représenter uneincertitude associée à une prédiction automatique ? Ainsi, ce travail présente des moyens de s'éloigner del'utilisation supervisée classique du deep learning (le domaine de l'apprentissage statistique des réseaux deneurones) avec la volonté d'interpréter ces mystérieuses « boîtes noires » grâce à de nouveaux outils algorithmiqueset statistiques. Nous avons veillé à ce que notre utilisation des réseaux de neurones soit la plus interprétablepossible pour une meilleure compréhension des données en jeu, au-delà des décisions automatiques

The last decade has seen neural networks become a reference tool in statistical learning. Indeed, thistechnology has established itself as an essential tool for data types as varied as images, text, sound, etc. inlarge scales settings. The success of neural networks also extends to reinforcement learning (games androbotics) and unsupervised learning (data analysis and generation) including unparalleled quality for imageimitation with generative adversary networks. Nevertheless, neural networks remain difficult to interpret asstatistical estimators. The aim of this thesis is to mitigate this drawback and further enhance the scope ofneural networks through three so-called artificial intelligence applications: (i) partitioning data into groups(clustering) thanks to a proposed algorithm, (ii) finding the relevant coordinates of a signal with a notion thatwe dub ''the worst Wasserstein distance'' and (iii) predicting a result while estimating an associated uncertaintyby revisiting and extending known methods.Through these three contributions, we propose to answer three questions about representations: (i) How dowe represent objects that belong to the groups we are trying to form? (ii) How do we represent what makes anobject resemble its kind? (iii) How do we represent an uncertainty associated with an automatic prediction?Thus, this work presents ways to get away from the classic supervised use of deep learning (the statisicallearning field related to neural networks) with the desire to interpret these mysterious so-called black boxesthanks to new algorithmic and statistical tools. We tried hard to make sure that our use of neural networks isas interpretable as possible for a better understanding of the data at stake, beyond automatic decisions