Convolution et apprentissage profond sur graphes

On convolution of graph signals and deep learning on graph domains

• Auteur / Autrice : Jean-Charles Vialatte
• Direction : Gilles Coppin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/12/2018
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Département Electronique - Département lmage et Traitement Information - Département Logique des Usages, Sciences sociales et Sciences de l'Information - Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance - Lab-STICC_IMTA_CACS_IAS
• Jury : Président / Présidente : Paulo Gonçalvès
• Jury : Examinateurs / Examinatrices : Gilles Coppin, Pierre Borgnat, Matthias Löwe, Juliette Mattioli, Vincent Gripon
• Jury : Rapporteurs / Rapporteuses : Pierre Borgnat, Matthias Löwe

Mots clés

Mots clés contrôlés

Convolutions (mathématiques)

Réseaux neuronaux (informatique)

Apprentissage profond

Intelligence artificielle

Mots clés libres

Intelligence artificielle

Apprentissage profond

Traitement du signal sur graphes

Théorie des groupes

Artificial intelligence

Deep learning

Graph signal processing

Group theory

Résumé

Pour l’apprentissage automatisé de données régulières comme des images ou des signaux sonores, les réseaux convolutifs profonds s’imposent comme le modèle de deep learning le plus performant. En revanche, lorsque les jeux de données sont irréguliers (par example : réseaux de capteurs, de citations, IRMs), ces réseaux ne peuvent pas être utilisés. Dans cette thèse, nous développons une théorie algébrique permettant de définir des convolutions sur des domaines irréguliers, à l’aide d’actions de groupe (ou, plus généralement, de groupoïde) agissant sur les sommets d’un graphe, et possédant des propriétés liées aux arrêtes. A l’aide de ces convolutions, nous proposons des extensions des réseaux convolutifs à des structures de graphes. Nos recherches nous conduisent à proposer une formulation générique de la propagation entre deux couches de neurones que nous appelons la contraction neurale. De cette formule, nous dérivons plusieurs nouveaux modèles de réseaux de neurones, applicables sur des domaines irréguliers, et qui font preuve de résultats au même niveau que l’état de l’art voire meilleurs pour certains.

Convolutional neural networks have proven to be the deep learning model that performs best on regularly structured datasets like images or sounds. However, they cannot be applied on datasets with an irregular structure (e.g. sensor networks, citation networks, MRIs). In this thesis, we develop an algebraic theory of convolutions on irregular domains. We construct a family of convolutions that are based on group actions (or, more generally, groupoid actions) that acts on the vertex domain and that have properties that depend on the edges. With the help of these convolutions, we propose extensions of convolutional neural netowrks to graph domains. Our researches lead us to propose a generic formulation of the propagation between layers, that we call the neural contraction. From this formulation, we derive many novel neural network models that can be applied on irregular domains. Through benchmarks and experiments, we show that they attain state-of-the-art performances, and beat them in some cases.