Modèles d'apprentissage profond à partir de représentations structurelles d'images

Deep learning models from structural image representations

• Auteur / Autrice : Julien Walther
• Direction : Rémi Giraud, Michael Clement
• Type : Projet de thèse
• Discipline(s) : Automatique, Productique, Signal et Image, Ingénierie cognitique
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l'ingénieur
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'Intégration du Matériau au Système
• Partenaire(s) de recherche : Equipe de recherche : MOTIVE

Mots clés

Mots clés libres

Apprentissage profond

Analyse d'images

Vision par ordinateur

Segmentation

Relations spatiales

Spatial relations

Segmentation

Deep learning

Image analysis

Computer vision

Résumé

Contexte scientifique Les méthodes de l'état de l'art en apprentissage automatique reposent généralement sur des procédures d'entraînement de grands réseaux de neurones et bases de données annotées. Les modèles résultant sont souvent volumineux et complexes, et peuvent être difficiles à évaluer ou interpréter. En particulier, les réseaux populaires en vision par ordinateur utilisent pour beaucoup les blocs de convolution, qui sont des opérations à l'échelle pixellique appliquées sur des grilles régulières. Ces architectures présentent encore certaines limitations, notamment sur la taille des images qui doit souvent être limitée lors de la phase d'apprentissage, pour des contraintes de temps de calcul et de représentation mémoire. Dans ce contexte, il existe un vrai challenge pour intégrer des représentations structurelles ou symboliques de données afin de synthétiser efficacement l'information et aussi permettre de guider le processus d'apprentissage Une première piste de recherche consiste à utiliser une sous-représentation de l'image type segmentation en superpixels [1], réduisant le nombre d'éléments à traiter tout en respectant la structure et les contours des objets de l'image. Cependant, l'absence de structure régulière (forme/taille/voisinage) pose problème pour les utiliser dans un réseau de neurones convolutionnel. Des premiers travaux ont été initiés dans [3] pour considérer une seg- mentation hiérarchique en superpixels et dans [4] sur la définition d'opérateurs de convolution et de blocs d'attention adaptés aux superpixels. Dans cette thèse, nous proposons d'approfondir et de consolider ces travaux pour différentes applications d'analyse et de traitement d'images. Une deuxième piste de recherche vise à intégrer des connaissances sémantiques sur les re- lations spatiales entre objets dans les réseaux de neurones. En effet, la structure spatiale des objets dans une image constitue une information pertinente à exploiter pour interpréter leur contenu [2]. Objectifs de la thèse L'objectif principal de cette thèse est donc de réussir à lever les verrous méthodologiques qui empêchent à l'heure actuelle l'utilisation explicite et naturelle de représentations structurelles d'images au sein des modèles d'apprentissage profond. Le travail de recherche sera articulé autour des deux axes méthodologiques mentionnés ci-avant : 1. Conception de nouvelles architectures de réseaux de neurones permettant d'intégrer des représentations structurelles (graphes, hiérarchies de régions) ; 2. Intégration aux modèles de l'information de relations spatiales entre les structures afin de guider l'apprentissage sémantiquement. Cette thèse pourra se dérouler suivant plusieurs étapes et objectifs intermédiaires : — Réalisation d'un état de l'art complet sur les représentations structurelles en appren- tissage profond : méthodes de segmentation hiérarchiques, de description des relations spatiales, réseaux de neurones sur graphes, modèles génératifs avec espaces latents, etc. ; — Conception et prototypage de nouvelles méthodes intégrant directement des représenta- tions structurelles dans des architectures de réseaux de neurones ; — Validations expérimentales de ces méthodes sur différents contextes applicatifs : clas- sification et segmentation d'images, colorisation d'images avec interaction utilisateur, super-résolution, etc. ; Selon les résultats obtenus, et les motivations du doctorant ou de la doctorante, d'autres applications reposant sur les contributions théoriques proposées pourront être considérées (gé- nération d'images, segmentation de séquences d'images, etc.) Des collaborations avec des partenaires académiques (Bordeaux Sciences Agro, Université Paris Cité, University of the Basque Country, University of Valencia) et industriels (Thales Mérignac) travaillant sur les mêmes thématiques pourront aussi être envisagées.

Scientific context State-of-the-art machine learning methods are generally based on training procedures for large neural networks and annotated databases. The resulting models are often large and complex, and can be difficult to evaluate or interpret. In particular, popular computer vision networks make extensive use of convolution blocks, which are pixel-scale operations applied to regular grids. However, these architectures still have certain limitations, particularly when it comes to image size, which must often be limited during the training phase, for reasons of compu- tation time and memory representation. In this context, there is a real challenge to integrate structural or symbolic representations of data in order to efficiently synthesize information and guide the learning process. A first line of research consists in using a sub-representation of the image, such as segmen- tation into superpixels [1], reducing the number of elements to be processed while respecting the structure and contours of the image objects. However, the absence of a regular structure (shape/size/neighborhood) poses a problem for their use in a convolutional neural network. Initial work has been initiated in [3] to consider hierarchical segmentation into superpixels and in [4] on the definition of convolution operators and attention blocks adapted to superpixels. In this thesis, we propose to deepen and consolidate this work for different image analysis and processing applications. A second line of research aims to integrate semantic knowledge about the spatial relation- ships between objects into neural networks. Indeed, the spatial structure of objects in an image constitutes relevant information that can be exploited to interpret their content [2]. Objectives of the thesis The primary objective of this thesis is thus to successfully overcome the methodological barriers that currently prevent the explicit and natural use of structural representations of images within deep learning models. The research work will be structured around the two methodological axes mentioned above: 1. Design of new neural network architectures that can integrate structural representations (graphs, region hierarchies); 2. Integration into the models of spatial relationship information between structures to se- mantically guide the learning. This thesis may proceed through several stages and intermediate objectives: • Conducting a comprehensive state of the art on structural representations in deep learn- ing: hierarchical segmentation methods, spatial relationship description, graph neural networks, generative models with latent spaces, etc.; • Design and prototyping of new methods directly integrating structural representations into neural network architectures; • Experimental validations of these methods in various application contexts: image clas- sification and segmentation, image colorization with user interaction, super-resolution, etc.; • Dissemination of the work through the publication of scientific articles in leading confer- ences and journals. Depending on the results obtained, and the motivations of the doctoral candidate, other ap- plications based on the theoretical contributions proposed could be considered (image synthesis, segmentation of image sequences, etc.). Collaborations with academic partners (Bordeaux Sciences Agro, Université Paris Cité, University of the Basque Country, University of Valencia) and industrial partners (Thales Mérignac) working on the same themes could also be envisaged.