Apprentissage génératif efficace en matière d'annotation pour les tâches d'étiquetage visuel dense

Annotation efficient generative learning for dense visual labeling tasks

• Auteur / Autrice : Tariq Berrada ifriqi
• Direction : Karteek Alahari, Jakob Verbeek
• Type : Projet de thèse
• Discipline(s) : Mathématiques et Informatique
• Date : Inscription en doctorat le 01/02/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann
• Partenaire(s) de recherche : Equipe de recherche : LEAR : Learning and Recognition in Vision

Mots clés

Mots clés libres

Réseaux de neurones

Modèles génératifs

Faible annotations

Vision par ordinateur

Diffusion

Flow

Neural networks

Generative models

Weak annotations

Computer vision

Diffusion

Flow

Résumé

Les problèmes de reconnaissance visuelle sont formulés à différents niveaux de granularité. De la classification d'images à la localisation d'objets, en passant par la segmentation sémantique et la segmentation d'instances. Parmi les exemples de tâches d'étiquetage dense, on peut citer la segmentation d'images ou de vidéos, la prédiction de la profondeur et la détection de changements, entre autres. Ces tâches nécessitent des prédictions pour chaque pixel de l'image d'entrée. Ces tâches sont intrinsèquement plus complexes que la classification d'images, où nous attribuons une seule étiquette à l'image entière. Pour toutes ces tâches, les performances sont dans une large mesure limitées par la quantité de données d'apprentissage étiquetées disponibles. L'acquisition de données d'entraînement pour les tâches de prédiction à forte densité spatiale est cependant beaucoup plus coûteuse et fastidieuse que l'obtention de données d'entraînement pour les tâches de classification, en raison de leur nature spatialement détaillée, et il est difficile d'extrapoler à partir de quantités limitées d'annotations d'entraînement. Cela s'ajoute aux difficultés habituelles auxquelles sont confrontés les modèles de prédiction dense, comme la tentative de prédire des distributions fortement déséquilibrées, le traitement des occlusions et le fait de ne pas toujours avoir la possibilité de relier les entrées et les cibles d'une manière directe et différentiable. Par conséquent, de telles tâches nécessitent des représentations spatialement détaillées qui diffèrent fondamentalement de celles requises pour les problèmes de classification standard. Pour compenser le manque de données étiquetées, nous considérerons des paramètres d'apprentissage semi-supervisé qui combinent une quantité limitée de données d'entraînement étiquetées avec une grande quantité de données d'entraînement non étiquetées. Nous explorerons plusieurs directions prometteuses : des modèles d'image génératifs pour apprendre des représentations sémantiquement significatives, des stratégies d'apprentissage auto-supervisé spécialisées pour mieux exploiter l'apparence locale. De plus, nous considérerons également une approche faiblement supervisée, par exemple en utilisant des étiquettes au niveau de l'image, des étiquettes au niveau de la boîte, ou des vidéos étiquetées de manière éparse dans le temps.

Visual recognition problems are formulated at different levels of granularity. From image classification, to object localization, to semantic segmentation and instance segmentation. Examples of dense visual labeling tasks include image or video segmentation, depth prediction, and change detection, among others. These tasks require predictions at each pixel of the input image. Such tasks are inherently more complex than image classification, where we assign a single label to the entire image. For all these tasks, performance are to a large extent bounded by the amount of labeled training data that is available. The acquisition of training data for spatially dense prediction tasks is, however, significantly more expensive and cumbersome than obtaining training data for classification tasks, due to their spatially detailed nature, and it is difficult to extrapolate from limited amounts of training annotations. This is in addition to the usual difficulties facing dense prediction models, such as trying to predict heavily unbalanced distributions, dealing with occlusions and not always having the possibility to relate the inputs and targets in a straightforward, differentiable manner. Consequently, such tasks necessitate spatially detailed representations that fundamentally differ from those needed for standard classification problems. To compensate the lack of labeled data, we will consider semi-supervised learning settings that combine a limited amount of labeled training data, with a large amount of unlabeled training data. We will explore several promising directions: generative image models to learn semantically meaningful representations, self supervised learning strategies specialised to better exploit local appearance. In addition we will also consider weakly supervised one, e.g. using image-level labels, box-level labels, or videos labeled sparsely in time.