Learning with Limited Labeled Data

Apprentissage avec peu de données étiquetées

• Auteur / Autrice : Yassine Ouali
• Direction : Céline Hudelot, Myriam Tami
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/04/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale INTERFACES : approches interdisciplinaires, fondements, applications et innovation
• Partenaire(s) de recherche : Laboratoire : Mathématiques et informatique pour la complexité et les systèmes (Gif-sur-Yvette, Essonne ; 2006-....)
• Partenaire(s) de recherche : référent : CentraleSupélec (2015-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l'ingénierie et des systèmes (2020-....)
• Jury : Président / Présidente : Stéphane Herbin
• Jury : Examinateurs / Examinatrices : Matthieu Cord, Ismail Ben Ayed, Vincent Lepetit, Clément Rambour
• Jury : Rapporteurs / Rapporteuses : Matthieu Cord, Ismail Ben Ayed

Mots clés

Mots clés contrôlés

Vision par ordinateur

Traitement automatique du langage naturel

Apprentissage automatique

Traitement d'images -- Techniques numériques

Intelligence artificielle

Mots clés libres

Apprentissage profond

Intelligence artificielle

Apprentissage efficace

Vision par ordinateur

Traitement de langage naturel

Deep Learning

Artificial intelligence

Label Efficient Learning

Computer vision

Natural language processing

Résumé

Depuis ses débuts, l'objectif de l'intelligence artificielle est de concevoir des systèmes capables d'apprendre aussi efficacement que les humains pour résoudre ou aider à résoudre des problèmes difficiles qui nécessitent une certaine forme d'intelligence humaine. La discipline a connu récemment un essor spectaculaire grâce aux réseaux de neurones profonds et ses extensions qui ont montré des performances sur tout un ensemble de tâches jusqu'alors considérées complexes. Cependant, ce paradigme dominant nécessite une grande quantité de données étiquetées, qui sont souvent coûteuses et difficiles à acquérir. Ces données peuvent également contenir des biais cachés et des erreurs d'annotation, ce qui limite l'application de tels systèmes dans de nombreux domaines. Pourtant, les humains font preuve d'une remarquable capacité à apprendre efficacement dans de nouveaux et divers contextes, en tirant en grande parti de leur expérience à s'adapter à de nouveaux cas et acquérir rapidement de nouvelles compétences. Cette divergence soulève une question évidente : pouvons-nous concevoir des systèmes dotés de capacités similaires ? Dans cette thèse, notre objectif est de développer des algorithmes d'apprentissage efficaces avec une quantité limitée d'étiquettes pour résoudre de diverses tâches pour différentes modalités. A cette fin, cette thèse couvre des travaux qui : i) développent des méthodes d'apprentissage pour des paradigmes avec différents degrés de supervision, ii) présentent des résultats pour différentes modalités, notamment l'image et le texte, et iii) qui gèrent différentes tâches.

Since its inception, the north star of artificial intelligence was to design systems capable of learning as efficiently (i.e. with limited training signal) and effectively (i.e. demonstrating good performances) as humans to solve challenging problems that require human-like intelligence. Deep neural networks and the collection of popular deep learning ingredients used to produce systems usable in the real world, such as optimization algorithms, novel architectures, objective functions, and large annotated datasets, have shown remarkable performances across various tasks in recent years. However, this dominant paradigm requires a large amount of fully labeled data, which is often expensive and difficult to acquire. It might also contain annotation errors and hidden biases, which limits the applicability and adoption of such systems. Yet humans demonstrate a remarkable ability to learn effectively across diverse settings, using limited supervision and leveraging prior experience to adapt to novel cases and gain new skills quickly. This discrepancy raises an obvious question, can we design systems with similar capabilities? In this thesis, we aim to develop label-efficient learning algorithms that are effective with a limited or no amount of annotated examples for various tasks over different modalities and multiple levels of abstraction. To this end, this thesis cover works that: i) develop learning methods for paradigms with varying degrees of supervision, ii) present results for different modalities, notably vision, and text, and iii) different tasks across various levels of abstraction (e.g., image level and pixel level). We hope these works can help further advance the state of the field and aid in developing systems capable of learning efficiently and adapting effectively across a wide range of environments.