Apprentissage de representations invariantes à travers des données temporelles

Learning an invariant representation through continuously evolving data

• Auteur / Autrice : Badr Youbi idrissi
• Direction : Michèle Sebag
• Type : Projet de thèse
• Discipline(s) : Informatique mathématique
• Date : Inscription en doctorat le 03/05/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Equipe de recherche : A&O - Apprentissage et Optimisation
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Intelligence Artificielle

Apprentissage auto supervisé

Apprentissage de représentations

Invariance

Causalité

Artificial Intelligence

Self supervised learning

Representation learning

Invariance

Causality

Résumé

L'apprentissage profond a démontré d'excellente performances pour déterminer des dépendances statistiques dans des espaces de grande dimension, mais principalement pour des problèmes ayant une distribution sous-jacente des données qui reste inchangée au fil du temps. Cependant, les problèmes du monde réel sont intrinsèquement dynamiques et changeants. Par exemple, les visages ont différentes formes, tailles, couleurs de peau et peuvent se trouver dans des paysages ouverts clairs ou dans des chambres sombres. La distribution de ces attributs peut changer au fil du temps selon l'endroit où l'algorithme de détection de visage est déployé ou par qui il est utilisé. En nous appuyant sur des travaux antérieurs [1,2,3], nous voulons aborder le problème des représentations d'apprentissage invariantes aux changements de distribution, en exposant la machine d'apprentissage à une distribution de données en constante évolution. Dans notre cadre, nous supposons que les données sont produites par un système fixe, sur la période de temps d'intérêt, exposé à un environnement changeant. Par exemple, nous nous intéressons aux tâches de reconnaissance d'objets dans lesquelles les objets sont capturés par des caméras dans des conditions changeantes, mais les objets restent les mêmes. Ainsi, ce problème diffère de celui de la prévision de séries temporelles ou de la régression de séries temporelles, où le système est en constante évolution. Dans notre contexte, le système est figé, mais l'environnement évolue. Ce problème diffère également de l'apprentissage tout au long de la vie et de l'apprentissage continu en ce qu'il ne s'agit pas d'une séquence de tâches discrètes mais d'une distribution de données en constante évolution pour un système fixe. La clé pour résoudre ce problème est d'avoir de bons ensembles de données de référence. L'un des objectifs de cette thèse sera de combler une lacune actuelle dans les jeux de données de référence pour ce problème, en introduisant (1) un problème de référence synthétique utilisant des caractères imprimés (qui pourrait devenir un jeu de données de style MNIST en constante évolution) ; (2) un ensemble de données de compression audio avec des personnes parlant dans des environnements bruyants en constante évolution tels qu'une ville, un bureau ou à la maison. (3) en utilisant un ensemble de données vidéo pour un problème de détection d'objet, obtenu à partir de séquences de caméras portables fixées sur le front d'enfants qui jouent [4]. Nous prévoyons que les méthodes pour résoudre ce problème pourraient inclure une approche auto-supervisée avec une tâche prétexte basée sur l'invariance dans le temps de la représentation. Cela s'appuierait sur les succès récents dans ce domaine [5] et les adapterait au domaine temporel. Nous envisageons que les progrès réalisés au cours de cette thèse pourraient approfondir la recherche sur la généralisation hors distribution, avec des applications à - Détection/reconnaissance d'objets : De nombreux algorithmes de détection/reconnaissance d'objets sont nécessaires dans des environnements dynamiques tels que les voitures autonomes, où les conditions météorologiques et de circulation, ainsi que l'éclairage peuvent changer en permanence. Les missions de sauvetage de robots pourraient bénéficier d'une représentation invariante dans le temps car elles traitent de conditions très uniques et extrêmes qui peuvent rarement être observées autrement dans un ensemble de données de vision normale, par exemple, reconnaître un humain en mer avec une caméra montée sur un hélicoptère pour une recherche et mission de sauvetage. - Compression son/audio : Les médias sociaux ont vu un grand afflux de contenu vidéo, qui comprend également de l'audio. Ce contenu se déroule souvent dans des environnements changeants tels que les maisons ou à l'extérieur. Si nous nous concentrons sur le type de contenu audio posté sur les réseaux sociaux, nous pouvons peut-être apprendre des invariances qui peuvent aider à la compression de ce type de signal. - Reconnaissance vocale automatique Comme pour le contenu audio, la parole a également lieu dans des environnements dynamiques. Apprendre une représentation invariante au fil du temps lorsqu'une personne parle dans un environnement bruyant changeant pourrait aider à isoler la partie vocale du signal audio, améliorant ainsi le fonctionnement des systèmes de reconnaissance du langage ou d'identification du locuteur. **Références** [1] M. Arjovsky, L. Bottou, I. Gulrajani, and D. Lopez-Paz, “Invariant Risk Minimization,” _arXiv:1907.02893 [cs, stat]_, Mar. 2020, Accessed: Sep. 21, 2020. [Online]. Available: [http://arxiv.org/abs/1907.02893](http://arxiv.org/abs/1907.02893) [2] B. Y. Idrissi, M. Arjovsky, M. Pezeshki, and D. Lopez-Paz, “Simple data balancing achieves competitive worst-group-accuracy,” _arXiv:2110.14503 [cs]_, Oct. 2021, Accessed: Dec. 15, 2021. [Online]. Available: [http://arxiv.org/abs/2110.14503](http://arxiv.org/abs/2110.14503) [3] J. von Kügelgen _et al._, “Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style,” _ArXiv_, 2021. [4] J. Sullivan, M. Mei, A. Perfors, E. Wojcik, and M. C. Frank, “SAYCam: A Large, Longitudinal Audiovisual Dataset Recorded From the Infant's Perspective,” _Open Mind_, vol. 5, pp. 20–29, May 2021, doi: [10.1162/opmi_a_00039](https://doi.org/10.1162/opmi_a_00039). [5] M. Caron _et al._, “Emerging Properties in Self-Supervised Vision Transformers,” _arXiv:2104.14294 [cs]_, May 2021, Accessed: Jan. 25, 2022. [Online]. Available: [http://arxiv.org/abs/2104.14294](http://arxiv.org/abs/2104.14294)

Deep learning has excelled in learning statistical dependencies in high dimensional settings, but mostly for problems in which the underlying distribution of data remains unchanged over time. However, real world problems are inherently dynamic and changing. For instance, faces have various shapes, sizes, skin colors and could be in bright grassy fields, or in dark bedrooms. The distribution of these attributes can change over time depending on where the face detection algorithm is deployed, or by whom it's being used. Building on top of previous work [1,2,3] we want to address the problem of learning representations invariant to changes in distribution, by exposing the learning machine to a continuously changing or evolving data distribution. In our setting, we assume that data is produced by a fixed system, over the period of time of interest, exposed to a changing environment. For example, we are interested in object recognition tasks in which the objects are captured by cameras in changing conditions, but the objects remain the same. Thus, this problem differs from that of time series forecasting or time-series regression, where the system is constantly evolving. In our setting, the system is fixed, but the environment is evolving. This problem also differs from life-long-learning and continual learning in that it is not a sequence of discrete tasks but a continually evolving data distribution under a fixed system. Key to solving this problem is to have good benchmark datasets. One of the focus of this thesis will be to fill in a current gap in benchmark datasets for this problem, by introducing (1) a synthetic benchmark problems using printed characters (that could become a continuously evolving MNIST-style dataset); (2) an audio compression dataset with people speaking in continually changing noisy environments such as a city, an office or at home. (3) using a video dataset for a problem of object detection, obtained from footage of wearable cameras attached to the forehead of playing children [4]. We anticipate that methods to solve this problem could include a self supervised approach with a pretext task based on invariance through time of the representation. This would build on recent successes in this field [5] and adapt them to the time domain. We envision that progress made during this PhD could further research in out-of-distribution generalization, with applications to - Object detection/recognition: Many object detection/recognition algorithms are needed in dynamic environments such as in self-driving cars, where weather and traffic conditions, and lighting could change continually. Robot rescue missions could benefit from an invariant representation through time since they deal with very unique and extreme conditions that can rarely be witnessed otherwise in a normal vision dataset, for instance, recognizing a human at sea with a camera mounted on a helicopter for a search and rescue mission. - Sound/audio compression: Social media has seen a big influx of video based content, which also includes audio. This content often takes place in changing environments such as homes, or outdoors. If we focus on the type of audio content posted on social media, we can perhaps learn invariances that can help for the compression of this audio. - Automatic Speech recognition Similarly to audio content, speech also takes place in dynamic environments. Learning an invariant representation throughout time when a person is talking in a changing noisy environment could help isolate the speech part of the audio signal, therefore making downstream ASR or speaker identification systems work better. **References** [1] M. Arjovsky, L. Bottou, I. Gulrajani, and D. Lopez-Paz, “Invariant Risk Minimization,” _arXiv:1907.02893 [cs, stat]_, Mar. 2020, Accessed: Sep. 21, 2020. [Online]. Available: [http://arxiv.org/abs/1907.02893](http://arxiv.org/abs/1907.02893) [2] B. Y. Idrissi, M. Arjovsky, M. Pezeshki, and D. Lopez-Paz, “Simple data balancing achieves competitive worst-group-accuracy,” _arXiv:2110.14503 [cs]_, Oct. 2021, Accessed: Dec. 15, 2021. [Online]. Available: [http://arxiv.org/abs/2110.14503](http://arxiv.org/abs/2110.14503) [3] J. von Kügelgen _et al._, “Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style,” _ArXiv_, 2021. [4] J. Sullivan, M. Mei, A. Perfors, E. Wojcik, and M. C. Frank, “SAYCam: A Large, Longitudinal Audiovisual Dataset Recorded From the Infant's Perspective,” _Open Mind_, vol. 5, pp. 20–29, May 2021, doi: [10.1162/opmi_a_00039](https://doi.org/10.1162/opmi_a_00039). [5] M. Caron _et al._, “Emerging Properties in Self-Supervised Vision Transformers,” _arXiv:2104.14294 [cs]_, May 2021, Accessed: Jan. 25, 2022. [Online]. Available: [http://arxiv.org/abs/2104.14294](http://arxiv.org/abs/2104.14294)