Apprentissage hybride pour la détection d'objets sur images satellitaires

Hybrid learning for the detection of objects in remote sensing images

• Auteur / Autrice : Clément Barbier
• Direction : Stéphane Herbin
• Type : Projet de thèse
• Discipline(s) : Sciences du traitement du signal et des images
• Date : Inscription en doctorat le 01/10/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : ONERA - Département Traitement de l'information et systèmes
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Apprentissage frugal

Détection d'objet

Télédétection

Intelligence artificielle

Object detection

Frugal learning

Artificial Intelligence

Remote sensing

Résumé

Les images satellites ou aérienne sont un moyen intéressant et facile d'acquérir des informations sur de grandes surfaces. Un cas d'utilisation typique est celui de l'estimation de l'activité en observant la présence et le nombre d'objets caractéristiques dans une scène donnée : les bateaux de croisière dans un port, par exemple, peuvent mesurer l'activité touristique, le nombre de hangars à la périphérie d'une ville donne une indication du niveau de développement économique, les bâtiments fonctionnels (intacts ou endommagés) peuvent révéler le niveau d'organisation politique après une catastrophe naturelle. Des outils automatisés de détection de ces objets sont nécessaires, par exemple pour suivre régulièrement l'évolution de cette activité. L'apprentissage supervisé de réseaux profonds est la technique moderne utilisée pour concevoir des détecteurs d'objets sur des images. Elle s'appuie sur un large ensemble de données annotées qui échantillonnent la distribution d'entrée des images. Cependant, en raison de la spécificité des objets recherchés dans les images, il n'y a souvent pas de base de données d'entraînement disponible pour appliquer une approche d'apprentissage purement supervisé, et de nouveaux moyens d'exploiter d'autres sources de connaissances deviennent nécessaires. L'objectif de l'intelligence artificielle ou de l'apprentissage hybride est de proposer des moyens formels pour introduire de bons priors sur une approche basée sur les données exprimées sous la forme d'une représentation des connaissances ou à partir d'un modèle analytique. Dans cette thèse, il est proposé d'utiliser le langage naturel comme un moyen flexible d'encoder de telles connaissances afin de spécialiser les détecteurs d'objets. Des approches associant langage naturel et vision par ordinateur [Mogadala, 2019] ont été développées récemment grâce aux possibilités offertes par les architectures de réseaux de neurones profonds pour faciliter la combinaison d'espaces de représentation multimodaux. Des problèmes tels que le sous-titrage d'images, la réponse à des questions visuelles (' VQA '), le dialogue ou l'apprentissage de zéro-shot [Bucher, 2016] [Bucher, 2017] sont maintenant devenus des sujets de recherche standard, et ont donné lieu à quelques applications dans le domaine de la télédétection (sous-titrage [Lu, 2017] [Zhang, 2019] [Wang, 2019c], VQA [Lobry, 2020], Zero-shot [Sumbul, 2017] [Chen, 2019]). Des approches récentes utilisent des espaces visuels/sémantiques pour encoder des corrélations multimodales complexes [Su, 2019] [Lu, 2019] [Tan, 2019] [Zhang, 2021a] [Zareian, 2021]. L'une des directions de recherche proposées consiste à compléter les descriptions d'objets basées sur le langage par des exemples visuels supplémentaires. Cet objectif peut être considéré pour la détection d'objets comme l'association de ce que l'on appelle le 'zero-shot' - les classes d'objet sont définies de manière textuelle [Tan, 2021] [Rahman, 2020b] [Zhu, 2020] - et le 'few-shot' - la classe d'objet est définie à partir de quelques exemples [Sun, 2019] [Wang, 2019a] [Wang, 2019b] [Wang, 2020] ou par approches incrémentales [Perez-Rua, 2020] [Zhang, 2021a] [Cheraghian , 2021]. Cette tâche est maintenant parfois appelée 'any-shot' dans la littérature [Khandelwal, 2020] [Rahman, 2020a] [Xian, 2019] [Guan, 2020]. La génération d'images conditionnelles à partir de descriptions de forme libre [Ramesh, 2021] est également une direction intéressante pour pallier le manque de données sur des objets spécifiques. Une spécificité du domaine de l'analyse des images de télédétection est la petite taille apparente de certains objets d'intérêt ou l'ambiguïté de leur forme. De ce fait, les objets ne sont souvent identifiables que par leur contexte, par leur configuration ou en relation avec d'autres entités : véhicule sur la route, bateaux amarrés dans un port, église ou mairie devant une place, école près d'une cour, camp contenant une série de bâtiments standardisés, etc. La question se pose alors d'introduire dans un détecteur, et de manière suffisamment souple, des connaissances ou des descriptions permettant de décrire un tel contexte [Zablocki, 2019] [Li, 2020] [Luo, 2020] [Yang, 2020] [Zhao, 2021]. La thèse abordera donc deux problématiques : - Comment construire une détection d'objet spécifique lorsque la catégorie d'objet est définie par des descriptions textuelles/basées sur des connaissances et des échantillons visuels ? - Comment exploiter efficacement une description du contexte géo-spatial (par du texte ou des échantillons d'images) et l'introduire comme préalable dans un algorithme de détection d'objets ?

Satellite or aerial images are an interesting and easy way to acquire information on large areas. A typical use case is to estimate activity by observing the presence and number of characteristic objects in a given scene: cruise ships in a port, for example, can measure tourist activity, the number of sheds on the outskirts of a city gives an indication of the level of economic development, functional buildings (intact or damaged) can reveal the level of political organization after a natural disaster. Automated tools to detect these objects are needed, for example to regularly monitor the evolution of this activity. Supervised deep network learning is the modern technique used to design object detectors on images. It relies on a large annotated dataset that samples the input distribution of images. However, due to the specificity of the objects searched for in images, there is often no training database available to apply a purely supervised learning approach, and new ways of exploiting other knowledge sources become necessary. The goal of artificial intelligence or hybrid learning is to propose formal ways to introduce good priors on a data-driven approach expressed as a knowledge representation or from an analytical model. In this thesis, it is proposed to use natural language as a flexible way to encode such knowledge in order to specialize object detectors. Approaches combining natural language and computer vision [Mogadala, 2019] have been developed recently using the possibilities offered by deep neural network architectures to facilitate the combination of multimodal representation spaces. Problems such as image captioning, visual question answering (' VQA '), dialogue or zero-shot learning [Bucher, 2016] [Bucher, 2017] have now become standard research topics, and have led to some applications in remote sensing (captioning [Lu, 2017] [Zhang, 2019] [Wang, 2019c], VQA [Lobry, 2020], Zero-shot [Sumbul, 2017] [Chen, 2019]). Recent approaches use visual/semantic spaces to encode complex multimodal correlations [Su, 2019] [Lu, 2019] [Tan, 2019] [Zhang, 2021a] [Zareian, 2021]. One proposed research direction is to supplement language-based object descriptions with additional visual examples. This goal can be viewed for object detection as the combination of the so-called 'zero-shot learning' - object classes are defined textually [Tan, 2021] [Rahman, 2020b] [Zhu, 2020] - and the 'few-shot learning' - the object class is defined from a few examples [Sun, 2019] [Wang, 2019a] [Wang, 2019b] [Wang, 2020] or using an incremental strategy [Perez-Rua, 2020] [Zhang, 2021a] [Cheraghian , 2021]. This task is now sometimes called 'any-shot' in the literature [Khandelwal, 2020] [Rahman, 2020a] [Xian, 2019] [Guan, 2020]. Generating conditional images from free-form descriptions [Ramesh, 2021] is also an interesting direction to overcome the lack of data on specific objects. A specificity of the remote sensing image analysis domain is the apparent small size of some objects of interest or the ambiguity of their shape. As a result, objects are often only identifiable by their context, by their configuration or in relation to other entities: a vehicle on the road, boats moored in a harbour, a church or town hall in front of a square, a school near a courtyard, a camp containing a series of standardized buildings, etc. The question then arises of how to introduce into a detector, and in a sufficiently flexible way, knowledge or descriptions allowing to describe such a context [Zablocki, 2019] [Li, 2020] [Luo, 2020] [Yang, 2020] [Zhao, 2021]. The thesis will therefore address two issues: - How to build specific object detection when the object category is defined by textual/knowledge-based descriptions and visual samples? - How to efficiently exploit a geo-spatial context description (by text or image samples) and introduce it as a prerequisite in an object detection algorithm?