Méthodes IA multimodales dans des contextes d’observation océanographique et de surveillance maritime multi-capteurs hétérogènes

Multi-modal AI methods in the context of heterogeneous oceanic observations and multisensor maritime surveillance

• Auteur / Autrice : Matteo Zambra
• Direction : Ronan Fablet
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/01/2024
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et le numérique
• Partenaire(s) de recherche : Entreprise : Naval Group
• Partenaire(s) de recherche : Chaire : ANR chaire AI Oceanix (Brest)
• Partenaire(s) de recherche : Laboratoire : Equipe Observations Signal & Environnement - Département Mathematical and Electrical Engineering
• Jury : Président / Présidente : François Rousseau
• Jury : Examinateurs / Examinatrices : Ronan Fablet, Ricard Marxer, Yannick Berthoumieu, Marie Chabert, Julien Bonnel, Nicolas Farrugia, Dorian Cazau
• Jury : Rapporteur / Rapporteuse : Ricard Marxer, Yannick Berthoumieu

Mots clés

Mots clés contrôlés

Analyse des données

Mer

Apprentissage automatique

Mots clés libres

Apprentissage machine multi-modal

Données océaniques hétérogènes

Vitesse du vent à la surface de la mer

Multi-modal machine learning

Heterogeneous oceanic data

Wind speed at the sea surface

Résumé

Cette thèse vise à étudier l’utilisation simultanée d’ensembles de données océaniques hétérogènes afin d’améliorer les performances des modèles prédictifs utilisés dans les domaines scientifiques et opérationnels pour la simulation et l’analyse de l’océan et du milieu marin. Deux études de cas distinctes ont été explorées au cours des travaux de thèse. La première étude se concentre sur l’estimation locale de la vitesse du vent à la surface de la mer à partir de mesures du paysage sonore sous-marin et de produits de modèles atmosphériques. La deuxième étude considère l’extension spatiale du problème et l’utilisation d’observations à différentes échelles et résolutions spatiales, depuis les pseudo-observations simulant des images satellites jusqu’aux séries temporelles mesurées par des infrastructures in-situ. Le thème récurrent de ces recherches est la multi-modalité des données introduites dans le modèle. En d’autres termes, dans quelle mesure et comment le modèle prédictif peut bénéficier de l’utilisation de canaux d’information spatio-temporels hétérogènes. L’outil méthodologique privilégié est un système de simulation basé sur l’assimilation variationnelle des données et les concepts d’apprentissage profond.

The aim of this thesis is to study the simultaneous use of heterogeneous ocean datasets to improve the performance of predictive models used in scientific and operational fields for the simulation and analysis of the ocean and marine environment. Two distinct case studies were explored in the course of the thesis work. The first study focuses on the local estimation of wind speed at the sea surface from underwater soundscape measurements and atmospheric model products. The second study considers the spatial extension of the problem and the use of observations at different scales and spatial resolutions, from pseudo-observations simulating satellite images to time series measured by in-situ infrastructures. The recurring theme of these investigations is the multi-modality of the data fed into the model. That is, to what extent and how the predictive model can benefit from the use of spatio-temporally heterogeneous information channels. The preferred methodological tool is a simulation system based on variational data assimilation and deep learning concepts.