Intelligence Artificielle en Bordure de Réseau pour la Fusion d'Images Multimodale

Edge Artificial Intelligence for Multimodal Image Fusion

• Auteur / Autrice : Yoann Dupas
• Direction : Denis Trystram, Christophe Cerin
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 14/11/2022
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble

Mots clés

Mots clés libres

Intelligence Artificielle

Bordure de Réseau

Fusion Images Multimodales

Artificial Intelligence

Edge Computing

Multimodal Image Fusion

Résumé

L'objectif de cette thèse est de concevoir des techniques d'intelligence artificielle pour la fusion d'images visible, infra-rouge et LIDAR. L'intérêt et l'enjeu de tels systèmes multi-caméras réside en leur capacité à s'affranchir des limitations des IA utilisant leurs images comme source : un CNN entraîné sur des images ne permet pas de faire la distinction entre une personne réelle et la photo d'une personne se trouvant sur un poster. Une caméra IR ou un LIDAR permettent d'apporter des informations supplémentaires permettant de corriger de telles erreurs. Des amorces de travaux ont déjà été effectuées pour fusionner les informations d'images visible-IR [LI2018], visible-LIDAR [CUI2020], et IR-LIDAR [CHOI2021]. Outre le fait que la fusion d'images visible-IR-LIDAR ne soit pas traitée, l'état de l'art implique le plus souvent l'utilisation de réseaux de neurones profonds et implique la mise en œuvre d'architectures cloud ou l'utilisation d'importantes capacités de calcul : ces approches sont incompatibles avec le domaine des objets connectés, les traitements en bordure de réseau sont inenvisageables ; et la consommation d'énergie de ces approches n'a ni été estimée et n'a pas fait partie des critères de sélection des choix scientifiques et technologiques. Dans le cadre de cette thèse, il s'agira de concevoir des algorithmes de détection d'objets dans des images multimodales. Deux approches pourront être envisagées : 1. Apprentissage de classifieurs sur des images visibles, IR et LIDAR indépendamment les uns des autres puis fusion de leurs résultats ; où 2. Fusion des images de manière à obtenir des images 7d (r, g, b, IR, x, y, z) puis apprentissage d'un classifieur sur de telles images. L'apprentissage des classifieurs utilisera des techniques issues du Deep Learning : CNN, transfert learning, contrastive learning etc. Si l'apprentissage de ces classifieurs pourra faire appel des serveurs spécialisés dans l'IA, les inférences devront pouvoir être réalisées sur des calculateurs en bordure de réseaux (Edge Computing) de type NVIDIA TX2, NVIDIA Orin ou Google Coral ; et pour limiter la consommation énergétique des algorithmes, des techniques de compression et de quantification de réseaux de neurones seront envisagées

The aim of this thesis is to design artificial intelligence techniques for the fusion of visible, infrared and LIDAR images. The interest and challenge of such multi-camera systems lies in their ability to overcome the limitations of AI using their images as a source: a CNN trained on images does not distinguish between a real person and a picture of a person on a poster. An IR camera or a LIDAR can provide additional information to correct such errors. Work has already been done to merge visible-IR [LI2018], visible-LIDAR [CUI2020], and IR-LIDAR [CHOI2021] image information. Apart from the fact that the fusion of visible-IR-LIDAR images is not tackled, the state of the art approaches usually involves the use of deep neural networks and involves the implementation of cloud architectures or the use of important computing capabilities: these approaches are incompatible with the domain of connected objects, network edge processing is unthinkable; and the energy consumption of these approaches has not been estimated or included in the selection criteria for scientific and technological choices. In the context of this thesis, it will be a question of designing algorithms for detecting objects in multimodal images. Two approaches could be considered: 1. Learning classifiers on visible images, IR, and LIDAR independently of each other and then merging their results; or 2. Merge images to obtain 7d images (r, g, b, IR, x, y, z) and then learn a classifier on such images. The learning of classifiers will use techniques from Deep Learning: CNN, transfer learning, contrastive learning etc. The learning of these classifiers will use AI specialized servers. But it must be possible to carry out the inferences on Edge Computing type processor like NVIDIA TX2, NVIDIA Orin or Google Coral; and to reduce the energy consumption of the algorithms, neural networks compression and quantification approaches will be considered.