Soustraction d'arrière-plan par images multispectrales avec les méthodes Codebook et apprentissage profond

Multispectral images-based background subtraction using Codebook and deep learning approaches

• Auteur / Autrice : Rongrong Liu
• Direction : Mohammed el- Bagdouri, Yassine Ruichek
• Type : Thèse de doctorat
• Discipline(s) : Automatique
• Date : Soutenance le 30/06/2020
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Connaissance et Intelligence Artificielle Distribuées (CIAD) (Dijon) - Connaissance et Intelligence Artificielle Distribuées [Dijon] / CIAD
• Partenaire(s) de recherche : Etablissement de préparation : Université de technologie de Belfort-Montbéliard (1999-....)
• Jury : Président / Présidente : Stéphane Galland
• Jury : Examinateurs / Examinatrices : Jean-Charles Noyer, Cyril Meurie
• Jury : Rapporteur / Rapporteuse : Abdelmalik Taleb-Ahmed, Louahdi Khoudour

Mots clés

Mots clés contrôlés

Apprentissage profond

Traitement d'images -- Techniques numériques

Mots clés libres

Soustraction d'arrière-Plan

Images multispectrales

Modèle de Codebook

Deep learning

Background subtraction

Multispectral images

Codebook model

Deep learning

Résumé

Cette thèse vise à étudier les images multispectrales pour la détection d'objets en mouvement par soustraction d'arrière-plan, à la fois avec des méthodes classiques et d’apprentissage profond. En tant qu'algorithme classique efficace et représentatif pour la soustraction de fond, l’algorithme Codebook traditionnel a d'abord été étendu au cas multispectral. Afin de rendre l'algorithme fiable et robuste, un mécanisme auto-adaptatif pour sélectionner les paramètres optimaux a ensuite été proposé. Dans ce cadre, de nouveaux critères dans le processus d'appariement sont employés et de nouvelles techniques pour construire le modèle d'arrière-plan sont conçues, y compris le Codebook de boîtes, le Codebook dynamique et la stratégie de fusion. La dernière tentative est d'étudier les avantages potentiels de l'utilisation d'images multispectrales via des réseaux de neurones convolutifs. Sur la base de l'algorithme impressionnant FgSegNet_v2, les principales contributions de ce travail reposent sur deux aspects : (1) extraire trois canaux sur sept de l'ensemble des données multispectrales du FluxData FD-1665 pour correspondre au nombre de canaux d'entrée du modèle profond, et (2) proposer un nouvel encodeur convolutionnel pour pouvoir utiliser tous les canaux multispectraux disponibles permettant d’explorer davantage les informations des images multispectrales.

This dissertation aims to investigate the multispectral images in moving objects detection via background subtraction, both with classical and deep learning-based methods. As an efficient and representative classical algorithm for background subtraction, the traditional Codebook has first been extended to multispectral case. In order to make the algorithm reliable and robust, a self-adaptive mechanism to select optimal parameters has then been proposed. In this frame, new criteria in the matching process are employed and new techniques to build the background model are designed, including box-based Codebook, dynamic Codebook and fusion strategy. The last attempt is to investigate the potential benefit of using multispectral images via convolutional neural networks. Based on the impressive algorithm FgSegNet_v2, the major contributions of this part lie in two aspects: (1) extracting three channels out of seven in the FluxData FD-1665 multispectral dataset to match the number of input channels of the deep model, and (2) proposing a new convolutional encoder to utilize all the multispectral channels available to further explore the information of multispectral images.