Intégration de connaissances contextuelles dans des modèles à base d’apprentissage profond pour l’analyse de données visuelles

Integration of contextual knowledge in deep Learning modeling for vision-based scene analysis

• Auteur / Autrice : Fatima Ezzahra Benkirane
• Direction : Vincent Hilaire, Yassine Ruichek, Nathan Crombez
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 28/02/2024
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Connaissance et Intelligence Artificielle Distribuées (CIAD) (Dijon) - Connaissance et Intelligence Artificielle Distribuées [Dijon] / CIAD
• Partenaire(s) de recherche : Etablissement de préparation : Université de technologie de Belfort-Montbéliard (1999-....)
• Jury : Président / Présidente : Marie-Hélène Abel
• Jury : Examinateurs / Examinatrices : Vincent Hilaire, Yassine Ruichek, Nathan Crombez, Abdelmalik Taleb-Ahmed, Sylvie, Julie Chambon
• Jury : Rapporteurs / Rapporteuses : Abdelmalik Taleb-Ahmed, Sylvie, Julie Chambon

Mots clés

Mots clés contrôlés

Systèmes experts (informatique)

Intelligence artificielle

Apprentissage profond

Mots clés libres

IA hybride

Systèmes à base de connaissance

Apprentissage profond

Analyse de scènes par vision

Hybrid AI

Knowledge-Based Systems

Deep learning

Visual tasks analysis

Résumé

La vision par ordinateur a connu une évolution importante, passant des méthodes traditionnelles aux modèles d'apprentissage profond. L’un des principaux objectifs des tâches de vision par ordinateur est d’émuler la perception humaine. En effet, le processus classique effectué par les modèles d’apprentissage profond dépend entièrement des caractéristiques visuelles, reflétant simplement la manière dont les humains perçoivent visuellement leur environnement. Cependant, pour que les humains comprennent l’environnement qui les entoure, leur raisonnement dépend non seulement de leurs capacités visuelles, mais aussi de leurs connaissances pré-acquises. Combler cette différence entre la perception humaine et celle des machines est essentielle afin de parvenir à un raisonnement similaire à celui des humains. Dans cette thèse, nous proposons de nouvelles approches pour améliorer les performances des modèles d’apprentissage profond en intégrant les systèmes basés sur les connaissances dans les réseaux de neuronaux profonds. L'objectif est d’aider ces réseaux à prendre les bonnes décisions en exploitant à la fois les caractéristiques visuelles et les connaissances pour émuler l’analyse visuelle de l’être humain. Ces méthodologies impliquent deux axes principaux. Premièrement, définir la représentation des connaissances pour incorporer des informations utiles à une tâche spécifique de vision. Deuxièmement, examiner comment intégrer ces connaissances dans les réseaux de neurones pour améliorer leurs performances. La première contribution porte sur l'estimation de la profondeur monoculaire. En effet, les humains sont capables d'estimer leur distance par rapport aux objets perçus, même en n’utilisant qu’un seul œil, et ceci en se basant sur les indices monoculaires. Nous proposons d'intégrer ces indices au sein des réseaux de neurones comme un raisonnement similaire à celui des humains pour l'estimation de la profondeur. À cette fin, nous suggérons d'exploiter un modèle ontologique pour représenter l'environnement comme un ensemble de concepts liés par des relations sémantiques. Les informations sur les indices monoculaires sont extraites grâce à un raisonnement effectué sur l'ontologie proposée et sont transférées dans les réseaux de neurones. Le deuxième travail porte sur la tâche de segmentation panoptique qui vise à identifier toutes les instances d’objets capturées dans une image. Nous proposons une approche qui combine les avantages des réseaux de neurones avec des connaissances sur les relations spatiales entre les objets. Nous avons choisi ce type de connaissances car elles peuvent fournir des indices utiles pour résoudre les ambiguïtés et distinguer entre les instances d'objets similaires. Plus précisément, nous proposons une stratégie d'entraînement qui intègre les connaissances dans le processus d'optimisation des réseaux de neurones. L’approche comprend un processus d'extraction et de représentation des connaissances sur les relations spatiales, qui sont incorporées dans l’entraînement sous forme d'une fonction de perte. Afin de valider l'efficacité des approches proposées, nous avons choisi l'environnement urbain et les véhicules autonomes comme principale cas d’application. Ce domaine est particulièrement intéressant car il s'agit d'un axe de recherche novateur en développement continu, avec des implications significatives pour la sécurité et la mobilité des humains. En conclusion, nous avons étudié diverses approches pour représenter les connaissances et les intégrer aux réseaux de neurones. Ces approches valident que l’utilisation combinée de méthodes basées sur les connaissances et celles basées sur les données conduit de manière constante à des résultats améliorés. Le défi principal réside toujours dans le choix des connaissances pertinentes pour chaque tâche, leur représentation et leur intégration de la manière la plus optimale dans l'architecture des réseaus de neurones profonds.

Computer vision has made an important evolution starting from traditional methods to advanced Deep Learning (DL) models. One of the goals of computer vision tasks is to effectively emulate human perception. The classical process of DL models is completely dependent on visual features, which only reflects how humans visually perceive their surroundings. However, for humans to comprehensively understand their environment, their reasoning not only depends on what they see but also on their pre-acquired knowledge. Addressing this gap is essential as achieving human-like reasoning requires a seamless combination of data-driven and knowledge-driven methods. In this thesis, we propose new approaches to improve the performance of DL models by integrating Knowledge-Based Systems (KBS) within Deep Neural Networks (DNNs). The goal is to empower these networks to make informed decisions by leveraging both visual features and knowledge to emulate human-like visual analysis. These methodologies involve two main axes. First, define the representation of KBS to incorporate useful information for a specific computer vision task. Second, investigate how to integrate this knowledge into DNNs to enhance their performance. To do so, we worked on two main contributions. The first work focuses on monocular depth estimation. Considering humans as an example, they can estimate their distance with respect to seen objects, even using just one eye, based on what is called monocular cues. Our contribution involves integrating these monocular cues as human-like reasoning for monocular depth estimation within DNNs. For this purpose, we investigate the possibility of directly integrating geometric and semantic information into the monocular depth estimation process. We suggest using an ontology model in a DL context to represent the environment as a structured set of concepts linked with semantic relationships. Monocular cues information is extracted through reasoning performed on the proposed ontology and is fed together with the RGB image in a multi-stream way into the DNNs. Our approach is validated and evaluated on widespread benchmark datasets. The second work focuses on panoptic segmentation task that aims to identify and analyze all objects captured in an image. More precisely, we propose a new informed deep learning approach that combines the strengths of DNNs with some additional knowledge about spatial relationships between objects. We have chosen spatial relationships knowledge for this task because it can provide useful cues for resolving ambiguities, distinguishing between overlapping or similar object instances, and capturing the holistic structure of the scene. More precisely, we propose a novel training methodology that integrates knowledge directly into the DNNs optimization process. Our approach includes a process for extracting and representing spatial relationships knowledge, which is incorporated into the training using a specially designed loss function. The performance of the proposed method was also evaluated on various challenging datasets. To validate the effectiveness of the proposed approaches for combining KBS and DNNs regarding different methodologies, we have chosen the urban environment and autonomous vehicles as our main use case application. This domain is particularly interesting because it is a challenging and novel field in continuous development, with significant implications for the safety, comfort and mobility of humans. As a conclusion, the proposed approaches validate that the integration of knowledge-driven and data-driven methods consistently leads to improved results. Integration improves the learning process for DNNs and enhances results of computer vision tasks, providing more accurate predictions. The challenge always lies in choosing the relevant knowledge for each task, representing it in the best structure to leverage meaningful information, and integrating it most optimally into the DNN architecture.