Exploitation de l'isomorphisme de graphes et de l'alignement d'ontologies pour enrichir les objets logiciels de connaissances sémantiques : Application aux objets sages.

Leveraging graph isomorphism and ontology alignment to enrich software objects with semantic knowledge : The wise objects use case.

• Auteur / Autrice : Abdelhafid Dahhani
• Direction : Ilham Alloui, Sébastien Monnet, Flavien Vernier
• Type : Thèse de doctorat
• Discipline(s) : STIC Traitement de l'Information
• Date : Soutenance le 14/12/2023
• Etablissement(s) : Chambéry
• Ecole(s) doctorale(s) : École doctorale sciences, ingénierie, environnement (Chambéry ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, systèmes, traitement de l'information et de la connaissance (Annecy)
• Jury : Président / Présidente : Alexandre Benoît
• Jury : Examinateurs / Examinatrices : Sylvie Despres, Sylvain Giroux
• Jury : Rapporteurs / Rapporteuses : Sophie Ebersold, Jérôme Euzenat

Mots clés

Mots clés contrôlés

Systèmes experts (informatique)

Informatique omniprésente

Mots clés libres

Systèmes adaptatifs et contrôle

Analyse

Systèmes de surveillance

Sagesse - conscience - graph matching

Systèmes basés sur la connaissance

Science des données. semantic et ontologie

Data science. semantic and ontology

Wisdom - awareness - graph matching

Knowledge- based systems

Analysis

Adaptive system and control

Monitoring systems

Résumé

Cette thèse aborde l'intégration de l'intelligence artificielle dans le monde réel, tout en respectant le concept de la technologie calme. À cette fin, le « Wise Object Framework » qui est basé sur la boucle MAPE-K, et son dérivé IAPE-K a été créé au sein du laboratoire LISTIC. La boucle IAPE-K signifie : Introspecter, Analyser, Planifier et Exécuter, sur la base des connaissances partagées.Fondamentalement, les « Wise Object » sont des entités logicielles qui apprennent à se comporter par elles-mêmes grâce à des mécanismes d'introspection et de réflexivité pour enrichir leurs connaissances sur elle-même. Ces connaissances sont organisées sous la forme d'un graphe et représentent le comportement des « Wise Object ». Cependant, ce graphe manque d'informations sémantiques significatives, ce qui empêche les « Wise Object » de communiquer sémantiquement avec les humains. L'approche proposée pour enrichir ce graphe de connaissances avec de la sémantique peut être mise en œuvre comme un plug-in dans le Wise Object Framework, car ce dernier respecte le principe de modularité et de séparation des préoccupations. Pour résoudre ce problème et permettre aux « Wise Object » de communiquer avec les humains, j'ai proposé un algorithme de correspondance entre le graphe de connaissances générées par le WO, et le formalisme appelé systèmes de transition symbolique d'entrée/sortie, qui représente le comportement sémantique d'une application. Ce formalisme est utilisé pendant la phase de conception du logiciel pour exprimer son comportement de manière sémantique. L'algorithme étend le graphe de connaissances généré par le « Wise Object » avec la sémantique humaine portée par le formalisme. Ce formalisme étant également représenté par un graphe, l'algorithme consiste en la mise en correspondance des deux graphes. L'une des principales limites de la première version de l'algorithme est le nombre multiple d'appariements obtenus. Cela rend le « Wise Object » confus et l'empêche de choisir la bonne sémantique pour communiquer avec l'humain. Je propose donc un second algorithme, qui étend le premier, en prenant en compte la sémantique disponible dans les deux graphes pour raffiner la mise en correspondance.Au cours de ma thèse, j'ai pu mettre en place une collaboration entre le laboratoire DOMUS de l'Université de Sherbrooke et le laboratoire LISTIC de l'Université Savoie Mont Blanc. Au cours de cette collaboration, j'ai travaillé avec DOMUS sur le problème inverse, la communication homme vers machine. Dans le contexte du maintien des personnes à domicile, le problème consiste à trouver tous les capteurs/effecteurs qui sont responsables d'aider une personne âgée à effectuer une activité telle que « Pauline gets out of bed, Pauline takes a glass of water ». Cette activité est décrite par les aidants/proches sous la forme d'une requête vocale transmise à la maison intelligente. Ce problème me conduit à l'alignement de l'ontologie dans le contexte des systèmes d'assistance à l'autonomie.

This thesis discusses the integration of artificial intelligence into real-world applications while respecting the concept of calm technology, which minimises intrusion into users' lives. A framework called ``Wise Object Framework'' based on the MAPE-K loop and its derivative IAPE-K is created at the LISTIC laboratory to develop such applications. IAPE-K loop stands for Introspect, Analyse, Plan and execute over a shared knowledge between its components.Basically, ``Wise Objects'' are software entities that learn how they behave by themselves through introspection mechanisms, and collect data about their behaviour through self-monitoring to produce logs that I termed in this thesis ``knowledge''. This knowledge is organised in the form of a graph and represents the ``Wise Object'''s behaviour. However, this graph lacks meaningful semantic information, which prevents ``Wise Object'' from communicating semantically with humans. The approach proposed to enhance a knowledge graph with semantic can be designed and implemented as a plug-in in the Wise Object Framework, as this latter respects the principle of modularity.To address this issue and enable ``Wise Object'' communicate with humans (machine-human communication), I propose a matching algorithm between a graph, representing AI-generated knowledge, and a conceptual graph expressed as an Input/Output Symbolic Transition System, representing human conceptual views. This graph is given by experts to the ``Wise Object'' during the conceptual phase of the application and contains its semantic. The algorithm aims to extend AI-generated knowledge with human semantic by searching matches between the two types of graphs. A major limitation of the first version of the algorithm is the number of matches obtained, that leads to an inexact matching from a human point of view. It also confuses the ``Wise Object'' and prevents it from choosing the right match, as the challenge now lies at the semantic level. To meet this challenge, I propose to integrate ontologies into the matching computation process in order to contextualise it.During my thesis, I established a collaboration between the DOMUS laboratory of the University of Sherboorke and the LISTIC laboratory of Savoie Mont Blanc University. During this collaboration, I have worked with DOMUS on a dual problem of those addressed mainly in this thesis, human-machine communication, exploring the matching algorithm in the context of ambient assisted living systems for the elderly. The objective is to find all the sensors/effectors that able to help an elderly person to perform an activity such as ``Pauline gets out of bed, Pauline takes a glass of water''. This activity is described by the caregivers/relatives in a form of voice queries given to the smart home. This problem leads me to the ontology alignment in the context of ambient assisted living systems.