Construction et conceptualisation de connaissances en robotique autonome

Knowledge design and conceptualization in autonomous robotics

• Auteur / Autrice : Cristiano Russo
• Direction : Kurosh Madani, Antonio Maria Rinaldi
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Automatique
• Date : Soutenance le 16/12/2020
• Etablissement(s) : Paris Est en cotutelle avec Università degli studi di Napoli Federico II
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire Images, Signaux et Systèmes Intelligents (Créteil) - Laboratoire Images- Signaux et Systèmes Intelligents / LISSI
• Jury : Président / Présidente : Richard Chbeir
• Jury : Examinateurs / Examinatrices : Kurosh Madani, Antonio Maria Rinaldi, Richard Chbeir, Gilles Bernard, Alfio Ferrara, Véronique Amarger, Ernesto De Luca
• Jury : Rapporteurs / Rapporteuses : Gilles Bernard, Alfio Ferrara

Mots clés

Mots clés contrôlés

Systèmes experts (informatique)

Algorithmes bio-inspirés (intelligence artificielle)

Mots clés libres

Robotique autonome

Intelligence Artificielle

Ontologies

Cognition artificielle

Perception

Construction de connaissances

Artificial Cognition

Ontologies

Artificial Intelligence

Atonomous Robotis

Knowledge Design

Perception

Résumé

L'emploi de robots personnels, ou de robots de service, a suscité beaucoup d'intérêt ces dernières années avec une croissance étonnante de la robotique dans différents domaines. Concevoir des robots compagnons capables d'assister, de partager et d'accompagner des personnes à autonomie limitée dans leur vie quotidienne est le défi de la décennie à venir. Cependant, les performances des systèmes robotisés et des prototypes actuels sont très loin de répondre à un tel défi. Bien que des robots humanoïdes sophistiqués aient été développés, de nombreux efforts sont nécessaires pour améliorer leurs capacités cognitives.En effet, les robots (ainsi que les prototypes) disponibles dans le commerce ne sont pas encore capables de s'adapter naturellement à l'environnement complexe dans lequel ils sont censés évoluer avec les humains. De la même façon, les prototypes existants ne sont pas en mesure d'interagir de plusieurs manières avec leurs utilisateurs. En fait, ils sont encore très loin d'interpréter la diversité et la complexité des informations perçues ou encore de construire des connaissances relatives au milieu environnant. Le développement d'approches bio-inspirées basées sur la cognition artificielle pour la perception et l'acquisition autonome de connaissances en robotique est une méthodologie appropriée pour surmonter ces limites. Un certain nombre d'avancées ont déjà permis de réaliser un système basé sur la cognition artificielle permettant à un robot d'apprendre et de créer des connaissances à partir de ses observations (association d'informations sensorielles et de sémantique naturelle). Dans ce contexte, le présent travail tire parti du processus évolutif d'interprétation sémantique des informations sensorielles pour faire émerger la conscience de la machine sur son environnement. L'objectif principal de la thèse de doctorat est de poursuivre les efforts déjà accomplis (recherches) afin de permettre à un robot d'extraire, de construire et de conceptualiser les connaissances sur son environnement. En effet, la motivation de cette recherche doctorale est de généraliser les concepts précités afin de permettre une construction autonome, ou semi-autonome, de connaissances à partir de l'information perçue (par exemple par un robot). En d'autres termes, l'objectif attendu de la recherche doctorale proposée est de permettre à un robot de conceptualiser progressivement l'environnement dans lequel il évolue et de partager les connaissances construites avec son utilisateur. Pour cela, une base de connaissances sémantique-multimédia a été créée sur la base d'un modèle ontologique et implémentée via une base de données de graphes NoSQL. Cette base de connaissances est la pierre angulaire du travail de thèse sur lequel de multiples approches ont été explorées, basées sur des informations sémantiques, multimédias et visuelles. Les approches développées combinent ces informations à travers des techniques classiques d'apprentissage automatique, à la fois supervisées et non supervisées, ainsi que des techniques d'apprentissage par transfert pour la réutilisation de caractéristiques sémantiques à partir de modèles de réseaux de neurones profonds. D'autres techniques basées sur les ontologies et le Web sémantique ont été explorées pour l'acquisition et l'intégration de nouveaux savoirs dans la base de connaissances développée. L'étude de ces différents domaines à conduit à la definition d'un modèle compréhensif de gestion de la connaissance intégrant des caractéristiques relatives à la perception et à la sémantique, qui peut également être utilisée sur des plateforme robotiques. Les expériences menées ont montré une correspondance efficace entre les interprétations basées sur des caractéristiques sémantiques et visuelles, d'où la possibilité pour un agent robotique d'élargir ses compétences de généralisation des connaissances dans des environnements encore inconnus (voire partiellement connus), ce qui a permis d'atteindre les objectifs fixés.

The employment of personal robots or service robots has aroused much interest in recent years with an amazing growth of robotics in different domains. Design of companion robots able to assist, to share and to accompany individuals with limited autonomy in their daily life is the challenge of the future decade. However, performances of nowadays robotic bodies and prototypes remain very far from defeating such challenge. Although sophisticated humanoid robots have been developed, much more effort is needed for improving their cognitive capabilities.Actually, the above-mentioned commercially available robots or prototypes are not still able to naturally adapt themselves to the complex environment in which they are supposed to evolve with humans. In the same way, the existing prototypes are not able to interact in a versatile way with their users. In fact they are still very far from interpreting the diversity and the complexity of perceived information or to construct knowledge relating the surrounding environment. The development of bio-inspired approaches based on Artificial Cognition for perception and autonomous acquisition of knowledge in robotics is a feasible strategy to overcome these limitations. A number of advances have already conducted to the realization of an artificial-cognition-based system allowing a robot to learn and create knowledge from observation (association of sensory information and natural semantics). Within this context, the present work takes advantage from evolutionary process for semantic interpretation of sensory information to make emerge the machine-awareness about its surrounding environment. The main purpose of the Doctoral Thesis is to extend the already accomplished efforts (researches) in order to allow a robot to extract, to construct and to conceptualize the knowledge about its surrounding environment. Indeed, the goal of the doctoral research is to generalize the aforementioned concepts for an autonomous, or semi-autonomous, construction of knowledge from the perceived information (e.g. by a robot). In other words, the expected goal of the proposed doctoral research is to allow a robot progressively conceptualize the environment in which it evolves and to share the constructed knowledge with its user. To this end, a semantic-multimedia knowledge base has been created based on an ontological model and implemented through a NoSQL graph database. This knowledge base is the founding element of the thesis work on which multiple approaches have been investigated, based on semantic, multimedia and visual information. The developed approaches combine this information through classic machine learning techniques, both supervised and unsupervised, together with transfer learning techniques for the reuse of semantic features from deep neural networks models. Other techniques based on ontologies and the Semantic Web have been explored for the acquisition and integration of further knowledge in the knowledge base developed. The different areas investigated have been united in a comprehensive logical framework. The experiments conducted have shown an effective correspondence between the interpretations based on semantic and visual features, from which emerged the possibility for a robotic agent to expand its knowledge generalization skills in even unknown or partially known environments, which allowed to achieve the objectives set.