Détection d’objet dans des ensembles de données 3D non-structurés utilisant une sémantique explicite

Object detection in unstructured 3D data sets using explicit semantics

• Auteur / Autrice : Jean-Jacques Ponciano
• Direction : Alain Trémeau
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/11/2019
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale Sciences Ingénierie Santé (Saint-Etienne)
• Partenaire(s) de recherche : Equipe de recherche : Laboratoire Hubert Curien (Saint-Etienne ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Hubert Curien (Saint-Etienne ; 1995-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Jean Monnet (Saint-Étienne ; 1969-....)
• Jury : Président / Présidente : Anita Sellent
• Jury : Examinateurs / Examinatrices : Roland Billen
• Jury : Rapporteurs / Rapporteuses : Pierre Grussenmeyer, José-Fernán Martínez-Ortega

Mots clés

Mots clés contrôlés

Reconnaissance des formes (informatique)

Apprentissage

Intelligence artificielle

Ontologie

Langages de programmation -- Sémantique

Nuages de points

Mots clés libres

Nuage de points

Sémantique

Ontologie

Intelligence artificielle

Connaissance

Apprentissage

Reconnaissance

Point cloud

Semantic

Ontology

Artificial Intelligence

Knowledge

Learning

Recognition

Résumé

Avec l’évolution des technologies et de la robotique, les possibilités offertes par les systèmes d’acquisition 3D ont augmenté. Aujourd’hui, ces systèmes sont utilisés dans différents domaines comme par exemple pour les véhicules autonomes,les robots de sauvetage, le patrimoine culturel. Ces champs d’application nécessitent souvent la reconnaissance d’objets à partir de données acquises. C’est pourquoi diverses méthodologies ont été étudiées pour traiter automatiquementles données 3D des nuages de points afin de détecter les objets contenus. Les meilleures méthodologies dépendent du contexte, c’est-à-dire qu’elles sont spécifiques aux données à traiter et aux objets à reconnaître. Elles produisent une reconnaissance performante, ce qui est essentiel quel que soit le domaine d’application. Toutefois, l’adaptation des méthodologies à un domaine d’application ou à un cas d’utilisation particulier limite la possibilité d’étendre l’utilisation d’une méthode à d’autres domaines. Ces observations soulignent l’importance de développer des méthodologies de reconnaissance d’objets spécifiques à un contexte de détection, mais aussi la limitation des méthodes existantes pour préserver leur capacité dans des contextes de détection changeants. Un excellent exemple d’un degré élevé de flexibilité face à l’évolution des contextes est l’intelligence humaine et la capacité de l’homme à concevoir des méthodologies ad hoc. L’homme peut analyser le contexte en fonction de ses connaissances et combiner différentes caractéristiques ou stratégies en fonction de l’objectif à atteindre. Il serait donc utile que les outils de vision par ordinateur intègrent des éléments d’intelligence artificielle permettant de s’adapter au contexte d’un domaine d’application et de guider le processus de détection à cet égard. Cette thèse de doctorat présente une approche de la reconnaissance d’objets basée sur la connaissance qui peut être utilisée dans tous les domaines d’application. Son architecture est basée sur des technologies sémantiques pour permettre à un module de gestion des connaissances de guider le processus de détection d’objets à travers une procédure étape par étape effectuant la sélection, le paramétrage et l’exécution des algorithmes. Le processus de détection est réalisé grâce à une approche d’intelligence artificielle qui utilise des connaissances explicites pour concevoir une solution de reconnaissance d’objets en fonction du contexte. Sa force réside dans son adaptabilité au contexte, mais aussi dans sa capacité d’analyse et de compréhension d’une scène et d’objets contenus ainsi que dans les spécificités des données à traiter. Cette capacité de compréhension est réalisée par un processus d’auto-apprentissage capable de définir et de valider des hypothèses concernant le contexte, permettant ainsi d’enrichir la base de connaissances et d’améliorer le processus de reconnaissance des objets. L’efficacité de cette capacité d’adaptation sera démontrée dans quatre cas d’utilisation de différents domaines d’application. Le premier cas d’utilisation est l’intérieur d’un bâtiment. Il est utilisé à des fins de surveillance. Le second cas d’utilisation se situe dans le domaine de l’archéologie représenté par des ruines anciennes contenant une maison en terrasse avec un moulin à eau. Le troisième cas d’utilisation est un extérieur représentant une partie de la ville de Fribourg en Allemagne. Il est utilisé à des fins industrielles. Enfin, le dernier cas d’utilisation est un intérieur acquis par Kinect de Microsoft. Il est utilisé à des fins robotiques.

With the evolution of technologies and robotics, the possibilities offered by 3D acquisition systems have increased. Nowadays, these systems are used in different domains as for autonomous vehicles, rescue robots, cultural heritage, for example. These application fields often require to perform object recognition from acquired data. Therefore, various methodologies have been investigated to automatically process 3D point cloud data in order to detect contained objects. The best methodologiesdepend on the context, that means they are specific to the data to be processed and the objects to be recognized. They produce efficient recognition, which is essential whatever the application field. However, adapting methodologies to a particular application field or use case limits the flexibility to extend the use of a method to other fields. These observations highlight the importance of developing object recognition methodologies specific to a detection context, but also the limitation of existing methods to preserve their capacity within changing detection contexts. An excellent example of a high degree of flexibility to changing contexts is human intelligence and human’s ability to design ad hoc methodologies. Humans can analyze the context according to their knowledge and combine different characteristics or strategies according to the objective to be achieved. It would, therefore, be helpful for Computer Vision tools to integrate elements of artificial intelligence, allowing to adapt to the context of an application fields and to guide the detection process in this respect. This Ph.D. thesis presents a knowledge-based approach for object recognition that can be used whatever the application field. Its architecture is based on semantic technologies to allow a knowledge management module to guide the objects detection process through a step by step procedure performing the selection, parameterization, and execution of algorithms. The detection process is performed thanks to an artificial intelligence approach that uses explicit knowledge to design a context-dependent object recognition solution. Its strength is its adaptability to the context, but also its capability to analyze and understand a scene and contained objects and the specificities of the data to be processed. This understanding capability is realized through a self-learning process able to define and validate hypotheses concerning the context, also enabling to enrich the knowledge base and to improve the objects recognition process. The efficiency of this adaptation capability will be demonstrated in four use cases from different application fields. The first use case is an indoor of a building. It is used for a monitoring purpose. The second use case is located in the field of Archaeology represented by ancient ruins containing a terrace house with a watermill. The third use case is an outdoor representing a part of the city of Freiburg in Germany. It is used for an industrial purpose. Finally, the last use case is an indoor acquired by Microsoft’s Kinect. It is used for a robotic purpose.