Contribution à la perception visuelle multi-résolution de l’environnement 3D : application à la robotique autonome

Contribution to the visual perception multi-resolution of the 3D environment : application to autonomous robotics

• Auteur / Autrice : Hossam Fraihat
• Direction : Kurosh Madani, Christophe Sabourin
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Automatique
• Date : Soutenance le 19/12/2017
• Etablissement(s) : Paris Est
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Images, Signaux et Systèmes Intelligents (Créteil) - Laboratoire Images- Signaux et Systèmes Intelligents / LISSI
• Jury : Président / Présidente : Hichem Maaref
• Jury : Examinateurs / Examinatrices : Kurosh Madani, Christophe Sabourin, Mohamad Mehdi Ebadzadeh
• Jury : Rapporteurs / Rapporteuses : Samir Bouaziz

Mots clés

Mots clés contrôlés

Robotique

Saillance visuelle

Perception visuelle

Mots clés libres

Perception

Vision pseudo-3D

Saillance visuelle

Etalonnage

Apprentissage artificiel

Environnement 3D

Perception

Pseudo-3D vision

Visual saliency

Calibration

Soft computing

3D environment

Résumé

Le travail de recherche effectué dans le cadre de cette thèse concerne le développement d’un système de perception de la saillance en environnement 3D en tirant l’avantage d’une représentation pseudo-3D. Notre contribution et concept issue de celle-ci part de l'hypothèse que la profondeur de l’objet par rapport au robot est un facteur important dans la détection de la saillance. Sur ce principe, un système de vision saillante de l’environnement 3D a été proposé, conçu et validée sur une plateforme comprenant un robot équipé d’un capteur pseudo-3D. La mise en œuvre du concept précité et sa conception ont été d’abord validés sur le système de vision pseudo-3D KINECT. Puis dans une deuxième étape, le concept et les algorithmes mis aux points ont été étendus à la plateforme précitée. Les principales contributions de la présente thèse peuvent être résumées de la manière suivante : A) Un état de l'art sur les différents capteurs d'acquisition de l’information de la profondeur ainsi que les différentes méthodes de la détection de la saillance 2D et pseudo 3D. B) Etude d’un système basé sur la saillance visuelle pseudo 3D réalisée grâce au développement d’un algorithme robuste permettant la détection d'objets saillants dans l’environnement 3D. C) réalisation d’un système d’estimation de la profondeur en centimètres pour le robot Pepper. D) La mise en œuvre des concepts et des méthodes proposés sur la plateforme précitée. Les études et les validations expérimentales réalisées ont notamment confirmé que les approches proposées permettent d’accroitre l’autonomie des robots dans un environnement 3D réel

The research work, carried out within the framework of this thesis, concerns the development of a system of perception and saliency detection in 3D environment taking advantage from a pseudo-3D representation. Our contribution and the issued concept derive from the hypothesis that the depth of the object with respect to the robot is an important factor in the detection of the saliency. On this basis, a salient vision system of the 3D environment has been proposed, designed and validated on a platform including a robot equipped with a pseudo-3D sensor. The implementation of the aforementioned concept and its design were first validated on the pseudo-3D KINECT vision system. Then, in a second step, the concept and the algorithms have been extended to the aforementioned robotic platform. The main contributions of the present thesis can be summarized as follow: A) A state of the art on the various sensors for acquiring depth information as well as different methods of detecting 2D salience and pseudo 3D. B) Study of pseudo-3D visual saliency system based on benefiting from the development of a robust algorithm allowing the detection of salient objects. C) Implementation of a depth estimation system in centimeters for the Pepper robot. D) Implementation of the concepts and methods proposed on the aforementioned platform. The carried out studies and the experimental validations confirmed that the proposed approaches allow to increase the autonomy of the robots in a real 3D environment